Нагрузочное тестирование системы DIRECTUM на 5000 одновременно работающих пользователях. Часть 2. Подготовка базы данных.

Часть 1                                                                                     Часть 3

Проведенные в 2005 году тестирования показало, что размер базы данных на скорость работы с системой не влияет. Тем не менее, было решено проводить тестирование на базе данных, соответствующей 2 годам работы 5000 пользователей.

Собственно первое, что пришлось сделать при подготовке базы данных, это создать 5000 пользователей. Для автоматизации этого процесса, был написан сценарий DIRECTUM, который создает пользователей, группы пользователей и раскидывает пользователей по группам.

Рисунок 1 Входные параметры сценария для создания пользователей

После создания пользователей необходимо было задать пароли для всех пользователей. Для этого использовали следующий сценарий:

!Query=CreateQuery()

  !Query.CommandText="select UserCode

                        from LTUsers

                        where Type='П'"

  !Query.Open

  !Query.First

  while !Query.EOF=false

    !UserName=!Query.FieldByIndex(0).Value

    !Сhange=CreateQuery()

    !Сhange.CommandText="exec sp_password @old = null , @new = '11111' , @loginame = '"&!UserName&"'"

    !Сhange.Execute

    !Query.Next 

  endwhile

  !Query.Close

   ShowMessage("Готово!")

Для того, чтобы использовать созданных пользователей в тестировании, нужно было, чтобы у каждого пользователи были стандартные папки (Исходящие, Входящие, Избранное). Паки эти создаются при первом входе в систему. Делать это вручную оказалось очень долго. Поэтому был написан сценарий, который для каждого пользователя создает объект Application и получает родительские паки следующим образом

RootFolders = Folders.RootFolders

При анализе результатов, полученных с помощью механизма профайлинга системы DIRECTUM  в нашей компании, были выделены следующие характеристики базы данных:

• количество документов – 4.5 млн.;
• средний размер документов  - 600кб;
• типы документов - 90% офисных документов (Word, Excel, PowerPoint), 10% графических;
• количество РКК – 2.25 млн.;
• количество задач – 7.5 млн.;

К сожалению, из-за ограниченности количества дисков в системе хранения данных, была создана база, соответствующая только 10 месяцам работы 5000 пользователей. В наличии было только 2 ТБ свободного места, вместо 5 ТБ требуемого.

Таблица 1 Характеристики базы данных

Предварительно предполагалось, заданий будет в 2 раза больше чем задач и их созданием должна была заниматься служба workflow. В базе данных было создано необходимое количество задач и поставлено в очередь обработки службой. Но как оказалось, скорость обработки очереди задач для быстрой закачки данных не удовлетворяет. За 1 час было обработано порядка 7000 задач. С учетом того, что задач должно было быть порядка 1.5 млн, то обработка заняла бы порядка 214 часов. Пришлось искать способы ускорения закачки заданий.

Для быстрой закачки заданий были использованы уже созданные задачи с заданиями. Они были просто скопированы. Очередь обработки задач была очищена. В итоге мы получили количество задач, превышающее требуемое в 2 раза, половина из которых была в состоянии Инициализация.

Собственно, как же происходила закачка такого большого количества данных. Была написана утилита, позволяющая создавать большое количество документов, РРК, задач. Суть утилиты в том, что все создание происходит с помощью прямых sql-запросов к базе данных. Выглядит она следующим образом.

Рисунок 2 Утилита для закачки данных

Прошу строго не судить за юзабельность утилиты .

Вот некоторые интересные цифры, которые были получены при закачке данных:

        1. Время создания 1000000 задач - 40 мин.

        2. Время создания 500000 РКК - 15 мин.

        3. Время создания 100000 документов – 35 мин.

Далее расскажу о методике тестирования