Решение «Импорт данных»

Задача

Упрощение механизма миграции данных в систему Directum RX.

На данный момент компанией Directum предоставляется решение «Утилита импорта данных», для выполнения процесса миграции данных. Отталкиваясь от этого решения, был сформирован ряд пунктов, упрощающих работу:

• удобная настройка импорта данных;
• формирование шаблонов для загрузки данных, использование шаблонов «Утилиты импорта данных»;
• работа с модифицированными объектами: новыми типами документов, справочников, с перекрытиями;
• упрощение процесса модификации решения;
• работа из Desktop и Web клиента;
• возможность отложенного запуска импорта данных.

Предпосылки

Исходя из опыта работы на проектах по внедрению Directum RX, можно утверждать, что блок с задачами по миграции данных формирует значительный размер трудозатрат относительно остальных пунктов по прикладной разработке. Происходит это, по большей части, из-за необходимости доработки утилиты импорта, вследствие модификации требующихся для импорта типов данных: новых, перекрытых типов документов, справочников, а также из-за разнообразия таких объектов. Сюда добавляется потребность в формировании шаблонов импорта для модифицированной утилиты и сложность проверки разработки.

Рисунок 1. Соотношение трудозатрат на задачи по миграции. Средние значения по 3 проектам в период с 2019 по 2020.

Из опыта на проектах с задачами по миграции данных, в среднем на обработку 8-10 объектов разной сложности, выделялось 200 – 240 часов, из которых:

• 80 часов на разработку;
• 20 —на рецензию доработки;
• 15-20— для тестирования;
• 25-30 — доработки после тестирования;
• 30 — непредвиденные ситуации (риски);
• 8-10— изучение инструмента;
• 30 —в качестве поддержки на тестовую и опытную эксплуатацию.

При этом часть объектов на обработку уже реализована в рамках решения «Утилита импорта данных», но вследствие перекрытия объектов, требовала дополнительного внимания.

Цифры выглядят внушающе и могут показаться завышенными, но по факту подтверждаются из раза в раз, с каждым последующим проектом. Решение «Импорт данных» позволит сократить трудозатраты на миграцию данных и минимизирует привлечение разработчика к выполнению данных работ.

Решение

Основная идея решения — перенос логики по настройке и импорту данных на сторону системы Directum RX. Это позволит предоставить:

• знакомый и удобный интерфейс для исполнителя, сокращает время на изучение работы с решением;
• знакомую среду разработки для разработчика (уменьшает время на тестирование сформированных модификаций);
• использование базовых возможностей системы для удобства выполнения импорта (дает возможность отложенного запуска, хранение и использование информации после выполнения импорта данных).

Основным рабочим элементом решения является справочник «Настройки импорта».

Рисунок 2. Карточка настройки импорта.

Как видно из рисунка 2, решение позволяет:

• использовать разные форматы шаблонов импорта. Благодаря этой особенности можно использовать базовые возможности выгрузки из других систем, не привязываясь к продуктам MS Office;
• импортировать как новые документы, так и записи справочников;
• выбрать тип импортируемого объекта.

Для выбора импортируемого типа доступны записи справочника «Типы документов», в случае, если выбран «Тип назначения» - Документ и собранная информация о имеющихся справочниках в системе Directum RX, если «Тип назначения» - Справочник. Информация о справочниках системы заполняется при инициализации решения, что позволяет обновлять список при появлении новых типов справочников в новых публикациях. В информации содержится: Отображаемое имя, Идентификатор, Полное имя объекта.

При создании новых типов документов, через прикладную разработку, требуется добавление логики по созданию соответствующей записи в справочник «Типы документов». Это достаточно удобно, в нашем случае, и позволяет эффективно использовать базовый справочник.

При выборе типа объекта назначения, в табличную часть вносится информация по обязательным к заполнению полям, которые выделяются красным цветом. Для выбора доступны свойства из выбранного типа объекта.

Рисунок 3. Поля назначения.

Поле «Действия» позволяет выбрать действия, по которым будет производится процесс обработки поля при импорте данных.

Рисунок 4. Действия.

Для выбранных полей с типом «Ссылка», доступны действия, относящиеся к процессу поиска данных для заполнения в системе. Поля без выбранного свойства назначения позволяют выбрать действие Тело документа для обработки процесса создания версии документа в системе. Строковые, числовые и другие поля не нуждаются в дополнительном выборе действий, обработка и приведение к нужному типу осуществляется посредством разработанной логики.

«Поля шаблона», являются строковыми значениями, что позволяет доступно указать имена полей для заполнения шаблона. 

Создание шаблона для загрузки данных производится по действию на ленте карточки. При формировании шаблона используются поля из табличной части «Поля шаблона», в случае отсутствия заполнения полей, имена формируются по отображаемому имени выбранных полей назначения.

Рисунок 5. Шаблон импорта данных.

В случае формирования шаблона, при выбранном типе назначения Документ, в шаблон добавляется столбец «Тело документа», в табличную часть карточки настройки также добавляется соответствующее поле, в случае его отсутствия.

Если уже имеется сформированный шаблон загрузки, предположим шаблон из решения «Утилита импорта данных», то есть возможность загрузить шаблон по кнопке на ленте карточки. После загрузки, в табличной части, область с полями шаблона подменится с текстового типа на тип выбора из выпадающего списка, позволяя указать соответствия полей для импорта данных. Доступны поля из загруженного шаблона.

Рисунок 6. Поля шаблона после загрузки шаблона импорта договоров решения «Утилита импорта данных».

После заполнения шаблона данными следует загрузить информацию в настройку импорта при помощи действия на карточке. Наличие загруженного шаблона с данными отображает реквизит на форме карточке (рисунок 2). На данном этапе при ручном изменении информации по полям: Тип назначения, Тип документа, Тип справочника, набор соответствия полей будет очищен для обработки в соответствии с измененной информацией. Далее становится доступным запуск импорта данных, по соответствующему действию на ленте карточки. Либо, при указании значении поля «Отложенный запуск», импорт будет произведен по настроенному расписанию фонового процесса. Фоновый процесс входит в набор элементов решения.

Результат

По итогам разработки решения мы столкнулись с множеством трудностей, связанных как с ограничениями работы системы, так и с изучением нетривиальных подходов.

Решение имеет удобный и знакомый интерфейс, позволяет выполнять импорт данных как по базовым объектам системы, так и по новым, перекрытым, без модификации самого решения «Импорт данных».

При необходимости модификаций (таких как добавление действий по работе с полями, учёт работ с более сложным импортом объектов, когда по одной записи из шаблона должно формироваться несколько объектов в системе, и других) решение имеет набор комментариев и пояснений к логике работы, а также разбивку на универсальные подходы к использованию разработанных методов.

Планы развития

• Работа с типом назначения Справочник. (реализовано)
• Обработка свойств коллекций при импорте данных.
• Добавление работы с шаблонами в JSON и XML форматах.
• Система актуализации уже импортированных, или созданных ранее объектов.

Команда

Поникаровский Александр

Дополнительные файлы

Краткий пример работы решения.