Утилита Development Transfer Utility

Покажите, пожалуйста, в какую структуру файлов и папок экспортируется разработка.
Исходники будут? Или хотя бы dll чтобы можно было прикрутить к утилитам типа ISBLScan.ViewCode?
Вот сложно было написать в комментах к моим статьям и ответить на вопрос, будет ли у Directum такая утилита? Хотя, если не предоставите исходников, то я не зря кучу времени потратил на аналог.

• Параметры для работы с Team Foundation Server:

c gitlab/github планируется встроенная интеграция?

p/s/ Утилита огонь!

з.з.ы. исходные коды можно получить?

Очень полезная утилита! Присоединяюсь к вопросу, исходники можно как-то получить?

Требование наличия клиентской части можно убрать, если выгружать разработку напрямую с SQL. 
Вот набор sql-функций, позволяющий выгрузить с SQL сразу ISX. Там есть фильтрация по дате, фильтр по пользователю несложно прикрутить (заготовки есть в коде). Поддержки диалогов там нет, делал очень давно, а потом мне оно не надо было, версии систем старые. 

Какие версии DIRECTUM поддерживает данная утилита?
В каком режиме в утилиту будет добавляться поддержка новых возможностей инструментов разработчика, вместе с выходом версии системы?

полную выгрузку делает ооооооооооооочень долго.

прошел 1 час. ничего не выгрузилось  :( Утилита жрет 1Гб памяти и 12% CPU

Результат:

13:10:05 Экспорт из базы данных: запущен.
14:10:49 Экспорт из базы данных: завершен.

а что так долго?

Денис, эта утилита использует стандартный механизм экспорта. Как минимум он жрёт много памяти и долго работает. А еще требует клиентской части. В том числе поэтому я делал SQL-функции, про которые написал выше и в своей утилите мы сделали свою загрузку с SQL. Загрузка полного стандартного пакета с SQL меньше 5 сек, выгрузка в ISX меньше 5 сек, выгрузка в файловую систему у меня на SSD занимает меньше минуты (очень много файлов).

Александр, а загрузка у вас как реализована?

Денис, какая загрузка? Из базы данных? Просто запросами получаем разработку в модель. По этой части, к сожалению, из ISBLScan ничего взять не удалось, там было очень не оптимально, я когда за нее взялся не стал переписывать, только чуток оптимизировал.
У меня очень высокие требования к скорости работы таких утилит потому что часто работаю не на самых лучших каналах связи, а через RDP очень неприятно работать с ISBLScan.ViewCode, при пролистывании тормозит очень.
Вот наша утилита на канале с RTT 150мс и шириной 5мбит грузит всю разработку за 30 секунд.

Александр,

Подробное описание структуры файлов получилось бы довольно объемным. Если кратко: в корневой папке создаются папки для каждого типа компоненты (Constants, Scripts etc.), в них создаются папки для каждой компоненты этого типа (название папки может быть кодом или наименованием компоненты). Содержимое этих папок может отличаться, в зависимости от типа компоненты, но обычно там есть XML с реквизитам карточки, другие XML с данными, формы, отдельные файлы с вычислениями сгруппированные по типу, например события справочника. Картинка для примера:

Денис, 

Встроенной интеграции с другими системами контроля версий не планируется пока. В текущей версии привязка к TFS только в плане фильтрации компонент. Если не использовать эти параметры, то утилита, я думаю, подойдет для работы с большинством СКВ.

Экспорт всей разработки действительно занимает продолжительное время. Но совсем скоро выйдет DIRECTUM 5.5, и там стандартные механизмы экспорта/импорта работают быстрее.

Александр, Денис, Дмитрий,

Исходники планируем выложить, но позже, т.к. нужно решить некоторые организационные вопросы. Выложим ссылку тут же.

Андрей, 

Требования к системе:

• IS-Builder 7.6.1 и выше
• Для экспорта типовых маршрутов и мастеров действий с помощью утилиты требуется версия DIRECTUM 5.3.1 или выше. Для импорта потребуется версия 5.5.
• Запуск импорта разработки в визуальном режиме выполняется для DIRECTUM версии 5.5 или выше, в более старых версиях разработка импортируется в скрытом режиме.

Пока мы сами используем утилиту, будем добавлять в нее поддержку новых возможностей инструментов разработчика. Выкладывать новые версии будем, скорее всего, с выходом новых версии DIRECTUM.

Денис, какая загрузка? Из базы данных?

Наоборот, в базу данных импорт разработки

 Но совсем скоро выйдет DIRECTUM 5.5, и там стандартные механизмы экспорта/импорта работают быстрее.

у многих клиентов 5.5. еще не скоро появится :( 

Денис, импорт стандартными средствами, мы формируем ISX. Решили что свой импорт писать нет смысла, но мы делали прототип изменения разработки напрямую через служебные справочники разработки, вполне рабочий вариант.
У нас в приложении есть модель всей разработки. Ее мы можем заполнять из базы данных запросами, из ISX, из файловой системы. Выгружать из модели можем в ISX и в файловую систему. Модель еще будет использоваться в аналоге ISBLScan для отображения разработки и, возможно, ее редактирования. Можно и свой экспорт сделать, с выбором в одном окне не только разработки, но и ТМ, мастеров, записей справочников. В общем, возможностей много, нужны руки и время=)

Камиль, спасибо. Мы у себя выбрали JSON, а не XML. Вроде как легче должен читаться. А в целом всё похоже=)

Зачем утилита постоянно создает папку Development? я уже указал куда сохранять, зачем мне еще 1 папка.

Требования к системе:

• IS-Builder 7.6.1 и выше

А что это за версия? Если версия системы DIRECTUM 5.5 использует платформу IS-Builder 7.55.0.

Денис, платформа IS-Builder 7.6.1 соответствует версии DIRECTUM 4.5.

В рамках наших процессов, использование отдельной папки Development было оправдано, с ней проще хранить рядом с разработкой другие объекты, в рамках одной сущности (например, в рамках ветки в СКВ). Хотя это, конечно, не критично.

В рамках наших процессов, использование отдельной папки Development было оправдано, с ней проще хранить рядом с разработкой другие объекты, в рамках одной сущности (например, в рамках ветки в СКВ)

Сделайте так чтоб он не создавал эту папку. вы же все равно явно указываете куда сохранять. Я думаю разработчики сами смогут справится с менеджментом папок.

Добрый день! Просвятите пожалуйста что за параметр path1? Не получается экспортировать с типом аутентификации - win.

Запускал так: DevelopmentTransferUtility --mode "export" --type "standard" --devfolder "C:\DTU\DEV\" --clientpartpath "C:\Program Files (x86)\DIRECTUM Company\DIRECTUM 5.3" --server "server" --database "DIRECTUM" --username "user" --password "pass" --authtype "win"

Ниже привожу лог:

2017-10-17 08:24:29.7517    INFO    NpoComputer.DevelopmentTransferUtility.Common.EntryPoint    Экспорт из базы данных: запущен.    
2017-10-17 08:24:29.7817    ERROR    NpoComputer.DevelopmentTransferUtility.Common.EntryPoint    Экспорт из базы данных: ошибка.    System.ArgumentNullException: Value cannot be null.
Parameter name: path1
   at System.IO.Path.Combine(String path1, String path2)
   at NpoComputer.DevelopmentTransferUtility.Common.TransferDevelopmentRunner.get_ExportUtilityFullFileName()
   at NpoComputer.DevelopmentTransferUtility.Common.TransferDevelopmentRunner.Execute()
   at NpoComputer.DevelopmentTransferUtility.Common.EntryPoint.ExportDevelopment(ICommandLineOptions options, String developmentFileName)
2017-10-17 08:24:29.7817    ERROR    NpoComputer.DevelopmentTransferUtility.Common.EntryPoint    Возникла ошибка: Value cannot be null.
Parameter name: path1

ОПытным путем выяснил: в параметре --devfolder "C:\DTU\DEV\"  нужно убрать кавычки. А почему --clientpartpath понимает эти кавычки??

Алексей, с кавычками, при вызове из командной строки, действительно все не однозначно. Например, можно убрать из вашего пути "C:\DTU\DEV\" крайний слэш и такой вариант тоже сработает. Рекомендую попробовать для вызова утилиты использовать VBS-скрипт. Его, к тому же, проще менять. 

Например, такой (переделал свой, не отлаживал):

Set shell = CreateObject("WScript.Shell")

packageTransformerPath = shell.CurrentDirectory & "" 
outputFolderName = "C:\DTU\DEV\"
clientPartPathName = "C:\Program Files (x86)\DIRECTUM Company\DIRECTUM 5.3"
exportServerName = "server"
exportDatabaseName = "DIRECTUM"
exportUserName = "user"
exportUserPassword = "pass"
exportUserAuthentication = "Sql"

commandLine = _
  """{0}\DevelopmentTransferUtility.exe"" " & _
  "--mode export " & _
  "--devfolder ""{1} "" " & _
  "--clientpartpath ""{2}"" " & _
  "--server ""{3}"" " & _
  "--database ""{4}"" " & _
  "--username ""{5}"" " & _
  "--password ""{6}"" " & _
  "--authtype ""{7}"""
commandLine = Replace(commandLine, "{0}", packageTransformerPath)
commandLine = Replace(commandLine, "{1}", outputFolderName)
commandLine = Replace(commandLine, "{2}", clientPartPathName)
commandLine = Replace(commandLine, "{3}", exportServerName)
commandLine = Replace(commandLine, "{4}", exportDatabaseName)
commandLine = Replace(commandLine, "{5}", exportUserName)
commandLine = Replace(commandLine, "{6}", exportUserPassword)
commandLine = Replace(commandLine, "{7}", exportUserAuthentication)

Call shell.Run(commandLine, 10, True)

Объясните плиз, что за информация выводится в первой колонке, где как я понимаю должно быть время?

Локальное время на компе 9:44 по москве. Из скрипта повершелл запускаю утилиту:

Set-Location $DTUPath

$type = "routes"
.\DevelopmentTransferUtility.exe  --mode $mode --type $type  --devfolder $devfolder  --clientpartpath $clientpartpath  --server $server  --database $database  --username $username --password $password --authtype $authtype --closewindow

получаю вывод в окно терминала:

09:10:04 Экспорт из базы данных: запущен.
09:10:26 Экспорт из базы данных: завершен.
09:10:27 Преобразование пакета в структуру папок: запущено.
09:10:27   Чтение пакета ТМ: запущено.
09:10:27   Чтение пакета ТМ: завершено.
09:10:28   Экспорт типовых маршрутов: завершен (экспортировано 50)
09:10:29   Удаление типовых маршрутов: завершено (удалено 0)
09:10:29   Чтение пакета ТМ: запущено.
09:10:29   Чтение пакета ТМ: завершено.
09:10:29   Экспорт групп типовых маршрутов: завершен (экспортировано 8)
09:10:30   Удаление групп типовых маршрутов: завершено (удалено 0)
09:10:30   Чтение пакета ТМ: запущено.
09:10:30   Чтение пакета ТМ: завершено.
09:10:31   Экспорт ролей типовых маршрутов: завершен (экспортировано 28)
09:10:31   Удаление ролей типовых маршрутов: завершено (удалено 0)
09:10:31 Преобразование пакета в структуру папок: завершено.
09:10:32 Готово!

что за 9:10? когда у меня 9:44. и как он в 09:10:26 Экспорт из базы данных: завершен. если 09:10:32 Готово!??

и как он в 09:10:26 Экспорт из базы данных: завершен. если 09:10:32 Готово!??

с этим разобрался. остался вопрос что за время он выводит?

Сделайте возможным указывать в какой кодировке сохранять. UTF-8 надо.

Денис, по поводу времени: это ошибка в App.config. Там где, настраивается формат вывода  (layout="${date:format=HH\:MM\:ss} ${message}") надо заменить MM на mm. Иначе выводится текущий месяц вместо минут:)

Спасибо! :)

Если нет TFS как ограничить импорт разработки  только измененными элементами?

Например сделали полный экспорт всей разработки, потом модифицировали справочник/функцию и т.д., экспортировали в туже папку. Как теперь импортировать в другую базу только эту измененную разработку?

Денис, для фильтрации при импорте можно использовать параметр --importfolders. В нем нужно перечислить относительные пути до компонент, которые нужно импортировать, например: "RouteBlocks\AddTaskInfoToRRC,RouteBlocks\AllAssignmentsProcessed,RouteBlocks\ConfirmationEnter".

Если указать путь до справочника, он зависимости сможет подтянуть? функции которые из него вызываются например.

Денис, утилита учитывает те же зависимости, которые обрабатываются утилитой SBDte. То есть, например, связанные реквизиты подтянуться автоматически, а вот вызываемые в событиях функции - нет.

Исходники утилиты опубликованы на GitHub: DevelopmentTransferUtility

Спасибо!

теперь осталось сделать интеграцию DTU с гитом, и заживем....

Закинул на гитхабе иссью https://github.com/DirectumCompany/DevelopmentTransferUtility/issues/1.

Отличная утилита, но есть проблема с кодировкой выгружаемых XML, что препятствует полноценному использованию.

Добавили опцию для конвертации выгружаемой разработки в UTF-8 https://github.com/DirectumCompany/DevelopmentTransferUtility/pull/4

Проверили на своей разработке, в sourcetree и Visual Studio Code всё отображается корректно.

Было

Стало

а при импорте обратно в директум все работает (в 1251 перевод)?

Импорт в кодировке UTF-8 еще не проверяли.

Обратную конвертацию не делали. Сделаем если понадобится.

Как и ожидалось запаковка в UTF-8 не проходит. Чуть позже добавим обратную конвертацию налету перед упаковкой в пакет.

Итог:

• в ключ --type добавлено значение all, которое последовательно вызывает три типа standart->routes->wizards
• Добавлен ключ --utf8, при указании с ключом --mode "export" преобразовывает кодировку всех файлы в UTF8. При указании с ключами --mode "import" --isx на лету конвертирует файлы в 1251 без их физического изменения.

Изменения тут https://github.com/DirectumCompany/DevelopmentTransferUtility/pull/4

Что-нибудь планируется сделать с тем, чтобы код МД выгружался с помощью утилиты аналогично ТМ?

(Хранение мастеров действий отдельными файлами)