АНО «СОДФУ» — самый масштабный проект по интеллектуальной обработке документов в госсекторе

на порядок

возросла скорость обработки входящего документа

в 10 раз

быстрее выполняет ИИ классификацию в сравнении с ручным трудом

до 40000

документов ежемесячно поступают на обработку ИИ

Следующий проект

О заказчике

АНО «СОДФУ» – служба обеспечения деятельности финансового уполномоченного. Эта служба учреждена Банком России и организует процесс обработки обращений потребителей финансовых услуг к финансовому уполномоченному. Ежедневно обрабатывается солидный объем бумажной (от 1 000 листов в день) и электронной корреспонденции. 

В 2021 году АНО «СОДФУ» совместно с партнером TANAiS реализовали масштабный проект внедрения Directum RX, установили сложную интеграцию с Почтой России и настроили сервисы интеллектуальной обработки Ario для высоконагруженной работы с входящим и исходящим документопотоком.

Цели и задачи проекта

Проект задумывался как комплексное внедрение с нуля системы электронного документооборота с подключением интеллектуальной обработки для перевода бизнес-процессов службы экспедиции в цифровой вид.

Ведущая цель – запустить систему электронного документооборота для управления административно-хозяйственной деятельностью.

Прикладная цель – снизить нагрузку на экспедицию (на момент старта проекта – до 20 сотрудников-сканировщиков вручную обрабатывали документы полный рабочий день) и упростить рутинные процессы (рассылка исходящих судебных писем по адресам заявителей).

Для достижения поставленной цели были внедрены следующие бизнес-решения:

  • Делопроизводство
  • Совещания
  • Управление договорами
  • Управление закупками (индивидуальная разработка)
  • Управление показателями эффективности (индивидуальная разработка, набор дополнительных отчетов в Directum RX)
  • Финансовый архив

Реализация проекта

  • Интеграции: Active Directory, Naumen SMP, ССТУ.РФ, ЛК Почты России, портал Госуслуги, Microsoft Exchange, 1C (облако), Synerdocs
  • Миграция: Naumen SMP (выгрузка плоскими таблицами)
  • Инновации: Directum Ario, серверные скрипты PowerShell

 

Сложная архитектура решения

Проект получился очень объемным с учетом реализованных интеграций.

Реализованы специальные решения, которые сделали проект максимально эффективным:

  • Интеллектуальная потоковая обработка входящего документопотока: 11 типов документов, содержащие более 100 видов документов, классификация по штрихкодам на конвертах, захват из папочной структуры и ряда электронных адресов
  • Интеграция с сервисами Почты России для автоматической отправки писем, в том числе через портал Госуслуги, контроля доставки, сверки с реестрами почтовых отправлений
  • Интеграция с уже внедренной в АНО «СОДФУ» системой обработки обращений (разработка на базе Naumen SMP) для последующей отправки писем адресатам через Почту России
  • Интеллектуальная обработка исходящих судебных писем с автоматической отправкой на электронную почту заявителя
  • Интеграция с порталом ССТУ.РФ

Интеграция затронула следующие бизнес-процессы:

  • Исходящие письма: получение из Naumen, обработка в Directum RX и отправка исходящих писем через личный кабинет на сайте Почты России
  • Отслеживание статуса отправки и возвратов отправленных документов: передача данных в Naumen.
  • Обращения граждан: отправка исходящих писем в ответ на обращения граждан через сервис «Электронные заказные письма» через ЛК Почты России
  • Статистика по обращениям граждан: получение из Naumen в Directum RX результатов обработки обращений граждан и выгрузка на портал ССТУ.РФ
  • Обмен первичными учетными документами с финансовой системой
  • Электронный архив: получение из облачного файлового хранилища тел документов с открепленной электронной подписью.

Для реализации многократно и тщательно изучали всю возможную документацию по API Почты России, написали несколько отдельных фоновых процессов с оптимизированной периодичностью отработки для управления нагрузкой в течение суток.

 

Особенности интеллектуальной обработки

Были сложности интеллектуальной обработки документов и новыми моделями классификации и необходимостью обучение с нуля извлечению фактов.

В ходе проекта модифицировали новыми реквизитами и действиями 11 типов документов для Ario:

  • входящее письмо
  • конверт входящего письма
  • договор
  • дополнительное соглашение 
  • УПД
  • ТОРГ-12
  • акт выполненных работ
  • счет на оплату
  • исходящее судебное письмо
  • реестр почтовых отправлений входящий
  • простой документ

В зависимости от типа документа извлекаются от 3 до 9 нетиповых дополнительных реквизитов. Задействованы механизмы Ario + парсинг папочной структуры для извлечения сканировщика. Для каждого типа исползуется своя модель ОИФ. Для «калибровки» точности извлечения фактов разметили более 1,500 экземпляров документов и научили работе в AVIA сотрудников экспедиции.

Технические решения для обеспечения высокой скорости обработки

Обработка файлов в папочной структуре

АНО «СОДФУ» имеет филиалы в трёх городах, помимо Москвы. Сканируемые документы экспедиторы вручную помещают в сетевую папочную структуру по определенным правилам (например: «C:\2020\НАРОЧНО\БЕЗКОНВЕРТА\ОКТЯБРЬ\201021\ГороховаЕВ_201021\01-19\входящее письмо.pdf»). В ходе проекта мы реализовали парсинг папочной структуры, чтобы извлекать и дозаполнять карточку документа, в том числе, следующими реквизитами:

  • полный путь к файлу
  • индекс для определения вида входящего письма
  • сканировщик
  • способ получения

При этом были в ходе проекта пришлось решить задачу обработки файлов большого объема (более 100 мб). Скорость обработки таких файлов превышала пропускную способность службы ввода. Первые нагрузочные тесты могли обрабатывать 500 файлов более 4-х часов – для АНО «СОДФУ» такие показатели были долгими и неприемлемыми.

Для решения разработали скрипты на PowerShell для работы с папочной структурой, поработали с распределением нагрузки на потоки обработки. В результате удалось добиться стабильной скорости обработки документов, и финальные нагрузочные тесты на объеме более 500 файлов, подаваемых одномоментно, сократили время до требуемой скорости.

Сбор комплекта и оптравка по email

В АНО «СОДФУ» комплект судебных документов для ответа заявителю собирают разные сотрудники в общую сетевую папочную структуру. Комплект для отправки состоит из письменного ответа финансового уполномоченного и различных приложений. Требовалось научить систему определять принадлежность к одному комплекту, выделять ведущее письмо, извлекать из него реквизиты для определения заявителя. При достижении порога уверенности автоматически отправлять письмо на адрес электронной почты заявителя.

При этом приложения к письму – это зачастую тяжелые по объему документы (по 100-150 страниц с фотографиями и т.п.). Если пропускать это всё через службу ввода, то скорость обработки измерялась бы днями. Кроме того, при отправке на электронную почту заявителю нужно было предусмотреть ограничения по объему вложений в одно письмо и научиться разбивать письмо на несколько.

Для решения разработали прикладную логику определения ведущего документа; чтобы собрать несколько документов в одну задачу, использовали обходную реализацию через Microsoft Exchange. Для определения реквизитов заявителя пропускали исходящее судебное письмо через сервисы Ario и откалибровывали модель на 1,500 размеченных образцах. Для контроля отправки по электронной почте дорабатывали фоновый процесс и прикладную логику вычисления предельного размера письма.

Особенности внедрения

На проекте потребовалось организовать параллельную работу сразу по двум направлениям: закупки и Ario. Параллельная шла работа по базовой настройке системы и кастомизции для процесса по управлению закупками.

Модификацию закупочного процесса мы, как правило, рекомендуем выносить в отдельную итерацию, к которой удобнее приступать после настройки основного функционала. Но для заказчика проект был первым опытом внедрения системы электронного документооборота,  хотел реализовать сразу весь функционал, и мы согласились с таким подходом. 

В результате плановые трудозатраты на анализ и проектирование получились весьма объемными.

Для решения выделили группу сотрудников TANAiS, которая проводила обследование, проектирование и длительное тестирование. В результате было спроектировано 6 бизнес-процессов только по управлению закупками. Всего же на проекте было спроектировано с нуля более 30 процессов, из них 4 — с участием сервисов интеллектуальной обработки Ario.

 

 

Уникальность проекта

Реализован самый масштабный проект по интеллектуальной обработке документов в отрасли по обработке документов, писем и обращений граждан.
Уникальным отличием мы считаем использование сервисов Ario для бизнес-процесса исходящего документопотока – это расширяет применение интеллектуальной обработки в компании. Отдельно хотим отметить максимальную вовлеченность бизнес-заказчиков всех задействованных отделов и сотрудников экспедиции АНО «СОДФУ».

Для команды TANAiS проект АНО «СОДФУ» уникален своим масштабом и разнообразием использованных технических решений. Со стороны исполнителя над проектом работала большая команда, в пиковые моменты насчитывающая до 14 одновременно работающих специалистов.

Результаты проекта для заказчика

В первую очередь, за счет внедрения интеллектуальных инструментов Directum Ario классификация документов в СОДФУ теперь происходит автоматически. По определенным ключевым точкам определяется вид документа, далее он корректно размещается в системе. Во-вторых, из документов автоматически извлекаются реквизиты и факты, такие как названия финансовых организаций, суммы договоров и прочее. В-третьих, обработка исходящих документов вышла на более легкий и быстрый уровень. Например, взаимодействие с Почтой России, особенно бумажное, это очень сложный процесс. Появление интеллектуальных инструментов Directum Ario значительно его улучшило.

Для классификации типовых документов, касающихся административно-хозяйственной деятельности, дообучение интеллектуальных инструментов прошло практически элементарно. Поскольку в Ario уже существуют настроенные нейронные сети, которые самостоятельно и достаточно корректно умели их распознавать, для обучения потребовался небольшой комплект документов. Что касается нетиповых задач для Ario под наши бизнес-процессы (договоры между гражданами и финансовыми организациями, заявления граждан) потребовалась большая выборка – около 3,5 тыс. образов разных документов.

Почти любой проект цифровизации ведет к сокращению либо трудозатрат, либо финансовых издержек. То есть он создает реальную пользу, обеспечивает значимый эффект. На нашем проекте он был достигнут. Если взять процесс по взаимодействию с Почтой России, то эффект получился просто потрясающий.

Александр Рулев, ИТ-директор АНО «СОДФУ»

Показатели:

  • На порядок возросла скорость обработки входящего документа.
  • С 25 до 5 сократилось количество сотрудников, занятых обработкой входящей корреспонденции.
  • В среднем в 10 раз быстрее выполняет ИИ классификацию в сравнении с ручным трудом.
  • Ежемесячный поток обработки документов интеллектуальными сервисами – от 25,000 до 40,000 документов.
  • Все сотрудники организации обучены и работают в Directum RX.
  • Продолжается работа по сопровождению системы в штатном режиме.

Сроки проекта: стартовал в сентябре 2020 года, опытно-промышленная эксплуатация завершилась в июле 2021 года. 

 

Планы по развитию проекта

  • Конвертация на новую версию.
  • Переход на Linux.
  • Развитие интеллектуальной обработки (модель извлечения фактов для новых видов).

В СОДФУ уже есть планы по развитию Directum Ario. Поскольку мы клиенториентированная организация, хотелось бы дать гражданам как можно больше инструментов для самостоятельной работы, чтобы они сами могли оценить имеющуюся у них информацию и понимали, имеет ли смысл обращаться в СОДФУ или им не хватает какого-либо документа. Во вторую очередь, хотим большей автоматизации – извлекать больше фактов, проверять факты и реквизиты на корректность. Ошибки случаются – человеческий фактор имеет место быть, а такие инструменты, как Directum Ario, помогают в достаточной степени нивелировать этот фактор.

Александр Рулев, ИТ-директор АНО «СОДФУ»

Команда проекта

Ключевые участники команды проекта от TANAiS

  • Главный аналитик, руководитель группы аналитиков, преподаватель - Татьяна Ганбарова
  • Главный разработчик Ario - Глеб Алмазов
  • Разработка алгоритма по обработке комплектов в Ario - Федор Богданов
  • Интеграция с сервисами Почты России - Юрий Маслов, Алена Рунова
  • Команда прикладной разработки Directum RX - Александр Нечаев, Вячеслав Звягинцев
  • Руководитель группы подготовки документации - Евгения Прибыткова
  • Руководитель подпроектов тестовой и опытной эксплуатации, заместитель руководителя проекта - Илья Чечель
  • Аккаунт проекта-  Михаил Хуснутдинов.
  • Руководитель проекта - Инна Глущенко
  • Куратор проекта - Валерий Рубцов

Дополнительные материалы

Пресс-релиз о внедрении: https://www.tadviser.ru/index.php/Проект:Служба_обеспечения_деятельности_финансового_уполномоченного_(СОДФУ)_(Directum_RX)

 

Комментарии (2)

Георгий Леонтьев

Коллеги, а зачем потребовалась работа со скриптами на powerShell? какую конкретно задачу они решают. И вытекающий из этого вопрос: если будет переход на Linux, как планируете заменять скрипты?

Александр Бочкарев

Георгий, работа со скриптами на PowerShell потребовалась потому, что у сотрудников заказчика были специфические требования по обработке документов. Скрипты решают задачу по обработке рабочих папок, после чего содержимое папки с помощью скриптов отправляется на сервер электронной почты, из которой Ario забирает документы на обработку. Касательно перехода на Linux, то среду PowerShell можно использовать в различных дистрибутивах Linux и в дальнейшем замена скриптов будет осуществляться на основе специфики работы в подобных операционных системах.

Александр Бочкарев: обновлено 22.04.2022 в 12:34
Авторизуйтесь, чтобы написать комментарий

У вас похожая задача?

Обсудите реализацию с экспертом Directum

Обязательное поле
Обязательное поле
Обязательное поле
Обязательное поле
Обязательное поле
Обязательное поле

Благодарим за интерес! Мы свяжемся с вами.