Развиваем применение ИИ: ускорение обработки документопотока 5000 документов ежедневно

Контекст и вызов бизнеса

АНО «СОДФУ» — автономная некоммерческая организация «Служба обеспечения деятельности финансового уполномоченного», учрежденная Банком России. Входит в состав Службы финансового уполномоченного — института, созданного для досудебного урегулирования споров потребителей финансовых услуг с финансовыми организациями.

С 2021 года в АНО «СОДФУ» внедрена система электронного документооборота, включающая автоматизированную обработку входящих документов на базе Directum RX и интеллектуальных сервисов Ario.

На данном этапе была поставлена задача по развитию системы в части автоматизации обработки обращений и судебных документов (судебных запросов и повесток). Благодаря чему должна была ускориться обработка ежедневного документопотока порядка 600 обращений и 4000 судебной корреспонденции.

Для того, чтобы снизить ручной труд, уменьшить риски ошибок ручного ввода данных, ускорить процесс занесения данных и передавать их во внешние ИС без задержек, руководство АНО «СОДФУ» запустило проект по автоматизации обработки обращений и судебных документов. Проект реализован совместной командой Directum и TANAiS.

В процессе обработки входящих обращений и судебных документов критически важны три аспекта:

• Точность классификации: модели (сервисы ARIO) могут ошибаться на специфических документах (например, в ходе исследований в проекте было выявлено для обучения модели 9 основных форм заявлений к финансовому уполномоченному в составе обращения и подобрано 900 образцов для обучения, 5 основных форм повесток и 500 образцов, 4 основных формы судебных запросов и 400 образцов).
• Скорость верификации: ручная проверка и ввод данных каждого документа создает узкое место в процессе регистрации.
• Эргономика: сотрудникам неудобно переключаться между окнами регистрационной карточки и скан-копией документа для проверки извлеченных данных.

Проект был реализован в полном соответствии с заранее определенными параметрами и предусмотренными аспектами, что обеспечило достижение поставленных целей и задач.

Идея и роль ИИ

Основной вызов проекта – количество документов, их размер и сжатое время до 5 секунд на полный цикл обработки одного документа. Одномоментно может быть отправлено более 1000 документов. Так как документы многостраничные, то с целью сокращения времени распознавания и требований к серверам, принято решение извлекать факты только с конкретных страниц документов, которые отправляются в Ario. Самая важная информация и реквизиты обычно находятся на первых двух и на последней страницах.

Специалистами TANAiS разработано решение, позволяющее из многостраничного файла создавать сокращенную версию (1-3 страницы с нужной информацией). В интеллектуальные сервисы отправляется именно этот «урезанный» файл, что позволяет снижать нагрузку на распознавание и ускорять обработку. Также, кроме интеллектуальной обработки документов, была реализована интеграция с внешней информационной системой обработки обращений и всеми необходимыми справочниками для автоматического заполнения – нормализации данных полей регистрационной карточки документа на основании извлеченных ARIO  фактов с возможностью полностью автоматической (без участия делопроизводителя) регистрации судебных документов по прикладной логике (при определенно полноте и наличии состава извлеченных данных, нормализованных по справочникам).

Для обеспечения скорости обработки документов инженерами была пересмотрена архитектура Заказчика и внесены изменения в текущую инфраструктуру.

Как происходит обработка документов:

• Подготовка. Новые виды документов сканируются и попадают в выделенную директорию – папку захвата.
• Захват. Служба Directum забирает документы, разработанное решение создает документы для интеллектуальной обработки со страницами, содержащими необходимые для извлечения на регистрацию данные.
• Интеллектуальная обработка. Directum RX Intelligence классифицирует документ и извлекает релевантную информацию.
• Автосоздание карточек. В СЭД формируется карточка, поля заполняются автоматически.
• Нечеткий поиск. Часть полей связана со справочной информацией. Заявители заполняют данные без строгих правил по разным предметам направления финансовых услуг и финансовых организаций, возможны разночтения. Судебные документы существенно различаются по формам и формату содержания в одном типе документа. Для повышения вероятности корректного заполнения применяется нечеткий поиск.
• Верификация. Делопроизводитель при необходимости проверяет и подтверждает данные.
• Интеграция. Подтвержденные данные сохраняются и автоматически передаются во внешнюю систему обработки обращений.

В ходе модернизации системы добавлены и настроены новые модули СЭД, разработаны новые типы документов, а также новые справочники и настроена их интеграция. Создан механизм выполнения автоматических действий при успешной и ошибочной передаче данных в интегрируемую систему обработки обращений.

Для дообучения интеллектуальных сервисов была задействована команда Directum. За 2 месяца команда провела разметку около 1300 документов и обучила интеллектуальные сервисы для корректной классификации и извлечению порядка 50 фактов из документов.

Особенности решения

Организация захвата документов

Для обработки документа типа «Обращение», которое представляло из себя заявление к финансовому уполномоченному с большим количеством объёмных приложений, необходимо было выбрать вариант работы службы DCS. После захвата службой DCS из документов будут вырезаться отдельные страницы, которые подлежат распознаванию Ario.

Рассматривались следующие варианты файлов для захвата службой DCS:

1. PDF-файл – в котором собраны все документы. Каждый документ разделен штрих-кодом (уже реализованным в системе).
2. ZIP-файл – в котором каждый документ представлен отдельным файлом PDF с наименованием, содержащим индекс (уже реализованным в системе).

Вариант с ZIP-архивом стал более предпочтительным в сравнении с PDF по причинам:

• не требует дополнительных настроек DCS;
• менее требователен к серверам с установленной службой захвата, в нашем случае потребовалось на 6Гб меньше ОЗУ и на 8 ядер меньше CPU;
• не требует дополнительных скриптов для распределения нагрузки на DCS;
• задачи на верификацию будут приходить пользователям быстрее;
• меньший объём написания кода, и, следовательно, меньшие трудозатраты на его обслуживание;
• более отказоустойчивый способ, т.к. потребляет меньше ресурсов системы для определения индекса документа (из наименования документа легче его получить, чем постранично обрабатывать общий документ).

Автоматическое самообучение классификатора

Внедрена система непрерывного автоматического дообучения модели на основе верифицированных данных без участия делопроизводителя на стадии изменения типа документа. Реализован гибридный механизм обработки ошибок. А именно, если документы прошли обработку и не были классифицированы сервисами ARIO (на основании обученной модели классификатора без использования индекса), то создается документ с типом, который определен на основе справочника «Индексы» – по индексу типа документа, извлеченному из наименования папки захвата или обрабатываемого файла. При этом происходит автоматическая смена типа документа и его автоматическая отправка на дообучение, постановка в очередь на обработку фоновым процессом.

Для классификации документов через использование индекса в системе был создан соответствующий справочник.

Автоматическая верификации по порогу уверенности

Это ключевое нововведение для ускорения процесса верификации. Логика работы заключается в том, что система анализирует процент уверенности распознавания полей документа. Если уверенность распознавания превышает установленный пороговый процент, то задание на верификацию выполняется автоматически, без участия верификатора. В результате документ мгновенно переходит на последующий этап регистрации, минуя очередь ручных задач. При этом стоит отметить, что порог уверенности настраивается, и это позволяет балансировать между степенью автоматизации и требуемой точностью.

Удобная верификация

Для документов, требующих ручного контроля, разработано диалоговое окно «Результаты извлеченных фактов». Вызов окна происходит по кнопке «Показать» в карточках судебных документов и обращений. Бизнес-ценность заключается в том, что сотрудник видит результаты распознавания сущностей и атрибутов мгновенно, без перехода в справочник. Это сокращает время проверки и количество кликов.

Как изменились процессы и работа людей

Результатом проекта стало развитие информационной системы, благодаря чему ежедневно может автоматически обрабатываться до 10 000 документов. Обеспечен целевой уровень извлечения данных – более 80% для автозаполнения полей. Существенно сократилось время на регистрационные операции и передачу данных во внешние ИС за счет автоматизации классификации, извлечения и верификации. Повышена прозрачность процесса обработки: степени уверенности по полям подсвечиваются цветом, что ускоряет проверку сотрудниками. Существенно повышена эффективность конкурентного распределения заданий на регистрацию и равномерного распределения нагрузки на делопроизводителей в автоматическом режиме.

Результаты и эффекты для бизнеса

• Автоматическая регистрация: часть документов теперь проходит этап верификации и регистрации автоматически, сокращая время обработки до секунд.
• Снижение нагрузки на делопроизводителей: сотрудники фокусируются только на сложных документах с низким процентом уверенности, а не на рутинной проверке очевидных случаев.
• Повышение точности модели: благодаря дообучению на верифицированных данных, процент документов, проходящих «автоверификацию», постоянно растет.
• Ускорение ручной верификации: для документов, попавших к делопроизводителю, время проверки сокращено благодаря удобному диалоговому окну.

Сложности и оценка результатов

Длительность реализации проекта составила 9 месяцев. Одним из сложных и длительных моментов стало проведение совместных работ с Заказчиком по миграции и нормализации справочников из сторонней системы обработки обращений, а также настройка прикладной логики заполнения полей судебных документов на основании извлеченных данных.

Планы по развитию

В рамках текущей очереди развития (2-ая очередь развития системы в целом) были успешно автоматизированы процессы для заявлений к финансовому уполномоченному в составе обращений и 2-х ключевых типов судебных документов. Для развития интеллектуальных возможностей системы, в настоящее время реализовано обновление системы с версии 4.6 до версии 4.12 и запланирована следующая 3-я очереди развития. В частности, планируется значительно расширить перечень обрабатываемых документов и реализовать дополнительный функционал, автоматизирующий и  упрощающий работу пользователей.

Стратегическая цель следующего этапа — масштабирование отработанной архитектуры на 9-ти новых типах документов.

Команда проекта

Об авторе заявки