Передовой опыт решения задачи поиска и устранения дублей в справочнике "Организации" в DIRECTUM

Задача

Компании, активно использующие DIRECTUM и другие ECM системы, с течением времени все более остро сталкиваются с проблемой дублирования контрагентов. Каждый заказчик/внедренец пытается решать проблему поиска/устранений дублей в справочнике Организации локально и часто в привязке к своей индивидуальной разработке или процедуре появления контрагентов в DIRECTUM (например, выделяют ответственных людей за заведение контрагентов в DIRECTUM, реализуют интеграции для получения контрагентов из внешних систем, добавляют проверки при заведении контрагентов по совпадению определенных реквизитов (ИНН, КПП…) и пр.). Но как быть тем компаниям, где DIRECTUM уже используется многие годы и в справочнике Организации могут быть сотни дублей? Как быть крупным компаниям и/или компаниям, где регистрация документов децентрализованная и регистрацией документов занимаются десятки/сотни различных обученных делопроизводителей? На своих проектах и в своих организациях мы учим пользователей работать правильно и соблюдать все нормы, в рабочих инструкциях отдельно указываем, как и что нужно делать при создании нового контрагента в DIRECTUM, но работает это не всегда.

Какие неудобства и проблемы ожидают ваших пользователей в случае появления дублей в справочнике Организации? Как минимум пользователи не смогут посмотреть по одному контрагенту весь пакет документации или не смогут в принципе найти нужные документы в системе, т.к. документы могут быть привязаны к разным организациям-дублям. Все это может быть критично, например, для заключения договора или ведения претензионной работы, когда скорость доступа к информации и качество этой информации крайне важны для благоприятного результата. А еще при создании нового документа в системе пользователь не поймет какого контрагента следует указать в карточке документа, т.к. на выбор система предлагает сразу несколько организацией-дублей с одинаковым названием (пользователь, конечно, выберет первую попавшуюся, и не факт, что это оригинальная запись). В конце концов количество записей в справочнике Организации будет расти без реального прироста ваших контрагентов.

Данное решение предназначено для бизнес-администраторов, а также сотрудников, сопровождающих эксплуатацию системы DIRECTUM. Результаты работы данного решения будут видны всем пользователям системы.

Но найти дубли мало, необходимо выполнить привязку объектов системы DIRECTUM (документов, записей справочников) от записи-дубля к записи-оригиналу. С этим также успешно справляется данное решение.

Описание решения

Работа по устранению дублей состоит из двух последовательных этапов:

1. Поиск дублей контрагентов.
2. Анализ и обработка найденных дублей.

Поиск дублей контрагентов

Когда вы получаете входящее письмо от нового контрагента, то знаете только наименование отправителя, остальную информацию вроде ОГРН, ИНН, КПП и пр. просто негде и некогда брать, т.к. документ должен быть оперативно загружен в DIRECTUM и отправлен в электронном виде на рассмотрение руководителю. Поэтому в большинстве случаев дубли актуально искать по Наименованию. Наименование – это строковое поле, а искать дубли по строковому полю достаточно сложная задача, т.к. у двух разных контрагентов могут быть ошибочно указаны в системе разные окончания, у одного контрагента-дубликата может быть указана в наименовании форма собственности, а у другого не указана, наименования контрагентов могут состоять из нескольких слов, при этом слова в записях-дублях контрагентах могут быть указаны в разном порядке и пр.

Реализованное решение ищет дубли в справочнике Организации по значениям реквизитов Наименование, ИНН, ОГРН. Проверка по двум последним реквизитам осуществляется по полному совпадению хотя бы одного из реквизитов, проверка по строковому реквизиту Наименование осуществляется по специально разработанному алгоритму.

Для целей масштабирования решения по поиску дублей (объем справочника Контрагенты у разных компаний может быть, как тысячи, так и сотни тысяч записей), все ресурсоемкие вычисления запускаются с помощью компоненты Серверные события и выполняются на сервере.

Для поиска дублей необходимо открыть специально разработанный справочник Группы дублей контрагентов и запустить поиск с ленты данного справочника.

По факту завершения поиска администратору в DIRECTUM автоматически придет соответствующее уведомление.

Анализ и обработка найденных дублей

Для перехода к найденным дублям контрагентов администратор открывает справочник Группы дублей контрагентов и последовательно обрабатывает найденные группы дублей.

Мы реализовали алгоритм, который исходя из ряда условий (релевантность, заполненность карточки контрагента и не только) автоматически определит, какая запись относительно другой является дублем или оригиналом. Потенциальный дубль запишется в табличную часть и для него установится статус «Дубль», а потенциальный оригинал запишется в карточку справочника Группы дублей контрагентов.

Для удобства работы со справочником в карточку и табличную часть вынесена вся та информация, согласно которой данный контрагент попал результирующий набор дублей (помимо наименования это еще ИНН и ОГРН). Несмотря на это администратор может в любой момент времени открыть из карточки группы дублей нужного контрагента и посмотреть информацию по нему.

Мы также понимали, что будут возникать ситуации, когда согласно заложенному алгоритму поиска дублей (каким бы он ни был совершенным), записи могут быть определены как дубли (например, если они имеют похожие названия), но в действительности это могут быть 2 разных контрагента. Для этого был разработан механизм задания исключений. Последующие поиски дублей осуществляются с учетом заданного исключения, при этом администратор в любой момент времени может зайти в реестр исключений и удалить созданные ранее исключения.

После того как для каждого из потенциальных дублей администратор указал требуемый статус («Дубль», «Не дубль», «Оригинал»), он нажимает кнопку Обработать. В процессе обработки дублей для контрагентов, определенных как дубли, автоматически выполняется замена ссылок на запись-оригинал во всех карточках документов, записях справочников и вложениях задач. Записи-дубли удаляются из DIRECTUM. Для замены ссылок был использован алгоритм, реализованный в опубликованном ранее решении https://club.directum.ru/award/64755. В рамках развития данного алгоритма при реализации уже текущего решения мы добавили подробное логирование (доступно по кнопке Журнал карточки группы дублей).

Подход к поиску дублей итеративный. После завершения работы с одной группой дублей, администратор переходит к следующей группе дублей. После обработки всех групп дублей и настройки исключений, администратор запускает поиск дублей еще раз. С каждой итерацией поиска/обработки количество потенциальных дублей сокращается, пока все результаты не будут либо в исключениях, либо все дубли будут удалены из системы.

Развитие решения

1. Расширение набора реквизитов справочника Организации и добавление возможности настройки набора искомых реквизитов, по которым необходимо искать дубли, для администратора системы, чтобы не требовались навыки разработчика и облегчить сопровождение решения.
2. Усовершенствование алгоритма поиска дублей по строковым полям (например, по наименованию).

Команда

• Гасанов Дмитрий – руководитель проекта, рецензент
• Дорфман Даниил – аналитик
• Чугунов Александр – разработчик