Насколько пригоден Ваш "склонятор"

Выбирая продукт, решающий задачу автоматического склонения, мы в первую очередь ожидаем от него высокого качества основной его функции – склонения. Чем меньше ошибок будет делать алгоритм, тем меньше потребуется ручной правки, тем больше уверенность, что он не подведет в условиях "беспилотной" эксплуатации, когда контроль со стороны человека невозможен.

В данной статье описывается методика и результаты тестирования Технического решения "Библиотека функций склонения". Проверке подвергся функционал склонения фамилий, имен и отчеств. На самом деле, каждый продукт индивидуален и реализует свой уникальный набор функций. Но большинство существующих решений реализуют функцию склонения ФИО. Именно она и была проверена в данном исследовании. Отметим, что на этом функционал исследуемого технического решения не ограничивается, подробнее с ним можно ознакомиться здесь.

Методика тестирования.

Для тестов использовался набор из:

• ФИО в именительном падеже,
• номера падежа,
• правильного ответа – ФИО в форме данного падежа.

Тест считается пройденным, если ответ на запрос (ФИО в именительном падеже, номер падежа) совпадает с правильным ответом. Мерой качества сервиса склонения принимается процент правильных ответов.

Тесты были взяты из программы для тестирования существующих на рынке продуктов по склонению ФИО (ссылка внизу материала), которые в свою очередь были составлены вручную, и в рамках тестирования предполагается их правильность. На деле, конечно, они правильны с точностью до человеческих ошибок составителя. При составлении тестового набора избегались примеры, допускающие неоднозначное склонение, например, женская фамилия Смородина в родительном падеже может быть (кого?) Смородиной или Смородины.

Всего в тестовом наборе около 1000 тестов. Все ФИО были взяты из Интернета – из списков выпускников, военнослужащих, депутатов и т.п., поэтому есть уверенность, что они не выдуманные, а принадлежат реальным людям. Все ФИО трёхчленные, так как некоторые сервисы полагаются на отчество при определении рода или требуют явного указания рода.

При сравнении ответов допускаются некоторые послабления. А именно, считаются одинаковыми буквы Е и Ё, игнорируются пробелы, вставляемые некоторыми сервисами в конце строки, не учитывается регистр букв, не учитывается наличие или отсутствие предлога у формы предложного падежа.

Например, при склонении «ИВАНОВ Илья Петрович» в творительном падеже различные сервисы выдают следующие результаты:

Все они признаются одинаковыми программой тестирования.

Результаты тестирования.

Тестирование ТР "Библиотеки функций склонения" показало великолепные результаты! Правильность преобразования составила более 99%.

Для сравнения:

Вы можете проверить на качество преобразования имеющееся решение по склонению ФИО у себя, разработка для тестирования доступна для скачивания ниже.

Материал составлен как ответ на некоторые вопросы, с использованием статьи по сравнению с аналогами.

Разработка для тестирования своего "склонятора": TestDECLLibrary.rar (379,56 Кб)