Насколько пригоден Ваш "склонятор"

8 9

Выбирая продукт, решающий задачу автоматического склонения, мы в первую очередь ожидаем от него высокого качества основной его функции – склонения. Чем меньше ошибок будет делать алгоритм, тем меньше потребуется ручной правки, тем больше уверенность, что он не подведет в условиях "беспилотной" эксплуатации, когда контроль со стороны человека невозможен.

В данной статье описывается методика и результаты тестирования Технического решения "Библиотека функций склонения". Проверке подвергся функционал склонения фамилий, имен и отчеств. На самом деле, каждый продукт индивидуален и реализует свой уникальный набор функций. Но большинство существующих решений реализуют функцию склонения ФИО. Именно она и была проверена в данном исследовании. Отметим, что на этом функционал исследуемого технического решения не ограничивается, подробнее с ним можно ознакомиться здесь.

Методика тестирования.

Для тестов использовался набор из:

  • ФИО в именительном падеже,
  • номера падежа,
  • правильного ответа – ФИО в форме данного падежа.

Тест считается пройденным, если ответ на запрос (ФИО в именительном падеже, номер падежа) совпадает с правильным ответом. Мерой качества сервиса склонения принимается процент правильных ответов.

Тесты были взяты из программы для тестирования существующих на рынке продуктов по склонению ФИО (ссылка внизу материала), которые в свою очередь были составлены вручную, и в рамках тестирования предполагается их правильность. На деле, конечно, они правильны с точностью до человеческих ошибок составителя. При составлении тестового набора избегались примеры, допускающие неоднозначное склонение, например, женская фамилия Смородина в родительном падеже может быть (кого?) Смородиной или Смородины.

Всего в тестовом наборе около 1000 тестов. Все ФИО были взяты из Интернета – из списков выпускников, военнослужащих, депутатов и т.п., поэтому есть уверенность, что они не выдуманные, а принадлежат реальным людям. Все ФИО трёхчленные, так как некоторые сервисы полагаются на отчество при определении рода или требуют явного указания рода.

При сравнении ответов допускаются некоторые послабления. А именно, считаются одинаковыми буквы Е и Ё, игнорируются пробелы, вставляемые некоторыми сервисами в конце строки, не учитывается регистр букв, не учитывается наличие или отсутствие предлога у формы предложного падежа.

Например, при склонении «ИВАНОВ Илья Петрович» в творительном падеже различные сервисы выдают следующие результаты:

Яндекс: «ИВАНОВым Ильей Петровичем»
Крохотулька: «Ивановым Ильей Петровичем » (лишний пробел в конце)
Морфер: «ИВАНОВЫМ Ильёй Петровичем»
Padeg.dll: «Ивановым Ильей Петровичем»

Все они признаются одинаковыми программой тестирования.

Результаты тестирования.

Тестирование ТР "Библиотеки функций склонения" показало великолепные результаты! Правильность преобразования составила более 99%.

Для сравнения:

Продукт Процент ошибок
Морфер: 1.5%
Padeg.dll: 2.3%
Крохотулька: 16.3%
Яндекс: 50.3%
Библиотека функций склонения:  0.76%

Вы можете проверить на качество преобразования имеющееся решение по склонению ФИО у себя, разработка для тестирования доступна для скачивания ниже.

Материал составлен как ответ на некоторые вопросы, с использованием статьи по сравнению с аналогами.

Разработка для тестирования своего "склонятора": TestDECLLibrary.rar (379,56 Кб)

Николай Перфильев

Подобный материал, но в значительно более подробном варианте, с примерами использования итд. Уже публиковал Дмитрий Тарасов. 

Николай Перфильев

Забыл линк приложить:

http://club.directum.ru/post/Sklonenie-FIO-dolzhnostejj-i-podrazdelenijj-po-padezham.aspx

Алексей Долгих

Николай, Дмитрий в своем материале описывает функциональность решения, данный же материал описывает методику сравнения эффективности решений по склонению ФИО. Разные темы.

Дмитрий Тарасов

Забавно, директумовский склонятор кому-то помешал smiley

Если хотите, чтобы результаты вашего сравнения заслуживали хоть какого-то доверия, составьте свой набор тестов и проведите тестирование всех упомянутых сервисов заново.
Что-то я не понял, а разве это не приведет к тому же самому:
требование, чтобы тесты были заранее неизвестны вплоть до начала тестирования.  Иметь в своем распоряжении тесты - все равно что сдавать экзамен, имея перед собой все ответы.
Я так понимаю тестовые наборы можно подобрать таким образом, что нужный "склонятор" будет выгодно отличаться от других. Может быть будет достаточно просто на том же наборе данных еще раз провести тестирование всех этих продуктов для того, чтобы картина была более менее актуальная?
борьба между сервисами идет на десятые доли процента, т.е. решающими могут быть 1-2 теста.
Так вот где собака порылась, тут оказывается целая война идет cheeky
Пользуясь случаем, хочу упомянуть о своем новом продукте для автоматического склонения по падежам, который склоняет не только ФИО
Я так понял директумовский склонятор тоже склоняет не только ФИО или я не прав?
И цены не такие кусачие.
Сергей, не нашел на вашем сайте цен на ваши продукты. В свое время, когда я в 2010 году выбирал какой-нибудь продукт для склонения ФИО и должностей в DIRECTUM Морфер стоил в 7,5 раз дороже чем padeg.dll. smiley
Дмитрий Тарасов

Чтобы не было неоднозначности, в посте выше под фразой "директумовский склонятор" я имел ввиду "склонятор написанный на isbl".

Алексей Долгих

Сергей, ссылка на Ваш материал присутствует в данной статье с самого ее создания. Никто и не оспаривает, что она взята за основу.
Относительно тестирования, могу заверить, специально ничего не подгонялось. Тесты были использованы в том виде как есть.
Иначе, следуя Вашей же логике, ровно с той же вероятностью, что сейчас говорите, можно утверждать что Ваш продукт, относительно данных тестов, показывает именно такие "любые результаты", ведь Вы какраз имеете на руках тестовые данные при сравнении продуктов, включая свой. Доверие? хм... полностью описанная Вами же ситуация. При этом у Вас большой потенциальный рынок и неспящие конкуренты, соблазн велик показать превосходство...
Применения данного набора тестовых данных, вместо составления собственного, было произведено по следующим причинам: а. тесты общественные, доступны всем для собственного тестирования и проверки; б. при составлении собственной выборки больше вероятность подгона нужных данных; в. экономия времени при составлении такого объема данных.
Относительно цен, в настоящий момент они пересматривается.

Авторизуйтесь, чтобы написать комментарий