Автоматизируем рутинные операции в службе поддержки DIRECTUM с помощью решения DIRECTUM Ario

31 13

Интеллектуальное решение DIRECTUM Ario увидело свет 3 апреля. Преимущество внутренних служб вендора в том, что мы намного раньше можем испытать на себе все достоинства и особенности новых продуктов. В этой статье расскажем, как мы автоматизируем рутинные операции в службе поддержки DIRECTUM с помощью решения DIRECTUM Ario

О нашей службе поддержки

Каждый день в службу поддержки DIRECTUM поступают обращения от наших клиентов. Обращения поступают по телефону, эл. почте, через сайт поддержки. В среднем 5 в час, 50 в день, 1100 в месяц, 13 000 в год. Все обращения должны быть зарегистрированы и направлены в работу.

Для регистрации обращения необходимо создать и заполнить его карточку. Среди реквизитов карточки заполняются

  • Организация и контакт
  • Краткое описание ошибки
  • Тип обращения (инцидент или консультация)
  • Область поддержки (раздел продукта, компонента, область знаний)
  • Приоритет

При этом важно зарегистрировать обращение корректно, ведь правильно выставленный приоритет позволяет своевременно реагировать на проблемы, а корректно определенные области поддержки помогают выбрать сотрудника, который решит вопрос эффективно.  

На выполнение этих рутинных операций дежурный инженер тратит около 6 минут. А новые сотрудники тратят еще больше времени из-за сложной классификации и не всегда точно определяют значения реквизитов.

Можно сказать, что в ходе регистрации человек выполняет задачу преобразования исходного текста письма в структурированный вид (карточку обращения), попутно выполняя дополнительные действия, такие как классификация по типу обращения, определение продукта, о котором идет речь, классификация по области поддержки (компонента/раздел продукта).

Хорошая новость в том, что эти операции можно автоматизировать с помощью DIRECTUM Ariо.

Что может Ario

Решение DIRECTUM Ario позволяет автоматически классифицировать документы или электронные письма и извлекать факты из текста с минимальным участием сотрудников.

  1. Накопленные в организации документы используются для обучения сервиса.
  2. Поступающие письма помещаются в «горячую папку», откуда их забирает DIRECTUM Ario
  3. Интеллектуальные сервисы распознают документы и благодаря проведенному обучению с высокой точностью определяют их вид
  4. В зависимости от вида документа Ario извлекает нужные данные из текста, переносит их в карточку DIRECTUM, которая отправляется на проверку сотруднику.

Подробнее о схеме работы решения

Как алгоритм работает в поддержке

Мы взяли базовые возможности сервисов Ario и интегрировали их со справочником обращений, доработав ISBL-разработку технического решения.

Рассмотрим захват с эл.почты.

Исходным элементом в схеме служит сырой текст эл. письма. Текст поступает на ящик support@directum.ru, далее с помощью службы DCTS преобразуется в задачу в DIRECTUM и поступает на сервис интеллектуальной обработки. На сервисе заведено несколько классификаторов, по одному на реквизит, например, тип, область, группа услуг/продукт. С сервиса возвращается упорядоченный по вероятностям список вариантов-значений по каждому реквизиту. Система выбирает вариант с наибольшей вероятностью и записывает его в карточку обращения.

Ключевым моментом при внедрении автоматической классификации и заполнения карточек обращений стал этап машинного обучения. Чтобы научить Ario разбираться в наших областях и типах обращений мы использовали 50 000 реальных примеров, зарегистрированных за последние 4 года. 

Вот как выглядит создание обращения:

Запрос на выдачу разрешения для генерации ключа системы DIRECTUM


 

Первые результаты

Ario начал трудиться над регистрацией обращений с марта 2018. За март в службу поддержки поступило порядка 1100 обращений. 85% из них были обработаны сервисом DIRECTUM Ario с заполнением реквизитов автоматически.

При этом надо понимать, что точность определения реквизитов системой не равна 100%. Есть «зеленая зона», с высоким доверием, а есть карточки, требующие ручной верификации. Например для Типа обращения реальная точность составила 88% - DIRECTUM Ario 775 раз сделал верный выбор при классификации, и 105 раз — неверный.

Обращения, в которых вероятность значений, определенных интеллектуальным сервисом, ниже удовлетворительной, отправляются на проверку дежурному инженеру.


 

Изменения после внедрения

Рассмотрим, как изменился процесс работы с обращениями после запуска автоматической регистрации в поддержке

До                                                                              После


 

Ключевые изменения касаются этапов 1 и 2. Теперь задачи заполнения карточки, определения приоритетов, типов обращений, областей поддержки (а значит и определение доступности услуг) решаются с помощью механизмов DIRECTUM Ario.

На вход Ario получает до 85% обращений. Точность заполнения реквизитов доходит до 0.88. Часть карточек, в которых Ario не уверен, система направляет на проверку дежурному. В перспективе можно выйти на авторегистрацию 75% обращений в поддержку. А дежурному инженеру остается отвечать на телефон и разбираться со случаями, где система не уверена.

Заменяя дежурного на «робота», мы получаем эффект в повышении скорости создания карточки, в точности определения значений реквизитов (исключаем человеческий фактор), а также в снижении трудоемкости по этому процессу и освобождению от рутины.

Что дальше?

В планах у нашей службы поддержки не останавливаться только на автоматической регистрации, но и выход на автоматизацию поиска ответов на задаваемые вопросы. Это интеллектуальный поиск похожих обращений, поступивших ранее, составление подсказок с наиболее вероятными решениями. Отдельным блоком идет автоматизация захвата информации с телефонных переговоров. Автоматизация рутинных операций позволит высвободить драгоценное время инженеров для настоящей работы -- решения срочных инцидентов, удаленных подключений, консультирования.

Потенциал данного решения очень широк, ведь любую процессную работу можно представить в виде повторяющихся итераций, состоящих из двух этапов: получение и структурировании информации «на входе» и ряда дальнейших действий, зависящих от этой информации. Весь секрет в том, чтобы научить машину разбираться в информации «на входе», а дальнейшие действия - дело техники.

Антон Волков

Пётр, вы молодцы! Ловко и результативно применили перспективное решение, с данной статьей обязательно ознакомлю своих клиентов!

П.С. Вспоминается конец 2016 года и наш совместный доклад "Интеллектуальный самообучающийся помощник", а ведь с этого все начиналось 

Дмитрий Тарасов

Интересно, это внедрение Ario повлияло на то, что качество работы службы поддержки DIRECTUM  в последнее время упало ниже плинтуса? На картинках оно конечно все красиво и технологично получается и даже скорее всего показатели работы СПД значительно улучшились, а по факту реальное время от отправки обращения с типом инцидент до получения решения этой проблемы увеличилось в разы. Если раньше я обращался в СПД и моей проблемой почти сразу начинали заниматься, то сейчас первые несколько дней (!!!) после отправки обращения приходится заниматься согласованием начала работ по обращению, которое из инцидента сразу почему-то превращается в платную консультацию, а по окончании работ трансформируется в зарегистрированный дефект. Дошло уже до того, что отправляя очередное обращение с типом инцидент, я с интересом жду, по какой причине в этот раз оно опять превратиться в платную консультацию. Причем в самом ответном письме нет никаких обоснований почему обращение вдруг стало платной консультацией и приходится опять связываться с СПД, чтобы узнать подробности. Ну и раз уж я затронул тему с платными консультациями, объясните мне пожалуйста, с какого такого перепугу, если у клиента нет действующего абонемента, то устранение дефекта системы автоматически превращается в платную консультацию?!

Что касается планов по автоматизации поиска ответов на задаваемые вопросы. Вы уж меня извините, но искать ответы в базе знаний и на клабе я и сам умею. И уж если я обратился в СПД, то с высокой долей вероятности решения проблемы там нет. Мне бы не хотелось, чтобы время решения инцидентов еще больше увеличилось, из-за того, что я буду переписываться теперь еще и с роботом. Как по мне, так лучше доработать поиск по базе знаний и ответам на клабе, чтобы можно было самим быстро находить нужные ответы без обращения в СПД.

Артем Сунцов

При общении со службой поддержки мне повезло больше, чем Михаилу Тарасову, и всё же частично я его поддерживаю:

1) Странно, что при таком небольшом объеме обращений результат бывает крайне длительно получаемым;

2) Классификация обращений начала смущать как раз не очень давно, чаще приходится отвлекать вашего закреплённого менеджера для выяснения подробностей и споров (хотя время регистраторов вы, несомненно, стали экономить; перераспределили временные затраты, по сути);

3) В службу поддержки обращаемся как к 3 линии, и получать автоответы с советами считаю скорее вредным, чем приятным для ваших клиентов.

Михаил Тарасов

Я тут не при чем . Мы в СПД обращаемся довольно редко, но как правило метко. 

Михаил Тарасов: обновлено 07.06.2018 в 11:40
Антон Волков

Что касается автоматического поиска и направления ответов, то данный функционал предназначается скорее для тех, кто как раз не пользуется поиском по базе знаний, а таких очень много.

Уверен, что освободившееся время сотрудников СПД можно будет направить для скорейшего решения уникальных обращений. Ведь основная задача Ario - это именно избавление от рутины, а не какой-то тупой чат-бот.

Дмитрий Тарасов

Ну если Ario сможет отсеивать обращения от источников, которые все же пользуются поиском, то почему бы и нет. Причем желательно, чтобы она это сделала не через обучение посредством долгого общения с источником обращения. :)

Петр Федотов

По поводу комментария Дмитрия: 

1. реальное время от отправки обращения с типом инцидент до получения решения этой проблемы увеличилось в разы
раньше я обращался в СПД и моей проблемой почти сразу начинали заниматься, то сейчас первые несколько дней (!!!) после отправки обращения приходится заниматься согласованием начала работ по обращению, которое из инцидента сразу почему-то превращается в платную консультацию

- получается, что своевременная реакция со стороны поддержки есть и заниматься проблемой готовы, но не могут из-за несоблюдения условий оказания поддержки в нашем с вами случае

2. В самом ответном письме нет никаких обоснований почему обращение вдруг стало платной консультацией и приходится опять связываться с СПД, чтобы узнать подробности
- обычно пишем в письме о регистрации, например, если у текущего заказчика нет текущего договора на техническую поддержку. Может быть где-то не указали, тогда прошу конкретики 

3. объясните мне пожалуйста, с какого такого перепугу, если у клиента нет действующего абонемента, то устранение дефекта системы автоматически превращается в платную консультацию?!
- думаю, что это ключевое в этом случае. Тут мы с вами (МайТэк) ограничены условиями партнерской программы, и это наша внутренняя кухня, обсудим персонально 
А для заказчиков все прозрачно - при первичной покупке системы DIRECTUM предоставляется Абонемент на новые версии ПО сроком действия один год (с даты поставки), который дает как возможность получать обновления, так и поддержку. А со второго года и дальше, абонемент необходимо продлять. Без абонемента услуги ограничены решением запросов и поддержкой на club-е

Петр Федотов

Про подсказки 

тут идея такая - карточки (обращения) можно разбить на кластеры, а карточки, это и изначальные вопросы (ошибки) и решения. Соответственно начать надо с поиска "топ похожих обращений". Затем "топ решений по похожим обращениям". И это будет подсказка для инженера, а не авто письмо или "переписка с роботом".

И только когда "топ решений" покажет высокие результаты, можно будет исключать из процесса инженера. Например, я копирую в форму на сайте текст ошибки, и мне сразу показывается топ решений, которые с 90% вероятностью мне подойдут, т.к. это решение основано на модели построенной с помощью машинного обучения на тысячах предыдущих обращений. 

Петр Федотов: обновлено 07.06.2018 в 12:11
Дмитрий Тарасов

Петр, спасибо за разъяснения, теперь картина более менее прояснилась.

Про работу СПД

Все претензии к работе СПД снимаются. Теперь стало понятно, куда и к кому надо обращаться с подобными вопросами. Единственное, я бы попросил вас еще раз перепроверить, действительно ли где-то указывается причина смены типа обращения, т.к. у себя я этой информации по последнему обращению не вижу.

Про подсказки

Если развитие решения будет осуществляться в таком ключе, то никаких вопросов к реализации нет. 

Дан Олейников

любопытная дискуссия

У нас тоже были проблемы с СПД, но они носили человеческий фактор - как правило несмотря на максимально подробное описание проблемы с попытками решения и приложенные файлы (логи, скрины и т.п.), первым ответом мы могли получить выдержку из справки о настройке, например, проблемной компоненты или службы. Далее еще раз уточняешь, что всё это уже сделано и т.п., получаешь в ответ запрос файлов... Получалось, что где-то с третьего-четвертого ответа начинался уже конструктив. Вроде ничего такого, но блин, время. Иногда конструктив начинался только на второй-третий рабочий день после обращения.

Эти проблемы мы решили "полюбовно" и претензий никаких нет.

Сейчас вот исходя из вышенаписанного, а не будет ли аналогичной проблемы снова?

Петр Федотов

Дан, по концепции алгоритмов с машинным обучением, проблем должно стать меньше:

Человек мыслит последовательно, исходя из своего опыта

  1. Хм, то что они пишут, похоже на ситуацию А, и на ситуацию Б, а если бы были вот такие нюансы, то можно отнести и к ситуации В. При этом опыт подсказывает человеку, что ситуаций А бывает 8 из 10, Б 2 из 10, а В очень редки. Значит надо попробовать решение А1.
  2. Хм, это не помогло, значит это все-таки ситуация Б, надо попробовать решение Б1
  3. Хм, решение Б1 тоже не помогло! Неужели это В... Чтобы точно убедиться, что это В надо посмотреть вот эти логи и сделать вот эти проверки... 
  4. Самое интересное, что есть еще ситуации Г и Д и др. о которых этот человек не знает и их даже не рассматривает, а его коллега сосед знает и учитывает (но может не знать про А и Б).

 

Как работает машина

  1. Обучаемся на тысячах примеров всех людей, кто их решал, в том числе и тех, кто уже не работает. Строим модель. Чем больше примеров - тем точнее зависимости. 
  2. Приходит ситуация - машина решает, что это ситуация с вероятностью: 
    1. А - 0.01
    2. Б - 0.24
    3. В - 0.67
    4. Г - 0.01 
    5. Д - 0.07  
  3. Человек получает результат анализа машины и начинает сразу работать по варианту В. 

На практике, как быстро мы к этому придем сказать сложно, но мы идем 

Петр Федотов: обновлено 08.06.2018 в 12:17
Юлия Литвинюк

Петр, в процессе общения по обращению может появиться новая информация, которая может изменить вероятность решения. Если на примере:

  1. появилось новое обращение
  2. машина решила, что это вариант В с вероятностью 0,67
  3. сотрудник СПД уточнил информацию 
  4. по новым данным это уже вариант Д с вероятностью 0,8

Я к тому, что предусмотрите возможность выполнять поиск похожих обращений не только в момент регистрации обращения, но и в любой момент (при изменении, по запросу сотрудника).

Юлия, почему бы и нет, приличный AI можно научить в том числе и в прогнозирование перераспределения вероятностей при изменении информации. И выдавать этот прогноз тоже можно научить, вопрос только в том, насколько результатам этого прогнозирования будут доверять живые люди.

Авторизуйтесь, чтобы написать комментарий