Добрый и злой промпт: как получать от ИИ ожидаемый результат при каждом запуске

Почему одному пользователю ИИ выдаёт готовый отчёт, а другому три абзаца воды

Я разрабатывала курс RX-24 «Настройка генеративного ИИ в Directum RX» и много раз видела одну и ту же картину: двое сотрудников работают с одной и той же языковой моделью, но одному она выдаёт готовые структурированные результаты, а другому общие рассуждения без конкретики, которые приходится переделывать. Разница не в модели, а в том, как поставлена задача.

В этой статье на примере «доброго» и «злого» промпта я объясню, как превратить расплывчатую просьбу в контракт с конкретным заданием и четкими требованиями.

Знакомая ситуация

Если вы уже пробовали писать запросы к нейросетям, то знаете это чувство: написали, как вам казалось, понятно, а получили текст, который отвечает на что-то другое. Формат ответа меняется от запуска к запуску, важные детали теряются, а, чтобы получить нужный ответ, запрос приходится переписывать снова и снова.

Для разовой задачи это терпимо. Для рабочего процесса, который повторяется каждый день - это дорого. Допустим, подбор формулировки занимает 5 минут и нужно 10 попыток. Это почти час на одну задачу (расчёт условный, подставьте свои цифры). Если задача повторяется несколько раз в день, вы тратите на «уговоры» модели больше времени, чем она вам экономит.

Возьмём пример работы с Directum СЭД+. В компанию поступает множество входящих писем, их надо обрабатывать, перенаправлять руководителю на согласование, но часть писем - простой спам. Чтобы не тратить на него время, можно перепоручить первичную проверку искусственному интеллекту.

«Злой» промпт: просьба

Обычный запрос на естественном языке я называю злым, но не потому, что он плохой. Он злой по отношению к вам: модель вольна сама решить, что считать правильным ответом.

Промпт: Проанализируй входящее письмо и определи это спам или нет.

Что такое «проанализировать»? Тема обращения? Орфография? Фразы в тексте? Модель выберет сама, а при следующем запуске выберет по-другому. Вот как это может выглядеть.

Запуск 1:

Языковая модель анализирует текст на спам по речевым оборотам (пункт 2). То есть для неё проанализировать - найти часто встречающиеся речевые обороты в спам рассылках.

Запуск 2:

В этом случае языковая модель оценивает содержание письма и проверяет его на наличие спама, вредоносных вложений и подозрительных ссылок, а также выявляет грамматические и стилистические ошибки.

Однако такой результат не подходит для автоматизации процессов в решениях Directum по следующим причинам:

• Нестабильность формата. Модель выдаёт нешаблонные ответы, что делает их дальнейшую автоматическую обработку невозможной.
• Избыточность информации. Ответ получается слишком объёмным, дополнительные пункты проверки не несут практической пользы.

«Добрый» промпт: контракт

Добрый промпт содержит не пожелание, а требования к сути проверки и формату ответа.

Промпт: Проанализируй входящее письмо на спам и верни результат в следующем виде:

• Краткий список фраз, по которым можно понять, что это спам: список не более 3 пунктов
• Вывод спам или нет: одна фраза не длиннее 15 слов

Другого текста в ответе быть не должно.

Запуск 1:

Запуск 2:

Теперь при каждом запуске вы получите один и тот же ответ. Выводится 3 фразы, по которым можно определить - это спам-рассылка или нет. Результат можно сразу использовать: назойливую рекламу заблокировать, а важное письмо направить исполнителю.

При чётком промпте модель перестаёт угадывать и действует по инструкции. Это и есть переход от разговора с моделью к программированию её поведения. Чем больше рутины вы передаёте модели, тем выше предсказуемость: одни и те же входные данные должны давать один и тот же структурированный ответ. 

Навыки промптинга — это только начало курса RX-24 «Настройка генеративного ИИ в Directum RX». 

Промптинг — только начало. Что вы сможете после курса RX-24

К концу обучения вы сможете: