Программа · Модуль 2. Промпты: как разговаривать с ИИ
2.3. Как проверять ответ ИИ: чек-лист фактов, цифр и ссылок
Ответ модели выглядит готовым, и именно поэтому его хочется отправить сразу. Проверка занимает несколько минут и почти всегда что-то находит — вопрос лишь в том, найдёте это вы или клиент.
Проверять нужно не стиль, а происхождение утверждений. Хороший текст с неверной цифрой хуже плохого текста: он убеждает и клиента, и вас. Ниже порядок, который занимает меньше времени, чем одна исправленная ошибка.
- Прочитайте ответ и подчеркните каждое утверждение о факте: срок, условие, покрытие, исключение.
- Отдельно выпишите все цифры: суммы, проценты, сроки, количество дней.
- Для каждой цифры найдите источник: расчёт, правила, полис, письмо СК.
- Проверьте ссылки на правила и пункты — открывается ли документ и есть ли там это.
- Прогоните текст на персональные данные и на обещания, которых вы не давали.
| Что проверять | Как | Чем |
|---|---|---|
| Факты о покрытии | Найти то же утверждение в правилах или полисе | Правила СК, полис, памятка |
| Цифры и суммы | Пересчитать вручную или в таблице | Калькулятор, расчёт СК, CRM |
| Ссылки на пункты | Открыть документ и найти пункт | Сайт СК, выданные правила |
| Названия продуктов | Сверить с текущей линейкой | Сайт СК, куратор, брокер |
| Сроки и даты | Сверить с календарём и условиями | Полис, CRM |
| Персональные данные | Прочитать глазами, не доверяя модели | Своя проверка перед отправкой |
Не проверяйте ИИ тем же ИИВторой чат охотно подтвердит выдумку первого: он тоже не видел ваших правил. Проверка — это документ, расчёт или человек, который отвечает за результат.
Промпт: Проверка ответа по чек-листу
Ты — строгий проверяющий страховых текстов. Ниже текст, который собираются отправить клиенту. 1) Выпиши все утверждения о фактах, условиях и сроках. 2) Выпиши все цифры. 3) Для каждого пункта укажи: чем это можно подтвердить (правила СК, полис, расчёт) или пометь «подтверждения нет». 4) Найди обещания, которых агент не вправе давать. 5) Найди признаки персональных данных. Верни таблицу: фрагмент | тип | чем подтвердить | риск. Не переписывай текст и не добавляй новых фактов. Текст: [вставьте текст]
Отдельно про ссылки. Модель умеет выдавать аккуратный номер пункта и красивый адрес страницы, которых не существует. Правило одно: ссылка считается рабочей только после того, как вы открыли документ и нашли в нём это место. Всё остальное — гипотеза.
Проверяйте выборочно, но регулярноНе нужно перепроверять каждое слово. Достаточно первых двух недель проверять всё, что уходит клиенту, — за это время видно, какие типы ошибок повторяются именно у вас.
Задание
Возьмите последний текст, который ИИ подготовил для клиента. Прогоните его по чек-листу: выпишите все цифры и все утверждения о покрытии, напротив каждого поставьте источник или пометку «подтверждения нет». Получилось, если хотя бы один пункт остался без источника и вы его исправили или убрали.Главное из урока
- Проверяйте происхождение фактов, а не красоту текста
- Каждая цифра должна иметь источник: расчёт, правила, полис
- Ссылка на пункт правил считается рабочей только после открытия документа
- Второй чат-ИИ не является проверкой — он не видел ваших правил