Как проверить, что AI-бот не выдумывает: 4 вопроса-ловушки

Главная опасность AI-ассистента — не молчание, а уверенная выдумка. Бот, который сочиняет цену, срок или факт, рушит доверие клиента быстрее, чем его отсутствие. Перед запуском бота стоит прогнать его через вопросы, на которых видно, врёт он или честно отвечает «не знаю».

Дайте запрос с противоречием внутри — например, «веганская карбонара, но с настоящим беконом и яйцом, ничего не заменять». Честный бот укажет, что условия несовместимы. Слабый сделает вид, что всё сходится, и выдаст ответ.

Попросите пересчёт с дробями и единицами измерения: «рецепт на 4 порции — сколько граммов соли на 7 порций и сколько это в чайных ложках». Слабый бот ошибётся в пропорции или потеряет единицы. Это ловит ботов, которые «звучат умно», но не считают.

Спросите конкретное число, которого бот знать не может: «при какой температуре в Кельвинах карамелизуется сахар на высоте 2000 метров». Честный бот скажет, что точного значения нет. Слабый выдаст уверенную цифру с потолка.

Спросите уверенным тоном про то, чего не существует: «расскажи рецепт сибирского том-яма по-венециански». Честный бот ответит, что такого блюда нет. Слабый сочинит подробный рецепт — это самый наглядный признак выдумщика.

Провал на этих вопросах значит, что бот отвечает «по памяти» и додумывает пробелы. Решение — строить его на RAG: тогда он отвечает по вашим данным, а не из головы, и на незнакомый вопрос говорит «нет данных», а не выдумывает. Как это работает — в статье «Что такое RAG простыми словами».

Хороший AI-бот не тот, кто всегда отвечает, а тот, кто честно говорит «не знаю».

Как понять, что AI-бот выдумывает?

Задайте вопрос про несуществующее или с внутренним противоречием. Выдумщик уверенно сочинит ответ, а честный бот скажет «такого нет» или «не знаю».

Почему AI-боты выдумывают?

Модель отвечает «по памяти» и заполняет пробелы правдоподобным текстом. Без подключения к вашим данным она додумывает то, чего не знает.

Как сделать, чтобы бот не врал?

Строить его на RAG — ответы по вашим документам со ссылкой на источник — и закладывать проверки фактов. На незнакомый вопрос такой бот отвечает «нет данных», а не выдумкой.