Что такое галлюцинация ИИ? Почему модели выдумывают

Что означает это слово

Галлюцинация — это когда модель выдаёт нечто ложное, звуча при этом ровно настолько же уверенно, как когда она права. Выдуманная ссылка, правдоподобный, но не существующий метод API, придуманная статистика, политика, которой в вашей компании никогда не было. Слово — неудачная метафора, ведь никакого восприятия здесь нет, но оно называет вещь настоящую и конкретную: вывод, который хорошо сформулирован, уместен в контексте и не соответствует действительности, и в тексте нет ни одного признака, который бы его выдал.

Почему это происходит

Языковую модель учат порождать вероятные продолжения текста, а не утверждать факты, которые она может проверить. Когда её просят дать ссылку, она выдаёт нечто по форме похожее на ссылку: правдоподобные авторы, правдоподобный журнал, правдоподобный год. Ничто в этом процессе не обращается к источнику, потому что обращаться некуда: модель хранит статистические закономерности, а не записи. Гладкость и точность — разные свойства, и оптимизировали только одно из них.

Почему это нельзя просто исправить

Это следует из устройства моделей, а не из недостатка обучения. У модели нет внутренней пометки, отличающей факт, встреченный тысячи раз, от шаблона, который она достраивает впервые, — именно поэтому «отвечай только если уверен» помогает гораздо слабее, чем кажется. Уверенность модели — не измерение её знаний, а свойство текста. Каждое работающее средство работает за счёт добавления чего-то вне модели, а не за счёт просьбы к модели постараться сильнее.

Где это наиболее вероятно

Риск концентрируется предсказуемо. Конкретные факты, которые модель встречала редко: небольшие компании, недавние события, узкие API, точные числа. Всё, что позже даты отсечения знаний, где у модели нет данных, но нет и осознания пробела. Вопросы с ложной посылкой, которую модель чаще примет и разовьёт, чем оспорит. И длинные генерации, где ранняя выдумка становится фундаментом для всего последующего.

Что действительно снижает риск

Главный рычаг — заземление: извлечь релевантный источник и потребовать от модели отвечать только из того, что вы предоставили, в идеале указывая, какой фрагмент подтверждает каждое утверждение. Это не устраняет проблему — модель всё ещё может неверно прочесть или чрезмерно расширить найденный фрагмент, — но меняет характер сбоя с выдумки на неверную интерпретацию, а её поймать намного легче. Второе — ограничение: просить структурированный вывод по схеме, чтобы ответ можно было проверить механически, а не читать на правдоподобие. Третье — верификация: второй проход, который порождает проверяемые вопросы к черновику и отвечает на них независимо.

Продуктовое решение под всем этим

Поскольку свести частоту к нулю нельзя, проектный вопрос в том, кто поймает то, что проскочило. У инструмента для черновиков, где человек просматривает каждый вывод, ответ приемлемый. У автоматического конвейера, пишущего в клиентскую систему, — нет, и никакое количество промпт-инжиниринга его не создаст. Самая надёжная защита — не лучший промпт, а процесс, в котором неверный ответ виден и стоит дёшево.

Как это измерять

Команды, относящиеся к галлюцинациям как к ощущению, никогда не узнают, стало ли лучше. Соберите фиксированный набор вопросов с заведомо верными ответами — включая такие, где правильный отклик это «не знаю» или «этого нет в предоставленных документах», — и оценивайте по нему при каждой смене модели, промпта или retrieval. Именно эти случаи отказа важнее всего и именно они почти всегда отсутствуют в наборе для оценки.

Как говорить об этом честно

Если ваш продукт использует языковую модель, пользователи однажды встретят уверенную ложь. Сказать об этом прямо в интерфейсе, показывать источники там, где они есть, и упростить исправление стоит меньше доверия, чем быть поймавшимся на подаче выдумки как факта. Сбой ожидаем; непростительно как раз изображать его невозможным.