Проще говоря, модель не хранит “истину” как базу данных. Она генерирует наиболее вероятное продолжение текста с учетом промпта и контекста. Если ей не хватает фактов, источник устарел, вопрос сформулирован слишком жестко или промпт требует отвечать любой ценой, модель может заполнить пробел красивой догадкой.
Не каждая ошибка модели - галлюцинация. Если модель плохо классифицировала письмо, перепутала формат JSON или нарушила инструкцию, это может быть ошибка выполнения. Галлюцинацией обычно называют именно выдумку или неподтвержденное утверждение, которое подается как факт.
В творческих задачах галлюцинация иногда не критична: идеи заголовков, варианты структуры, черновик рекламного текста или образ для иллюстрации могут быть свободными. Но в поддержке клиентов, медицине, юриспруденции, финансах, аналитике, коде, документах и AI-агентах галлюцинации опасны. Агент может не только написать неверный ответ, но и вызвать инструмент, изменить данные или отправить клиенту неправильное обещание.
RAG снижает риск галлюцинаций, потому что модель получает релевантные фрагменты из базы знаний. Но RAG не решает проблему полностью: поиск может вернуть не тот документ, контекст может быть неполным, а модель может неправильно связать источники. Поэтому нужны citations, проверка источников, groundedness/faithfulness-метрики, evals и human review для критичных сценариев.
Практически риск снижают так: явно разрешают модели говорить “не знаю”, требуют ссылаться на источник, отделяют факты от предположений, запрещают выдумывать ссылки и числа, проверяют ответы на тестовых кейсах, логируют сомнительные ответы, ограничивают опасные действия и отправляют спорные случаи человеку на approval.
Примеры
- Модель уверенно ссылается на закон, которого нет, или придумывает номер статьи.
- AI-ассистент пишет клиенту, что возврат денег уже одобрен, хотя в CRM такого статуса нет.
- Кодовый помощник предлагает метод API, который логично называется, но отсутствует в реальной версии библиотеки.
- RAG-бот отвечает по базе знаний, но добавляет условие доставки, которого не было в найденных документах.
- Модель придумывает ссылку на источник или цитату, потому что в промпте попросили обязательно дать подтверждение.
Где используется
- проверка качества LLM-ответов
- RAG по базе знаний
- поддержка клиентов
- юридические и финансовые документы
- AI-агенты с доступом к инструментам
- кодогенерация и code review
- аналитические отчеты
- проверка источников и citations
- evals перед запуском
- guardrails и human review
Связанные термины
Частые вопросы
Что такое галлюцинация ИИ простыми словами?
Это правдоподобный, но неверный ответ модели. Например, она может придумать факт, ссылку, цитату, число, пункт договора или функцию в коде и подать это как уверенную правду.
Почему ИИ галлюцинирует?
Модель генерирует вероятный ответ, а не проверяет факты сама по себе. Если в контексте нет нужной информации, источник устарел или промпт просит отвечать любой ценой, модель может заполнить пробел догадкой.
RAG полностью убирает галлюцинации?
Нет. RAG снижает риск, потому что добавляет документы в контекст, но поиск может вернуть не те фрагменты, документы могут противоречить друг другу, а модель может неверно интерпретировать источник.
Как понять, что ответ модели - галлюцинация?
Проверьте, есть ли утверждение в источнике, совпадают ли числа и даты, существует ли ссылка, поддерживается ли вывод найденным контекстом. Для RAG полезны citations, source verification, groundedness и faithfulness-проверки.
Как снизить риск галлюцинаций в AI-агенте?
Разрешите агенту отвечать “не знаю”, подключите RAG к проверенным источникам, запретите выдумывать факты, логируйте ответы, запускайте evals, ограничьте опасные tools и отправляйте спорные действия на human review.
