В обычном чате модель может звучать уверенно даже тогда, когда ошибается. Поэтому фраза «ИИ сказал» не является источником. Источником считается документ, страница, запись в CRM, договор, письмо, база знаний, официальная инструкция, API-ответ или другой проверяемый объект, к которому можно вернуться и сверить факт.
В RAG-системах проверка источников особенно важна. Модель получает фрагменты документов и должна отвечать по ним, а не по памяти. Хорошая реализация хранит ссылку на документ, номер страницы или раздел, цитату или релевантный фрагмент, дату обновления и уверенность retrieval. Если подходящего фрагмента нет, ассистент должен сказать, что данных недостаточно.
Проверка источников отличается от fact-checking. Fact-checking - это итоговая проверка утверждения на истинность. Проверка источников - более ранний слой: есть ли у ответа опора, откуда она взята, актуальна ли она и подходит ли для конкретного вывода. Без этого фактчекинг превращается в ручной поиск по следам уже готового ответа.
Для AI-агентов проверка источников должна быть встроена в процесс. Агент, который мониторит конкурентов, готовит отчет руководству или отвечает клиентам, должен сохранять URL, дату доступа, найденный фрагмент и уровень уверенности. Если источник слабый, устаревший или противоречит другому источнику, агент должен пометить вывод как спорный и передать его человеку.
Главные ошибки: принимать ответ модели за доказательство, не хранить ссылки на источники, смешивать официальные документы с форумами и пересказами, не проверять дату публикации, использовать один источник для важного вывода, игнорировать противоречия и не показывать пользователю, на чем основан ответ. В ответственных сценариях лучше работать по правилу: нет источника - нет уверенного утверждения.
Примеры
- RAG-бот отвечает по базе знаний и рядом с ответом показывает документ, раздел и фрагмент, из которого взят факт. Если фрагмента нет, бот не выдумывает ответ.
- AI-агент готовит обзор конкурентов и для каждого тезиса сохраняет URL страницы, дату доступа, цитату и пометку: официальный сайт, медиа, блог или пользовательский отзыв.
- Ассистент поддержки видит вопрос клиента о возврате денег и проверяет ответ только по актуальной политике возврата, а не по старой статье из базы знаний.
- Перед отправкой отчета руководителю агент помечает спорные выводы: один источник говорит о росте цен, второй - о скидке, поэтому требуется ручная проверка.
- Система проверяет, что ссылка действительно открывается, страница не изменилась, дата публикации подходит, а цитата подтверждает именно тот вывод, который попал в ответ.
Где используется
- ответы RAG-ассистента по документам компании
- проверка фактов в статьях, отчетах и аналитических записках
- мониторинг конкурентов, рынка и новостей
- поддержка клиентов с ответами по базе знаний и регламентам
- юридические, финансовые и HR-сценарии, где важна доказательная база
- проверка галлюцинаций и спорных утверждений модели
- подготовка отчетов с цитатами, ссылками и датой доступа
- оценка качества retrieval в RAG и внутреннем поиске
- создание evals для проверки grounded answers
- audit trail для AI-агентов, которые делают выводы на основе внешних данных
Связанные термины
Частые вопросы
Что считается источником для AI-ответа?
Источник - это проверяемый объект: документ, страница, запись в системе, API-ответ, письмо, договор, база знаний или официальный регламент. Сам ответ модели источником не считается, даже если он написан уверенно.
Чем проверка источников отличается от фактчекинга?
Проверка источников отвечает на вопрос: есть ли у утверждения надежная опора и где она находится. Фактчекинг проверяет, истинно ли само утверждение. На практике сначала нужно сохранить источники, а потом уже проверять выводы по ним.
Почему RAG не гарантирует правильные источники автоматически?
RAG может найти похожий фрагмент, но похожий не всегда значит подходящий. Модель может неправильно связать фрагмент с вопросом, обобщить слишком широко или проигнорировать дату. Поэтому нужны цитаты, оценка релевантности и правило отказа, если данных недостаточно.
Сколько источников нужно для надежного вывода?
Зависит от риска. Для простого ответа по внутренней инструкции часто достаточно одного актуального официального документа. Для рыночного вывода, новости, юридического или финансового тезиса лучше использовать несколько независимых источников и явно показывать противоречия.
Что должен сохранять AI-агент при проверке источников?
Минимум: ссылку или идентификатор документа, дату доступа или дату обновления, подтверждающий фрагмент, тип источника, уровень уверенности и причину вывода. Для важных действий также полезны audit log и отметка, кто подтвердил решение.
Когда нужно передавать проверку человеку?
Если источники противоречат друг другу, источник устарел, вывод влияет на деньги, договоры, безопасность, здоровье, юридические обязательства или публичную коммуникацию, лучше включать human-in-the-loop.
