Проще говоря, faithful answer — это ответ без “додумывания”. Модель может переформулировать источник простыми словами, но не должна придумывать новые условия, даты, суммы, обещания, причины или выводы, которых нет в контексте.
Faithfulness особенно важна для RAG, корпоративного поиска, поддержки, юридических документов, финансов и аналитики. В таких задачах пользователь ожидает не просто красивый ответ, а корректное объяснение того, что написано в источниках.
Faithfulness близка к groundedness, но акцент немного другой. Groundedness говорит, есть ли опора на источники. Faithfulness говорит, не искажает ли ответ эти источники и не добавляет ли лишнего. Ответ может быть звучным и полезным, но не faithful, если в нем появились факты вне контекста.
Примеры
- В договоре указана оплата в течение 10 рабочих дней, и модель отвечает именно это, не добавляя “календарных”.
- RAG-система получает три чанка базы знаний и не использует факты, которых в них нет.
- Модель нарушает faithfulness, если пишет, что возврат бесплатный, хотя в источнике сказано только “условия зависят от тарифа”.
- Юридический агент faithful, если отделяет найденные пункты договора от собственных предположений.
- Eval помечает ответ как неверный, если ключевое утверждение нельзя подтвердить переданным контекстом.
Где используется
- Оценка качества RAG-ответов
- Проверка юридических, финансовых и технических ответов
- Снижение галлюцинаций в корпоративных AI-системах
- Evals для AI-поиска, базы знаний и поддержки
- Контроль source citation и source verification
- Диагностика плохого retrieval и шумных чанков
- Сравнение промптов, моделей и retrieval pipeline
Связанные термины
Citation в ответе AI
Citations
Golden answer
Groundedness
Hybrid retrieval
Knowledge chunk
LLM evals
LLM-as-judge
Частые вопросы
Faithfulness и factuality — это одно и то же?
Нет. Factuality — верность реальному миру. Faithfulness — верность переданному контексту. Ответ может быть фактически верным, но не faithful, если этого факта не было в источниках.
Чем faithfulness отличается от groundedness?
Термины близкие. Groundedness делает акцент на наличии опоры в источниках, а faithfulness — на том, что ответ не искажает источник и не добавляет неподтвержденные детали.
Как повысить faithfulness?
Давать модели релевантный контекст, просить отвечать только по источникам, показывать цитаты, запрещать догадки, проверять ответы evals и улучшать retrieval.
Как понять, что ответ не faithful?
В ответе есть утверждения, которых нет в контексте, неверные выводы из источника, смешение разных документов, преувеличения, неподтвержденные даты, суммы или условия.
