Проще говоря, golden answer отвечает на вопрос: “как должен выглядеть хороший результат?”. Например, если пользователь спрашивает про возврат товара, эталонный ответ должен содержать условия возврата, сроки, исключения и ссылку на актуальный регламент. Затем фактический ответ модели сравнивают с этим эталоном.
Golden answer не всегда должен быть единственным точным текстом. Для творческих, консультационных и аналитических задач часто лучше хранить не один “идеальный абзац”, а критерии: какие факты должны быть, чего нельзя говорить, какие источники нужны, какой тон допустим и какие ошибки считаются критичными.
В AI-проектах golden answers помогают не спорить “кажется, стало лучше”. Команда собирает набор тестовых вопросов, эталонных ответов и критериев, затем прогоняет модель после изменений промпта, RAG, инструментов или версии модели. Так можно увидеть регрессию до запуска в продакшен.
Примеры
- Для вопроса “как оформить возврат” golden answer содержит сроки, условия, исключения и ссылку на документ.
- В RAG-eval эталонный ответ проверяет, использовала ли модель правильный источник.
- Для классификации обращения golden answer может быть не текстом, а правильной категорией и приоритетом.
- Команда обновила системный промпт и сравнила новые ответы с golden answers, чтобы не сломать качество.
- Для юридического анализа golden answer хранит обязательные риски, которые модель должна найти в договоре.
Где используется
- Evals для LLM, RAG и AI-агентов
- Проверка качества после смены модели или промпта
- Регрессионное тестирование AI-продукта
- Сравнение нескольких моделей или настроек retrieval
- Оценка groundedness, factuality и полноты ответа
- Контроль качества поддержки, юридических и финансовых сценариев
- Создание датасета для LLM-as-judge и ручной проверки
Связанные термины
Citation в ответе AI
Confidence score
Dataset для evals
Groundedness
LLM evals
LLM judge
LLM-as-judge
RAG Evals
Частые вопросы
Golden answer должен быть точным текстом?
Не всегда. Для задач с одним правильным ответом можно хранить точный текст. Для открытых задач лучше хранить критерии: обязательные факты, запреты, источники, тон и признаки критичной ошибки.
Чем golden answer отличается от dataset for evals?
Dataset for evals — это набор тестовых примеров. Golden answer — эталон или критерии внутри одного примера, с которыми сравнивают результат модели.
Кто должен писать golden answers?
Лучше всего — эксперт предметной области вместе с человеком, который понимает продукт. Для поддержки это могут быть лиды поддержки, для юрзадач — юрист, для финансов — бухгалтер или финансовый контролер.
Какая частая ошибка при golden answers?
Писать слишком узкий “идеальный текст” и считать все другие формулировки ошибкой. Для LLM часто важнее проверять смысл, факты, источники и ограничения, а не буквальное совпадение.
