Dataset означает набор данных. Dataset для evals - специальный набор тестовых случаев: с его помощью проверяют, насколько хорошо модель, RAG или ИИ-агент справляются с задачей. Это не учебные примеры для тренировки модели, а контрольная проверка ее поведения.
Каждый случай содержит входной запрос, необходимый контекст и критерий успеха. Иногда нужен точный ожидаемый ответ, иногда - правило: назвать цену только из источника, вернуть корректный JSON, не менять данные без подтверждения. Дополнительно сохраняют категорию, сложность и разрешенные источники.
Для агента недостаточно оценить текст. Нужно проверить вызовы инструментов, переданные аргументы, ссылки на документы, передачу человеку и фактические изменения в системе. Красивый ответ не считается успешным, если агент записал неверную сумму в CRM или выполнил запрещенное действие.
В набор включают обычные запросы и сложные случаи: пустой контекст, противоречивые документы, ошибки пользователя, недоступный инструмент, попытку подменить инструкцию и ситуацию, в которой правильный результат - остановиться. Иначе тест покажет хорошее качество только на удобных примерах.
После изменения модели, системного промпта, поиска или инструментов повторяют проверку на одной версии набора. Так можно сравнить качество с исходным вариантом и увидеть регрессии, лишние вызовы или рост расходов. Причины ошибок разбирают по отдельным сценариям, а не только по общей средней оценке.
Датасет версионируют, очищают от ошибок и дополняют случаями из реальной работы. Отдельную контрольную часть не используют для постоянной подгонки промпта: иначе результаты теста улучшатся, а надежность на новых запросах - нет. При включении рабочих примеров учитывают права на данные и удаляют ненужную персональную информацию.
Примеры
- Для вопроса о возврате товара указан нужный регламент и правило не выдумывать сроки.
- Сценарий с отсутствующей ценой проверяет, что агент попросит уточнение, а не назовет случайную сумму.
- Тест записи в CRM сравнивает аргументы вызова с ожидаемыми полями и требует подтверждения пользователя.
- После замены модели команда запускает ту же версию датасета и разбирает новые ошибки.
Где используется
- проверка ответов модели и RAG
- регрессионное тестирование после изменений
- сравнение моделей и промптов
- проверка вызовов инструментов и ограничений агента
- контроль качества перед запуском
Связанные термины
Частые вопросы
Что должно быть в dataset для evals?
Запрос, контекст, критерий успеха или ожидаемый ответ, категория сценария и необходимые ограничения. Для агента добавляют ожидаемые вызовы инструментов и допустимые действия.
Чем он отличается от обучающего датасета?
Обучающий набор используют для изменения параметров модели. Контрольный набор оценивает поведение уже выбранной модели или системы и не должен служить материалом для подгонки под тест.
Нужен ли один точный ответ для каждого теста?
Не всегда. Для свободного текста часто удобнее критерии: фактическая точность, источник, полнота и отсутствие запрещенных действий. Для JSON и аргументов инструментов можно проверять конкретные значения.
Какие сложные сценарии добавить?
Пустой или противоречивый контекст, неоднозначные вопросы, недоступные инструменты, опасные действия и попытки подменить инструкцию. Включайте ошибки, которые встречались в работе.
Когда запускать проверку заново?
После изменения модели, промпта, поиска, базы знаний, инструментов или правил безопасности. Для сравнения используйте одинаковую версию контрольного набора.
Как избежать подгонки под тесты?
Отделите контрольную часть от примеров для разработки, версионируйте набор и добавляйте реальные новые случаи. Не переписывайте каждый тест ради удобного результата.
