Обычно такой dataset содержит входной запрос, контекст, ожидаемый ответ или правило оценки, метки сложности, категорию сценария и иногда пример плохого ответа. Например: вопрос клиента, правильный источник в базе знаний, допустимый формат ответа и критерий "не выдумывать цену".
Dataset для evals нужен не для красивой статистики, а для контроля изменений. Если вы поменяли системный prompt, модель, RAG-настройки или tools, dataset помогает понять: стало лучше, хуже или просто иначе.
Хороший dataset покрывает реальные кейсы, а не только удобные примеры. В нем должны быть простые вопросы, пограничные случаи, ошибки пользователей, опасные запросы, пустой контекст, противоречивые данные и задачи, где агент обязан отказаться от действия.
Для AI-агентов dataset особенно важен, потому что проверять нужно не только текст ответа. Нужно смотреть, какие инструменты агент вызвал, записал ли он данные в CRM, сослался ли на источник, не нарушил ли guardrails и остановился ли там, где требовалось подтверждение человека.
Примеры
- Для агента поддержки dataset содержит 100 реальных вопросов клиентов, правильные источники и критерии качества ответа.
- Для RAG проверяют, нашел ли агент нужный документ, процитировал ли источник и не добавил ли факты, которых нет в базе.
- Для CRM-агента в dataset есть сценарии: создать задачу, обновить сделку, отказаться от записи без подтверждения.
- Для safety-evals добавляют запросы, где агент должен не раскрывать секреты, не обходить правила и не вызывать опасный tool.
- Для structured output в датасете фиксируют ожидаемую JSON-схему и проверяют, что модель не ломает формат.
- После смены модели прогоняют тот же dataset и сравнивают pass rate, ошибки и стоимость выполнения.
Где используется
- evals перед запуском AI-агента
- регрессионное тестирование promptов
- сравнение моделей между собой
- проверка RAG и citations
- контроль structured output
- проверка guardrails и отказов
- оценка tool calling
- подготовка fine-tuning данных
- проверка качества чат-бота поддержки
- мониторинг качества после релиза
Связанные термины
Частые вопросы
Dataset для evals и обучающий dataset - это одно и то же?
Нет. Обучающий dataset используют для обучения или fine-tuning. Dataset для evals нужен для проверки качества и должен оставаться отдельным, чтобы не подгонять модель под тесты.
Что должно быть в eval dataset?
Минимум: входной запрос, ожидаемое поведение, категория сценария, критерии оценки и при необходимости правильный источник, формат ответа или допустимые tool calls.
Сколько примеров нужно для начала?
Можно начать с 30-50 реальных кейсов, но важно покрыть разные типы ошибок. Для серьезного агента dataset постепенно расширяют до сотен сценариев.
Можно ли собрать dataset из реальных диалогов?
Да, это часто лучший источник. Но нужно убрать персональные данные, секреты, случайный мусор и добавить ожидаемое поведение или критерии оценки.
Как не испортить eval dataset?
Не смешивайте его с обучающими данными, храните версии, фиксируйте критерии оценки и добавляйте новые кейсы после найденных ошибок в продакшене.
Что проверять у AI-агента кроме текста ответа?
Tool calls, источники, формат вывода, соблюдение guardrails, запись в системы, handoff человеку, стоимость, задержку и поведение при нехватке данных.
