Проще говоря, LLM judge — это автоматический проверяющий. Ему дают исходный вопрос, ответ модели, иногда эталонный ответ или найденные документы, а также критерии оценки. На выходе он возвращает оценку: например, 1–5 баллов, pass/fail, список ошибок или объяснение, почему один ответ лучше другого.
LLM judge часто используют в evals-пайплайнах: при тестировании промптов, AI-агентов, RAG-систем, чат-ботов поддержки и генераторов контента. Это помогает быстро проверять сотни ответов после изменения промпта, модели, базы знаний или инструментов.
Но LLM judge не является идеальным арбитром. Он тоже может ошибаться, быть слишком мягким или слишком строгим, пропускать фактические ошибки и зависеть от формулировки рубрики. Поэтому его лучше использовать вместе с ручной проверкой, тестовыми наборами, детерминированными проверками и метриками согласия с человеком.
Примеры
- LLM judge проверяет, ответил ли бот поддержки на вопрос клиента полностью и в нужном тоне.
- После обновления системного промпта модель-судья сравнивает старые и новые ответы на тестовом наборе.
- В RAG-системе LLM judge оценивает, действительно ли ответ опирается на найденные документы.
- Для генератора статей модель-судья проверяет структуру, простоту объяснения, отсутствие воды и наличие FAQ.
- Для AI-агента LLM judge отмечает, не предложил ли агент рискованное действие без подтверждения человека.
Где используется
- Автоматическая оценка качества ответов LLM
- Prompt testing и сравнение версий промпта
- Evals для AI-агентов, RAG и чат-ботов поддержки
- Проверка tone of voice, полноты и безопасности ответа
- Сравнение двух моделей на одном наборе задач
- Контроль structured output и соблюдения JSON-схемы
- Регрессионное тестирование после изменения модели или базы знаний
Связанные термины
Confidence score
Dataset для evals
Evals
Human-in-the-loop
LLM-as-judge
QA Scorecard
RAG Evals
Structured output
Частые вопросы
LLM judge и LLM-as-judge — это одно и то же?
Почти да. LLM judge — это сама модель-проверяющий, а LLM-as-judge — подход, где такую модель используют для оценки AI-ответов.
Что должно быть в хорошем промпте для LLM judge?
Нужно указать задачу, критерии оценки, шкалу, формат ответа и примеры. Хорошая рубрика объясняет, что считать критической ошибкой, частичной ошибкой и хорошим ответом.
Можно ли заменить ручную проверку LLM judge?
Полностью — нет. LLM judge хорошо ускоряет массовую проверку, но для важных сценариев нужна выборочная ручная проверка и сравнение с оценками людей.
Какие ошибки бывают у LLM judge?
Он может быть нестабильным, слишком доверять красивому тексту, пропускать фактические ошибки, неверно применять критерии или менять строгость между запусками.
