Простой пример: модель училась распознавать заявки клиентов по маленькому набору писем. Если в обучении часто встречалась одна конкретная фраза, модель может решить, что именно она всегда означает нужную категорию. На реальных новых письмах формулировки будут другими, и качество резко упадет.
В LLM и ИИ-агентах overfitting встречается не только при обучении модели. Он может появиться в evals, prompt templates, классификаторах, RAG-настройках и fine-tuning. Например, команда долго правит промпт под 20 тестовых кейсов, и агент идеально проходит эти кейсы, но хуже отвечает на живые вопросы пользователей.
Чтобы снижать overfitting, данные делят на train, validation и test, используют реальные разнообразные кейсы, проверяют модель на новых примерах, следят за regression suite и не оптимизируют систему только под один набор тестов. В production важно смотреть не только лабораторные метрики, но и качество на реальном трафике.
Примеры
- Модель классификации отлично работает на обучающих письмах, но путается на новых обращениях клиентов.
- Команда дорабатывает prompt template под один тестовый набор, и агент начинает хуже отвечать на реальные вопросы.
- Fine-tuned модель запомнила стиль маленького датасета и плохо переносит задачу на другие темы.
- RAG-настройку подогнали под 30 вопросов, но на новых вопросах retriever находит нерелевантные документы.
- Regression suite показывает зеленый статус, но пользовательские кейсы вскрывают, что тесты стали слишком узкими.
Где используется
- Объяснять, почему высокая точность на обучении не гарантирует качество в production.
- Проверять ML-модели, LLM, классификаторы и fine-tuning на новых данных.
- Разделять датасеты на train, validation и test.
- Оценивать, не подогнали ли prompt template под маленький набор evals.
- Сравнивать качество модели на старых и новых пользовательских кейсах.
- Строить regression suite так, чтобы он не заменял реальные проверки качества.
- Контролировать качество RAG и retrieval на разнообразных вопросах.
- Понимать риски слишком маленького или однотипного training dataset.
- Использовать мониторинг после релиза, чтобы ловить падение качества на живом трафике.
Связанные термины
Baseline
Baseline forecast
Classification
Confidence score
Data quality check
Dataset для evals
Dataset для evals
Distillation
Частые вопросы
Что такое overfitting простыми словами?
Это когда модель слишком хорошо запомнила тренировочные примеры и из-за этого хуже справляется с новыми, незнакомыми данными.
Как понять, что модель переобучилась?
Если качество на обучающем наборе высокое, а на validation, test или реальных данных заметно ниже, это признак overfitting.
Может ли overfitting быть у промптов?
Да. Если промпт долго правят под маленький набор тестовых вопросов, он может отлично проходить эти вопросы, но хуже работать на живых сценариях.
Как снизить риск overfitting?
Нужно использовать разнообразные данные, отдельный test set, реальные кейсы, регулярные evals, мониторинг production-качества и не оптимизировать систему только под один набор примеров.
Чем overfitting отличается от underfitting?
При overfitting модель слишком подстроилась под обучение. При underfitting она не выучила даже основные закономерности и плохо работает и на обучении, и на новых данных.
