Идея простая: большая модель может быть умной, но дорогой и медленной. Если задача узкая, иногда выгоднее собрать набор примеров от сильной модели и обучить меньшую модель хорошо решать именно этот класс задач.
В LLM-проектах distillation часто используют для классификации, извлечения полей, structured output, модерации, маршрутизации обращений, простых ответов поддержки и задач, где не нужен полный reasoning большой модели.
Distillation похожа на fine-tuning, но акцент другой. Fine-tuning дообучает модель на примерах нужного поведения. Distillation обычно подразумевает, что примеры или soft labels получены от более сильной модели, ансамбля или уже работающей AI-системы.
Главный риск - student перенесет не только сильные стороны teacher, но и ошибки: галлюцинации, bias, плохие отказы, лишние tool calls или неверные форматы. Поэтому после distillation нужны evals, отдельный тестовый датасет и сравнение с baseline.
Примеры
- Большая модель размечает 10 000 обращений клиентов по темам, а меньшую модель обучают классифицировать новые обращения дешевле.
- Teacher-модель генерирует идеальные JSON-ответы, а student учится стабильно возвращать structured output.
- Компания использует дорогую модель для подготовки эталонных ответов поддержки, а затем обучает меньшую модель для типовых вопросов.
- Для модерации контента большая модель объясняет нарушения, а маленькая модель учится быстро фильтровать очевидные случаи.
- Локальную модель дообучают на ответах сильной облачной модели, чтобы часть задач выполнять внутри компании.
- После distillation прогоняют eval dataset и проверяют, не ухудшились ли safety, точность и формат ответа.
Где используется
- удешевление массовых AI-запросов
- ускорение типовых классификаций
- обучение маленькой модели под узкую задачу
- подготовка локальной модели для компании
- structured output с меньшей стоимостью
- модерация и triage обращений
- маршрутизация запросов между агентами
- создание synthetic dataset
- сравнение teacher и student через evals
- снижение зависимости от большой модели
Связанные термины
Частые вопросы
Distillation и fine-tuning - это одно и то же?
Нет. Fine-tuning - общий способ дообучить модель на примерах. Distillation обычно означает, что примеры или метки получены от более сильной teacher-модели или системы.
Зачем делать distillation, если есть сильная модель?
Чтобы снизить стоимость, ускорить ответы, запускать часть задач локально или получить стабильную маленькую модель для узкого сценария.
Какие задачи хорошо подходят для distillation?
Классификация, извлечение полей, простые ответы, routing, модерация, structured output и другие повторяемые задачи с понятными критериями качества.
Чем опасна distillation?
Меньшая модель может перенять ошибки teacher-модели, хуже обрабатывать редкие случаи и выглядеть уверенно там, где должна отказаться или спросить уточнение.
Как проверить student-модель после distillation?
Через evals: отдельный тестовый датасет, сравнение с baseline, проверка safety, формата ответа, latency, стоимости и ошибок на пограничных сценариях.
Нужна ли distillation для каждого AI-агента?
Нет. Если нагрузка небольшая или задача часто меняется, проще использовать готовую модель. Distillation имеет смысл, когда есть объем, повторяемость и понятная экономия.
