Термин
Distillation
Обучение меньшей модели повторять поведение более сильной модели или системы.
Distillation используют, чтобы снизить стоимость и latency, перенести поведение дорогой модели в меньшую или локальную модель. Нужны качественные примеры и evals, иначе маленькая модель унаследует ошибки.