Квантование уменьшает точность хранения весов модели, чтобы она занимала меньше памяти и могла работать на более доступном железе.
Компромисс простой: чем сильнее сжатие, тем меньше требования к памяти, но возможна потеря качества. Для локальных агентов квантование часто решает, запустится модель на вашем компьютере или нет.
Термин
Квантование
Сжатие модели, которое снижает требования к памяти и ускоряет локальный запуск.