GGUF используется для хранения open-weight моделей в формате, удобном для локального inference. Такие модели часто запускают через llama.cpp, Ollama, LM Studio и другие локальные инструменты.
На практике пользователь выбирает не только модель, но и вариант GGUF с нужным уровнем квантования.
Термин
GGUF
Популярный формат файлов моделей для локального запуска через llama.cpp и совместимые инструменты.