Локальная LLM позволяет использовать AI без постоянной отправки запросов в облако. Она может работать офлайн, обрабатывать приватные документы и быть частью self-hosted AI-стека.
Качество и скорость зависят от модели, размера, квантования, CPU, RAM и GPU.
Термин
Локальная LLM
Большая языковая модель, которая запускается на локальном компьютере или сервере.