Локальный запуск LLM Free / open-source local runtime

Ollama

Инструмент для локального запуска и управления open-weight LLM с API и библиотекой моделей.

Открыть сайт
Ollama помогает быстро скачать и запустить локальные модели, использовать их из командной строки и подключать приложения через локальный API. Часто используется вместе с Open WebUI и другими интерфейсами.

Лучше всего подходит

Типовые задачи

локальные модели разработка API Ollama library self-hosted