Самый понятный пример — Ollama: после запуска сервис обычно доступен на `http://localhost:11434`, а приложения могут обращаться к нему через `/api/chat`, `/api/generate` или OpenAI-compatible endpoint, если он включен. Похожую роль могут выполнять LocalAI, LM Studio, LiteLLM, llama.cpp-сервер или self-hosted gateway.
Локальный API удобен тем, что приложения получают единый адрес для работы с моделью. Скрипт, редактор кода, Open WebUI, n8n, LangGraph или локальный агент могут не знать, где лежит модель и как она запущена. Они просто отправляют HTTP-запрос и получают ответ.
Но локальный API нужно защищать. Если открыть его наружу без авторизации, любой, кто получит доступ к порту, сможет тратить ресурсы, читать контекст запросов или запускать опасные действия через связанные tools. Для локальной машины обычно достаточно доступа только с `localhost`; для сервера нужны firewall, HTTPS, reverse proxy, токены, rate limit и логи.
Локальный API не равен “локальная модель”. Модель — это файл и runtime для inference, а API — слой доступа к ней. Один API может маршрутизировать запросы между несколькими моделями, делать fallback в облако, считать расходы, вести trace, добавлять guardrails и отдавать OpenAI-compatible формат для совместимости с готовыми библиотеками.
Примеры
- Ollama запущена на `http://localhost:11434`, а Python-скрипт отправляет запрос в `/api/chat` и получает ответ локальной модели.
- Open WebUI подключается к локальному API и дает пользователю чат-интерфейс без прямой работы с командной строкой.
- LM Studio поднимает OpenAI-compatible endpoint, чтобы существующее приложение могло использовать локальную модель вместо облачного API.
- LiteLLM работает как локальный gateway: часть запросов идет в Ollama, часть — в облачную модель, а приложение использует один общий URL.
- n8n или Flowise обращаются к локальному API для RAG-сценария по внутренним документам.
- На сервере API закрыт firewall и доступен только через VPN или reverse proxy с HTTPS и токеном.
Где используется
- Подключение локальной LLM к скриптам, IDE, чат-интерфейсу, n8n, Flowise, Dify или LangGraph.
- Запуск локального агента, который использует модель через HTTP, а не напрямую через CLI.
- OpenAI-compatible слой для приложений, которые уже умеют работать с `/v1/chat/completions`.
- Self-hosted inference на сервере компании для приватных документов и внутренних сценариев.
- Маршрутизация между локальными и облачными моделями через gateway или proxy.
- Контроль доступа: токены, firewall, VPN, allowlist IP, rate limit и audit logs.
- Мониторинг запросов: latency, ошибки, размер контекста, модель, traces и стоимость гибридных вызовов.
- Локальный RAG: API модели, API embeddings и векторная база работают рядом в одном окружении.
Связанные термины
Частые вопросы
Что такое локальный API простыми словами?
Это адрес на вашем компьютере или сервере, куда программы могут отправлять запросы к локальной модели или AI-сервису. Например, приложение отправляет текст на `localhost`, а в ответ получает сгенерированный ответ модели.
Чем локальный API отличается от локальной модели?
Локальная модель — это сама модель и runtime, который ее запускает. Локальный API — это слой доступа: HTTP-адрес, endpoints, формат запросов, авторизация, логи и иногда маршрутизация между моделями.
Зачем нужен OpenAI-compatible локальный API?
Он позволяет использовать локальную модель в приложениях, которые уже написаны под OpenAI API. Вместо изменения всей интеграции часто достаточно поменять base URL и модель.
Безопасно ли открывать локальный API в интернет?
Нет, без защиты это опасно. Если API доступен извне, нужны HTTPS, авторизация, firewall, rate limit, логи и ограничение действий. Для личного компьютера лучше держать доступ только на `localhost`.
Почему приложение не подключается к локальному API?
Частые причины: сервис не запущен, порт другой, firewall блокирует доступ, неверный base URL, CORS для браузера, несовместимый формат endpoint или модель не загружена.
Можно ли через локальный API построить AI-агента?
Да. Агент может обращаться к локальной модели через API, использовать локальные документы, память, векторную базу и tools. Но для опасных действий нужны права доступа, allowlist, approval и логирование.
