Что это
LiteLLM - библиотека и шлюз между приложением и провайдерами языковых моделей. Вместо отдельной интеграции с каждым провайдером можно использовать общий интерфейс и настроенные имена моделей. Вычисления выполняет выбранный провайдер или локальный сервер, а не сам шлюз.
В режиме Proxy доступны управление моделями, виртуальные ключи, лимиты и учет расходов. Маршрутизатор поддерживает балансировку и запасные маршруты. Набор возможностей зависит от конфигурации: простой прокси без базы не равен полноценному шлюзу с управлением ключами и бюджетами.
В текущих версиях есть отдельный API памяти с PostgreSQL; приложение должно само читать эти данные и включать нужный контекст. Для первого запуска достаточно одной модели, отдельного ключа приложения и короткого запроса. Затем проверяйте расход, совместимость и поведение при сбоях.
Ключевые параметры
- Категория: LLM API и модели
- Сложность: Для разработчика
- Запуск: Около 30 минут
- Open-source: Да
- Данные: Не известно
- Чувствительные данные: Только с настройками
Доступные модели и версии
Сильные стороны
- Общий API уменьшает объем кода для подключения провайдеров.
- Виртуальные ключи позволяют ограничивать модели и использование отдельных приложений.
- Маршрутизация поддерживает балансировку и настроенные fallback-сценарии.
- Учет расходов помогает сопоставлять использование с конкретными ключами и командами.
Ограничения
- Ключи и доступ к провайдерам нужно получить отдельно; их счета не включены в установку шлюза.
- Совместимость параметров и вызовов инструментов зависит от конкретного маршрута.
- Для виртуальных ключей и контроля бюджетов нужна база данных; простой прокси без нее не дает тот же контроль.
- Резервный провайдер меняет место обработки данных; маршруты, журналы и лимиты требуют отдельной проверки.
Как использовать
1. Подготовка. Выберите одну доступную модель и учебный запрос без закрытых данных. Подготовьте ключ провайдера с небольшим бюджетом и отдельное окружение, не связанное с рабочими приложениями.
2. Настройка. Разверните полный Proxy по актуальному Docker Compose quickstart с PostgreSQL. Проверьте файл перед запуском, закрепите версию образа и ограничьте опубликованный порт локальным 127.0.0.1. Задайте свои случайные LITELLM_MASTER_KEY и LITELLM_SALT_KEY, храните их вне репозитория; salt не меняйте без понимания миграции ключей.
3. Первый результат. В локальном Admin UI добавьте провайдера и модель, затем выдайте отдельный virtual key с доступом только к ней. Отправьте POST /v1/chat/completions с этим ключом, настроенным именем модели и коротким сообщением. Получите ответ через шлюз.
4. Проверка. Сверьте выбранную модель, usage и запись расхода; отдельно проверьте счет провайдера. Запрос с неверным ключом должен отклоняться. Проверьте лимиты тестового ключа до нагрузки; master key клиентам не передавайте. Fallback добавляйте только после проверки качества и допустимости второго провайдера.
Доступ и оплата
- Модель оплаты: Open-source
- Бесплатный тариф: Да
- Работа в РФ: Нужно проверять
- VPN: Не известно
- Русский интерфейс: Не известно
- Русский язык: Не известно
Код вне Enterprise-каталога распространяется под MIT. Это не подписка на модели: инфраструктура, вызовы провайдеров и корпоративные функции учитываются отдельно. При облачном маршруте текст покидает ваш сервер; собственный Proxy не делает модель локальной.
Когда не подходит
- Получить бесплатный доступ ко всем моделям
- Считать все параметры провайдеров одинаковыми
- Отдать приложению административный master key
Альтернативы
LangChain подходит для адаптеров модели внутри кода, но не заменяет весь шлюз доступа и бюджетов. Прямой API провайдера, например OpenAI API, проще при одной модели. LocalAI нужен для собственного совместимого сервера моделей. Это разные архитектуры, а не одинаковые тарифные сервисы.
