Что это
Prometheus показывает, что происходит с сервисом: доступен ли он, сколько запросов получает и как меняется время ответа. Обычно сервер периодически забирает метрики с настроенных HTTP-адресов и сохраняет их для запросов на языке PromQL.
Для AI-продукта полезны число ошибок и задержка ответа, но эти показатели сначала нужно измерить в приложении. Prometheus не читает диалоги и не оценивает сам, насколько правильный ответ дала модель. Для такой проверки нужен отдельный набор evals.
Начните с мониторинга самого Prometheus на своем компьютере. Когда появится понятный результат, добавляйте метрики приложения, правила оповещений и Grafana. Сразу продумайте объем хранения: каждый новый набор значений labels создает отдельный временной ряд.
Ключевые параметры
- Категория: Оценка, мониторинг и evals
- Сложность: Для разработчика
- Запуск: Около 30 минут
- Open-source: Да
- Данные: Высокий контроль
- Чувствительные данные: Только с настройками
Сильные стороны
- PromQL позволяет рассчитывать показатели по временным рядам и labels.
- Экспортеры и клиентские библиотеки помогают подключать разные сервисы.
- Собственный сервер может собирать и хранить метрики без облачной модели.
- Интеграция с Grafana и Alertmanager разделяет графики, правила и доставку уведомлений.
Ограничения
- Приложение должно отдавать подходящие метрики; установка сервера не создает их автоматически.
- Большое число уникальных labels увеличивает расход памяти и диска.
- Локальная база не становится отказоустойчивым кластером сама по себе; нужны план хранения и резервирование.
- HTTP-доступ открывает операционные данные и тяжелые запросы; публичное размещение требует защиты.
Как использовать
1. Подготовка. Скачайте официальный архив Prometheus для своей ОС и распакуйте в отдельную учебную папку. Выберите свободный порт 9090. Для теста не подключайте рабочие серверы.
2. Настройка. В prometheus.yml оставьте учебный scrape job с job_name: prometheus и target 127.0.0.1:9090. Проверьте конфигурацию командой ./promtool check config prometheus.yml, затем запустите ./prometheus --config.file=prometheus.yml --web.listen-address=127.0.0.1:9090. В Windows используйте соответствующие .exe из архива.
3. Первый результат. Откройте http://127.0.0.1:9090/targets и дождитесь UP. В /query выполните up{job="prometheus"}; должны появиться labels цели и значение 1. Это проверяет успешный сбор метрик, а не качество приложения.
4. Проверка. Сверьте job и instance с конфигурацией. Если результат пустой или 0, проверьте адрес, интервал сбора и ошибку на странице targets. Только затем подключайте один экспортер приложения; заранее задайте единицы, labels, срок хранения и понятное условие оповещения.
Примеры сценариев
- Отследить увеличение задержки AI-сервиса.
- Увидеть сбои обращения к внешнему API.
- Проверить доступность экспортера после развертывания.
Доступ и оплата
- Модель оплаты: Open-source
- Бесплатный тариф: Да
- Работа в РФ: Да
- VPN: Не нужен
- Русский интерфейс: Не известно
- Русский язык: Не известно
Prometheus бесплатен по Apache-2.0. Локальная работа не требует VPN или подписки, но загрузка и внешние источники имеют свои условия. Инфраструктура и облачные управляемые сервисы оплачиваются отдельно. Prometheus Agent Mode означает режим сбора и пересылки метрик, а не LLM-агента.
Когда не подходит
- Хранить тексты диалогов как labels
- Подтверждать качество ответа LLM только метрикой задержки
- Вести точный пооперационный финансовый учет
Альтернативы
Grafana чаще дополняет Prometheus графиками, а не заменяет сборщик. OpenTelemetry нужен для инструментирования и передачи телеметрии. Langfuse помогает разбирать LLM-вызовы и оценки; это другой уровень наблюдаемости.
