Что это
Langfuse - платформа наблюдаемости и оценки для приложений с языковыми моделями. Она помогает понять, что произошло в конкретном запросе: какие шаги выполнялись, где возникла ошибка и какие данные были записаны приложением. Для этого нужно подключить SDK или совместимую интеграцию.
Можно хранить версии промптов, запускать эксперименты на наборах примеров и добавлять оценки. Полезнее сравнивать варианты на одной задаче с известным критерием, чем смотреть только на красивый ответ. Автоматический оценщик тоже способен ошибаться.
Доступны облако и собственное размещение; ядро открыто, Enterprise-компоненты лицензируются отдельно. Здесь описаны прежде всего трассировки и оценки. В продукте также есть отдельный встроенный помощник, но его наличие не означает автоматическую разработку или запуск вашего агента.
Ключевые параметры
- Категория: Оценка, мониторинг и evals
- Сложность: Для разработчика
- Запуск: Около 30 минут
- Open-source: Да
- Данные: Не известно
- Чувствительные данные: Только с настройками
Сильные стороны
- Трассировки связывают вложенные шаги в единый запрос.
- Версии промптов помогают воспроизводить и сравнивать изменения.
- Наборы примеров и оценки позволяют проверять качество систематически.
- Есть собственное размещение и интеграции с популярными LLM-библиотеками.
Ограничения
- Неинструментированные шаги и незаписанные данные не появятся в интерфейсе сами.
- Входы и ответы в трассах могут содержать чувствительные данные; нужны правила маскирования и доступа.
- Собственное размещение требует нескольких сервисов, обновлений, резервных копий и мониторинга.
- Облачные лимиты, хранение и дополнительные оценщики влияют на расходы; оценка моделью не является истиной.
Как использовать
1. Подготовка. Выберите одну учебную функцию без секретов и определите ожидаемый результат. Для первого теста вызов платной модели не нужен: сначала проверьте доставку трассы.
2. Настройка. Создайте проект в доступном облачном аккаунте или своем экземпляре. Установите актуальный SDK langfuse, задайте LANGFUSE_PUBLIC_KEY, LANGFUSE_SECRET_KEY и LANGFUSE_BASE_URL для своего региона. Секретный ключ не размещайте в браузере.
3. Первый результат. В Python получите клиент через get_client(). Создайте наблюдение start_as_current_observation с as_type="span" и name="first-check", выполните учебную функцию и запишите ее результат через span.update(output=...). Перед выходом короткого скрипта вызовите flush(). Найдите запись в проекте.
4. Проверка. Сверьте имя, результат и время выполнения с локальным запуском. Затем подключите один реальный LLM-шаг через поддерживаемую интеграцию и проверьте вложенность. Токены и расчет стоимости сверяйте с тем, что действительно передает интеграция; до рабочей нагрузки настройте удаление чувствительных данных и срок хранения.
Доступ и оплата
- Модель оплаты: Бесплатный тариф + платные возможности
- Бесплатный тариф: Да
- Работа в РФ: Нужно проверять
- VPN: Не известно
- Русский интерфейс: Не известно
- Русский язык: Не известно
У Cloud есть бесплатный план с ограничениями, платные планы и учет использования. Единица облачного тарифа не равна автоматически одному запросу к модели. При self-hosting вы оплачиваете и обслуживаете инфраструктуру; некоторые Enterprise-возможности имеют отдельную лицензию. Проверяйте также стоимость модели для автоматических оценок.
Когда не подходит
- Получить трассировки без подключения приложения
- Считать оценку LLM доказательством правильности
- Отправлять в облачные журналы секреты и личные данные без правил
Альтернативы
LangSmith объединяет наблюдаемость и оценки в экосистеме LangChain. Arize Phoenix подходит для трассировок и анализа LLM-приложений. OpenTelemetry дает общий стандарт инструментирования, но не заменяет готовый интерфейс промптов и оценок.
