Безопасность, оценка и контроль Open-source / Cloud

Langfuse

Open-source платформа для LLM observability: traces, prompt management, datasets, evals и dashboards.

Открыть сайт

Что это

Langfuse помогает отслеживать LLM-приложения и AI-агентов: prompts, responses, tool calls, cost, latency, sessions, users, datasets, experiments и dashboards. Подходит командам, которым нужна self-hostable наблюдаемость для production AI-систем.

Когда выбирать

Нужен для тестирования промптов, оценки качества, guardrails, red teaming, наблюдаемости и контроля AI-систем перед production.

На что обратить внимание

Оценки должны быть привязаны к реальным рискам: утечки данных, токсичность, галлюцинации, неверные действия агента и нарушения политик.

Как начать

  • Опишите рисковые сценарии.
  • Соберите тестовый набор.
  • Запустите регулярные проверки.
  • Отслеживайте регрессии после изменений.

Лучше всего подходит

Типовые задачи

LLM observability tracing prompt management evals dashboards

Упоминания

Статьи, где встречается Langfuse