Что это
promptfoo помогает запускать regression evals перед релизом промпта, сравнивать модели, проверять expected outputs, RAG-ответы и security cases.
Ключевые параметры
- Категория: Prompt testing and evals
Когда выбирать
Выбирайте для поиска по документам, embeddings, векторных баз, RAG-сценариев и ответов с опорой на внутренние данные.
На что обратить внимание
Качество зависит от подготовки данных: разбиения документов, метаданных, обновления индекса и проверки релевантности найденных фрагментов.
Как начать
- Определите корпус документов.
- Настройте разбиение и индексацию.
- Проверьте ответы на контрольных вопросах.
- Добавьте ссылки на источники в результат.
