Важно не путать confidence score с гарантией правды. Высокая уверенность не означает, что ответ точно верный. Модель может уверенно ошибаться, особенно если данные неполные, вопрос двусмысленный или в контексте есть противоречия. Поэтому score нужно проверять на реальных примерах и калибровать.
В ИИ-агентах confidence score часто становится условием для следующего шага. Если уверенность высокая, агент отвечает сам. Если средняя, он ищет источники или задает уточняющий вопрос. Если низкая, отправляет задачу человеку, включает fallback или отказывается выполнять действие.
Хорошая система не просто показывает score, а объясняет, откуда он взялся: были ли источники, совпали ли правила, какая модель классифицировала запрос, какие проверки прошли и какие сигналы снизили уверенность.
Для продакшена одного порога недостаточно. Нужны evals, выборка реальных кейсов, матрица ошибок, мониторинг drift и отдельные пороги для разных действий. Например, для подсказки оператору можно принять score 0.7, а для автоматического возврата денег нужен почти идеальный уровень и подтверждение человека.
Примеры
- Классификатор ставит заявке категорию "возврат" с confidence 0.92, поэтому агент передает ее в нужную очередь.
- RAG-система нашла источник, но similarity score низкий, поэтому агент просит уточнить вопрос вместо уверенного ответа.
- Модерация помечает комментарий как токсичный с confidence 0.64, и система отправляет его на ручную проверку.
- Агент распознал счет из PDF, но сумма и ИНН имеют низкую уверенность, поэтому не создает платеж автоматически.
- Если confidence по ответу ниже 0.75, бот не публикует сообщение в чат клиента и предлагает оператору черновик.
- В evals видно, что при score выше 0.9 модель все равно ошибается в 6% юридических вопросов, поэтому порог для автоответа повышают.
Где используется
- порог для автоответа ИИ-агента
- маршрутизация заявок и обращений
- fallback при низкой уверенности
- human-in-the-loop approval
- оценка качества RAG-ответа
- модерация текста и изображений
- распознавание документов и OCR
- классификация лидов, тикетов и отзывов
- мониторинг качества модели в продакшене
- настройка evals и guardrails
Связанные термины
Частые вопросы
Confidence score показывает, что ответ точно правильный?
Нет. Это оценка уверенности системы, а не доказательство истины. Модель может уверенно ошибаться, поэтому важные ответы нужно проверять источниками, evals и ручным контролем.
Как выбрать порог уверенности?
Нужно собрать реальные примеры, прогнать evals и посмотреть, где баланс между пропусками и ложными срабатываниями приемлем для конкретной задачи.
Что делать при низком confidence score?
Обычно включают fallback: уточняющий вопрос, поиск дополнительных источников, перевод на человека, отказ от действия или сохранение черновика без автоматической публикации.
Чем confidence score отличается от probability?
Probability часто означает математическую вероятность класса в модели. Confidence score в продукте может быть составным сигналом: модель, правила, источники, проверки и бизнес-логика.
Можно ли показывать confidence пользователю?
Можно, но аккуратно. Для обычного пользователя лучше простые статусы: "уверены", "нужно проверить", "недостаточно данных". Сырые проценты могут создать ложное ощущение точности.
Почему confidence нужно мониторить после запуска?
Данные, запросы и поведение пользователей меняются. Порог, который работал на тестах, может стать слишком мягким или жестким в реальном потоке.
