GPT
Безопасность, оценка и контроль Открытая библиотека; модели и инфраструктура оплачиваются отдельно

Guardrails AI

Guardrails AI - библиотека для проверки входов и ответов LLM по заданным правилам, а не готовая защита от всех ошибок ИИ.

Что это

Guardrails AI позволяет поставить проверку между языковой моделью и вашим приложением: например, проверить формат номера, структуру данных или выбранный тип нежелательного содержимого. Набор проверок и реакцию на нарушение выбирает разработчик.

Это не самостоятельный агент и не источник истины. Корректный JSON может содержать неверный факт, а проверка текста не ограничивает права инструмента. Контроль доступа, подтверждение действий и тесты приложения нужны отдельно.

Для нового подключения используйте актуальные пакеты валидаторов из публичного PyPI. В проекте объявлено прекращение старой установки через guardrails hub install и размещенного у Guardrails удаленного инференса с 25 августа 2026 года.

Ключевые параметры

  • Категория: Безопасность и guardrails
  • Сложность: Для разработчика
  • Запуск: Около 30 минут
  • Open-source: Да
  • Данные: Не известно
  • Чувствительные данные: Только с настройками
API Structured output Python Pydantic LLM API Self-hosted Сервер Локальный desktop

Доступные модели и версии

bring-your-own-key local-models

Сильные стороны

  • Позволяет явно определить проверяемое правило вместо надежды на один системный промпт.
  • Совмещает несколько валидаторов на входе или выходе приложения.
  • Поддерживает схемы Pydantic для структурированных ответов.
  • Можно начать с локальной проверки строки, не подключая платную языковую модель.

Ограничения

  • Проверяет только настроенные правила, а не все возможные риски.
  • ML-валидаторы могут ошибаться, требовать модели и увеличивать задержку.
  • Повторная генерация после ошибки увеличивает расходы и не гарантирует исправление.
  • Старые примеры с guardrails.hub и облачным инференсом требуют миграции.

Как использовать

1. Подготовка. Создайте отдельное Python-окружение и выберите одно правило: строка должна иметь заданный формат. Возьмите один корректный и один ошибочный учебный пример.
2. Настройка. Установите guardrails-ai и guardrails-ai-regex-match через pip. Импортируйте RegexMatch из guardrails_ai.regex_match, создайте Guard с этим валидатором и OnFailAction.EXCEPTION. Для такой проверки ключ LLM не нужен.
3. Первый результат. Передайте оба примера в guard.validate: корректная строка должна пройти, ошибочная - вызвать обработанное исключение. Не сохраняйте данные после неудачной проверки.
4. Проверка. Добавьте пустую строку, неожиданные символы и несколько реальных обезличенных ответов. Проверьте ложные отказы, время проверки и обработку ошибки. Только после этого включайте Guard между моделью и рабочим действием.

Доступ и оплата

  • Модель оплаты: Open-source
  • Бесплатный тариф: Да
  • Работа в РФ: Нужно проверять
  • VPN: Не известно
  • Русский интерфейс: Нет
  • Русский язык: Не известно

Библиотека открытая. Стоимость вызовов LLM и запуска тяжелых валидаторов учитывается отдельно. Отмененный hosted inference не следует считать доступной бесплатной облачной услугой.

Когда не подходит

  • Гарантировать отсутствие prompt injection
  • Заменить права доступа и подтверждение опасных действий
  • Считать любой прошедший ответ достоверным

Альтернативы

nemo-guardrails lakera-guard pydantic

NeMo Guardrails подходит для управления поведением диалога; Lakera Guard - отдельный сервис проверки угроз; Pydantic - для структуры и типов без готового набора safety-проверок.

Параметры для подборок

open-source ai-agents testing data-validation Для разработчиков open-source-ai-tools

FAQ

Это ИИ-агент?

Нет. Это слой проверок, который разработчик подключает к приложению.

Нужен ли ключ модели для первого теста?

Для локальной проверки строки по регулярному выражению - нет. Вызов LLM и некоторые валидаторы имеют другие требования.

Нужно ли сейчас использовать guardrails hub install?

Для новой установки используйте публичные пакеты PyPI и новый путь импорта guardrails_ai, согласно руководству миграции.

Правильный JSON означает правильный ответ?

Нет. Схема проверяет структуру, но факты, источники и бизнес-правила требуют отдельных проверок.

Можно ли проверять русский текст?

Проверяйте каждый выбранный валидатор на русских примерах. Нельзя переносить качество одного правила на всю библиотеку.

Лучше всего подходит

Типовые задачи

Проверить формат данных перед записью Блокировать ответ при нарушении заданного правила Добавить измеримые проверки в LLM-приложение

Упоминания

Статьи, где встречается Guardrails AI