Что это
OpenAI Moderation API - классификатор контента, не чат и не готовая система блокировок. Для текста и изображений он возвращает flagged, флаги категорий и scores. Что публиковать, отклонять или показывать модератору, решает ваш процесс.
Сам endpoint модерации бесплатный, но аккаунт, региональные ограничения и лимиты сохраняются. Генерация текста другим методом и ваша инфраструктура не становятся бесплатными. omni-moderation-latest не проверяет аудио; возможности категорий для текста и изображений различаются.
Не используйте оценку как доказательство нарушения или проверку истинности текста. Для спорных случаев нужен человек, а для внедрения - собственная выборка и измерение ошибок. Сначала тестируйте режим без блокировок, чтобы увидеть ложные срабатывания и пропуски.
Ключевые параметры
- Категория: Безопасность и guardrails
- Сложность: Для разработчика
- Запуск: Около 30 минут
- Open-source: Нет
- Данные: Не известно
- Чувствительные данные: Только с настройками
Доступные модели и версии
Сильные стороны
- Возвращает отдельные категории и оценки вместо одного непрозрачного решения.
- Можно проверить вход без генерации ответа языковой моделью.
- Одна модель принимает текст и изображения в поддерживаемых категориях.
- Результат удобно передавать в очередь модератора, сохраняя окончательное решение за человеком.
Ограничения
- Возможны ложные срабатывания и пропущенные риски; нужна собственная тестовая выборка.
- Не все категории поддерживают изображения; нулевой score неподдерживаемой категории не доказывает безопасность.
- Обновление модели может изменить scores, поэтому свои пороги нужно периодически проверять.
- Не обнаруживает все виды prompt injection, утечки секретов, спама или бизнес-нарушений и не принимает решение вместо вашей политики.
Как использовать
1. Подготовка. Проверьте доступ к API по поддерживаемым странам. Возьмите несколько разрешенных учебных сообщений без персональных данных, включая «Спасибо, заказ получил» и «Доставка задержалась на день». Заранее определите, что спорные результаты идут человеку, а не в автоматический бан.
2. Настройка. Создайте отдельный ключ и храните его на сервере. Установите pip install openai; используйте standalone endpoint /v1/moderations и omni-moderation-latest. Не включайте блокировку рабочего чата.
3. Первый результат. Вызовите client.moderations.create(model="omni-moderation-latest", input=учебное_сообщение). Прочитайте results[0].flagged, categories и category_scores, сохраните результат с ID теста.
4. Проверка. Сравните результаты с ручной разметкой, отдельно учитывайте ложные срабатывания и пропуски. Проверьте ошибку API: отсутствие ответа не означает безопасность. Только после тестов настройте очередь проверки и правила для поддерживаемых категорий; не используйте случайный единый порог для всех случаев.
Доступ и оплата
- Модель оплаты: Бесплатно
- Бесплатный тариф: Да
- Работа в РФ: Нет
- VPN: Не известно
- Русский интерфейс: Не известно
- Русский язык: Не известно
Бесплатен standalone Moderation endpoint, не весь OpenAI API. Генерация, хранение, собственная очередь и работа модераторов имеют отдельные расходы. Россия не входит в официальный список поддерживаемых стран; наличие бесплатного метода не меняет эти условия.
Когда не подходит
- Проверить фактическую достоверность новости
- Признать любой flagged юридическим нарушением
- Проверять аудио или заменять все правила безопасности
Альтернативы
NeMo Guardrails описывает правила поведения приложения, Guardrails AI помогает валидировать ответы, а Lakera Guard ориентирован на риски безопасности LLM. Это соседние слои защиты, не точные замены классификатора текста и изображений. Сначала определите конкретный тип риска.
