Проще говоря, schema detection отвечает на вопрос: с какой структурой мы имеем дело. Это особенно полезно, когда входные данные приходят из разных источников: счета, акты, анкеты, таблицы поставщиков, выгрузки CRM, ответы API, документы клиентов или файлы маркетплейсов.
В AI-агентах schema detection часто идет перед structured extraction и schema validation. Сначала агент понимает, что перед ним: счет, договор, таблица заказов, карточка клиента или лог событий. Затем выбирает подходящую схему извлечения и проверяет результат по правилам.
Например, если пользователь загрузил таблицу, агент может определить колонки: дата, номер заказа, SKU, сумма, статус доставки. Если это входящий документ, агент может распознать поля: контрагент, ИНН, дата, сумма, номер договора. Если это API-ответ, агент может описать структуру JSON и предложить модель данных.
Schema detection не должна заменять ручное утверждение схемы в важных процессах. Автоматическое определение может ошибиться: перепутать дату и строку, принять номер телефона за ID, не заметить вложенную таблицу, объединить разные сущности или пропустить обязательное поле.
Хорошая реализация обычно сочетает эвристику, примеры данных, LLM, правила домена и последующую валидацию. После обнаружения схемы полезно показывать человеку черновик: поля, типы, примеры значений, уверенность и спорные места.
Типичные ошибки: сразу писать данные в базу без проверки схемы, доверять одному примеру файла, не учитывать локали дат и валют, не хранить версию схемы и не логировать изменения структуры. В результате интеграция ломается при первом новом формате.
В production schema detection лучше использовать как этап pipeline: определить тип источника, предложить схему, проверить ее на нескольких примерах, сохранить версию, применить schema validation и только потом разрешить write-back или импорт.
Примеры
- AI-агент получает CSV поставщика и определяет, какие колонки отвечают за SKU, цену, остаток и название товара.
- Document AI распознает, что загруженный файл похож на счет, и предлагает схему с полями номер, дата, контрагент и сумма.
- Агент анализирует JSON-ответ API и предлагает Pydantic-модель для дальнейшей валидации.
- В таблице заявок система обнаруживает поля email, телефон, источник лида и статус обработки.
- Перед импортом данных агент показывает человеку найденную схему и просит подтвердить спорные колонки.
Где используется
- обработка входящих документов
- импорт CSV и Excel
- подготовка structured extraction
- анализ API-ответов
- создание Pydantic или Zod-модели
- маппинг колонок в CRM или 1С
- проверка новых форматов поставщиков
- подготовка schema validation
- автоматизация data ingestion pipeline
Связанные термины
Column dictionary
Confidence score
Data cleaning
Data enrichment
Data quality check
DataFrame
Dataset для evals
Document intake
Частые вопросы
Что такое schema detection простыми словами?
Это автоматическое определение структуры данных: какие поля, колонки, типы и блоки есть в файле, документе или API-ответе.
Чем schema detection отличается от schema validation?
Schema detection сначала пытается понять или предложить схему. Schema validation потом проверяет, соответствуют ли данные уже заданной схеме.
Зачем schema detection нужна AI-агентам?
Чтобы агент мог выбрать правильную схему извлечения, не перепутать поля, подготовить импорт и безопасно передать данные дальше.
Какие ошибки бывают при schema detection?
Система может неверно определить тип поля, пропустить обязательную колонку, перепутать сущности, не учесть формат дат или сделать вывод по слишком маленькому примеру.
Как сделать schema detection надежнее?
Проверять несколько примеров, показывать схему человеку, хранить версии, использовать domain rules, confidence score и обязательно запускать schema validation после обнаружения.
