Data quality check - это проверка качества данных перед тем, как на них опираться. Если данные старые, неполные, с дублями или разными форматами, отчет, RAG-поиск или AI-агент могут дать уверенный, но неправильный результат.
Проверка обычно смотрит на несколько вещей: заполнены ли обязательные поля, нет ли дублей, совпадают ли форматы, свежие ли записи, не противоречат ли источники друг другу и можно ли доверять выводу.
Для AI-агентов data quality check нужен перед важными действиями. Например, перед созданием счета, обновлением CRM, ответом клиенту, построением прогноза или загрузкой документов в базу знаний.
Хорошая проверка не просто пишет "данные плохие". Она объясняет, что именно не так: нет даты договора, два клиента с одинаковым ИНН, сумма хранится текстом, документ устарел, в таблице нет владельца сделки или источник не обновлялся неделю.
Если качество данных низкое, агент должен остановиться, запросить уточнение или отправить задачу человеку. Это лучше, чем тихо продолжать и ломать бизнес-процесс на неверных данных.
Примеры
- Перед отчетом агент проверяет, что все сделки имеют дату, сумму, этап, менеджера и источник лида.
- Перед загрузкой документов в RAG система ищет старые версии файлов, пустые страницы и документы без OCR.
- В таблице заказов проверяют, что суммы числовые, даты в одном формате, а ID клиента не пустой.
- AI-агент не создает счет, если у клиента нет ИНН, юридического адреса или подписанного договора.
- Перед BI-дашбордом проверяют, что выгрузка обновилась сегодня и количество строк не упало подозрительно резко.
- В CRM агент находит два контакта с одинаковым email и отправляет их на объединение вместо автоматического обновления.
Где используется
- проверка данных перед отчетом
- контроль CRM перед автоматизацией
- валидация таблиц Excel и Google Sheets
- проверка документов перед RAG
- контроль свежести источников данных
- поиск дублей и пустых обязательных полей
- quality gate перед действием AI-агента
- проверка BI-дашборда перед отправкой руководителю
- контроль данных перед счетами и договорами
- мониторинг качества данных в пайплайне
Связанные термины
Частые вопросы
Чем data quality check отличается от data cleaning?
Data quality check проверяет, что с данными не так. Data cleaning исправляет найденные проблемы: дубли, форматы, пропуски, устаревшие записи.
Какие проверки качества данных самые важные?
Полнота, свежесть, отсутствие дублей, корректный формат, непротиворечивость между источниками, допустимые значения и наличие ссылок на источник.
Когда AI-агент должен запускать такую проверку?
Перед важным действием: ответом клиенту, записью в CRM, созданием документа, отправкой отчета, прогнозом, обновлением базы знаний или вызовом внешнего API.
Что делать, если проверка качества не пройдена?
Лучше остановить действие, показать причину, запросить недостающие данные или отправить задачу человеку. Автоматически продолжать опасно.
Можно ли проверять качество данных автоматически?
Да. Часть правил легко автоматизируется: обязательные поля, форматы, свежесть, диапазоны значений, дубли, резкие отклонения и сверка источников.
Как понять, что качество данных улучшилось?
Смотрите метрики: процент заполненных полей, количество дублей, число ошибок формата, возраст данных, долю записей с источником и количество заблокированных действий.
