Очистка данных нужна не только для больших дата-сетов. Даже обычная CRM, Excel-таблица, выгрузка из 1С или папка документов могут содержать ошибки: один клиент записан тремя способами, сумма хранится текстом, часть строк без владельца, а документы перемешаны с черновиками.
Для LLM и RAG data cleaning особенно важен. Модель может красиво ответить на вопрос, но если в базе знаний старые инструкции, лишние подписи, сканы без OCR или одинаковые документы в разных версиях, ответ будет уверенным, но неправильным.
Хорошая очистка не означает "стереть все подозрительное". Нужно фиксировать правила: что удаляем, что нормализуем, что отправляем на ручную проверку, где храним исходник и как можно откатить изменения.
AI-агент может помогать в data cleaning: находить дубли, классифицировать мусорные строки, предлагать нормализацию, выделять PII, составлять отчет о качестве данных и просить подтверждение для рискованных исправлений.
Примеры
- В CRM объединяют дубли клиентов: "ООО Ромашка", "Ромашка ООО" и "Romashka" оказываются одной компанией.
- В таблице датам приводят единый формат, чтобы агент правильно считал сроки и просрочки.
- Перед загрузкой документов в RAG удаляют старые версии инструкций, пустые страницы, подписи писем и повторяющиеся PDF.
- Из выгрузки заказов убирают тестовые строки, ошибочные суммы и записи без идентификатора клиента.
- AI-агент находит телефоны и email в документах и помечает их как персональные данные перед обработкой.
- В BI-отчете чистят названия каналов: "telegram", "TG", "Телеграм" и "Telegram Ads" раскладывают по понятным категориям.
Где используется
- подготовка базы знаний для RAG
- очистка CRM перед автоматизацией
- нормализация Excel и Google Sheets
- подготовка данных для BI и отчетов
- удаление дублей клиентов и сделок
- проверка обязательных полей
- приведение дат, сумм и телефонов к единому формату
- очистка документов перед OCR и embedding
- поиск персональных данных и чувствительной информации
- подготовка evals и тестовых наборов для AI-агента
Связанные термины
Частые вопросы
Зачем чистить данные перед AI-агентом?
AI-агент опирается на входные данные. Если там дубли, устаревшие документы и ошибки форматов, агент будет давать плохие рекомендации или делать неверные действия.
Data cleaning и нормализация данных - это одно и то же?
Нормализация - часть очистки. Она приводит данные к единому виду: даты, телефоны, названия, статусы, валюты. Data cleaning шире: туда входят дубли, пропуски, мусорные строки и проверки качества.
Можно ли полностью доверить очистку данных ИИ?
Для простых операций - да, например для поиска дублей или форматирования. Для удаления, объединения клиентов, правок финансовых данных и PII лучше оставлять подтверждение человеком.
Что чистить в первую очередь?
Начните с того, что сильнее всего ломает результат: дубли, пустые обязательные поля, неверные даты, старые документы, разные названия одних и тех же сущностей.
Как понять, что данные стали лучше?
Смотрите метрики качества: долю заполненных полей, количество дублей, число ошибок формата, актуальность документов и процент записей, прошедших проверку.
Нужно ли хранить исходные данные?
Да. Исходник, лог изменений и правила очистки нужны для проверки, отката и объяснения, почему агент или аналитика получили именно такой результат.
