Обычно индексация включает несколько шагов: загрузка файла, извлечение текста, OCR для сканов, удаление мусора, определение типа документа, нарезка на chunks, сохранение metadata, расчет embeddings, запись в vector database или document store и привязка к исходному файлу.
Metadata важна не меньше текста. В нее кладут название файла, автора, дату, версию, раздел, источник, язык, тип документа, права доступа, ссылку на оригинал, статус актуальности и иногда номер страницы. Без metadata агенту сложно дать citation, проверить источник и не показать пользователю чужие документы.
Индексация отличается от парсинга документов. Парсинг отвечает за извлечение текста или полей из файла. Индексация делает этот результат пригодным для поиска: режет на фрагменты, добавляет контекст, считает embeddings и сохраняет структуру для дальнейшего retrieval.
Качество индексации напрямую влияет на качество RAG. Если chunks слишком большие, в контекст попадет много шума. Если слишком маленькие, потеряется смысл. Если не сохранить заголовки, даты и права доступа, агент может дать неполный или опасный ответ. Если не переиндексировать устаревшие документы, система будет ссылаться на старые правила.
Для надежной индексации нужно продумать обновления. Документы меняются: договоры получают новые версии, регламенты устаревают, файлы удаляются, права доступа меняются. Поэтому индекс должен поддерживать переиндексацию, удаление старых chunks, версионирование и audit log.
Практическое правило: индексировать нужно не "все подряд", а понятный набор источников с владельцем, правилами обновления и контролем доступа. Тогда AI-агент сможет отвечать по документам с ссылками на источники, а не угадывать по памяти модели.
Примеры
- PDF-регламент загружают в систему, извлекают текст, режут на chunks по разделам, считают embeddings и сохраняют ссылку на исходный файл и номер страницы.
- Скан договора сначала проходит OCR, затем классификацию, после чего индексируются только распознанные разделы с условиями, сроками и ответственностью.
- Внутренняя база знаний компании переиндексируется каждую ночь: новые статьи добавляются, удаленные документы убираются из vector database, а измененные версии пересчитываются.
- Для RAG-поиска по Google Drive индекс хранит не только текст, но и права доступа, чтобы агент не показал пользователю документ, к которому у него нет доступа.
Где используется
- RAG и база знаний
- внутренний поиск по документам
- AI-агент поддержки
- юридические документы
- поиск по регламентам и инструкциям
- корпоративный knowledge base
- документооборот и архив
- citations и проверка источников
Связанные термины
Частые вопросы
Зачем нужна индексация документов?
Она делает документы пригодными для поиска и RAG. После индексации агент может найти нужный фрагмент, добавить его в контекст и сослаться на источник вместо того, чтобы отвечать наугад.
Чем индексация отличается от загрузки файлов?
Загрузка просто помещает файл в хранилище. Индексация извлекает текст, режет его на chunks, добавляет metadata, считает embeddings и сохраняет данные в поисковую базу.
Что такое chunks при индексации?
Chunks - это небольшие фрагменты документа, по которым система ищет релевантный контекст. Размер и границы chunks важны: слишком большие дают шум, слишком маленькие теряют смысл.
Нужно ли переиндексировать документы?
Да. Если файл изменился, удалился или поменялись права доступа, индекс нужно обновить. Иначе агент может ссылаться на старые данные или показать документ не тому пользователю.
Как понять, что индексация сделана плохо?
Агент не находит очевидные ответы, ссылается на старые версии, путает разделы, показывает нерелевантные фрагменты или не может указать источник. Обычно проблема в chunking, metadata, OCR, правах доступа или обновлении индекса.
