Термин
Document chunking
Разбиение документа на фрагменты для поиска, embeddings и RAG.
Document chunking должен учитывать структуру документа: заголовки, пункты, страницы, таблицы и overlap. Хороший chunk сохраняет смысловой контекст и позволяет сослаться на конкретную страницу.