Chunking определяет, какие куски документа попадут в retrieval и затем в контекст модели. Слишком маленькие chunks теряют смысл, слишком большие добавляют шум.
Хороший chunk сохраняет заголовки, структуру, ссылку на источник и достаточно контекста для ответа.
Термин
Chunking
Разбиение документов на фрагменты для индексации и поиска в RAG-системе.