Внутри RAG-системы embedding model обычно работает до языковой модели. Сначала документы разбивают на фрагменты, embedding model считает вектор для каждого фрагмента, а vector database хранит эти векторы. Когда пользователь задает вопрос, та же или совместимая модель считает embedding запроса, и система ищет ближайшие фрагменты.
Выбор embedding model влияет на качество поиска сильнее, чем кажется. Важно смотреть язык, домен, длину текста, цену, скорость, размер вектора, поддержку multilingual-запросов и качество на собственных тестовых вопросах. Модель, которая хорошо работает на английских статьях, может хуже искать по русским договорам, тикетам или базе знаний компании.
Примеры
- RAG: embedding model считает векторы для фрагментов базы знаний, а затем помогает найти нужный контекст для ответа AI-ассистента.
- Корпоративный поиск: модель векторизует запрос сотрудника и документы, чтобы находить близкие по смыслу материалы, даже если формулировки разные.
- Кластеризация: похожие отзывы, тикеты или поисковые запросы группируются по близости embeddings.
- Дедупликация: модель помогает найти похожие карточки товаров, статьи или обращения, которые выглядят разными, но описывают одно и то же.
- Мультиязычный поиск: запрос на русском может находить релевантные документы на английском, если embedding model хорошо поддерживает оба языка.
Где используется
- semantic search и enterprise search
- RAG по базе знаний и документам
- поиск похожих вопросов, тикетов и обращений
- кластеризация документов и запросов
- дедупликация записей и контента
- рекомендации похожих документов или товаров
- поиск по мультиязычным данным
- подбор контекста для LLM
- оценка смысловой близости текстов
- гибридный поиск вместе с keyword search и reranking
Связанные термины
Частые вопросы
Чем embedding model отличается от embeddings?
Embedding model — это модель, которая создает векторы. Embeddings — это уже готовые числовые представления текста, изображения или документа.
Как выбрать embedding model для RAG?
Нужно проверить качество на своих вопросах и документах: русский язык, отраслевые термины, длинные фрагменты, точные названия, скорость, стоимость и совместимость с вашей vector database.
Можно ли менять embedding model после запуска?
Можно, но обычно придется пересчитать embeddings для всей базы. Векторы разных моделей часто несовместимы, поэтому смешивать их в одном индексе нельзя без отдельной логики.
Почему поиск стал хуже после замены embedding model?
Возможные причины: новая модель хуже понимает язык или домен, изменился размер фрагментов, не пересчитан индекс, сломались фильтры, top-k или reranking.
Достаточно ли хорошей embedding model для качественного поиска?
Нет. Еще важны chunking, метаданные, фильтры доступа, свежесть документов, reranking, тестовый набор вопросов и проверка источников.
