Реализация AI-поиска по контенту сайта (Semantic Search)

Обычный поиск по сайту выдаёт статьи только если в них встречаются точные слова запроса. Пользователь ищет «как оплатить» — не находит статью «способы расчёта». Семантический поиск решает эту проблему: он понимает смысл, а не строки. Мы внедряем такие системы для интернет-магазинов, документации и порталов. Наш опыт — более 10 проектов с AI-поиском, сертифицированные решения на базе PostgreSQL и Qdrant. Свяжитесь с нами, чтобы обсудить ваш сценарий.

Почему семантический поиск лучше полнотекстового? — реализация ai поиска

Полнотекстовый поиск (PostgreSQL tsvector, Elasticsearch) ищет по совпадению слов. Семантический — по смыслу. Он преобразует текст в вектор — числовой массив из 768–3072 чисел. Тексты с близкими векторами семантически похожи. Это даёт прирост точности релевантных результатов в 2–3 раза, особенно для длинных и разговорных запросов.

Как мы это делаем: стек и кейс

Для интернет-магазина с 50 000 товаров мы внедрили гибридный поиск на базе OpenAI embeddings и pgvector. Результат: среднее время ответа 0,3 секунды, точность 92%.

Выбор модели. Используем text-embedding-3-small (1536 измерений) — оптимальный баланс скорости и качества. Для русского языка он даёт отличные результаты.

Векторная база. PostgreSQL с расширением pgvector и HNSW-индексом:

CREATE EXTENSION vector; CREATE TABLE content_chunks ( id BIGSERIAL PRIMARY KEY, content_id BIGINT REFERENCES content(id), chunk_text TEXT NOT NULL, chunk_index INT, embedding vector(1536), metadata JSONB ); CREATE INDEX ON content_chunks USING hnsw (embedding vector_cosine_ops) WITH (m = 16, ef_construction = 64); 

Индексация. Разбиваем текст на чанки по 400 токенов с перекрытием 50 слов, получаем эмбеддинги через OpenAI API и сохраняем в таблицу:

import OpenAI from 'openai'; const openai = new OpenAI(); async function indexContent(contentItem) { const chunks = chunkText(contentItem.body, { maxTokens: 400, overlap: 50 }); const { data: embeddings } = await openai.embeddings.create({ model: 'text-embedding-3-small', input: chunks, }); // Сохраняем в pgvector батчами по 100 for (let i = 0; i < chunks.length; i += 100) { const batchChunks = chunks.slice(i, i + 100); const batchEmbeds = embeddings.slice(i, i + 100); await db.query(` INSERT INTO content_chunks (content_id, chunk_text, chunk_index, embedding, metadata) VALUES ($1, $2, $3, $4::vector, $5) `, [contentItem.id, batchChunks, /* ... */]); } } 

Поиск. Комбинируем векторный и полнотекстовый поиск через RRF (Reciprocal Rank Fusion):

async function semanticSearch(query, { limit = 10, threshold = 0.7 } = {}) { const { data: [{ embedding }] } = await openai.embeddings.create({ model: 'text-embedding-3-small', input: query, }); const results = await db.query(` WITH semantic AS ( SELECT content_id, chunk_text, 1 - (embedding <=> $1::vector) AS score, ROW_NUMBER() OVER (ORDER BY embedding <=> $1::vector) AS rank FROM content_chunks ORDER BY embedding <=> $1::vector LIMIT 20 ), fulltext AS ( SELECT id AS content_id, body AS chunk_text, ts_rank(to_tsvector('russian', body), plainto_tsquery('russian', $2)) AS score, ROW_NUMBER() OVER (ORDER BY ts_rank(...) DESC) AS rank FROM content WHERE to_tsvector('russian', body) @@ plainto_tsquery('russian', $2) LIMIT 20 ) SELECT COALESCE(s.content_id, f.content_id) AS id, COALESCE(s.chunk_text, f.chunk_text) AS text, (COALESCE(1.0 / (60 + s.rank), 0) + COALESCE(1.0 / (60 + f.rank), 0)) AS rrf_score FROM semantic s FULL OUTER JOIN fulltext f ON s.content_id = f.content_id ORDER BY rrf_score DESC LIMIT $3 `, [`[${embedding.join(',')}]`, query, limit]); return results.rows; } 

Что такое гибридный поиск и зачем он нужен?

Гибридный поиск объединяет результаты векторного и полнотекстового методов через RRF. Это компенсирует слабости каждого: векторный поиск находит по смыслу, но может пропустить точное вхождение термина; полнотекстовый — наоборот. Вместе они обеспечивают высокую релевантность даже для сложных запросов. Мы используем этот подход во всех проектах. Важно: качественное внедрение требует опыта — наши инженеры гарантируют результат.

Как выбрать embedding-модель для русского языка?

Выбор модели критичен. Multilingual-модели (например, Cohere) часто уступают специализированным на русском. Мы тестировали несколько вариантов и рекомендуем:

Source: OpenAI Embeddings documentation

Процесс работы

1. Аудит контента — выделяем типы текстов, размер, частоту обновлений.
2. Выбор модели и векторной БД — определяем компромисс между качеством и бюджетом.
3. Настройка индексации — чанкинг, конфигурация индекса, batch-обработка.
4. Разработка API поиска — endpoint с параметрами: запрос, фильтры, пагинация.
5. Создание UI — поисковая строка, сниппеты с подсветкой, прогрессивная загрузка.
6. Тестирование — A/B-тест с текущим поиском, мониторинг метрик.
7. Деплой и мониторинг — алерты по задержкам, запросы без результатов.

Сроки ориентировочно

Итого: от 8 до 12 рабочих дней. Стоимость рассчитывается индивидуально.

Что входит в работу

• Полная документация архитектуры (схема БД, API спецификация, инструкция по развёртыванию).
• Исходный код под ключ с CI/CD.
• Доступ к репозиторию, дампу данных, мониторинг-дашборду.
• Обучение команды (2–3 часа).
• Техническая поддержка 3 месяца.

Типичные ошибки при внедрении

• Неправильный чанкинг: слишком длинные чанки (>1000 токенов) снижают точность, слишком короткие — теряют контекст. Оптимум: 300–500 токенов с перекрытием 50–100.
• Выбор модели без учёта языка: multilingual-модели (например, Cohere) часто работают хуже на русском, чем специализированные OpenAI embeddings.
• Отсутствие переранжирования: даже хороший векторный поиск иногда выдаёт нерелевантные топ-результаты. Cross-encoder rerank исправляет это.

Хотите внедрить семантический поиск? Свяжитесь с нами — обсудим ваш проект. Получите консультацию по вашему сценарию использования.