Разработка RAG с Pinecone: пайплайны, гибридный поиск, кейсы

Разработка RAG с векторной базой данных Pinecone

Отметим: когда ваша корпоративная база знаний разрастается до сотен тысяч документов, обычный полнотекстовый поиск перестаёт справляться: релевантные документы тонут в шуме, а синонимичные термины не учитываются. RAG (Retrieval-Augmented Generation) с векторной базой данных — единственный способ сохранить быстрый доступ к нужной информации. Мы разрабатываем RAG-пайплайны с Pinecone под ключ: от выбора модели эмбеддингов до мониторинга в продакшене. Оценка проекта — в течение дня: пришлите описание данных и сценариев использования. Получите консультацию по вашему сценарию — мы оценим данные за 1 день.

Почему Pinecone Serverless?

Serverless-режим избавляет от управления кластером: вы не резервируете pod'ы, не настраиваете автоскейлинг. Платите только за операции записи, чтения и хранение — идеально для проектов с переменной нагрузкой. Pinecone поддерживает гибридный поиск (dense + sparse через BM25), что критично для доменов с высокой точностью терминов (юриспруденция, медицина). Мы используем BM25Encoder для построения sparse-векторов без дополнительной инфраструктуры. Типичная экономия на инфраструктуре составляет от 20% до 40% по сравнению с self-hosted решениями.

Как мы инициализируем индекс

from pinecone import Pinecone, ServerlessSpec from openai import OpenAI pc = Pinecone(api_key="...") # Создание serverless индекса pc.create_index( name="corporate-knowledge-base", dimension=3072, # text-embedding-3-large metric="cosine", spec=ServerlessSpec( cloud="aws", region="us-east-1" ) ) index = pc.Index("corporate-knowledge-base") 

Индексация документов с метаданными

from langchain_openai import OpenAIEmbeddings from langchain.text_splitter import RecursiveCharacterTextSplitter import hashlib embeddings_model = OpenAIEmbeddings(model="text-embedding-3-large") def index_documents(documents: list, batch_size: int = 100): splitter = RecursiveCharacterTextSplitter(chunk_size=512, chunk_overlap=64) chunks = splitter.split_documents(documents) for i in range(0, len(chunks), batch_size): batch = chunks[i:i + batch_size] texts = [c.page_content for c in batch] vectors = embeddings_model.embed_documents(texts) records = [] for chunk, vector in zip(batch, vectors): doc_id = hashlib.md5(chunk.page_content.encode()).hexdigest() records.append({ "id": doc_id, "values": vector, "metadata": { "text": chunk.page_content, "source": chunk.metadata.get("source", ""), "page": chunk.metadata.get("page", 0), "doc_type": chunk.metadata.get("doc_type", "general"), "date": chunk.metadata.get("date", ""), } }) index.upsert(vectors=records) print(f"Indexed batch {i//batch_size + 1}: {len(records)} chunks") 

Запрос с фильтрацией по метаданным

def rag_query( query: str, doc_type_filter: str = None, top_k: int = 5 ) -> dict: query_vector = embeddings_model.embed_query(query) filter_dict = {} if doc_type_filter: filter_dict["doc_type"] = {"$eq": doc_type_filter} results = index.query( vector=query_vector, top_k=top_k, include_metadata=True, filter=filter_dict if filter_dict else None ) context_chunks = [] for match in results["matches"]: context_chunks.append({ "text": match["metadata"]["text"], "source": match["metadata"]["source"], "score": match["score"] }) return context_chunks 

Как реализовать Hybrid Search

Pinecone поддерживает гибридный поиск через встроенный BM25. Мы обучаем BM25 на корпусе документов и используем sparse-векторы в запросах. Согласно Pinecone Hybrid Search Guide, для этого применяется pinecone_text.sparse.BM25Encoder.

from pinecone_text.sparse import BM25Encoder bm25 = BM25Encoder() bm25.fit(all_texts) def hybrid_query(query: str, alpha: float = 0.5, top_k: int = 5) -> list: """ alpha=1.0: только dense alpha=0.0: только sparse (BM25) alpha=0.5: равный вес обоих """ dense_vector = embeddings_model.embed_query(query) sparse_vector = bm25.encode_queries(query) results = index.query( vector=dense_vector, sparse_vector=sparse_vector, top_k=top_k, include_metadata=True, alpha=alpha, ) return results["matches"] 

Гибридный поиск даёт прирост recall на 15–30% по сравнению с pure dense для доменов с высокой терминологической точностью.

Кейс из нашей практики: корпоративная база знаний ретейлера

Масштаб: 45 000 SKU с описаниями, 3 200 страниц регламентов, 800 FAQ-записей. Суммарно ~180 000 векторов. Наш клиент — сеть розничной торговли с 5+ лет опыта автоматизации.

Конфигурация: Pinecone Serverless (aws/us-east-1), dimension=1536 (text-embedding-3-small для экономии), metric=cosine.

Паттерн использования: 15 000 запросов/день, пиковая нагрузка 200 RPS в часы распродаж. Результаты:

• Latency P95 для retrieval: 180 мс
• Latency P95 для полного RAG ответа: 2.1 с (включая GPT-4o-mini)
• Context recall (нашли нужный документ): 0.87
• Answer accuracy (LLM-judge): 0.83

Оптимизации:

• Namespace separation: товары/регламенты/FAQ в отдельных namespace — позволяет фильтровать без overhead
• Metadata-only queries: для ряда запросов достаточно фильтра по метаданным без векторного поиска
• Cache популярных запросов: Redis кэш для топ-500 частых вопросов (~30% hit rate)

Сравнение Pinecone с альтернативами

Pinecone лучше Weaviate в сценариях с переменной нагрузкой благодаря serverless, а Chroma проигрывает по функционалу фильтрации.

Как оценить качество retrieval?

Для объективной оценки retrieval используем метрики precision@k, recall@k и NDCG. На тестовой выборке из 500 запросов с размеченными релевантными документами мы автоматически вычисляем эти показатели. Оптимальные значения precision@5 >= 0.85 и recall@10 >= 0.9. Дополнительно применяем LLM-as-judge: GPT-4o оценивает, насколько контекст достаточен для ответа. Это позволяет выявить проблемы с чанкингом или ошибки эмбеддингов.

Что входит в работу

1. Аудит данных: анализ источников, определение стратегии чанкинга и метаданных.
2. Проектирование схемы индекса: выбор размерности, метрики, конфигурация serverless.
3. Разработка пайплайна индексации: batch processing, deduplication, обогащение метаданных.
4. RAG-пайплайн: интеграция с LLM (GPT-4o, Claude, LLaMA), промпт-инжиниринг, защита от halluciation.
5. Тестирование и мониторинг: precision/recall, latency p99, LLM-as-judge.
6. Документация и обучение: model card, инструкция для разработчиков, передача доступа.
7. Сопровождение: гарантия 3 месяца, SLA на инциденты.

Сроки ориентировочно

Стоимость рассчитывается индивидуально на основе объёма данных, количества источников и сложности интеграций. Свяжитесь с нами для оценки вашего проекта — обсудим детали и подготовим коммерческое предложение в течение дня.