Внедрение RAG для корпоративного AI-бота на сайте

Внедрение RAG для корпоративного AI-бота на сайте

Типичный AI-бот, обученный только на общих данных, не знает ваш продукт. Он выдумывает ответы — галлюцинирует. RAG (Retrieval-Augmented Generation) — архитектурный паттерн — решает эту проблему: бот находит релевантные фрагменты из вашей базы знаний (документация, FAQ, статьи) и формирует ответ строго по ним. Результат — точные, проверяемые ответы без вымысла. Наш опыт: более 5 лет разработки NLP-систем, 10+ внедрённых RAG-ботов.

Например, компания с 5000 страницами технической документации тратила 20 человеко-часов в неделю на ответы однотипных вопросов. После внедрения RAG-бота время сократилось до 2 часов, а точность ответов превысила 95%. Затраты на поддержку снизились вдвое — экономия составила более $9k–13k в год. Экономия бюджета на поддержку достигает 60%, а окупаемость проекта — в течение полугода. При этом бот использует только проверенные данные, исключая риск утечки.

Как работает RAG-система?

RAG состоит из нескольких компонентов:

• Knowledge base — источник данных: документация, FAQ, статьи базы знаний, страницы сайта, PDF-файлы, тикеты поддержки.
• Ingestion pipeline — процесс загрузки, разбивки на чанки и индексации документов.
• Vector store — база данных, хранящая эмбеддинги и обеспечивающая семантический поиск.
• Retrieval — по запросу пользователя находим топ-N релевантных чанков.
• Generation — отправляем найденные чанки + вопрос в LLM, получаем ответ.

Каждый этап настраивается индивидуально под ваш объём данных и требования к скорости.

Ingestion Pipeline

Разбивка документов на чанки — критичный этап. Слишком маленькие чанки теряют контекст, слишком большие — снижают точность поиска. Оптимально: 500–1000 токенов с перекрытием 100–200 токенов.

from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.document_loaders import (
    WebBaseLoader,
    PyPDFLoader,
    UnstructuredMarkdownLoader
)

def load_and_chunk_documents(sources: list[dict]) -> list:
    documents = []
    for source in sources:
        if source["type"] == "url":
            loader = WebBaseLoader(source["path"])
        elif source["type"] == "pdf":
            loader = PyPDFLoader(source["path"])
        elif source["type"] == "markdown":
            loader = UnstructuredMarkdownLoader(source["path"])
        docs = loader.load()
        documents.extend(docs)
    splitter = RecursiveCharacterTextSplitter(
        chunk_size=800,
        chunk_overlap=150,
        separators=["\n\n", "\n", ". ", " ", ""]
    )
    return splitter.split_documents(documents)

Эмбеддинги и векторное хранилище

Модели эмбеддингов:

• text-embedding-3-small (OpenAI) — 1536 измерений, $0.02 за 1M токенов, отличное соотношение цены и качества
• text-embedding-3-large — 3072 измерений, лучше для сложных запросов
• multilingual-e5-large (локально, Hugging Face) — бесплатно, хорошо для русского языка

Векторные хранилища:

Для сайта со средней нагрузкой и базой до 100 000 документов — pgvector или Qdrant. Не нужно поднимать отдельный сервис.

import psycopg2
from pgvector.psycopg2 import register_vector
import numpy as np

def store_embeddings(chunks: list, embeddings: list[list[float]]):
    conn = psycopg2.connect(DATABASE_URL)
    register_vector(conn)
    cur = conn.cursor()
    cur.execute("""
        CREATE TABLE IF NOT EXISTS documents (
            id SERIAL PRIMARY KEY,
            content TEXT,
            embedding vector(1536),
            metadata JSONB,
            source_url TEXT,
            created_at TIMESTAMP DEFAULT NOW()
        )
    """)
    cur.execute("CREATE INDEX IF NOT EXISTS documents_embedding_idx ON documents USING ivfflat (embedding vector_cosine_ops) WITH (lists = 100)")
    for chunk, embedding in zip(chunks, embeddings):
        cur.execute(
            "INSERT INTO documents (content, embedding, metadata, source_url) VALUES (%s, %s, %s, %s)",
            (chunk.page_content, np.array(embedding), json.dumps(chunk.metadata), chunk.metadata.get("source", ""))
        )
    conn.commit()

Поиск: семантический и гибридный

Семантический поиск возвращает чанки по косинусному сходству эмбеддингов. Для точных запросов (артикулы, имена) он иногда промахивается — тогда подключаем гибридный поиск с полнотекстовым индексом (BM25).

def hybrid_search(query: str, top_k: int = 5) -> list[dict]:
    # Семантический поиск
    query_embedding = get_embedding(query)
    conn = psycopg2.connect(DATABASE_URL)
    register_vector(conn)
    cur = conn.cursor()
    cur.execute("""
        SELECT content, source_url, metadata, 1 - (embedding <=> %s::vector) AS similarity
        FROM documents
        WHERE 1 - (embedding <=> %s::vector) > 0.75
        ORDER BY embedding <=> %s::vector
        LIMIT %s
    """, (query_embedding, query_embedding, query_embedding, top_k * 2))
    semantic_results = cur.fetchall()

    # Полнотекстовый поиск
    cur.execute("""
        SELECT content, source_url, ts_rank(to_tsvector('russian', content), query) AS rank
        FROM documents, to_tsquery('russian', %s) query
        WHERE to_tsvector('russian', content) @@ query
        ORDER BY rank DESC
        LIMIT %s
    """, (prepare_ts_query(query), top_k * 2))
    keyword_results = cur.fetchall()

    # Reciprocal Rank Fusion
    return reciprocal_rank_fusion(semantic_results, keyword_results, top_k)

Generation: формирование ответа

from openai import OpenAI
client = OpenAI()

SYSTEM_PROMPT = """Ты помощник службы поддержки компании. Отвечай ТОЛЬКО на основе предоставленного контекста. Если ответа нет в контексте — честно скажи об этом. Не придумывай информацию. Указывай источник из контекста."""

def generate_answer(query: str, context_chunks: list[dict]) -> dict:
    context = "\n\n".join([
        f"[Источник: {c['source']}]\n{c['content']}" for c in context_chunks
    ])
    response = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[
            {"role": "system", "content": SYSTEM_PROMPT},
            {"role": "user", "content": f"Контекст:\n{context}\n\nВопрос: {query}"}
        ],
        temperature=0.1,
        max_tokens=800
    )
    sources = list({c["source"] for c in context_chunks if c.get("source")})
    return {
        "answer": response.choices[0].message.content,
        "sources": sources,
        "chunks_used": len(context_chunks)
    }

Re-ranking и оценка качества

Векторный поиск возвращает кандидатов по косинусному сходству, но не всегда самый семантически близкий чанк — самый полезный. Cross-encoder re-ranking переоценивает кандидатов с учётом вопроса, поднимая релевантные чанки в топ. Мы используем модель cross-encoder/ms-marco-MiniLM-L-6-v2 из библиотеки Sentence Transformers.

Метрики RAG-системы включают Faithfulness (не противоречит ли ответ контексту), Answer Relevance (отвечает ли на вопрос), Context Recall (все ли нужные факты найдены) и Context Precision (нет ли лишнего в контексте). Для оценки применяем RAGAS (open-source) и LangSmith (платный SaaS). Настроенный мониторинг гарантирует стабильное качество.

Обновление индекса

При изменении контента на сайте нужно пересчитать эмбеддинги. Стратегии:

• Полная переиндексация — раз в сутки, при объёме до 50 000 документов занимает 15–30 минут.
• Инкрементальная — при изменении страницы удаляем старые чанки по source_url, добавляем новые. Подходит для CMS с webhook на публикацию.
• Мягкое удаление — помечаем устаревшие чанки флагом, не удаляем немедленно. Позволяет откатиться при ошибке.

Сколько времени занимает внедрение RAG?

Сроки зависят от объёма данных и требований. Ориентировочные этапы:

Минимально рабочий RAG-бот с одним источником данных — 2 недели. Продуктовая система с несколькими источниками, гибридным поиском и мониторингом — 4–5 недель.

Что входит в работу

При заказе внедрения RAG вы получаете:

• Полноценный ingestion pipeline под ваши источники данных
• Векторное хранилище (pgvector или Qdrant)
• Семантический и гибридный поиск
• Генерацию ответов с указанием источников
• Re-ranking для повышения точности
• Интеграцию с сайтом (виджет чата)
• Документацию по архитектуре и настройке
• Обучение сотрудников работе с системой
• Гарантию 3 месяца на работу системы

Мы имеем опыт внедрения RAG для интернет-магазинов, корпоративных порталов и служб поддержки. Реализовали 10+ проектов.

Закажите внедрение RAG под ключ — свяжитесь с нами для оценки вашего проекта. Получите консультацию.