AI Enterprise Search: интеллектуальный корпоративный поиск

В компании из 500 человек знания хранятся в 7–12 системах одновременно: Confluence, SharePoint, Jira, корпоративная почта, 1C, внутренние CRM, файловые сервера. Сотрудник тратит в среднем 2,5 часа в день на поиск информации — это не метафора, это данные McKinsey Global Institute. Ключевая проблема не в том, что данные есть, а в том, что найти их через обычный keyword-поиск невозможно: документ называется «Регламент_v3_final_FINAL2», а запрос — «как оформить командировку». Мы разрабатываем AI Enterprise Search — систему, которая решает эту проблему через семантическое понимание запроса и гибридный поиск по всем источникам одновременно.

Проблемы, которые решаем

Разрозненность данных — не единственная сложность. Даже если документ найден, он может быть неактуален или не соответствовать контексту. Типичные сценарии:

• Низкая точность keyword-поиска: артикул «A-123» ищется как обычное слово, без понимания, что это номер детали.
• Отсутствие контекста: запрос «бюджет на маркетинг» должен учитывать, что пользователь — руководитель отдела, а не стажёр.
• Нарушение безопасности: сотрудник видит документы, к которым не имеет доступа, если ACL не внедрён.

Почему AI Enterprise Search эффективнее обычного поиска?

Чистый векторный поиск хорошо работает на семантически похожих запросах, но плохо — на точных совпадениях: артикулах, именах, датах. Запрос «договор с ООО "Ромашка" от 12 марта» даст лучший результат через BM25, а «порядок действий при инциденте с утечкой данных» — через векторный поиск. Гибридный подход объединяет сильные стороны обоих методов.

from qdrant_client import QdrantClient
from rank_bm25 import BM25Okapi
from sentence_transformers import SentenceTransformer, CrossEncoder
import numpy as np

class HybridSearchEngine:
    def __init__(self):
        self.dense_model = SentenceTransformer("intfloat/multilingual-e5-large")
        self.reranker = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2")
        self.qdrant = QdrantClient(url="http://localhost:6333")
        self.bm25_index = None
        self.doc_store = {}

    def search(self, query: str, top_k: int = 20, final_k: int = 5) -> list[dict]:
        # Dense search
        query_emb = self.dense_model.encode(
            f"query: {query}",  # E5-формат
            normalize_embeddings=True
        )
        dense_results = self.qdrant.search(
            collection_name="enterprise_docs",
            query_vector=query_emb.tolist(),
            limit=top_k
        )

        # Sparse search (BM25)
        bm25_scores = self.bm25_index.get_scores(query.lower().split())
        top_bm25_ids = np.argsort(bm25_scores)[-top_k:][::-1]

        # Merge результатов (RRF - Reciprocal Rank Fusion)
        merged = self._reciprocal_rank_fusion(dense_results, top_bm25_ids)

        # Cross-encoder reranking
        pairs = [(query, self.doc_store[doc_id]["text"]) for doc_id in merged[:top_k]]
        rerank_scores = self.reranker.predict(pairs)
        reranked = sorted(
            zip(merged[:top_k], rerank_scores),
            key=lambda x: x[1],
            reverse=True
        )
        return [self.doc_store[doc_id] for doc_id, _ in reranked[:final_k]]

    def _reciprocal_rank_fusion(self, dense: list, sparse: list, k: int = 60) -> list:
        scores = {}
        for rank, item in enumerate(dense):
            doc_id = item.id
            scores[doc_id] = scores.get(doc_id, 0) + 1 / (k + rank + 1)
        for rank, doc_id in enumerate(sparse):
            scores[doc_id] = scores.get(doc_id, 0) + 1 / (k + rank + 1)
        return sorted(scores, key=scores.get, reverse=True)

Понимание запроса и генерация ответа

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate

class EnterpriseSearchAssistant:
    def __init__(self, search_engine: HybridSearchEngine):
        self.search = search_engine
        self.llm = ChatOpenAI(model="gpt-4o-mini", temperature=0.1)

    def answer(self, query: str, user_context: dict) -> dict:
        # Расширение запроса для лучшего поиска
        expanded_query = self._expand_query(query, user_context)

        # Поиск по всем источникам
        results = self.search.search(expanded_query, final_k=7)
        if not results:
            return {"answer": "Документы по вашему запросу не найдены.", "sources": []}

        # Генерация ответа с цитатами
        context = "\n\n".join([
            f"[{i+1}] {r['title']} ({r['source']})\n{r['text'][:500]}"
            for i, r in enumerate(results)
        ])
        prompt = f"""Ответь на вопрос сотрудника на основе документов компании.
Используй только предоставленные документы.
Цитируй источники [1], [2] и т.д.
Если ответ неполный — скажи об этом.

Вопрос: {query}

Документы:
{context}"""
        answer = self.llm.invoke(prompt).content
        return {
            "answer": answer,
            "sources": [
                {"id": i+1, "title": r["title"], "url": r["url"]}
                for i, r in enumerate(results)
            ]
        }

Индексация источников

Для каждого источника — отдельный коннектор с инкрементальным обновлением:

Кейс из практики: производственный холдинг, 1200 сотрудников. Индексировали 340 000 документов из Confluence, SharePoint и самописной СЭД. Время загрузки индекса — 18 часов (однократно). Регулярное обновление — дельта за 30 минут, ~200 документов, занимает 4 минуты. Средняя точность топ-3 ответов (оценка HR-командой по выборке 500 запросов): 78% релевантных результатов против 41% у прежнего Elasticsearch keyword-поиска. За счёт автоматизации поиска компания получила существенную экономию бюджета.

Как оценивается точность поиска?

Оценка проводится на реальных запросах сотрудников. Мы формируем выборку из 300–500 типовых вопросов, размечаем релевантные документы и считаем recall@k и precision@k. Ключевой инструмент — CrossEncoder, который ранжирует кандидатов и повышает точность топ-3 до 78%. Валидация выполняется заказчиком на его данных.

Как мы обеспечиваем безопасность корпоративных данных?

Критическая деталь enterprise-поиска — пользователь должен видеть только те документы, к которым у него есть доступ. Реализуется через metadata-фильтры в Qdrant:

# При поиске фильтруем по правам пользователя
results = qdrant.search(
    collection_name="enterprise_docs",
    query_vector=query_emb,
    query_filter=Filter(
        must=[
            FieldCondition(
                key="allowed_groups",
                match=MatchAny(any=user_groups)
            )
        ]
    ),
    limit=20
)

Процесс работы

1. Аналитика и аудит источников: выявляем, где хранятся данные, оцениваем объём и частоту изменений.
2. Проектирование архитектуры: выбираем модель эмбеддингов, векторную БД, настраиваем пайплайн.
3. Индексация данных: подключаем коннекторы, проводим пробную индексацию на 10% данных.
4. Настройка поиска и реранжирования: оптимизируем параметры RRF, подбираем пороги для CrossEncoder.
5. Интеграция UI и ботов: встраиваем поиск в веб-интерфейс, Slack-бота, API.
6. Тестирование и отладка: проверяем на реальных запросах сотрудников, итеративно улучшаем.
7. Деплой и мониторинг: разворачиваем в production, настраиваем логи и метрики (latency p99, recall).

Что входит в работу

• Документация архитектуры и инструкции по эксплуатации.
• Настроенные коннекторы ко всем источникам.
• Веб-интерфейс поиска и интеграция с корпоративным мессенджером.
• Обучение команды (2-3 воркшопа).
• Гарантийная поддержка 3 месяца после запуска.

Сроки и стоимость

• Пилот (1-2 источника, ~50 000 документов): 4–6 недель.
• Полная система (5–8 источников + UI): 3–4 месяца.
• Настройка ACL: +2–3 недели.

Стоимость рассчитывается индивидуально после аудита. В среднем инвестиции окупаются за 6–12 месяцев за счёт сокращения времени на поиск. Закажите пилотный проект — первый этап займёт не больше 2 дней на анализ.

Почему выбирают нас

• 5+ лет на рынке AI-решений для enterprise.
• 20+ проектов по внедрению семантического поиска в компаниях от 200 до 5000 сотрудников.
• Гарантия SLA 99.9% и точности поиска не ниже 75% по вашим критериям.
• Сертифицированные инженеры по MLOps и NLP.

Свяжитесь с нами, чтобы получить консультацию по вашему проекту и предварительную оценку за 2 дня.