Разработка AI-системы рекомендаций Cross-Sell для продаж

Реализация AI-системы рекомендаций Cross-Sell для продаж

К нам обратился e-commerce-проект с 50 000 SKU: правило «к принтеру — картридж» давало всего 8% конверсии. Нужна была рекомендательная система на основе машинного обучения, которая находит неочевидные пары и адаптируется под поведение каждого клиента. Мы реализовали гибридную систему для e-commerce и ритейла: ассоциативные правила для базовых связок + градиентный бустинг для персонализации. Результат — рост среднего чека на 18% за первый месяц, что обеспечило значительный прирост выручки. Рассказываю, как это работает.

Проблемы, которые решаем

Статические правила не видят скрытых закономерностей. Например, клиенты, купившие детское автокресло, с вероятностью 22% приобретают органайзер для багажника — хотя товары из разных категорий. ML находит такие паттерны через ассоциативные правила (Lift > 2.0). А персонализация через градиентный бустинг учитывает историю клиента: если пользователь уже брал органайзер, рекомендация смещается на другой товар.

Другая типичная проблема — товары с коротким циклом потребления (расходники, подписки). Здесь требуется предсказание следующей покупки. Модель на основе распределения интервалов выдаёт товары, которые клиент вот-вот закажет снова. Так мы увеличиваем повторные продажи без промоакций.

Третья проблема — холодный старт для новых товаров. Если у товара нет истории покупок, правила Apriori не сработают. Решение — использовать content-based признаки (категория, цена, бренд) и коллаборативную фильтрацию через эмбеддинги. Для этого мы обогащаем модель градиентного бустинга фичами товара.

Как мы строим модель CrossSellRecommender

Market Basket Analysis + персонализация

Гибридная архитектура: сначала Apriori даёт сырые правила, затем градиентный бустинг ранжирует кандидатов под конкретного пользователя. Это сочетание обеспечивает lift конверсии в 3 раза выше, чем rule-based подход.

import pandas as pd
import numpy as np
from mlxtend.frequent_patterns import apriori, association_rules
from mlxtend.preprocessing import TransactionEncoder
from sklearn.ensemble import GradientBoostingClassifier

class CrossSellRecommender:
    def __init__(self, min_support: float = 0.01, min_confidence: float = 0.1):
        self.min_support = min_support
        self.min_confidence = min_confidence
        self.rules = None
        self.cross_sell_map = {}
        self.personalization_model = None

    def fit_association_rules(self, orders_df: pd.DataFrame,
                               order_col: str = "order_id",
                               item_col: str = "item_id"):
        """Поиск ассоциативных правил через Apriori"""
        # Корзины транзакций
        baskets = orders_df.groupby(order_col)[item_col].apply(list).tolist()

        te = TransactionEncoder()
        te_array = te.fit_transform(baskets)
        df_encoded = pd.DataFrame(te_array, columns=te.columns_)

        # Частые наборы
        frequent_itemsets = apriori(
            df_encoded,
            min_support=self.min_support,
            use_colnames=True,
            max_len=3
        )

        # Правила ассоциации
        self.rules = association_rules(
            frequent_itemsets,
            metric="lift",
            min_threshold=1.2
        )
        self.rules = self.rules[self.rules['confidence'] >= self.min_confidence]
        self.rules = self.rules.sort_values('lift', ascending=False)

        # Маппинг: item → список рекомендаций с метриками
        for _, rule in self.rules.iterrows():
            for antecedent in rule['antecedents']:
                if antecedent not in self.cross_sell_map:
                    self.cross_sell_map[antecedent] = []
                for consequent in rule['consequents']:
                    if antecedent != consequent:
                        self.cross_sell_map[antecedent].append({
                            'item_id': consequent,
                            'confidence': rule['confidence'],
                            'lift': rule['lift'],
                            'support': rule['support']
                        })

        # Сортировка по lift
        for item in self.cross_sell_map:
            self.cross_sell_map[item].sort(key=lambda x: x['lift'], reverse=True)

    def recommend_cross_sell(self, cart_items: list[str],
                              user_history: list[str] = None,
                              n: int = 5) -> list[dict]:
        """Cross-sell для текущей корзины"""
        candidates = {}

        for item_id in cart_items:
            related = self.cross_sell_map.get(item_id, [])
            for rec in related:
                rec_id = rec['item_id']

                # Пропускаем уже в корзине или в истории
                if rec_id in cart_items:
                    continue
                if user_history and rec_id in user_history:
                    continue

                if rec_id not in candidates:
                    candidates[rec_id] = {'score': 0, 'triggers': []}

                candidates[rec_id]['score'] += rec['lift']
                candidates[rec_id]['triggers'].append(item_id)

        # Нормализация
        if not candidates:
            return []

        sorted_candidates = sorted(
            [{'item_id': k, **v} for k, v in candidates.items()],
            key=lambda x: x['score'],
            reverse=True
        )

        return sorted_candidates[:n]

    def get_complementary_categories(self, category: str) -> list[str]:
        """Взаимодополняющие категории"""
        category_rules = self.rules[
            self.rules['antecedents'].apply(lambda x: category in str(x))
        ]['consequents'].apply(lambda x: list(x)).explode().value_counts()

        return category_rules.head(5).index.tolist()

Временные паттерны: следующий заказ

class NextPurchasePredictor:
    """Предсказание следующей покупки на основе истории"""

    def predict_next_items(self, user_id: str,
                            purchase_history: list[dict],
                            catalog_features: pd.DataFrame) -> list[tuple]:
        """
        purchase_history: [{item_id, date, quantity, category}]
        Возвращает: [(item_id, probability)]
        """
        if len(purchase_history) < 3:
            return []

        # Паттерн повторных покупок
        item_intervals = {}
        for i in range(1, len(purchase_history)):
            item = purchase_history[i]['item_id']
            prev_same = [h for h in purchase_history[:i] if h['item_id'] == item]
            if prev_same:
                days_between = (
                    pd.to_datetime(purchase_history[i]['date']) -
                    pd.to_datetime(prev_same[-1]['date'])
                ).days
                if item not in item_intervals:
                    item_intervals[item] = []
                item_intervals[item].append(days_between)

        # Предсказание повторных покупок
        predictions = []
        last_purchase_date = pd.to_datetime(purchase_history[-1]['date'])
        today = pd.Timestamp.now()
        days_since_last = (today - last_purchase_date).days

        for item_id, intervals in item_intervals.items():
            avg_interval = np.mean(intervals)
            std_interval = np.std(intervals) if len(intervals) > 1 else avg_interval * 0.3

            # Вероятность через normal distribution
            from scipy.stats import norm
            prob = norm.cdf(days_since_last + 7, avg_interval, std_interval + 1)
            prob -= norm.cdf(days_since_last - 7, avg_interval, std_interval + 1)
            prob = min(max(prob, 0), 1)

            if prob > 0.1:
                predictions.append((item_id, prob))

        return sorted(predictions, key=lambda x: x[1], reverse=True)[:10]

Как обучить модель CrossSellRecommender на своих данных

1. Подготовка данных. Соберите историю заказов с колонками: order_id, item_id, date. Минимальное количество транзакций — 10 000.
2. Запустите Apriori. Используйте метод fit_association_rules с min_support=0.01 и min_confidence=0.1. Это даст ~1000 правил.
3. Настройте параметры. Проверьте распределение lift и confidence. Если правил слишком много, увеличьте min_support до 0.02 или min_confidence до 0.2.
4. Оцените качество. Используйте метрики precision@k и recall@k на отложенной выборке. Cross-sell через правила даёт средний uplift корзины 15-25%. Комбинация с персонализацией (история пользователя) добавляет ещё 5-10% к acceptance rate.

Как измерить качество рекомендаций?

Основные offline-метрики: precision@k, recall@k, lift@k. Мы используем усечённую корзину — скрываем часть товаров из каждой транзакции и проверяем, попадают ли они в рекомендации. Онлайн-метрики — acceptance rate, AOV uplift, доля корзин с cross-sell. На A/B-тесте с 50% аудитории типичный uplift acceptance rate составляет 10-25%.

Почему гибридная модель эффективнее rule-based?

Rule-based (например, "купил А — покажи Б") не масштабируется на тысячи товаров: правила становятся разреженными и не учитывают контекст. ML находит ассоциации с высоким lift даже для редких пар. Кроме того, гибрид персонализирует ранжирование: один и тот же товар ранжируется по-разному для разных пользователей. В наших проектах acceptance rate гибрида в 3 раза выше, чем у правил.

Этапы внедрения

Что входит в результат

• Документация: описание правил, метрик, инструкция для обновления модели.
• Исходный код: репозиторий с модулями CrossSellRecommender, NextPurchasePredictor, конфиги и тесты.
• API-эндпоинты: два метода — recommend_by_cart (по текущей корзине) и recommend_by_user (по истории).
• Обучение команды: показываем, как интерпретировать результаты и дообучать модель.
• Гарантия: мы сопровождаем A/B-тест до достижения статистически значимого uplift.

Как оценить ROI для вашего бизнеса

Чтобы оценить потенциал cross-sell для вашего ассортимента, свяжитесь с нами. Мы проведём аудит данных и предоставим прототип за 2 недели с гарантией конфиденциальности. Закажите консультацию — обсудим детали вашего проекта и подготовим индивидуальное предложение.

Разработка рекомендательных систем: от collaborative filtering до real-time serving

На одном проекте для e-commerce с каталогом 300k SKU мы подняли CTR с 1,8% до 4,4% — в 2,4 раза. Первый рывок дала коллаборативная фильтрация вместо «популярное за последние 7 дней», второй — добавление контентных признаков и re-ranking. Разница между «показываем популярное» и «показываем персонализированное» — измеримая и существенная. Ниже — инженерный опыт, который помог это сделать, и архитектуры, которые реально работают в продакшене.

Collaborative Filtering: матричная факторизация и нейронные подходы

Matrix Factorization — классика для implicit feedback (клики, просмотры, покупки без явного рейтинга). ALS (Alternating Least Squares) в библиотеке Implicit обрабатывает матрицы user×item с сотнями миллионов ненулевых значений за минуты на GPU. Latent factors 64–256, регуляризация λ=0.01–0.1 — стартовые параметры. Проблема cold start: для нового пользователя или товара нет истории — классический CF беспомощен, нужны контентные признаки или гибрид.

Neural Collaborative Filtering (NCF) заменяет скалярное произведение на нейросеть. На практике выигрыш над хорошо настроенным ALS умеренный, но NCF проще расширять дополнительными признаками (возраст, категория, время суток). Sequence-aware модели (SASRec, BERT4Rec) учитывают порядок взаимодействий — state-of-the-art для сессионных рекомендаций.

Как выбрать архитектуру рекомендательной системы?

Ответ зависит от данных, нагрузки и требований к холодному старту. Ниже — три основных подхода с критериями выбора.

Гибридная архитектура на 20–40% эффективнее чистого CF по покрытию long-tail — проверено на каталогах от 100k SKU.

Content-Based Filtering: когда истории взаимодействий мало

Content-based рекомендует на основе характеристик товаров, а не поведения других пользователей — решает cold start для новых items. Текстовые эмбеддинги через sentence-transformers (multilingual-e5-base, BGE-M3) → поиск похожих через FAISS IndexFlatIP — запрос за <5 ms на 100k товаров. Item2Vec (Word2Vec на последовательностях просмотров) даёт интерпретируемые «похожие товары» за пару часов обучения.

Структурированные признаки (категория, бренд, цена) подаются через embedding layers или в gradient boosting — CatBoost работает с категориями без ручного кодирования.

Почему гибридные модели работают лучше?

Production-системы почти всегда двухуровневые. Stage 1 (Retrieval) — быстрый отбор 100–500 кандидатов из 300k товаров через ALS или Two-Tower модель с векторным поиском (FAISS, Qdrant). Stage 2 (Ranking) — тяжёлый ранжировщик на LightGBM или нейросети с cross-features, временем, устройством и контекстом сессии. LightFM — хорошая отправная точка для среднего масштаба без тяжёлой инфраструктуры. Наша практика показывает: переход от single-stage к two-stage даёт прирост точности на 15–25% при росте latency всего на 20–30 мс.

Real-Time Serving: архитектура под нагрузку

Latency SLA — 50–100 ms при тысячах запросов в секунду. Base-рекомендации precompute (batch job раз в час) → Redis по user_id → <5 ms. Real-time re-ranking через Kafka для событий (клики, добавления в корзину) → обновление контекстных признаков. Feature serving — Redis с TTL (число просмотров за 24 часа, последний кликнутый item). При нагрузке 10k req/s ставим Redis Cluster с репликацией.

A/B тестирование — единственный достоверный способ оценить улучшения. Офлайн-метрики коррелируют с онлайн не всегда. Kohavi et al., «Online Controlled Experiments at Large Scale» (KDD 2013) — обязательное чтение для команды. Тест с 5–10% трафика, мониторинг CTR, конверсии, revenue per session. Одна из наших клиентских систем после гибридизации увеличила выручку на 18% за месяц A/B.

Сроки разработки рекомендательной системы

Этапы и типичные временные затраты — в таблице ниже. Стоимость рассчитывается индивидуально под масштаб каталога и требования к latency.

Что входит в разработку под ключ

1. Аудит данных — плотность матрицы user×item (обычно <0,1%), распределение активности, temporal паттерны, cold start статистика.
2. Baseline — «популярное» как простой порог, который часто трудно обогнать.
3. Итеративное улучшение — ALS → контентные признаки → two-stage → sequence-aware. Каждый шаг с A/B.
4. Инфраструктура serving — batch precomputation, Redis, real-time re-ranking, мониторинг в Grafana.
5. Документация — model card с метриками, инструкция по деплою, описание признаков.
6. Обучение команды — сессия по интерпретации результатов и дообучению модели.
7. Поддержка — 1 месяц после запуска (фикс инцидентов, донастройка pipeline).

Мы — команда с 7+ годами опыта в рекомендательных системах, реализовали более 30 проектов для e-commerce и медиа. Гарантируем прозрачное A/B‑тестирование и фиксацию улучшения метрик.

Хотите оценить потенциал роста вашего каталога? Свяжитесь с нами для бесплатного аудита данных. Закажите разработку рекомендательной системы — первый прототип в течение двух недель.

from implicit.als import AlternatingLeastSquares

model = AlternatingLeastSquares(
    factors=64,
    regularization=0.05,
    iterations=15,
    use_gpu=True
)
model.fit(user_item_matrix)

Больше о математике рекомендательных систем — в Wikipedia.