Разработка AI-модели прогнозирования цен активов под ключ

Почему большинство AI-моделей прогнозирования цен терпят неудачу?

Трейдеры и фонды часто вкладывают ресурсы в разработку сложных моделей, но на реальных рынках они показывают убытки. Причина — в трёх ловушках: look-ahead bias, игнорирование транзакционных издержек и переобучение на исторических данных. Например, простая модель на скользящих средних может показывать Sharpe ratio 1.5 в backtest, но в live-торговле без учёта slippage и комиссий этот показатель падает до 0.3. Мы уже сталкивались с проектами, где модель с IC 0.08 на валидации показывала Sharpe 0.2 в продакшне — из-за игнорирования slippage. Наш подход исключает такие сюрпризы. Мы решаем эти проблемы через purged walk-forward валидацию, реалистичную transaction cost model (Almgren-Chriss) и строгий контроль выбора факторов.

Как выбрать горизонт прогнозирования?

Практическая цель — не точная цена через N дней, а сигнал с положительным ожидаемым значением после транзакционных издержек. Даже модель с MAPE 3% на акциях S&P500 бесполезна, если Sharpe ratio стратегии < 0. Горизонт определяет тип сигнала:

• Intraday (минуты-часы): microstructure signals, order flow imbalance — типичная доходность 0.5–1.5% на сделку.
• Short-term (1-5 дней): momentum, mean reversion — средний IC 0.05–0.08.
• Medium-term (1-4 недели): earnings, macro catalysts — IC может достигать 0.12.
• Long-term (месяцы): fundamental valuation, factor exposure — более стабильный, но требует большей точности.

Оптимальный горизонт зависит от ликвидности инструмента и частоты ребалансировки. Для менее ликвидных активов короткие горизонты менее надёжны.

Что такое purged walk-forward валидация?

Корректная валидация — ключ к реалистичному backtest. Используем purged walk-forward cross-validation:

• Training: t=0 до t=T
• Purge gap: T до T+embargo (устраняем look-ahead из overlapping labels)
• Test: T+embargo до T+embargo+H
• Embargo period: обычно равен горизонту прогноза

Embargo period гарантирует, что информация из будущего не просочится в обучающую выборку. Это критически важно для временных рядов. Метрики: IC (Information Coefficient) — корреляция предсказанных и реальных рангов доходности. IC > 0.05 — слабый, IC > 0.10 — хороший. ICIR (IC Information Ratio) — стабильность сигнала. Sharpe ratio стратегии из сигнала — главная практическая метрика. Efficient Market Hypothesis утверждает, что рынки эффективны, но на практике микроаномалии существуют, и их можно выявить с помощью корректной валидации.

Для выбора модели учитывайте объём и структуру данных: если инструментов много — LightGBM ранжирование, если один временной ряд — LSTM, если мульти-инструменты с известными событиями — Temporal Fusion Transformer. При ограниченных данных начинайте с LightGBM.

Особенности и архитектура модели

Price-based (технический анализ):

• Returns: log returns за 1, 5, 10, 21 торговый день.
• Momentum: 12-1 month momentum (Jegadeesh-Titman factor).
• RSI, MACD, Bollinger Band width — осцилляторы как функции от цены.
• Volatility: realized volatility за 5/21/63 дней.

Volume-based:

• Volume relative to 20-day average.
• Price × Volume (доллар-объём).
• On-Balance Volume (OBV).
• VWAP deviation.

Fundamental (для акций):

• P/E, P/B, EV/EBITDA.
• EPS growth YoY.
• Revenue growth.
• Debt/Equity.

Alternative data:

• Sentiment из Twitter/Reddit (NLP score).
• Google Trends для consumer stocks.
• Satellite imagery (retail parking lots, commodity stores).
• Job postings growth (Glassdoor, LinkedIn).

Сравнение основных подходов к моделированию:

LightGBM обучается в 10 раз быстрее LSTM на табличных данных — это преимущество для быстрого прототипирования. Для ranking задач используем LGBMRanker с objective='lambdarank'. Пример конфигурации:

import lightgbm as lgb

model = lgb.LGBMRanker(
    objective='lambdarank',
    n_estimators=500,
    learning_rate=0.05,
    max_depth=6
)

Для временных рядов одного инструмента применяем LSTM с 60 днями истории:

model = Sequential([
    LSTM(64, return_sequences=True, input_shape=(60, n_features)),
    Dropout(0.2),
    LSTM(32),
    Dropout(0.2),
    Dense(1)
])

Temporal Fusion Transformer — лучший выбор при наличии known future covariates (даты earnings, macro events) и 100+ инструментов.

Качество модели оценивается не только по IC. Используем комплекс метрик:

Из модели в торговую стратегию

Модель → сигнал → позиция → PnL — цепочка с несколькими этапами потерь:

1. Signal generation: score ранжирования по universe акций (обычно 500-1000 инструментов).
2. Portfolio construction: mean-variance optimization (Markowitz) или equal-weight децили. Типичное количество позиций 20-50.
3. Risk управление: ограничения на sector/factor exposure, max position size 5%.
4. Transaction cost model: bid-ask spread + market impact (Almgren-Chriss) — учёт slippage, часто 10-30 bps.
5. Backtesting: с реальными TC и slippage — ключевое! Используем Zipline / Backtrader или кастомный backtester.

Распространённые ошибки: survivorship bias (обучение только на существующих акциях), look-ahead bias в фундаментальных данных (используем point-in-time), игнорирование transaction costs. Мы документируем каждое допущение.

Что входит в работу

• Документация: дашборд с метриками (IC, Sharpe), описание модели, код воспроизведения.
• Доступ к модели: REST API или Python-пакет с документацией.
• Обучение команды: воркшоп по эксплуатации и дообучению.
• Поддержка: 3 месяца после внедрения, включая мониторинг дрейфа.

Получите консультацию инженера по вашему проекту — мы бесплатно оценим данные и сроки.

Наши результаты

Мы создали модели для нескольких хедж-фондов и проп-трейдинговых команд. Средняя экономия на транзакционных издержках составляет 20-30% по сравнению с наивными бенчмарками. Гарантируем IC > 0.05 на out-of-sample, Sharpe ratio > 1.0 после TC. Имеем сертификаты AWS и GCP по ML. Опыт работы с LightGBM и PyTorch. Свяжитесь с нами для оценки вашего проекта — рассчитаем сроки и стоимость бесплатно.

Какие проблемы прогнозирования временных рядов встречаются чаще всего?

Финансовый директор запрашивает прогнозирование временных рядов продаж на квартал. Аналитик строит SARIMA, добивается MAPE 8.3% на тестовой выборке — и с гордостью деплоит. Через два месяца в production метрика падает до 23%. Причина классическая: модель обучалась на данных до COVID, тестировалась на стабильном периоде, а production попал на промо-акцию и сбой поставок. Data leakage + distribution shift = красивые цифры в ноутбуке и неработающий прогноз в реальности. Мы сталкивались с этим десятки раз. Наш опыт — 5+ лет в прогнозировании временных рядов для ритейла, финтеха и IoT, более 50 завершённых проектов.

Неправильная кросс-валидация. Стандартный train_test_split для временных рядов — ошибка. Случайное разбиение создаёт data leakage: модель видит «будущие» значения в обучении. Правильно — TimeSeriesSplit или walk-forward validation с expanding window.

Множественная сезонность. Почасовые данные потребления электроэнергии имеют три сезонности: суточную (24 ч), недельную (168 ч), годовую (8760 ч). SARIMA справляется только с одной. Prophet обрабатывает несколько, но медленно масштабируется на тысячи рядов.

Пропуски и аномалии в данных. Пропуск в сенсорных данных — это информация (датчик отключился), а не просто NaN. Линейная интерполяция убивает этот сигнал. Правильная обработка зависит от природы пропуска.

Cold start при иерархическом прогнозировании. Новый SKU в ассортименте из 50 000 позиций: исторических данных нет, нужен прогноз. Стандартные подходы тут не работают — нужны cross-learning подходы или feature-based методы.

Какие инструменты и когда применять?

Prophet (Meta) — отличный старт для бизнес-данных с понятной сезонностью и праздниками. Быстро настраивается, интерпретируем, встроенная обработка выбросов и пропусков. Падает в точности при нерегулярных паттернах и не масштабируется на десятки тысяч рядов без параллелизации. Prophet (Facebook) — официальная документация.

Gradient boosting на фичах (LightGBM, XGBoost) — часто недооценённый подход. Создаёте фичи вручную: лаги (t-1, t-7, t-28), скользящие средние, категориальные признаки (день недели, месяц), экзогенные переменные. Модель обучается на всех рядах одновременно — решает cold start через похожие ряды. MAPE на ритейл-прогнозировании часто лучше нейронных сетей при правильной feature engineering.

TFT (Temporal Fusion Transformer) — трансформер, специально разработанный для интерпретируемого прогнозирования с ковариатами. Встроенные механизмы: variable selection (какие признаки важны), temporal self-attention (какие временные точки влияют на прогноз), квантильные предсказания. Доступен в pytorch-forecasting. Требует ~10 000+ записей на ряд для стабильного обучения. Temporal Fusion Transformer — академическая публикация.

PatchTST — трансформер, который делит временной ряд на патчи (аналогично ViT для изображений). Лучше захватывает локальные паттерны, чем классические трансформеры. Хорошо работает для long-horizon forecasting (прогноз на 96–720 шагов). Реализация в neuralforecast от Nixtla.

N-HiTS, N-BEATS — нейронные архитектуры без attention, быстрее TFT, конкурентная точность. N-BEATS выигрывает на M4/M5 benchmark для задач без ковариат.

Как мы разворачиваем TFT в production?

TFT требует тщательной подготовки данных. Типичный пайплайн через pytorch-forecasting:

training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="sales",
    group_ids=["store", "sku"],
    min_encoder_length=max_encoder_length // 2,
    max_encoder_length=max_encoder_length,  # 120 дней
    min_prediction_length=1,
    max_prediction_length=max_prediction_length,  # 28 дней
    static_categoricals=["store_type", "category"],
    time_varying_known_reals=["price", "promo_flag"],
    time_varying_unknown_reals=["sales"],
    target_normalizer=GroupNormalizer(groups=["store", "sku"], transformation="softplus"),
)

Частая ошибка: target_normalizer по умолчанию (StandardScaler) ломает предсказания для рядов с нулевыми значениями (нет продаж в выходные). GroupNormalizer с transformation="softplus" — правильный выбор для count-данных.

Пошаговая инструкция по настройке TFT

1. Сбор и подготовка данных. Обработать пропуски (маркировать NaN, интерполировать только если это технический сбой), агрегировать до нужной частоты, сформировать ковариаты (праздники, промо, цены).
2. Создание TimeSeriesDataSet. Указать group_ids (например, магазин+SKU), временной индекс, горизонт прогноза. Настроить target_normalizer с учётом распределения таргета.
3. Обучение baseline. Сначала Prophet или LightGBM — чтобы понять, насколько сложнее задача.
4. Тренировка TFT. Запустить TemporalFusionTransformer с loss=QuantileLoss(), подобрать learning rate и размеры hidden слоёв. Использовать pytorch_forecasting или neuralforecast.
5. Валидация и интерпретация. Проверить walk-forward, проанализировать variable selection, построить attention heatmap.

Кейс: прогноз спроса в ритейле. Сеть из 120 магазинов, 8000 SKU, горизонт прогноза 28 дней. Исходная система: SARIMA отдельно для каждого ряда, MAPE 18.4%, полный цикл переобучения — 6 часов. TFT на PyTorch + pytorch-forecasting: одна модель на все ряды, MAPE 11.2%, переобучение — 40 мин на A10G. Дополнительный бонус: feature importance через variable selection — выяснилось, что day_before_holiday влияет сильнее, чем сама дата праздника. Средняя экономия бюджета на инференсе для клиента составила 1.5 млн ₽ в год.

Как правильно оценивать качество прогнозов?

Не используйте RMSE как единственную метрику — она сильно штрафует за большие ошибки на больших значениях. Наш набор метрик для ритейл-прогнозирования:

• MAPE — интерпретируема, но нестабильна при значениях близких к нулю
• sMAPE — симметричная версия, избегает деления на маленькие числа
• MASE (Mean Absolute Scaled Error) — нормализован относительно наивного сезонного прогноза, отлично подходит для сравнения между рядами с разными масштабами
• Quantile loss / Pinball loss — для вероятностного прогнозирования, оценка покрытия интервалов

Гарантируем: мы предоставляем model card с этими метриками на валидационной выборке и результаты walk-forward теста на истории не менее 6 месяцев.

Что входит в работу

• Документация по выбранной архитектуре, обоснование выбора гиперпараметров.
• Воспроизводимый пайплайн обучения и инференса (Docker + CI/CD + Airflow/Prefect).
• Код с комментариями и модульными тестами на ключевые компоненты.
• Обучение вашей команды: как переобучать модель, как интерпретировать выходы, как деплоить новые версии.
• Поддержка в течение 3 месяцев после сдачи: консультации, фиксы багов, донастройка.

Процесс работы

Начинаем с EDA: визуализация, тест ADF на стационарность, STL-декомпозиция, анализ пропусков и выбросов. Это 2–3 дня, но часто выявляет системные проблемы данных, которые блокируют прогнозирование.

Затем: baseline (наивный seasonal, Prophet), feature engineering для LGBM, выбор архитектуры нейронной сети если нужно. Walk-forward validation с реалистичным горизонтом. Деплой через API с автоматическим переобучением по расписанию через Airflow или Prefect.

Сроки ориентировочно: MVP-прогноз на одном типе данных — 3–6 недель. Иерархическая система прогнозирования с автоматизацией — 2–5 месяцев. Стоимость рассчитывается индивидуально.

Наша команда — сертифицированные ML-инженеры (AWS ML Specialty, GCP Professional ML Engineer). За 5 лет на рынке реализовали более 50 проектов по прогнозированию. Свяжитесь с нами для бесплатного анализа ваших данных — мы оценим задачу и дадим первые рекомендации за 1–2 дня. Закажите консультацию и убедитесь, что ваши прогнозы работают в production, а не только в ноутбуке.