Разработка системы оптимизации параметров стратегии (grid search)

Разработка системы оптимизации параметров стратегии (grid search)

Grid search — перебор всех комбинаций параметров из заданных диапазонов. Простой и надёжный метод, гарантирующий нахождение глобального оптимума в пространстве параметров. Основной недостаток — экспоненциальный рост числа комбинаций с количеством параметров.

Базовая реализация

import itertools
from multiprocessing import Pool
import pandas as pd
from typing import Callable, Any

def grid_search(
    backtest_fn: Callable[[dict], dict],  # функция бэктеста → метрики
    param_grid: dict[str, list],          # {'param': [val1, val2, ...]}
    n_jobs: int = -1,                     # -1 = все ядра
    metric: str = 'sharpe_ratio',         # метрика для ранжирования
) -> pd.DataFrame:
    # Генерируем все комбинации
    param_names = list(param_grid.keys())
    param_values = list(param_grid.values())
    all_combinations = list(itertools.product(*param_values))

    print(f"Total combinations: {len(all_combinations)}")
    print(f"Estimated time: ~{len(all_combinations) * 0.5:.0f} seconds")

    def run_single(params_tuple) -> dict:
        params = dict(zip(param_names, params_tuple))
        try:
            metrics = backtest_fn(params)
            return {**params, **metrics}
        except Exception as e:
            return {**params, 'error': str(e), metric: float('-inf')}

    # Параллельный запуск
    if n_jobs == 1:
        results = [run_single(combo) for combo in all_combinations]
    else:
        with Pool(processes=n_jobs if n_jobs > 0 else None) as pool:
            results = pool.map(run_single, all_combinations)

    df = pd.DataFrame(results)
    df = df[df.get('error').isna()] if 'error' in df.columns else df
    return df.sort_values(metric, ascending=False)

Использование

import pandas as pd
from functools import partial

# Загружаем исторические данные
ohlcv = load_historical_data('BTC/USDT', '2023-01-01', '2024-01-01')

# Функция бэктеста для конкретных параметров
def backtest_ema_crossover(params: dict) -> dict:
    backtester = Backtester(commission=0.001, slippage=0.0005)
    result = backtester.run(
        strategy_class=EMACrossoverStrategy,
        params=params,
        data=ohlcv,
        initial_cash=100_000,
    )
    return {
        'sharpe_ratio': result.metrics.sharpe_ratio,
        'annual_return': result.metrics.annual_return_pct,
        'max_drawdown': result.metrics.max_drawdown_pct,
        'win_rate': result.metrics.win_rate,
        'total_trades': result.metrics.total_trades,
    }

# Пространство параметров
param_grid = {
    'fast_period': [5, 7, 9, 12],
    'slow_period': [15, 21, 30, 50],
    'rsi_threshold': [25, 30, 35, 40],
    'stop_loss_pct': [0.02, 0.03, 0.05],
}
# Всего: 4 × 4 × 4 × 3 = 192 комбинации

results = grid_search(backtest_ema_crossover, param_grid, n_jobs=8, metric='sharpe_ratio')
print(results.head(10)[['fast_period', 'slow_period', 'rsi_threshold', 'stop_loss_pct', 'sharpe_ratio', 'annual_return']])

Визуализация результатов

import matplotlib.pyplot as plt
import seaborn as sns

def plot_parameter_heatmap(results: pd.DataFrame, param1: str, param2: str, metric: str):
    """Heatmap зависимости метрики от двух параметров"""
    pivot = results.pivot_table(
        values=metric,
        index=param1,
        columns=param2,
        aggfunc='max',  # лучший результат для каждой комбинации
    )

    plt.figure(figsize=(10, 8))
    sns.heatmap(pivot, annot=True, fmt='.2f', cmap='RdYlGn', center=0)
    plt.title(f'{metric} by {param1} and {param2}')
    plt.tight_layout()
    plt.savefig(f'heatmap_{param1}_{param2}.png', dpi=150)

Защита от overfitting при grid search

Разделение данных:

• Train: 70% для оптимизации
• Validation: 15% для финальной проверки
• Test: 15% — никогда не смотрим до финального выбора

def split_data_temporal(data: pd.DataFrame, train_pct=0.7, val_pct=0.15):
    n = len(data)
    train_end = int(n * train_pct)
    val_end = int(n * (train_pct + val_pct))
    return data[:train_end], data[train_end:val_end], data[val_end:]

train, validation, test = split_data_temporal(ohlcv)

# Оптимизируем на train
results = grid_search(lambda p: backtest_fn(p, train), param_grid)

# Топ-5 параметров тестируем на validation
top_params = results.head(5)
for _, row in top_params.iterrows():
    val_result = backtest_fn(row.to_dict(), validation)
    print(f"Params: {row.to_dict()}, Val Sharpe: {val_result['sharpe_ratio']:.2f}")

# Финальный тест на test set — один раз, выбранными параметрами

Минимальное количество сделок: параметры, дающие < 30 сделок за период, статистически ненадёжны. Фильтруем такие результаты.

Stability check: лучшие параметры должны быть стабильны — незначительные изменения (fast_period 9 → 10) не должны обрушивать результаты. Если изменение одного параметра на 1 единицу меняет Sharpe с 2.5 на 0.5 — это overfit.

Клиффхэнгеры grid search

При 5+ параметрах grid search становится нереальным: 5 параметров × 5 значений = 3125 комбинаций. 6 параметров × 6 значений = 46,656 комбинаций. При времени бэктеста 1 секунда — это 13 часов. В таких случаях переходим к Bayesian или genetic algorithm оптимизации.