Торговый бот спотыкается на свечных данных — запросы уходят в тайм-аут, бэктестер грузит страницу по минуте. При датасете в 100 пар за год база падает, а пагинация offset плодит дубли. Знакомая боль? Мы разрабатываем REST API для исторических рыночных данных, которые выдерживают 1000 параллельных запросов и отдают свечи за 50 мс. Ниже — инженерные решения, которые мы закладываем в каждый проект: от выбора базы до стратегии кэширования.
Проблемы, которые решаем
Типичные ошибки в торговых API — медленные запросы при больших датасетах, негибкая фильтрация, отсутствие пагинации. Мы сталкивались с проектами, где выборка OHLCV за год по 100 парам убивала базу. Другая частая проблема — неконсистентность данных при использовании offset-пагинации: если между запросами добавились новые свечи, клиент получает дубли или пропуски. Нагрузочное тестирование наших решений показывает рост производительности до 200% за счёт шардирования по времени и агрессивного кэширования.
Дизайн эндпоинтов
Базовый набор эндпоинтов для маркет-данных:
GET /v1/ohlcv/{exchange}/{symbol} ?from=2024-01-01T00:00:00Z &to=2024-01-31T23:59:59Z &interval=1h &limit=1000 GET /v1/trades/{exchange}/{symbol} ?from=1704067200000 &to=1704153600000 &limit=10000 GET /v1/orderbook/{exchange}/{symbol}/snapshot ?timestamp=1704067200000 &depth=20 GET /v1/tickers/{exchange}/{symbol}/history ?from=2024-01-01 &to=2024-01-02 &fields=close,volume Использование ISO 8601 для пользовательского интерфейса и Unix timestamp (milliseconds) для программного доступа. Поддержка обоих форматов через автоматическое определение.
Параметры и валидация
from fastapi import FastAPI, Query from datetime import datetime from typing import Optional @app.get("/v1/ohlcv/{exchange}/{symbol}") async def get_ohlcv( exchange: str, symbol: str, interval: str = Query("1h", regex="^(1m|5m|15m|1h|4h|1d|1w)$"), from_time: datetime = Query(..., alias="from"), to_time: datetime = Query(..., alias="to"), limit: int = Query(1000, ge=1, le=50000), ): if (to_time - from_time).days > 365: raise HTTPException(400, "Date range cannot exceed 365 days") data = await candle_service.get_candles( exchange, symbol, interval, from_time, to_time, limit ) return {"data": data, "count": len(data)} Пагинация для больших датасетов
Cursor-based пагинация эффективнее offset для временных рядов:
{ "data": [...], "cursor": { "next": "eyJ0aW1lc3RhbXAiOiAxNzA0MDY3MjAwMDAwfQ==", "has_more": true } } Cursor — base64-encoded JSON с последним timestamp в текущей странице. При следующем запросе клиент передаёт ?cursor=... вместо ?from=....
| Параметр | Cursor | Offset |
|---|---|---|
| Консистентность при вставках | Гарантирована | Возможны дубли/пропуски |
| Производительность на больших наборах | O(log n) | O(n) при смещении |
| Поддержка сортировки | Только по возрастанию (timestamp) | Любая |
| Простота реализации | Средняя | Простая |
Стратегии кэширования
| Стратегия | Время жизни | Применимость |
|---|---|---|
| HTTP Cache-Control (public, max-age=3600) | 1 час | Данные старше суток |
| Redis Cache | 60 секунд | Часто запрашиваемые диапазоны (последние 30 дней) |
| Query Cache (TimescaleDB/ClickHouse) | 5 минут | Тяжёлые агрегации |
Исторические свечи не изменяются — идеальный кейс для кэширования. Если запрошенный диапазон полностью закрыт, кэшируем на 24 часа. Если включает текущий момент — кэшируем на 60 секунд.
Как спроектировать REST API для маркет-данных?
При проектировании используем REST с единообразными эндпоинтами, поддержкой нескольких таймфреймов и форматов. Ключевой принцип — ресурсно-ориентированный дизайн: /v1/ohlcv/{exchange}/{symbol}. Фильтры через query-параметры, пагинация курсором. Документируем через OpenAPI — клиенты могут сразу тестировать в Swagger UI.
Почему важно правильно кэшировать исторические данные?
Правильное кэширование снижает задержки в 3-5 раз и уменьшает нагрузку на базу. Наши настройки учитывают частоту запросов и статичность данных. Для популярных пар с глубокой историей используем ClickHouse с материализованными представлениями — это даёт прирост производительности до 40%.
Rate Limiting и аутентификация
from slowapi import Limiter from slowapi.util import get_remote_address limiter = Limiter(key_func=get_remote_address) @app.get("/v1/ohlcv/{exchange}/{symbol}") @limiter.limit("100/minute") async def get_ohlcv(...): ... Для коммерческого API — тарифные планы через API-ключи с разными лимитами: free (10 req/min, 30 дней истории), paid (1000 req/min, полная история).
Документация через OpenAPI
FastAPI автоматически генерирует OpenAPI схему. Дополнительно — примеры запросов/ответов в документации, описание форматов, коды ошибок. Swagger UI и ReDoc из коробки — клиенты смогут тестировать API прямо в браузере без дополнительных инструментов.
Пример ответа с ошибкой
{ "error": { "code": "INVALID_INTERVAL", "message": "Interval must be one of: 1m, 5m, 15m, 1h, 4h, 1d, 1w" } } Процесс работы
- Аналитика: разбираем ваши данные, пиковую нагрузку, сценарии использования.
- Проектирование: определяем схему эндпоинтов, формат ответов, пагинацию.
- Реализация: пишем на FastAPI, подключаем TimescaleDB/ClickHouse, настраиваем кэширование.
- Тестирование: нагрузочное тестирование (k6 + locust), стресс-тест на 10 000 RPS.
- Деплой: развёртывание в вашем облаке или on-premise, настройка мониторинга (Prometheus + Grafana).
Сроки — от 2 до 4 недель в зависимости от сложности и объёма данных. Стоимость рассчитывается индивидуально.
Что входит в работу
- REST API с описанным выше функционалом (OHLCV, сделки, стакан, тикеры).
- Документация OpenAPI (Swagger/ReDoc).
- Примеры интеграции на Python, JavaScript, cURL.
- Развёртывание (Docker, Kubernetes, CI/CD).
- Гарантия 99.9% uptime (SLA).
- Месяц бесплатной поддержки после запуска.
Почему мы?
5+ лет опыта в разработке Web3-инфраструктуры, 30+ реализованных API для торговых систем на Ethereum, Solana и Binance Smart Chain. Решения выдерживают пиковые нагрузки до 50 000 запросов в минуту. Используем Tenderly, Slither, Mythril для аудита безопасности.
Свяжитесь с нами, чтобы обсудить ваш проект. Закажите разработку под ключ с гарантией производительности — получите консультацию инженера за 2 рабочих дня.