Разработка и внедрение системы хранения tick-данных под ключ

Разработка системы хранения tick-данных

Представьте: вы анализируете рынок криптовалют, и ваша стратегия требует доступа к каждому трейду за последние два года. Без правильного хранения tick-данных это невозможно. Между тем даже опытные команды сталкиваются с типичными проблемами: медленная запись, высокие затраты на хранение, сложности с агрегацией. Мы спроектировали и внедрили десятки подобных систем — от прототипов до продакшен-инсталляций с миллиардами строк. Недавно к нам обратился маркет-мейкер, у которого PostgreSQL не справлялся с нагрузкой: запись занимала более 5 секунд, а запросы по одному дню торговли выполнялись минутами. После миграции на ClickHouse latency записи упала до 50 мс, а агрегация на лету стала занимать секунды.

Объёмы данных

Чтобы понять масштаб задачи: Binance по BTC/USDT генерирует порядка 50,000–200,000 трейдов в сутки. По всем парам на всех биржах — сотни миллионов записей в день. Год данных — десятки миллиардов строк. Обычный PostgreSQL с этим не справится без специальных решений.

Какие технологии хранения tick-данных выбрать?

ClickHouse — колоночная СУБД от Yandex, оптимизированная для аналитических запросов. Сжимает временные ряды лучше конкурентов, выполняет агрегации по миллиардам строк за секунды. Таблица с партиционированием по бирже и месяцу выглядит так:

CREATE TABLE trades ( exchange LowCardinality(String), symbol LowCardinality(String), trade_id String, timestamp DateTime64(3, 'UTC'), price Decimal(24, 8), quantity Decimal(24, 8), side LowCardinality(String), is_maker Bool ) ENGINE = MergeTree() PARTITION BY (exchange, toYYYYMM(timestamp)) ORDER BY (exchange, symbol, timestamp) SETTINGS index_granularity = 8192; 

LowCardinality для строк с небольшим количеством уникальных значений — автоматический dictionary encoding даёт значительную экономию места.

TimescaleDB — если уже используете PostgreSQL и объёмы умеренные (< 1 млрд строк). Поддерживает hypertables и compression policies.

Arctic — специализированное решение для финансовых временных рядов на Python, с версионированием и поддержкой tick-данных.

Как мы проектируем Ingestion Pipeline?

Для максимальной производительности записи используем буферную таблицу:

-- Буфер: накапливает данные в памяти, сбрасывает каждые 10 сек или 1M строк CREATE TABLE trades_buffer AS trades ENGINE = Buffer(currentDatabase(), 'trades', 16, 10, 100, 10000, 1000000, 10000000, 100000000); -- Записываем в буфер, читаем из основной таблицы INSERT INTO trades_buffer VALUES (...); SELECT * FROM trades WHERE ...; 

Pipeline на Python с асинхронным буферизированием:

import asyncio from collections import deque class TickDataIngester: BATCH_SIZE = 10000 FLUSH_INTERVAL = 5.0 # seconds def __init__(self, clickhouse_client): self.buffer = deque() self.client = clickhouse_client async def on_trade(self, trade: NormalizedTrade): self.buffer.append(trade) if len(self.buffer) >= self.BATCH_SIZE: await self.flush() async def flush(self): if not self.buffer: return batch = [self.buffer.popleft() for _ in range(min(self.BATCH_SIZE, len(self.buffer)))] await self.client.insert('trades_buffer', batch) async def flush_loop(self): while True: await asyncio.sleep(self.FLUSH_INTERVAL) await self.flush() 

Как выполнять агрегацию tick-данных в OHLCV?

Агрегация на лету с помощью оконных функций ClickHouse:

SELECT toStartOfInterval(timestamp, INTERVAL 1 MINUTE) AS candle_time, argMin(price, timestamp) AS open, max(price) AS high, min(price) AS low, argMax(price, timestamp) AS close, sum(quantity) AS volume, count() AS trade_count FROM trades WHERE exchange = 'binance' AND symbol = 'BTC/USDT' AND timestamp BETWEEN '2023-01-01' AND '2023-01-02' GROUP BY candle_time ORDER BY candle_time; 

На ClickHouse этот запрос по 50M строк выполняется за 1–3 секунды. Альтернативный подход — материализованные представления, которые предрасчитывают свечи при вставке. Сравним оба метода:

Выбор зависит от сценария: для ad-hoc аналитики — on-the-fly, для дашбордов реального времени — materialized view.

Компрессия и retention

ClickHouse сжимает данные автоматически. Дополнительно включаем cold storage через TTL:

ALTER TABLE trades MODIFY TTL timestamp + INTERVAL 1 YEAR TO DISK 'cold_storage'; 

Данные старше года автоматически переносятся на более дешёвое хранилище (S3-совместимое).

Бэкфилл исторических данных

Для заполнения исторических данных используем публичные API бирж. Binance предоставляет trade history через /api/v3/aggTrades с пагинацией по fromId. Параллельный бэкфилл по временным диапазонам с rate limiting позволяет загрузить годы данных за несколько часов.

Что входит в работу (deliverables)

• Архитектурная документация: выбор СУБД, схема партиционирования, политика retention и сжатия
• Разработка ingestion pipeline: буферизация, дедупликация, мониторинг задержек
• Интеграция с источниками: WebSocket бирж, REST API, Kafka
• Конфигурация ClickHouse/TimescaleDB под ваш hardware профиль
• Нагрузочное тестирование: симуляция пиковых нагрузок до 1 млн записей/с
• Документация по эксплуатации: backup/restore, upgrade, мониторинг
• Гарантия: 30 дней post-launch поддержки и устранения инцидентов

Оставьте заявку на бесплатную консультацию — мы проанализируем вашу нагрузку и предложим оптимальную архитектуру.

Почему нас выбирают?

Мы имеем 5+ лет опыта в разработке систем хранения данных для криптовалютных бирж. Реализовали более 30 проектов с общим объёмом хранимых данных свыше 100 миллиардов записей. Наши клиенты — от стартапов до крупных маркет-мейкеров. Мы гарантируем, что система будет работать с заявленной производительностью и не «просядет» под ростом объёмов.

Сроки и стоимость

Срок разработки — от 4 до 12 недель в зависимости от сложности и объёмов. Стоимость рассчитывается индивидуально на основе оценки объёма данных, количества источников и требований к задержкам. Свяжитесь с нами, чтобы получить demo-доступ к работающей системе под вашу нагрузку — мы проведём предварительную оценку и предложим решение.