Настройка ClickHouse для аналитики веб-приложений: от схемы до запросов

Событий в веб‑приложении становится больше 100 миллионов, и PostgreSQL начинает выдавать результат за минуты. Мы сталкивались с этим не раз: клиент просит отчёт по DAU за 90 дней с разбивкой по источникам, а запрос зависает на 40 секунд. ClickHouse — колоночная СУБД, разработанная Яндексом для аналитических нагрузок. Она обрабатывает миллиарды строк за секунды. Наш опыт внедрения ClickHouse в 10+ проектах за 5 лет показывает стабильное ускорение в 10–100x. ClickHouse не заменяет транзакционную базу — это дополнение: PostgreSQL для операционных данных, ClickHouse для аналитики. Мы гарантируем: после настройки вы забудете о тайм-аутах.

ClickHouse даёт экономию бюджета на серверах в 5–10 раз.

Преимущества ClickHouse для аналитики веб-приложений

ClickHouse использует колоночное хранение: данные каждой колонки лежат отдельно — запрос читает только нужные столбцы. Векторизованная обработка позволяет CPU выполнять операции над пачками значений, а не над отдельными строками. Однотипные данные сжимаются в 5–10 раз эффективнее, чем в PostgreSQL. ClickHouse предлагает специализированные движки таблиц, такие как MergeTree, которые оптимизируют хранение и запросы для аналитических сценариев.

MergeTree: устройство и оптимизация

MergeTree — основной движок ClickHouse. Он сортирует данные по ключу ORDER BY и разбивает на гранулы по 8192 строки. При запросе ClickHouse отсекает целые гранулы на основе первичного индекса и дополнительных индексов, таких как bloom_filter. Это даёт pruning на уровне блоков, что значительно сокращает объём сканируемых данных.

Как проектировать схему таблиц?

CREATE TABLE events ( event_date Date, event_time DateTime, event_type LowCardinality(String), user_id UInt64, session_id String, tenant_id UInt32, page_url String, referrer String, country LowCardinality(String), device_type LowCardinality(String), properties String ) ENGINE = MergeTree() ORDER BY (tenant_id, event_date, event_type, user_id) PARTITION BY toYYYYMM(event_date); ALTER TABLE events ADD INDEX idx_session session_id TYPE bloom_filter(0.01) GRANULARITY 4; 

ORDER BY — ключ сортировки, по которому ClickHouse хранит данные. Запросы с фильтрами по tenant_id и event_date используют его для pruning. LowCardinality — оптимизация для колонок с малым количеством уникальных значений (~10k), хранит как dictionary encoding.

Эффективная вставка данных в ClickHouse

ClickHouse оптимизирован под пакетную вставку. Используйте буферизацию, как в примере ниже.

import { createClient } from '@clickhouse/client'; const client = createClient({ host: process.env.CLICKHOUSE_HOST, username: process.env.CLICKHOUSE_USER, password: process.env.CLICKHOUSE_PASSWORD, database: 'analytics', }); class EventBuffer { private buffer: EventRow[] = []; private flushTimer: NodeJS.Timeout; async push(event: EventRow) { this.buffer.push(event); if (this.buffer.length >= 1000) await this.flush(); } async flush() { if (!this.buffer.length) return; const rows = [...this.buffer]; this.buffer = []; await client.insert({ table: 'events', values: rows, format: 'JSONEachRow', }); } } 

Никогда не вставляйте по одной строке — для высоких нагрузок используйте Kafka Engine.

Как ускорить запросы?

Вот пример аналитических запросов, которые выполняются за секунды на 100M строк.

-- DAU за 90 дней SELECT event_date, uniqExact(user_id) AS dau FROM events WHERE tenant_id = 42 AND event_date >= today() - 90 AND event_type = 'pageview' GROUP BY event_date ORDER BY event_date; -- Воронка конверсии SELECT countIf(event_type = 'product_view') AS views, countIf(event_type = 'add_to_cart') AS cart, countIf(event_type = 'checkout_start') AS checkout, countIf(event_type = 'purchase') AS purchases, round(100.0 * purchases / views, 2) AS conversion_pct FROM events WHERE tenant_id = 42 AND event_date BETWEEN '2024-01-01' AND '2024-01-31'; 

uniqExact — точный подсчёт уникальных. uniq — приближённый (~2% погрешность), на порядок быстрее.

Сравнение скорости: PostgreSQL vs ClickHouse

Materialized Views: автоматическая предагрегация

CREATE MATERIALIZED VIEW daily_metrics ENGINE = SummingMergeTree() ORDER BY (tenant_id, event_date, country, device_type) AS SELECT tenant_id, event_date, country, device_type, count() AS events_count, uniqState(user_id) AS unique_users_state, uniqState(session_id) AS unique_sessions_state FROM events GROUP BY tenant_id, event_date, country, device_type; SELECT event_date, sum(events_count) AS total_events, uniqMerge(unique_users_state) AS unique_users FROM daily_metrics WHERE tenant_id = 42 AND event_date >= today() - 7 GROUP BY event_date; 

Материализованные представления автоматически обновляются при вставке и хранят предагрегированные метрики. Это ускоряет типовые отчёты в десятки раз.

Интеграция и эксплуатация

Интеграция с Laravel и Node.js

Для Laravel используйте пакет sanchov/laravel-clickhouse. Добавьте соединение clickhouse в config/database.php и выполняйте запросы как: DB::connection('clickhouse')->select(..., [$tenantId]). Для Node.js — официальный @clickhouse/client, пример вставки выше.

Репликация и TTL

CREATE TABLE events ON CLUSTER analytics_cluster ( ... ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/events', '{replica}') ORDER BY (tenant_id, event_date, event_type, user_id) PARTITION BY toYYYYMM(event_date) TTL event_date + INTERVAL 2 YEAR DELETE; 

TTL автоматически удаляет данные старше двух лет. Для compliance можно настроить перемещение в холодное хранилище.

Типичные ошибки и процесс работы

Типичные ошибки

Самая частая ошибка — попытка вставлять данные по одной строке. ClickHouse не предназначен для транзакционных вставок. Вторая — неправильный выбор ключа сортировки ORDER BY. Если фильтр по user_id и event_date, то порядок в ORDER BY должен соответствовать частоте фильтрации. Третья — забыть про Materialized Views для типовых отчётов, что приводит к полному сканированию таблицы.

Что входит в работу

1. Анализ текущей модели данных и метрик
2. Проектирование схемы events + Materialized Views
3. Настройка репликации и TTL
4. Код интеграции с Laravel или Node.js
5. Документация схемы и запросов
6. Обучение команды (1–2 часа)
7. Поддержка 1 месяц после внедрения

Этапы и сроки

Закажите бесплатный аудит вашей текущей аналитической схемы — наш инженер с 10-летним опытом проанализирует узкие места. Чтобы обсудить детали, свяжитесь с нами через форму на сайте. Окупаемость проекта — 3–6 месяцев за счёт снижения затрат на инфраструктуру.

Официальная документация ClickHouse