Настройка Varnish Cache для ускорения веб-приложения

Настройка Varnish Cache для ускорения веб-приложения

Varnish — HTTP-акселератор, который кэширует ответы backend-сервера в памяти. Обслуживает кэшированные запросы значительно быстрее, чем приложение — сотни тысяч запросов в секунду на одном сервере.

Установка и базовая конфигурация

# Debian/Ubuntu
apt install varnish

# /etc/varnish/default.vcl

vcl 4.1;

import std;

backend default {
    .host = "127.0.0.1";
    .port = "8080";
    .first_byte_timeout = 60s;
    .connect_timeout = 5s;
    .between_bytes_timeout = 10s;
}

# Несколько бэкендов с балансировкой
import directors;

backend app1 { .host = "10.0.0.1"; .port = "8080"; }
backend app2 { .host = "10.0.0.2"; .port = "8080"; }

sub vcl_init {
    new cluster = directors.round_robin();
    cluster.add_backend(app1);
    cluster.add_backend(app2);
}

sub vcl_recv {
    set req.backend_hint = cluster.backend();

    # Нормализация URL (удалить trailing slash кроме корня)
    if (req.url ~ "^(/[^?]+)/$") {
        set req.url = regsub(req.url, "/$", "");
    }

    # Не кэшировать admin-панель
    if (req.url ~ "^/admin") {
        return (pass);
    }

    # Не кэшировать авторизованных пользователей (если контент персонализирован)
    if (req.http.Authorization || req.http.Cookie ~ "session_id|auth_token") {
        return (pass);
    }

    # Удалить маркетинговые параметры из ключа кэша
    set req.url = regsuball(req.url, "(\?|&)(utm_source|utm_medium|utm_campaign|utm_content|fbclid|gclid)=[^&]+", "");
    set req.url = regsub(req.url, "\?&", "?");
    set req.url = regsub(req.url, "\?$", "");

    # Нормализовать Accept-Encoding
    if (req.http.Accept-Encoding) {
        if (req.url ~ "\.(gif|jpg|jpeg|png|webp|avif|ico|zip|gz|mp4)$") {
            unset req.http.Accept-Encoding;
        } elsif (req.http.Accept-Encoding ~ "br") {
            set req.http.Accept-Encoding = "br";
        } elsif (req.http.Accept-Encoding ~ "gzip") {
            set req.http.Accept-Encoding = "gzip";
        } else {
            unset req.http.Accept-Encoding;
        }
    }
}

sub vcl_backend_response {
    # Кэшировать 404 ненадолго
    if (beresp.status == 404) {
        set beresp.ttl = 30s;
        return (deliver);
    }

    # Кэшировать только успешные ответы
    if (beresp.status != 200 && beresp.status != 301 && beresp.status != 302) {
        set beresp.uncacheable = true;
        return (deliver);
    }

    # Если backend не прислал Cache-Control — установить по умолчанию
    if (!beresp.http.Cache-Control) {
        if (bereq.url ~ "\.(css|js|woff2|png|jpg|svg)$") {
            set beresp.ttl = 30d;
        } else {
            set beresp.ttl = 5m;
        }
    }

    # Grace period: отдавать устаревший кэш при backend сбое
    set beresp.grace = 6h;

    # Сжатие
    if (beresp.http.content-type ~ "text/(html|css|javascript|xml|plain)" ||
        beresp.http.content-type ~ "application/(json|javascript)") {
        set beresp.do_gzip = true;
    }

    # Не хранить Set-Cookie в кэше
    unset beresp.http.Set-Cookie;
}

sub vcl_deliver {
    # Debug заголовок (отключить в production)
    if (obj.hits > 0) {
        set resp.http.X-Cache = "HIT " + obj.hits;
    } else {
        set resp.http.X-Cache = "MISS";
    }

    # Скрыть внутренние заголовки от клиента
    unset resp.http.X-Varnish;
    unset resp.http.Via;
    unset resp.http.X-Powered-By;
}

sub vcl_hit {
    if (obj.ttl >= 0s) { return (deliver); }
    # Grace: отдать устаревший объект
    if (obj.ttl + obj.grace > 0s) { return (deliver); }
    return (restart);
}

Настройка systemd для Varnish

# /etc/systemd/system/varnish.service.d/override.conf
[Service]
ExecStart=
ExecStart=/usr/sbin/varnishd \
    -a :80 \
    -a :8443,PROXY \
    -f /etc/varnish/default.vcl \
    -s malloc,4G \
    -t 120 \
    -p thread_pools=2 \
    -p thread_pool_min=100 \
    -p thread_pool_max=1000 \
    -p thread_pool_timeout=300 \
    -p http_max_hdr=128 \
    -p workspace_backend=256k

-s malloc,4G — 4GB для кэша в RAM. Для SSD-серверов: -s file,/var/lib/varnish/cache.bin,20G

PURGE инвалидация

acl purge_acl {
    "127.0.0.1";
    "10.0.0.0"/8;
}

sub vcl_recv {
    if (req.method == "PURGE") {
        if (!client.ip ~ purge_acl) {
            return (synth(405, "Not allowed"));
        }
        return (purge);
    }

    if (req.method == "BAN") {
        if (!client.ip ~ purge_acl) {
            return (synth(405, "Not allowed"));
        }
        ban("req.http.host == " + req.http.host + " && req.url ~ " + req.url);
        return (synth(200, "Ban added"));
    }
}

Использование из приложения:

# Инвалидировать конкретный URL
curl -X PURGE http://localhost/page/about

# Инвалидировать по паттерну (BAN)
curl -X BAN -H "Host: company.com" http://localhost/category/

ESI (Edge Side Includes) для фрагментарного кэша

<!-- Страница кэшируется целиком, кроме персонализированных блоков -->
<esi:include src="/fragments/user-menu" />
<div class="product-list">...</div>
<esi:include src="/fragments/recently-viewed?user_id={{ user_id }}" />

sub vcl_backend_response {
    if (beresp.http.Surrogate-Control ~ "ESI/1.0") {
        set beresp.do_esi = true;
    }
}

Мониторинг

# Статистика hit rate
varnishstat -1 -f MAIN.cache_hit,MAIN.cache_miss

# Живые логи
varnishlog -g request -q "ReqURL eq '/api/products'"

# Top URLs по miss
varnishtop -i ReqURL

Prometheus exporter через prometheus-varnish-exporter.

Срок выполнения

Установка и базовая настройка Varnish с VCL для веб-приложения — 1–2 рабочих дня. С ESI и кастомными правилами инвалидации — 2–3 дня.