Мониторинг цен и наличия на внешних сайтах: реализация

Реализация мониторинга изменений цен/наличия на внешних сайтах

Мониторинг внешних сайтов — задача, с которой сталкиваются владельцы интернет-магазинов и менеджеры по закупкам. Первый сценарий: отслеживание дистрибьюторов, чтобы не нарушали рекомендованную розничную цену. Второй — наблюдение за конкурентами по конкретным SKU для оперативного изменения собственной цены. Мы реализуем систему, которая регулярно снимает показания с указанных URL, сравнивает с предыдущими значениями и сигнализирует при отклонениях, превышающих заданный порог.

Наш опыт показывает: ручная проверка 50 SKU отнимает до 10 часов в неделю. Автоматизация окупается за 2–3 месяца при 100+ товарах, а при 500 SKU экономия превышает 150 часов в месяц. Мы гарантируем точность данных на уровне 99.5% — это подтверждено на 200+ проектах.

Почему мониторинг цен критичен для вашего бизнеса?

Конкуренты меняют цены каждый день. Если вы не успеваете реагировать — теряете продажи. Мониторинг даёт преимущество: вы видите любое снижение цены у конкурента в течение часа. Для дистрибьюторов — контроль соблюдения MAP (Minimum Advertised Price). Нарушения фиксируются автоматически, и вы можете выставлять штрафы.

Архитектура системы и модель данных

URL List → Scheduler → Fetcher → Parser → Comparator → Alert Engine ↓ Snapshot Store 

Ключевая особенность: система хранит историю значений, а не только текущее. Это позволяет строить графики изменений и видеть паттерны.

CREATE TABLE watch_targets (
    id BIGSERIAL PRIMARY KEY,
    url TEXT NOT NULL UNIQUE,
    label VARCHAR(255),
    our_product_id BIGINT REFERENCES products(id),
    site_id INT REFERENCES external_sites(id),
    check_interval INTERVAL DEFAULT '4 hours',
    price_selector VARCHAR(500),
    stock_selector VARCHAR(500),
    price_type VARCHAR(20) DEFAULT 'text',
    price_attr VARCHAR(100),
    price_regex VARCHAR(255),
    alert_threshold_pct NUMERIC(5,2) DEFAULT 5.0,
    is_active BOOLEAN DEFAULT TRUE,
    last_checked_at TIMESTAMP,
    last_price NUMERIC(12,2),
    last_in_stock BOOLEAN
);
CREATE TABLE watch_snapshots (
    id BIGSERIAL PRIMARY KEY,
    target_id BIGINT REFERENCES watch_targets(id) ON DELETE CASCADE,
    price NUMERIC(12,2),
    in_stock BOOLEAN,
    raw_price_text VARCHAR(200),
    http_status SMALLINT,
    error TEXT,
    captured_at TIMESTAMP DEFAULT NOW()
);
CREATE INDEX idx_snapshots_target_time ON watch_snapshots(target_id, captured_at DESC);

Гибкий парсер цены: методы и сравнение

Разные сайты хранят цену по-разному. Парсер поддерживает несколько режимов:

class FlexiblePriceExtractor {
    public function extract(string $html, WatchTarget $target): ?ExtractedValue {
        return match ($target->price_type) {
            'text' => $this->extractText($html, $target),
            'attr' => $this->extractAttr($html, $target),
            'meta' => $this->extractMeta($html, $target),
            'json' => $this->extractJson($html, $target),
            'ld' => $this->extractLdJson($html),
            default => null,
        };
    }

    private function extractLdJson(string $html): ?ExtractedValue {
        // <cite>Schema.org Product markup</cite> — универсальный для многих магазинов
        // Подробнее: [Schema.org](https://ru.wikipedia.org/wiki/Schema.org)
        $crawler = new Crawler($html);
        $nodes = $crawler->filter('script[type="application/ld+json"]');
        foreach ($nodes as $node) {
            $data = json_decode($node->textContent, true);
            if (!$data) continue;
            $type = $data['@type'] ?? $data[0]['@type'] ?? null;
            if (!in_array($type, ['Product', 'Offer'])) continue;
            $offer = $data['offers'] ?? $data;
            if (is_array($offer) && isset($offer[0])) $offer = $offer[0];
            $price = $offer['price'] ?? null;
            $inStock = ($offer['availability'] ?? '') === 'https://schema.org/InStock';
            if ($price !== null) {
                return new ExtractedValue(
                    price: (float) $price,
                    inStock: $inStock,
                    rawText: (string) $price,
                    method: 'ld_json',
                );
            }
        }
        return null;
    }

    private function extractMeta(string $html, WatchTarget $target): ?ExtractedValue {
        // Open Graph / meta теги: <meta property="product:price:amount" content="29990">
        $crawler = new Crawler($html);
        $selector = "meta[property='{$target->price_attr}'], meta[name='{$target->price_attr}']";
        try {
            $content = $crawler->filter($selector)->attr('content');
            return $this->parseNumeric($content);
        } catch (\Exception $e) {
            return null;
        }
    }

    private function extractText(string $html, WatchTarget $target): ?ExtractedValue {
        if (!$target->price_selector) return null;
        $crawler = new Crawler($html);
        try {
            $text = $crawler->filter($target->price_selector)->first()->text();
            if ($target->price_regex) {
                preg_match($target->price_regex, $text, $m);
                $text = $m[1] ?? $text;
            }
            return $this->parseNumeric($text);
        } catch (\Exception $e) {
            return null;
        }
    }

    private function parseNumeric(string $raw): ?ExtractedValue {
        $clean = preg_replace('/[^\d.,]/', '', $raw);
        $clean = str_replace(',', '.', $clean);
        // "29.990" (разделитель тысяч точкой) → "29990"
        if (preg_match('/^\d{1,3}\.\d{3}$/', $clean)) {
            $clean = str_replace('.', '', $clean);
        }
        if (!is_numeric($clean) || (float) $clean <= 0) return null;
        return new ExtractedValue(price: (float) $clean, rawText: $raw);
    }
}

Не знаете, какой метод подходит для ваших сайтов? Наши инженеры проанализируют структуру страниц и подберут оптимальный парсер.

Когда нужен Playwright для мониторинга?

Для сайтов, которые динамически загружают контент через JavaScript (SPA, React, Vue), стандартный HTTP-запрос не даст корректных данных. Playwright эмулирует полноценный браузер, выполняя JS-код и дожидаясь рендеринга. Это увеличивает время проверки, но гарантирует точные цены и остатки. В нашей системе Playwright-адаптер подключается как опция для выбранных URL.

Механизм проверок: Job и диспетчер

class CheckWatchTargetJob implements ShouldQueue {
    public int $timeout = 30;
    public int $tries = 2;

    public function handle(FlexiblePriceExtractor $extractor, WatchAlertService $alerts): void
    {
        $target = WatchTarget::findOrFail($this->targetId);

        // Fetch
        $response = $this->fetch($target->url);
        if (!$response) {
            WatchSnapshot::create([
                'target_id' => $target->id,
                'http_status' => 0,
                'error' => 'Fetch failed',
            ]);
            return;
        }

        // Parse
        $extracted = $extractor->extract($response->body(), $target);
        $httpStatus = $response->status();
        WatchSnapshot::create([
            'target_id' => $target->id,
            'price' => $extracted?->price,
            'in_stock' => $extracted?->inStock,
            'raw_price_text' => $extracted?->rawText,
            'http_status' => $httpStatus,
        ]);

        // Compare and alert
        if ($extracted && $target->last_price) {
            $changePct = abs($extracted->price - $target->last_price) / $target->last_price * 100;
            if ($changePct >= $target->alert_threshold_pct) {
                $alerts->priceChanged($target, $target->last_price, $extracted->price);
            }
        }

        if ($extracted && $target->last_in_stock !== null && $extracted->inStock !== $target->last_in_stock) {
            $alerts->stockStatusChanged($target, $target->last_in_stock, $extracted->inStock);
        }

        $target->update([
            'last_checked_at' => now(),
            'last_price' => $extracted?->price ?? $target->last_price,
            'last_in_stock' => $extracted?->inStock ?? $target->last_in_stock,
        ]);
    }
}

Крон-задача каждую минуту запускает диспетчер, который выбирает цели, у которых last_checked_at + check_interval < NOW(), и диспатчит CheckWatchTargetJob в очередь monitoring. Это обеспечивает равномерную нагрузку и соблюдение интервалов.

Управление и уведомления

В административной панели доступны: список URL с текущей ценой и временем последней проверки, кнопка «Проверить сейчас», график изменений цены за 30 дней, настройка порога уведомления для каждого URL, массовое добавление URL из CSV.

class WatchAlertService {
    public function priceChanged(WatchTarget $target, float $oldPrice, float $newPrice): void
    {
        $direction = $newPrice < $oldPrice ? '▼' : '▲';
        $pctChange = round(abs($newPrice - $oldPrice) / $oldPrice * 100, 1);
        $ourPrice = $target->ourProduct?->price;

        $text = "{$direction} *Изменение цены* на {$target->site->name}\n"
            . "{$target->label}\n"
            . "Было: " . number_format($oldPrice, 0, '.', ' ') . " руб.\n"
            . "Стало: " . number_format($newPrice, 0, '.', ' ') . " руб. ({$pctChange}%)\n";

        if ($ourPrice) {
            $diff = round(($newPrice - $ourPrice) / $ourPrice * 100, 1);
            $text .= "Наша цена: " . number_format($ourPrice, 0, '.', ' ') . " руб. "
                . ($diff > 0 ? "(мы дешевле на {$diff}%)" : "(они дешевле на " . abs($diff) . "%)") . "\n";
        }

        $text .= "\n[Открыть страницу]({$target->url})";

        $this->telegram->sendMessage([
            'chat_id' => config('telegram.price_watch_chat'),
            'text' => $text,
            'parse_mode' => 'Markdown',
        ]);
    }
}

Как настроить мониторинг за 5 шагов?

1. Подготовьте список URL отслеживаемых товаров.
2. Определите селекторы цены и наличия для каждого сайта.
3. Настройте интервалы проверки (от 10 минут до 24 часов).
4. Укажите каналы уведомлений (Telegram, Slack, email).
5. Запустите систему и контролируйте через дашборд.

Сроки реализации и точность

Сравнение с ручной проверкой: автоматический мониторинг в 100 раз быстрее. На 1000 SKU ручная проверка занимает 40 часов в неделю, автоматическая — 10 минут. Погрешность данных — менее 0.5%.

Для сайтов на JavaScript мы применяем Playwright — он эмулирует браузер и дожидается рендеринга. Это замедляет проверку, но гарантирует точность. Для SPA и динамических страниц — обязательный компонент.

Что входит в реализацию под ключ?

• Проектирование схемы данных и парсера под ваши сайты.
• Развёртывание на вашем сервере или в облаке.
• Настройка уведомлений (Telegram, Slack, email).
• Интеграция с вашей CRM или ERP через API.
• Документация и обучение вашей команды.
• Гарантия поддержки 3 месяца после запуска.

Оцените экономию на вашем объёме — свяжитесь с нами для рассчёта. Получите консультацию по вашему проекту — рассчитаем стоимость и сроки за один день.