Представьте: ваш конкурент снижает цену на 15% на топ-20 позиций, а вы узнаёте об этом через неделю, когда продажи уже упали. Именно это произошло с одним из наших клиентов, потерявшим 30% маржи за месяц. Чтобы исключить такие ситуации, мы разрабатываем автоматические боты-парсеры цен, которые работают по расписанию, хранят историю и могут самостоятельно корректировать ваши цены по гибким правилам. Мы занимаемся мониторингом цен более 7 лет и реализовали 40+ проектов для e-commerce — от одежды до электроники. Гарантируем корректную работу парсера на всех этапах, от сбора до авторепрайсинга. Свяжитесь с нами, чтобы мы разработали систему под ваш каталог.
Почему ручной мониторинг цен неэффективен?
- Устаревшие данные: вы проверяете цены раз в неделю, а конкуренты меняют их ежедневно. К моменту вашей реакции вы уже потеряли часть продаж или маржи.
- Антиблокировочные меры: конкуренты используют Cloudflare, капчи, динамические селекторы. Ручной сбор не справляется, нужен headless-браузер с ротацией прокси.
- Нормализация: цены приходят в разном формате: с налогом, без налога, в разных валютах, с пробелами и символами. Без нормализации сравнивать их бесполезно.
Как мы строим систему мониторинга?
Мы используем Laravel 11 на PHP 8.3, PostgreSQL для хранения, Redis для очередей и Playwright для парсинга динамики. Архитектура микросервисная — каждый конкурент обрабатывается независимо.
Scheduler → ScrapeCompetitorPrices Job (per competitor) → CompetitorScraper (HTTP/Playwright) → PriceNormalizer → PriceHistoryRepository (INSERT) → PriceChangeDetector → AlertDispatcher (если изменение > порога) → RepricingEngine (если включён autoprice) Модель данных
// database/migrations/create_competitor_prices_table.php Schema::create('competitor_prices', function (Blueprint $table) { $table->id(); $table->foreignId('product_id')->constrained(); $table->foreignId('competitor_id')->constrained(); $table->string('competitor_sku')->nullable(); $table->string('competitor_url'); $table->decimal('price', 12, 2); $table->decimal('sale_price', 12, 2)->nullable(); $table->boolean('in_stock')->default(true); $table->timestamp('scraped_at'); $table->timestamps(); $table->index(['product_id', 'competitor_id', 'scraped_at']); }); // История для графиков и аналитики Schema::create('competitor_price_history', function (Blueprint $table) { $table->id(); $table->foreignId('product_id')->constrained(); $table->foreignId('competitor_id')->constrained(); $table->decimal('price', 12, 2); $table->boolean('in_stock'); $table->date('recorded_date'); $table->timestamps(); $table->unique(['product_id', 'competitor_id', 'recorded_date']); }); Конфигурация конкурентов
// config/competitors.php return [ 'competitor_a' => [ 'name' => 'Shop A', 'base_url' => 'https://shop-a.ru', 'selectors' => [ 'price' => '.current-price', 'in_stock' => '.in-stock-badge', ], 'price_regex' => '/[\d\s]+/', 'url_pattern' => 'https://shop-a.ru/product/{sku}', 'requires_js' => false, 'request_delay' => [1000, 3000], // ms ], 'wildberries' => [ 'name' => 'Wildberries', 'type' => 'api', 'scraper' => WildberriesPriceScraper::class, 'request_delay' => [500, 1500], ], ]; Базовый скрапер цен
// app/Services/PriceMonitor/CompetitorPriceScraper.php class CompetitorPriceScraper { public function __construct( private Client $httpClient, private array $config ) {} public function scrapePrice(string $url): ?PriceData { try { $html = $this->fetch($url); $crawler = new Crawler($html); $priceText = $crawler->filter($this->config['selectors']['price']) ->first() ->text(''); $price = $this->extractPrice($priceText); if ($price === null) return null; $salePrice = null; if (!empty($this->config['selectors']['sale_price'])) { $salePriceText = $crawler->filter($this->config['selectors']['sale_price']) ->first()->text(''); $salePrice = $this->extractPrice($salePriceText); } $inStock = true; if (!empty($this->config['selectors']['in_stock'])) { $inStock = $crawler->filter($this->config['selectors']['in_stock'])->count() > 0; } return new PriceData( price: $price, salePrice: $salePrice, inStock: $inStock, ); } catch (\Exception $e) { Log::warning("Price scrape failed for {$url}: {$e->getMessage()}"); return null; } } private function extractPrice(string $text): ?float { $cleaned = preg_replace('/[^\d,.]/', '', str_replace(' ', '', $text)); $cleaned = str_replace(',', '.', $cleaned); return is_numeric($cleaned) ? (float) $cleaned : null; } } Job с детектором изменений
// app/Jobs/MonitorCompetitorPrice.php class MonitorCompetitorPrice implements ShouldQueue { public int $tries = 3; public array $backoff = [60, 120, 300]; public function __construct( private int $productId, private int $competitorId, private string $competitorUrl ) {} public function handle( CompetitorPriceScraper $scraper, PriceChangeDetector $detector, RepricingEngine $repricer ): void { $config = Competitor::find($this->competitorId)->config; $priceData = $scraper->scrapePrice($this->competitorUrl); if ($priceData === null) return; // Сохранение текущей цены $record = CompetitorPrice::updateOrCreate( [ 'product_id' => $this->productId, 'competitor_id' => $this->competitorId, ], [ 'price' => $priceData->price, 'sale_price' => $priceData->salePrice, 'in_stock' => $priceData->inStock, 'scraped_at' => now(), ] ); // Сохранение в историю (один раз в день) CompetitorPriceHistory::firstOrCreate( [ 'product_id' => $this->productId, 'competitor_id' => $this->competitorId, 'recorded_date' => today(), ], [ 'price' => $priceData->price, 'in_stock' => $priceData->inStock, ] ); // Детект изменений if ($record->wasChanged('price')) { $change = $detector->analyze($record); if ($change->isSignificant()) { Notification::route('mail', config('monitoring.alert_email')) ->notify(new CompetitorPriceChangedNotification($record, $change)); } // Автоперейценка if (config('repricing.enabled')) { $repricer->recalculate($this->productId); } } } } Настройка расписания мониторинга
Расписание настраивается под ваши задачи. Высокоприоритетные товары — каждые 2 часа, массовые — раз в день ночью. Планировщик Laravel предотвращает наложение задач.
Для агрегации истории цен мы запускаем ежедневный артефакт, который сводит данные за день в одну запись — это экономит место и ускоряет запросы графиков.
Автоматический парсер обрабатывает 1000 товаров за 10 минут, что в 40 раз быстрее ручного сбора.
Какие данные сохраняются в истории цен?
Сохраняется цена, цена со скидкой, признак наличия на складе и дата. История ведётся по дням — это позволяет строить графики трендов и анализировать сезонность. Например, вы можете увидеть, что каждую зиму конкурент снижает цены на 10% на определённые категории, и подготовиться заранее.
Стратегии автоматического перейценивания
| Стратегия | Описание | Когда применять |
|---|---|---|
| beat_lowest | Установить цену на N рублей ниже минимальной | Агрессивный захват доли, если есть запас маржи |
| match_lowest | Сравнять с минимальной ценой конкурента | Удержание позиций в высококонкурентных нишах |
| beat_average | Цена на N рублей ниже средней цены конкурентов | Баланс между маржой и конкурентоспособностью |
| percentile | Цена на заданном перцентиле (например, 25-й) | Сохранение позиционирования (премиум или бюджет) |
Каждая стратегия учитывает минимальное изменение в 0.5%, чтобы избежать скачков цен.
Дашборд мониторинга
Ключевые метрики для отображения:
| Метрика | Описание |
|---|---|
| Товары, где мы дороже | Количество и % от каталога |
| Средняя дельта к минимуму | Средний % разницы с lowest price |
| Товары с изменением > 5% | Требуют ручной проверки |
| Товары вне остатков у конкурентов | Потенциал для повышения цены |
Дашборд позволяет быстро выявлять аномалии, например, внезапное изменение цены у крупного конкурента.
Типичные ошибки при внедрении мониторинга цен
- Игнорирование изменения селекторов. Если сайт конкурента меняет вёрстку — парсер падает. Всегда используйте fallback-селекторы и алерты при сбоях.
- Слишком частые запросы. Защита Cloudflare блокирует IP. Выдерживайте задержки и используйте ротацию прокси.
- Отсутствие порогов в автоперейценке. Без минимального процента изменения вы будете менять цену на копейки, что раздражает покупателей и теряет доверие.
Что входит в работу
- Документация: описание архитектуры мониторинга, инструкция по добавлению нового конкурента, настройка правил репрайсинга.
- Доступы: предоставляем доступ к серверу, очередям, дашборду.
- Обучение: проводим демо-сессию дашборда и правил для вашей команды.
- Поддержка: бесплатная поддержка в течение 1 месяца после запуска.
Сроки и стоимость
Разработка базовой системы (1 конкурент + история + алерты) занимает 4–6 рабочих дней. Полная система с автоперейценкой и дашбордом для 5+ конкурентов — 10–14 дней. Стоимость рассчитывается индивидуально, исходя из числа конкурентов, сложности парсинга и требуемых интеграций. Закажите индивидуальную разработку системы мониторинга цен — свяжитесь с нами для оценки вашего проекта.