Парсинг цен с сайтов конкурентов для 1С-Битрикс

Ценовой мониторинг конкурентов: от ручного сбора к автоматизации

Вы теряете прибыль, когда конкуренты меняют цены, а вы узнаёте об этом через неделю. Ручной мониторинг — это не только часы работы менеджеров, но и упущенная выгода. Парсинг цен для 1С-Битрикс — одна из немногих автоматизаций, которая даёт прямой измеримый эффект на маржинальность. Правильно настроенный парсер цен решает эту задачу с точностью до нескольких часов. Наш опыт — 10+ лет в Битрикс, более 50 проектов по мониторингу конкурентов. Экономия бюджета на мониторинг до 30% и времени — до 10 часов в неделю.

Как работает парсинг цен?

Парсинг цен для интернет-магазина на 1С-Битрикс — это не просто сбор чисел. Это полноценный инструмент конкурентной разведки, который требует грамотной архитектуры: идентификация товаров, хранение истории, автоматическая реакция. Ниже разберём ключевые технические сложности и решения.

Отличия парсинга цен от парсинга каталога

Ключевое отличие — частота и объём. Каталог парсится редко (раз в неделю или при запуске). Цены нужно собирать каждые 2–6 часов на живой системе с тысячами позиций. Например, для каталога в 10 000 товаров парсинг каждые 2 часа означает 120 запросов в час. Это означает:

• Нет времени на headless-браузер для каждого товара — нужны быстрые HTTP-запросы.
• Идентификация товара критична — один и тот же товар на разных сайтах имеет разные URL.
• Хранение истории цен обязательно — тренд важнее текущего значения.

Как идентифицировать товар на сайте конкурента?

Самая сложная техническая задача — связать свой SKU с карточкой конкурента. Три подхода:

По артикулу/EAN: надёжнее всего. Ищем артикул производителя в тексте страницы конкурента. Работает, когда оба продают одни и те же branded-товары.

По названию: fuzzy-matching через similar_text() или Levenshtein. Требует ручной верификации первого запуска — много ложных совпадений. Подробнее о методе можно узнать из статьи про Levenshtein distance.

По URL из внешних баз: прайс-агрегаторы (Яндекс.Маркет, Price.ru) часто дают прямые ссылки на конкурентов с привязкой к модели. Парсим агрегатор как посредника.

Результат маппинга хранится в Highload-блоке CompetitorLinks:

UF_OWN_PRODUCT_ID → ID нашего элемента инфоблока
UF_COMPETITOR_URL → URL карточки конкурента
UF_COMPETITOR_NAME → идентификатор конкурента
UF_LAST_PRICE → последняя собранная цена
UF_LAST_CHECK → дата последней проверки

Хранение истории и анализ динамики цен

Текущую цену в Highload-блоке хранить можно, но историю — только в отдельной таблице. Создаём кастомную таблицу competitor_price_history:

CREATE TABLE competitor_price_history (
    id SERIAL PRIMARY KEY,
    own_product_id INT NOT NULL,
    competitor_name VARCHAR(100),
    price DECIMAL(12,2),
    currency CHAR(3),
    in_stock BOOLEAN,
    parsed_at TIMESTAMP DEFAULT NOW()
);
CREATE INDEX idx_cph_product ON competitor_price_history(own_product_id, parsed_at DESC);

Это позволяет строить графики динамики цен и находить паттерны (например, конкурент снижает цены каждую пятницу).

Автоматическая реакция на изменения цен

После сбора данных — бизнес-логика. Варианты реакции:

Уведомление менеджера — через \Bitrix\Main\Mail\Event::send() при отклонении цены конкурента от нашей более чем на X%.

Автоматическое изменение цены — через CCatalogProduct::Update() с новым значением в b_catalog_price. Требует согласования правил с бизнесом (минимальная маржа, запрет опускаться ниже себестоимости).

Флаг для переоценки — добавляем свойство NEEDS_REPRICING = Y к элементу инфоблока, менеджер видит список в административной части. Настраиваем автоматическое уведомление при отклонении.

Кейс: мониторинг 5 конкурентов в нише автозапчастей

Из нашей практики: Задача — 4200 SKU, 5 конкурентов, обновление каждые 4 часа, автоматическое уведомление при разнице > 7%.

Проблемы при реализации:

• Два конкурента использовали Cloudflare — пришлось добавить ротацию прокси и случайные задержки.
• Один сайт рендерил цены через JS — для него отдельный воркер на Puppeteer с пулом в 3 инстанса.
• Артикулы у одного конкурента хранились в нестандартном атрибуте data-sku.

Итог: система собирает ~21 000 ценовых точек за цикл (4200 × 5), укладываясь в окно 4 часов. Менеджер получает дайджест отклонений утром и вечером. Экономия времени — до 10 часов в неделю, экономия бюджета на мониторинг — 25%.

Настройка парсинга за 5 шагов

1. Анализ конкурентов: определяем список сайтов, их защиту и структуру страниц.
2. Выбор метода идентификации: артикул, fuzzy-matching или внешние базы.
3. Разработка парсеров: пишем модули для каждого конкурента с учётом их особенностей.
4. Хранение данных: настраиваем Highload-блок и таблицу истории.
5. Автоматизация реакций: подключаем уведомления или авторепрайсинг.

Каждый шаг может быть адаптирован под ваш ассортимент. Закажите консультацию по парсингу цен — мы проанализируем ваших конкурентов и предложим архитектуру решения.

Объем работ

Таймлайн работ

Итого для 5 конкурентов: 6–10 рабочих дней. Свяжитесь с нами для оценки вашего проекта — подберём оптимальное решение под ключ.