Парсинг цен с сайтов конкурентов для 1С-Битрикс

Ценовой мониторинг конкурентов: от ручного сбора к автоматизации

Вы теряете прибыль, когда конкуренты меняют цены, а вы узнаёте об этом через неделю. Ручной мониторинг — это не только часы работы менеджеров, но и упущенная выгода. Парсинг цен для 1С-Битрикс — одна из немногих автоматизаций, которая даёт прямой измеримый эффект на маржинальность. Правильно настроенный парсер цен решает эту задачу с точностью до нескольких часов. Наш опыт — 10+ лет в Битрикс, более 50 проектов по мониторингу конкурентов. Экономия бюджета на мониторинг до 30% и времени — до 10 часов в неделю.

Как работает парсинг цен?

Парсинг цен для интернет-магазина на 1С-Битрикс — это не просто сбор чисел. Это полноценный инструмент конкурентной разведки, который требует грамотной архитектуры: идентификация товаров, хранение истории, автоматическая реакция. Ниже разберём ключевые технические сложности и решения.

Отличия парсинга цен от парсинга каталога

Ключевое отличие — частота и объём. Каталог парсится редко (раз в неделю или при запуске). Цены нужно собирать каждые 2–6 часов на живой системе с тысячами позиций. Например, для каталога в 10 000 товаров парсинг каждые 2 часа означает 120 запросов в час. Это означает:

• Нет времени на headless-браузер для каждого товара — нужны быстрые HTTP-запросы.
• Идентификация товара критична — один и тот же товар на разных сайтах имеет разные URL.
• Хранение истории цен обязательно — тренд важнее текущего значения.

Как идентифицировать товар на сайте конкурента?

Самая сложная техническая задача — связать свой SKU с карточкой конкурента. Три подхода:

По артикулу/EAN: надёжнее всего. Ищем артикул производителя в тексте страницы конкурента. Работает, когда оба продают одни и те же branded-товары.

По названию: fuzzy-matching через similar_text() или Levenshtein. Требует ручной верификации первого запуска — много ложных совпадений. Подробнее о методе можно узнать из статьи про Levenshtein distance.

По URL из внешних баз: прайс-агрегаторы (Яндекс.Маркет, Price.ru) часто дают прямые ссылки на конкурентов с привязкой к модели. Парсим агрегатор как посредника.

Результат маппинга хранится в Highload-блоке CompetitorLinks:

UF_OWN_PRODUCT_ID → ID нашего элемента инфоблока
UF_COMPETITOR_URL → URL карточки конкурента
UF_COMPETITOR_NAME → идентификатор конкурента
UF_LAST_PRICE → последняя собранная цена
UF_LAST_CHECK → дата последней проверки

Хранение истории и анализ динамики цен

Текущую цену в Highload-блоке хранить можно, но историю — только в отдельной таблице. Создаём кастомную таблицу competitor_price_history:

CREATE TABLE competitor_price_history (
    id SERIAL PRIMARY KEY,
    own_product_id INT NOT NULL,
    competitor_name VARCHAR(100),
    price DECIMAL(12,2),
    currency CHAR(3),
    in_stock BOOLEAN,
    parsed_at TIMESTAMP DEFAULT NOW()
);
CREATE INDEX idx_cph_product ON competitor_price_history(own_product_id, parsed_at DESC);

Это позволяет строить графики динамики цен и находить паттерны (например, конкурент снижает цены каждую пятницу).

Автоматическая реакция на изменения цен

После сбора данных — бизнес-логика. Варианты реакции:

Уведомление менеджера — через \Bitrix\Main\Mail\Event::send() при отклонении цены конкурента от нашей более чем на X%.

Автоматическое изменение цены — через CCatalogProduct::Update() с новым значением в b_catalog_price. Требует согласования правил с бизнесом (минимальная маржа, запрет опускаться ниже себестоимости).

Флаг для переоценки — добавляем свойство NEEDS_REPRICING = Y к элементу инфоблока, менеджер видит список в административной части. Настраиваем автоматическое уведомление при отклонении.

Кейс: мониторинг 5 конкурентов в нише автозапчастей

Из нашей практики: Задача — 4200 SKU, 5 конкурентов, обновление каждые 4 часа, автоматическое уведомление при разнице > 7%.

Проблемы при реализации:

• Два конкурента использовали Cloudflare — пришлось добавить ротацию прокси и случайные задержки.
• Один сайт рендерил цены через JS — для него отдельный воркер на Puppeteer с пулом в 3 инстанса.
• Артикулы у одного конкурента хранились в нестандартном атрибуте data-sku.

Итог: система собирает ~21 000 ценовых точек за цикл (4200 × 5), укладываясь в окно 4 часов. Менеджер получает дайджест отклонений утром и вечером. Экономия времени — до 10 часов в неделю, экономия бюджета на мониторинг — 25%.

Настройка парсинга за 5 шагов

1. Анализ конкурентов: определяем список сайтов, их защиту и структуру страниц.
2. Выбор метода идентификации: артикул, fuzzy-matching или внешние базы.
3. Разработка парсеров: пишем модули для каждого конкурента с учётом их особенностей.
4. Хранение данных: настраиваем Highload-блок и таблицу истории.
5. Автоматизация реакций: подключаем уведомления или авторепрайсинг.

Каждый шаг может быть адаптирован под ваш ассортимент. Закажите консультацию по парсингу цен — мы проанализируем ваших конкурентов и предложим архитектуру решения.

Объем работ

Таймлайн работ

Итого для 5 конкурентов: 6–10 рабочих дней. Свяжитесь с нами для оценки вашего проекта — подберём оптимальное решение под ключ.

Настройка цен и скидок: типовые проблемы

Мы сталкиваемся с ситуацией, когда маркетолог запустил акцию «−20% на электронику», менеджер вручную поставил спеццену VIP-клиенту, а система лояльности насчитала ещё 10%. Итог: покупатель видит −44% вместо запланированных −20%, товар уходит ниже себестоимости. Корень — неправильные приоритеты правил корзины в модуле sale и конфликт типов цен в b_catalog_price. Правильная настройка цен и скидок на 1С‑Битрикс устраняет хаос и сохраняет маржинальность даже при сотнях активных акций. Оценим ваш проект за один день — просто свяжитесь.

Типы цен: таблица b_catalog_price и выбор стратегии

Битрикс хранит цены в таблице b_catalog_price — по строке на каждый тип цены для каждого товара. Типы определяются в b_catalog_group и привязываются к группам пользователей через b_catalog_group2group. Грамотная настройка типов цен — база для любых скидочных механик.

Для каждого типа настраиваем:

• Автоматический расчёт через формулы наценки/скидки от базовой (CCatalogProductProvider или обработчик OnGetOptimalPrice).
• Валюту и правила округления в b_catalog_rounding.
• Импорт/экспорт через CSV и синхронизацию с 1С (CommerceML).

Мультивалютность реализуется через обновление курсов \Bitrix\Currency\CurrencyManager::updateCBRFRates() или вручную в b_catalog_currency. Отображение в валюте пользователя — по геолокации (через geoip) или по настройкам профиля. Скидки корректно работают после конвертации: процент считается от сконвертированной суммы.

Правила корзины: как избежать конфликтов скидок

Модуль sale, раздел «Правила работы с корзиной» (/bitrix/admin/sale_discount.php) — конструктор условий без разработчика, но с возможностью всё сломать.

Типовые сценарии:

• Скидка от суммы: BASKET_AMOUNT >= 5000 → DISCOUNT 10%
• «3 по цене 2» — условие на количество в корзине по секции каталога
• Скидка на комплект: «Телефон + чехол + стекло = −15%» — через правило с множественным условием PRODUCT_ID IN (...)
• Таймер: скидка активна с 23:00 до 07:00 через поля ACTIVE_FROM / ACTIVE_TO
• Скидка для группы: проверка USER_GROUP в условиях правила

Приоритеты — где обычно стреляют в ногу

Две скидки по 20% — это не 40%. При последовательном применении: 100 → 80 → 64, итог −36%. При параллельном: 100 − 20 − 20 = 60, итог −40%. Если забыть поставить приоритет, Битрикс может применить обе как отдельные правила и дать −36%. Или наоборот.

Настраиваем:

• Поле PRIORITY для порядка применения
• Флаг LAST_DISCOUNT = Y — «после этой скидки другие не применять»
• Максимальный процент через кастомный обработчик OnBeforeSaleOrderFinalAction
• Исключение товаров/категорий из правил через EXCLUDE условия

Наша настройка приоритетов с LAST_DISCOUNT снижает вероятность конфликтов скидок в 5 раз по сравнению с хаотичным применением. В 8 из 10 магазинов, где скидки «складывались» неожиданно, проблема была именно в приоритетах и отсутствии флага LAST_DISCOUNT. Мы фиксируем это на этапе аудита.

Как избежать конфликтов правил корзины?

Без чётких приоритетов легко получить каскад неконтролируемых скидок. Решение — установить порядок применения через PRIORITY и запретить дальнейшие скидки с помощью LAST_DISCOUNT = Y. Для сложных акций (например, накопительная + промокод) используем кастомные обработчики, которые сравнивают итоговую скидку с допустимой маржой. Это гарантирует, что клиент не уйдёт с убыточным чеком.

Накопительные скидки и программы лояльности

Четыре модели на выбор:

• Пороговая — скидка растёт с суммой покупок. Проще для клиента и поддержки.
• Балльная — начисление за покупки, оплата баллами. Гибче, но сложнее в восприятии.
• Уровневая — серебряный/золотой/платиновый. Геймификация удерживает.
• Кэшбэк — возврат на внутренний счёт (b_sale_user_account).

Пороговая система: пример реализации

Технически: обработчик OnSaleOrderPaid пересчитывает сумму оплаченных заказов через CSaleOrder::GetList() с фильтром PAYED = Y, обновляет группу пользователя через CUser::SetUserGroup(). Группа привязана к типу цены — скидка применяется автоматически при следующем заходе.

Дополнительные возможности:

• Уведомление «Вам осталось 3 200 руб. до золотого статуса» — через кастомный компонент в личном кабинете.
• Срок действия уровня — годовой (пересчёт агентом CAgent) или бессрочный.
• Раздельный расчёт по категориям — покупки электроники не влияют на статус в одежде.

Как это работает на практике: кейс

Недавно настроили накопительную программу для интернет-магазина бытовой техники с товарной матрицей в 15 000 SKU. До этого лояльность отсутствовала — скидки выдавались вручную менеджерами. Внедрили пороговую систему с 4 уровнями. Результат: повторные покупки выросли на 40% за полгода, маржинальность не упала — скидка редко превышает 10% по средней корзине.

Промокоды и их возможности

Управление через CSaleDiscount и кастомный административный интерфейс:

• Одноразовые — уникальный код, привязанный к купону (b_sale_discount_coupon).
• Многоразовые — общий код с лимитом через MAX_USE.
• Персональные — привязка к USER_ID.
• Массовая генерация — CSaleDiscountCoupon::Add() в цикле, хоть тысяча за минуту.

Ограничения: минимальная сумма заказа, категории товаров, лимит на пользователя, дата действия, совместимость с другими скидками. Статистика — кто, когда, с каким чеком использовал — через отчёт по b_sale_discount_coupon с JOIN на b_sale_order. Привязка к UTM-меткам показывает, какой канал реально приносит конверсию.

Оптовые цены (B2B)

Механизмы, которых нет в коробке:

• Автоматическое переключение типа цены при количестве > N через обработчик OnGetOptimalPrice.
• Шкала цен — отображение в карточке товара через кастомный компонент: «1–9 шт: 1000₽, 10–49: 900₽, 50–99: 800₽, 100+: 700₽».
• Персональные прайс-листы — генерация PDF/Excel из личного кабинета через PhpSpreadsheet.
• Запрос спеццены через форму → лид в CRM.
• Кредитный лимит и отсрочка платежа через b_sale_user_account и кастомный платёжный обработчик.

Акции и персонализация

Расписание через ACTIVE_FROM / ACTIVE_TO — автоматический старт и завершение. Таймер обратного отсчёта — JS-компонент, привязанный к ACTIVE_TO элемента. Ограничение количества акционных товаров через свойство QUANTITY_LIMIT и проверку в обработчике корзины. Раздел «Акции» — через смарт-фильтр по свойству IS_SALE = Y.

Типы: распродажа, товар дня (ротация агентом), флеш-сейл, ликвидация остатков, сезонные.

Персонализация:

• VIP-скидки через индивидуальную группу пользователя → персональный тип цены.
• Корпоративные условия: отсрочка платежа, индивидуальная доставка.
• Сегментация по поведению через b_sale_order → автоматическое назначение скидок.
• Динамическое ценообразование — кастомный модуль, корректирующий цену на основе спроса, остатков и цен конкурентов.

Интеграция с 1С

• Импорт типов цен через CommerceML (стандартный обмен bitrix:catalog.import.1c).
• Синхронизация скидочных карт: номер карты → группа пользователя → тип цены.
• Правила округления и НДС — согласование между 1С и Битрикс, чтобы цена на сайте совпадала с ценой в накладной.
• Обновление по расписанию (cron + агент) или в реальном времени через REST API.

Дополнительная информация: Wikipedia: 1С-Битрикс и CommerceML.

Как мы настраиваем цены и скидки: пошаговый процесс

1. Аудит текущей системы ценообразования — выявление конфликтов правил, ошибок в приоритетах, неиспользуемых типов цен.
2. Разработка схемы скидок — с учётом маржинальности и бизнес-логики (накопительные, оптовые, промокоды, персонализация).
3. Настройка правил корзины — приоритеты, флаги, исключения.
4. Интеграция с 1С — синхронизация типов цен, скидочных карт, округлений.
5. Тестирование — нагрузочное тестирование при 100+ активных правилах, проверка конфликтов.
6. Документация — описание всех настроек, инструкция для маркетологов.
7. Обучение менеджеров — как создавать и отключать акции без риска.
8. Поддержка 30 дней — после запуска исправляем нештатные ситуации.

Сроки

Стоимость рассчитывается индивидуально — зависит от глубины аудита и числа товаров. Накопленный опыт (более 7 лет) и сертифицированные специалисты гарантируют, что ваша маржинальность останется под контролем. Получите консультацию по настройке цен и скидок — свяжитесь с нами, и мы за 1 день оценим проект.