Настройка трансформации данных при парсинге для 1С-Битрикс

При парсинге данных для каталога 1С-Битрикс частая ситуация: товары загружаются, но фильтры не работают, цены отображаются с валютой, а категории разбросаны по дереву. Без слоя трансформации между парсером и импортёром данные попадают «как есть» — и ломают структуру каталога. Например, строка "1 299,00 руб." попадает в поле цены, и сортировка по цене перестаёт работать. Мы настраиваем трансформацию под ключ и гарантируем, что после импорта каталог остаётся чистым и консистентным. Оценим ваш проект за 1 день — просто свяжитесь.

Официальная документация 1С-Битрикс подчёркивает важность предварительной валидации данных при импорте.

Какие трансформации нужны при парсинге?

Нормализация текста — стандартная очистка от лишних символов и приведение к единому регистру. Например, ШУРУПОВЕРТ BOSCH GSR 18V станет Шуруповёрт Bosch GSR 18V. Используем mb_convert_case() с whitelist-ом для артикулов и брендов. Также удаляем HTML-сущности (& → &) и неразрывные пробелы. Ошибки в названиях — причина до 30% отбраковки товаров при ручной проверке.

Нормализация цен — извлекаем число из строки "1 299,00 руб." → 1299.00. Регулярка: preg_replace('/[^\d,.]/', '', $price) с последующей заменой запятой. Конвертируем валюту по курсу ЦБ или фиксированному значению. Округляем до двух знаков.

Нормализация характеристик — единицы измерения парсятся через /^([\d.,]+)\s*([а-яА-Яa-zA-Z]+)$/u, булевы значения приводятся к Y/N, списочные свойства маппятся на XML_ID через конфигурационный массив.

Обработка изображений — часто парсеры качают картинки с дублирующимися именами. Мы вычисляем md5-хеш каждого файла и сравниваем с уже загруженными. Если хеш совпадает — картинка не добавляется. Это предотвращает разрастание файлового хранилища и ускоряет импорт. Также настраиваем автоматическую генерацию превьюшек через Bitrix Imaging.

Как маппить категории без риска?

Структура категорий источника редко совпадает с разделами инфоблока. Используем таблицу соответствий:

$categoryMap = [
    'Электроинструмент/Дрели'          => 15,
    'Электроинструмент/Шуруповёрты'     => 16,
    'Ручной инструмент/Отвёртки'        => 22,
];

$sectionId = $categoryMap[$externalCategory] ?? DEFAULT_SECTION_ID;

Для новых категорий, отсутствующих в маппинге, товары помещаются в раздел «Без категории» с записью в лог. Автоматическое создание разделов опасно — одна ошибка в данных источника, и в каталоге появляются мусорные разделы. Наш опыт показывает, что такой подход сокращает время на поддержку каталога в разы.

Почему валидация обязательна перед импортом?

Даже после трансформации данные могут содержать ошибки: пустое имя, неверный XML_ID, отрицательная цена. Валидация — это отдельный этап пайплайна между трансформацией и импортом:

Все отклонённые элементы сохраняются в таблице parser_rejected с причиной. Это даёт возможность разобрать ошибки без повторного импорта.

Что входит в настройку трансформации под ключ?

• Аудит исходных данных и выявление типовых проблем.
• Проектирование цепочек правил для каждого поля.
• Реализация на PHP с использованием \Bitrix\Main\ORM и событий.
• Интеграция с существующим парсером или импортёром.
• Тестирование на реальной выборке товаров (минимум 1000 позиций).
• Документация по правилам и инструкция для внесения изменений.
• Гарантия 12 месяцев на код и поддержка при изменении источника.

Пример конфигурации правил:

$transformRules = [
    'NAME' => [
        ['type' => 'trim'],
        ['type' => 'mb_title_case'],
        ['type' => 'max_length', 'value' => 255],
    ],
    'PRICE' => [
        ['type' => 'extract_number'],
        ['type' => 'multiply', 'value' => 1.2],  // Наценка 20%
        ['type' => 'round', 'value' => 2],
    ],
    'PROPERTY_WEIGHT' => [
        ['type' => 'extract_number'],
        ['type' => 'convert_unit', 'from' => 'kg', 'to' => 'g'],
    ],
];

Сравнение: конфигурация vs зашитая логика

Конфигурируемый подход позволяет менять трансформацию без привлечения разработчика и правки парсера. Для каталогов с частыми изменениями источника это существенно дешевле в долгосрочной перспективе. Такая настройка окупается в среднем за 2-3 месяца, экономя на ручной обработке.

Процесс работы и сроки

1. Аналитика — изучаем структуру источника, выявляем критические места (1–2 дня).
2. Проектирование правил — создаём конфигурацию под каждый тип поля (1–2 дня).
3. Реализация — пишем классы-трансформеры и валидаторы (2–3 дня).
4. Тестирование — прогоняем на реальных данных, исправляем ошибки (1 день).
5. Деплой — разворачиваем на боевом сервере, документируем (1 день).

Ориентировочный срок — от 5 до 8 рабочих дней. Итоговая стоимость рассчитывается индивидуально и зависит от количества полей и сложности трансформаций. Получите консультацию по настройке трансформации уже сегодня.

Почему мы не рекомендуем автоматическое создание разделов?

Один раз мы наблюдали, как парсер создал 500 разделов из-за неверного поля категории в источнике. Восстановление заняло неделю. Наш подход — только ручное или полуавтоматическое маппирование с уведомлением администратора. Это повышает надёжность и позволяет сохранить чистоту каталога.

Наш опыт — 10+ лет работы с 1С-Битрикс и более 500 проектов по интеграции и парсингу. Официальная документация Битрикс рекомендует использовать инфоблоки версии 2.0 и тегированное кэширование для больших каталогов. Мы следуем этим рекомендациям и гарантируем, что ваш каталог будет работать быстро и без сбоев.

Свяжитесь с нами — оценим ваш проект и подготовим конфигурацию трансформации за 1–2 дня. Закажите настройку трансформации и забудьте о проблемах с импортом.