Разработка кастомных импорт/экспорт модулей 1С-Битрикс

Стандартный обмен через CommerceML покрывает типовые задачи с 1С: каталог, заказы, остатки. Но когда данные приходят в нестандартном формате — XML от поставщика, JSON из CRM, XLSX‑отчёты — производительность падает, а маппинг превращается в квест. Кастомный модуль импорта/экспорта решает эту проблему: он работает напрямую с любым источником, использует потоковую обработку для больших объёмов и поддерживает двустороннюю синхронизацию с контролем коллизий. Мы разрабатываем такие модули под ключ: от анализа схем до деплоя и обучения администраторов. Наша команда занимается кастомной разработкой более 8 лет и успешно внедрила 50+ интеграций для ритейла, логистики и производства. Оценим проект за один день — свяжитесь с нами для консультации.

Типичный сценарий: у вас есть внешний склад или ERP‑система, которая отдаёт данные в формате CommerceML. Но CommerceML — это тяжёлый XML, который при объёмах более 10 000 товаров за одну загрузку обрабатывается часами. Кастомный модуль парсит данные собственным парсером, используя XMLReader для потокового чтения, и может обрабатывать до 1 000 элементов в секунду. Разница — в 3–5 раз быстрее стандартного обмена. Кроме того, мы реализуем пакетную обработку с агентами Битрикс, что исключает тайм-ауты веб-запросов.

Когда CommerceML не справляется?

CommerceML — универсальный протокол, но он не всегда гибок. Если ваш источник данных — JSON API стороннего сервиса, бинарный XLSX с тысячами строк или требуется сложное преобразование полей (объединение, удаление дублей, связь со справочниками), стандартный обмен неэффективен. Кастомный модуль позволяет обрабатывать произвольные форматы: XML (любая схема), CSV, XLSX, JSON, а также забирать файлы по FTP/SFTP. При объёмах от 100 000 записей обязательна чанковая загрузка — мы встраиваем её в ядро модуля.

Как работает двусторонняя синхронизация?

Самое сложное — избежать коллизий при одновременных изменениях в обеих системах. Мы используем timestamp-based sync с полем sync_hash. При экспорте записываем хеш состояния записи. При следующем импорте: если хеш изменился в источнике — обновляем в Битрикс; если изменился в Битрикс (пользователь отредактировал) — отправляем изменения обратно в источник. Если оба изменились — конфликт, логируем для ручного разбора.

ALTER TABLE b_iblock_element ADD COLUMN sync_hash VARCHAR(32);
ALTER TABLE b_iblock_element ADD COLUMN synced_at DATETIME;

Архитектура кастомного модуля

Модуль Битрикс — это директория в /local/modules/{vendor}.{modulename}/, зарегистрированная через RegisterModule. Стандартная структура:

local/modules/company.import/
├── install/
│   ├── index.php          # InstallDB(), UnInstallDB(), DoInstall()
│   └── db/mysql/install.sql
├── lib/
│   ├── Importer.php       # основная логика
│   ├── Parser/
│   │   ├── XmlParser.php
│   │   └── CsvParser.php
│   └── Queue/
│       └── ImportQueue.php
├── admin/
│   └── import_settings.php  # административный интерфейс
├── include.php
└── .settings.php

Импорт из произвольного XML-источника

Пример реализации парсера для кастомной схемы:

namespace Company\Import;

use Bitrix\Main\Loader;
use Bitrix\Catalog\ProductTable;

class Importer {
    private \SimpleXMLElement $xml;

    public function __construct(string $filePath) {
        Loader::includeModule('iblock');
        Loader::includeModule('catalog');
        $this->xml = simplexml_load_file($filePath);
    }

    public function run(): array {
        $stats = ['created' => 0, 'updated' => 0, 'errors' => 0];

        foreach ($this->xml->products->product as $product) {
            try {
                $this->processProduct($product, $stats);
            } catch (\Throwable $e) {
                \Bitrix\Main\Diag\Debug::writeToFile($e->getMessage(), 'IMPORT ERROR', '/bitrix/modules/company.import/error.log');
                $stats['errors']++;
            }
        }
        return $stats;
    }

    private function processProduct(\SimpleXMLElement $p, array &$stats): void {
        $externalId = (string)$p->id;
        $existing   = $this->findByExternalId($externalId);

        $fields = [
            'IBLOCK_ID'       => IMPORT_IBLOCK_ID,
            'NAME'            => (string)$p->name,
            'CODE'            => \CUtil::translit((string)$p->name, 'ru'),
            'ACTIVE'          => (string)$p->is_active === '1' ? 'Y' : 'N',
            'PROPERTY_VALUES' => [
                'EXTERNAL_ID'  => $externalId,
                'VENDOR_CODE'  => (string)$p->sku,
                'DESCRIPTION'  => (string)$p->description,
            ],
        ];

        if ($existing) {
            \CIBlockElement::Update($existing, $fields);
            $stats['updated']++;
        } else {
            $el = new \CIBlockElement();
            $newId = $el->Add($fields);
            if (!$newId) throw new \RuntimeException($el->LAST_ERROR);
            $stats['created']++;
        }

        // Обновляем цену и остаток
        \CPrice::SetBasePrice($newId ?? $existing, (float)$p->price, 'RUB');
        \CCatalogProduct::Update($newId ?? $existing, ['QUANTITY' => (int)$p->stock]);
    }
}

Пакетная обработка и агенты

При 100 000+ записях прямой веб-запрос невозможен — timeout. Используем агент Битрикс с сохранением прогресса в БД. Агент вызывается каждую минуту и обрабатывает следующий чанк:

class ImportQueue {
    public static function processChunk(int $jobId, int $offset, int $limit = 500): array {
        $job = ImportJobTable::getById($jobId)->fetch();
        // ... читаем $limit строк начиная с $offset
        // ... обрабатываем
        // ... обновляем прогресс в БД
        return ['processed' => $count, 'total' => $job['total_rows']];
    }
}

function ImportAgent(): string {
    $activeJob = getActiveImportJob();
    if (!$activeJob) return '';
    $result = ImportQueue::processChunk($activeJob['id'], $activeJob['offset']);
    if ($activeJob['offset'] + $result['processed'] >= $result['total']) {
        markJobComplete($activeJob['id']);
        return '';
    }
    return 'ImportAgent();';
}

Экспорт данных

Экспорт в произвольный формат для внешней системы:

class Exporter {
    public function exportOrders(\DateTime $from, \DateTime $to): string {
        $orders = \Bitrix\Sale\OrderTable::getList([
            'filter' => [
                '>=DATE_INSERT' => $from->format('d.m.Y H:i:s'),
                '<=DATE_INSERT' => $to->format('d.m.Y H:i:s'),
                'CANCELED'      => 'N',
            ],
            'select' => ['ID', 'ACCOUNT_NUMBER', 'PRICE', 'CURRENCY', 'DATE_INSERT', 'USER_ID'],
        ])->fetchAll();

        $xml = new \XMLWriter();
        $xml->openMemory();
        $xml->startDocument('1.0', 'UTF-8');
        $xml->startElement('orders');

        foreach ($orders as $order) {
            $xml->startElement('order');
            $xml->writeElement('id',      $order['ID']);
            $xml->writeElement('number',  $order['ACCOUNT_NUMBER']);
            $xml->writeElement('amount',  $order['PRICE']);
            $xml->writeElement('date',    $order['DATE_INSERT']->format(\DateTime::ATOM));
            // ... позиции заказа
            $xml->endElement();
        }

        $xml->endElement();
        return $xml->outputMemory();
    }
}

Форматы и источники

Как ускорить импорт больших каталогов?

При объёме более 50 000 товаров стандартный обмен упирается в ограничения PHP по времени выполнения и памяти. Кастомный модуль использует асинхронные агенты, чанковую загрузку и профилирование запросов. Мы добавляем индексы на внешние ID и дату синхронизации, что ускоряет поиск дублей в 10 раз. В результатах клиенты получают импорт 100 000 элементов за 2–3 минуты вместо часа.

Сроки и стоимость

Стоимость разработки рассчитывается индивидуально и зависит от сложности маппинга, количества форматов и необходимости двусторонней синхронизации. Точную оценку мы дадим после анализа ваших данных.

Итого: 2–3 недели для одностороннего импорта; 3–4 недели для двусторонней синхронизации.

Что входит в работу

• Исходный код модуля с комментариями.
• Документация API модуля и инструкция по настройке.
• Доступ к репозиторию (Git) с историей изменений.
• Обучение администраторов (до 2 часов онлайн).
• Гарантия 3 месяца на бесперебойную работу.

Получите консультацию инженера — закажите предварительный аудит вашего обмена.CommerceML — протокол обмена