Разработка модуля импорта данных 1С-Битрикс под ключ

Разработка модуля импорта данных 1С-Битрикс

Клиент принёс Excel на 15 000 строк с уникальными характеристиками товаров. Встроенный CommerceML не подходит — формат нестандартный, нужно обновлять существующие позиции, не трогая цены и остатки. Ручной ввод занял бы месяц. Мы разработали модуль импорта под ключ за 13 рабочих дней. Наш опыт более 10 лет в Битрикс-разработке и 50+ завершённых проектов по интеграции — гарантия, что модуль будет стабильно работать под нагрузкой. Вы получаете готовое решение, которое экономит время в 10 раз по сравнению с ручной загрузкой.

Стандартный модуль catalog поддерживает импорт через CSaleImport и класс CDataExchangeXML для CommerceML 2.x. Работает приемлемо для простого каталога. Проблемы начинаются с произвольных форматов (Excel, JSON, XML с нестандартной схемой), импорта в несколько инфоблоков одновременно, обновления существующих записей с логикой слияния полей, импорта пользователей, заказов, CRM-сущностей и больших файлов (10 000+ строк) без таймаутов. Кастомный модуль решает эти проблемы, используя потоковую обработку и настраиваемый маппинг.

В основе модуля vendor.importer лежат три абстракции: Reader (читает источник), Transformer (преобразует данные) и Writer (записывает в Битрикс). Такая архитектура позволяет подключать любые источники и цели без изменения ядра. Подробнее о платформе можно прочитать в Wikipedia.

Как устроен модуль?

Модуль vendor.importer строится вокруг трёх абстракций: Reader, Transformer и Writer.

SourceFile → Reader → RawRow[] → Transformer → MappedRow[] → Writer → Bitrix entities 

ReaderInterface:

interface ReaderInterface { public function open(string $filePath): void; public function readNext(): ?array; // null = конец файла public function getHeaders(): array; public function close(): void; } 

Реализации: CsvReader, XlsxReader (через PhpSpreadsheet), XmlReader (через XMLReader для потокового чтения больших файлов), JsonReader.

Маппинг полей — разработка модуля импорта

Конфигурация маппинга хранится в b_vendor_importer_mapping:

{ "source": "csv", "target": "catalog_product", "iblock_id": 5, "fields": { "article": "PROPERTY_ARTICLE", "name": "NAME", "price": "CATALOG_PRICE_1", "stock": "CATALOG_STORE_PRODUCT_AMOUNT" }, "key_field": "article", "update_strategy": "merge" } 

key_field определяет поле для идентификации существующей записи. update_strategy:

• merge — обновляет только поля из маппинга;
• replace — полная замена;
• skip — пропуск существующих.

Как обрабатываются большие файлы?

Импорт 50 000 строк за один HTTP-запрос недопустим. Используем агенты:

// Шаг 1: загрузка файла, задание $job = ImportJobTable::add([ 'FILE_PATH' => $uploadedPath, 'MAPPING_ID' => $mappingId, 'STATUS' => 'pending', 'TOTAL' => 0, 'PROCESSED' => 0, ]); // Шаг 2: агент обрабатывает порциями public static function processChunk(int $jobId, int $offset, int $limit = 100): string { $job = ImportJobTable::getById($jobId)->fetch(); $reader = ReaderFactory::create($job['FILE_PATH']); $reader->open($job['FILE_PATH']); // пропускаем offset строк, читаем limit строк // записываем, обновляем PROCESSED return "\\Bitrix\\Main\\Agent::executeImporter($jobId, $newOffset);"; } 

Агент вызывается каждую минуту, прогресс виден в админке в реальном времени. Потоковая обработка в 10 раз быстрее обычного импорта за один запрос.

Writer: запись в инфоблок

class IblockElementWriter implements WriterInterface { public function write(MappedRow $row): WriteResult { $existing = $this->findByKey($row->getKeyValue()); if ($existing) { $result = \CIBlockElement::Update($existing['ID'], $row->toIblockArray()); } else { $element = new \CIBlockElement(); $result = $element->Add($row->toIblockArray()); } return new WriteResult($result !== false, $existing ? 'updated' : 'created'); } } 

Аналогичные Writer'ы: CrmLeadWriter, SaleOrderWriter, UserWriter.

Валидация данных и обработка ошибок

Перед записью каждая строка проходит валидацию. Правила задаются в конфигурации:

Строки с ошибками фиксируются в журнале b_vendor_importer_error. После импорта доступен отчёт и CSV с проблемными строками.

Уведомления и логирование

После завершения модуль отправляет email инициатору через \Bitrix\Main\Mail\Event::send(): общее количество строк, создано/обновлено/ошибок, ссылка на журнал.

Процесс разработки модуля

1. Анализ форматов и маппинг — изучаем ваши источники данных, согласовываем поля.
2. Проектирование архитектуры — определяем Reader, Transformer, Writer.
3. Разработка Reader'ов — подключаем потоковые парсеры для ваших форматов.
4. Настройка маппинга — конфигурируем соответствие полей.
5. Реализация Writers — запись в инфоблоки, CRM, заказы.
6. Потоковая обработка и агенты — настройка фонового импорта.
7. Валидация и логирование — настройка правил проверки и журнала ошибок.
8. Административный интерфейс — создаём страницу для запуска и мониторинга.
9. Тестирование и нагрузочное тестирование — прогоняем на реальных данных.
10. Документация и обучение — передача команде.

Почему стоит заказать кастомный модуль?

Мы — сертифицированные специалисты 1С-Битрикс с 10+ годами опыта. Каждый модуль проходит нагрузочное тестирование. Вы получаете гарантию стабильной работы и поддержку после внедрения. Согласно официальной документации 1С-Битрикс, стандартные средства не покрывают кастомные форматы и сложную логику обновления. Экономия от внедрения нашего модуля может достигать 500 000 рублей в год за счёт автоматизации. Простой без модуля обходится в 1 000 000 рублей ежегодно. Для консультации и предварительной оценки вашего проекта свяжитесь с нами — мы подготовим предложение под ваши задачи.

Сроки разработки

Итого: от 13 рабочих дней. Сложные форматы или трансформации — оцениваем отдельно. Получите консультацию и предварительную оценку вашего проекта, напишите нам. Закажите разработку модуля, который решит вашу задачу.