Реализация массового импорта товаров (Bulk Import) на сайт

Когда 150 000 позиций кладут сайт

Представьте: клиент приносит прайс-лист на 150 000 товаров. Попытка загрузить всё сразу — и сайт виснет, база не отвечает. Это типичный запрос на Bulk Import. За 5 лет мы реализовали более 80 проектов с объёмами до 500 000 SKU. Накопили опыт, как избежать медленной загрузки, N+1 запросов и краша БД. Расскажем, как добиться стабильности с помощью чанков, очередей и предзагрузки справочников.

Какие проблемы решаем

Медленная загрузка: поштучные INSERT/UPDATE 100 000 строк занимают часы. N+1 запросы при разрешении справочников убивают производительность. Краш БД из-за неоптимальных транзакций. Потеря данных при ошибках в середине импорта. Все эти боли устраняются правильной архитектурой. Закажите разработку уже сегодня — мы покажем, как это работает на вашем проекте.

Как массовый импорт влияет на производительность?

Ключевой фактор — объём данных. Для 1 000 позиций достаточно синхронной обработки, для 100 000 — асинхронная очередь с чанками.

Bulk upsert в 10 раз быстрее поштучных запросов — это подтверждает наша практика.

Почему chunk + queue — ключ к стабильности?

Файл с 100 000 строк не обрабатывается в один Job. Разбиваем на чанки по 500 строк, каждый чанк — отдельный Job в очереди bulk-import. Воркеры (2–4) обрабатывают параллельно, не трогая основную очередь.

class BulkImportDispatcher { private const CHUNK_SIZE = 500; public function dispatch(ImportFile $file): void { $import = ImportRun::create([ 'file_id' => $file->id, 'status' => 'dispatching', 'total' => 0, ]); $chunkIndex = 0; foreach ($file->parser()->chunks(self::CHUNK_SIZE) as $chunk) { ProcessImportChunkJob::dispatch($import->id, $chunkIndex, $chunk) ->onQueue('bulk-import'); $chunkIndex++; } $import->update([ 'status' => 'processing', 'total_chunks' => $chunkIndex, ]); } } 

Техническая реализация: от чанков до upsert

Bulk Upsert вместо поштучных INSERT/UPDATE

Главный инструмент производительности — INSERT ... ON CONFLICT DO UPDATE (upsert). Laravel поддерживает это через Model::upsert(). Одна операция upsert для 500 строк в PostgreSQL занимает ~50–200 мс — против 500 × 5 мс = 2500 мс для поштучных запросов.

class ProcessImportChunkJob implements ShouldQueue { public int $timeout = 120; public function handle(): void { $rows = []; foreach ($this->chunk as $item) { $rows[] = [ 'sku' => $item['sku'], 'name' => $item['name'], 'price' => $item['price'], 'qty' => $item['qty'], 'category_id' => $this->resolveCategory($item['category']), 'source_id' => $this->import->source_id, 'updated_at' => now(), 'created_at' => now(), ]; } Product::upsert( $rows, uniqueBy: ['sku'], update: ['name', 'price', 'qty', 'category_id', 'updated_at'] ); DB::table('import_runs') ->where('id', $this->importId) ->increment('processed_chunks'); } } 

Предзагрузка справочников в память

Самая дорогая операция — запросы к БД для разрешения зависимостей. Решение — загрузить все справочники в память перед обработкой:

class ImportContext { private array $categoryMap; private array $supplierMap; private array $existingSkus; public function preload(int $sourceId): void { $this->categoryMap = Category::pluck('id', 'name_normalized')->all(); $this->supplierMap = Supplier::pluck('id', 'code')->all(); $this->existingSkus = Product::where('source_id', $sourceId) ->pluck('id', 'sku')->all(); } public function resolveCategoryId(string $name): ?int { return $this->categoryMap[mb_strtolower(trim($name))] ?? null; } public function productExists(string $sku): bool { return isset($this->existingSkus[$sku]); } } 

Финальный Job: агрегация результатов

Используем Bus::batch() — встроенный механизм Laravel для группировки задач с коллбэком на завершение:

Bus::batch( collect($chunks)->map(fn($chunk, $i) => new ProcessImportChunkJob($importId, $i, $chunk)) )->then(function (Batch $batch) use ($importId) { ImportRun::find($importId)->update([ 'status' => 'completed', 'completed_at' => now(), ]); PostImportPipeline::dispatch($importId); })->onQueue('bulk-import')->dispatch(); 

Post-import pipeline

После завершения импорта нужно обновить денормализованные данные: пересчитать наличие, обновить поисковый индекс, фасеты.

class PostImportPipeline { public function handle(int $importId): void { $productIds = ImportedProduct::where('import_id', $importId)->pluck('product_id'); Product::whereIn('id', $productIds)->each(function (Product $p) { $p->update(['in_stock' => $p->qty > 0]); }); Product::whereIn('id', $productIds)->searchable(); FilterValueRebuilder::dispatch($productIds); } } 

Мониторинг и ограничение нагрузки

В админ-интерфейсе оператор видит прогресс в реальном времени: количество обработанных, ошибки, оставшееся время. Данные берутся из таблицы import_runs. Выделяем очередь bulk-import с 2–4 воркерами, основную default не трогаем. Тяжёлый импорт запускаем в ночное время через планировщик. Для каждой ошибки записывается лог и оператор может перезапустить только неудавшиеся чанки — это типичный кейс для интернет-магазинов с большим каталогом. Дополнительно поддерживаем интеграцию с 1С и CommerceML — популярными источниками данных в российском e-commerce. Получите консультацию — мы поможем настроить такой механизм под ваш проект.

Объём работ и сроки

• Разработка chunk-диспетчера и bulk upsert.
• Предзагрузка справочников и финальный Job.
• Отчёт о результатах (количество обработанных, ошибки).
• Документация по настройке и запуску.
• Обучение операторов работе с системой.
• Гарантия стабильной работы — 3 месяца поддержки.
• Работа сертифицированных Laravel-инженеров.

Сроки: от 3 до 5 дней под ключ. Получите консультацию по вашему проекту — это бесплатно. Свяжитесь с нами для оценки вашего проекта.

Data import — Wikipedia