Интеграция импорта данных из CSV, Excel и XML

Импорт CSV, Excel и XML: настройка с валидацией и отчётами

Выгрузка тысяч товаров из Excel в базу данных: стандартный INSERT падает на 500-й строке, пользователь видит «Ошибка сервера». Поставщик прислал прайс-лист в XML — система не может распарсить нестандартные теги. Если вы сталкиваетесь с подобными проблемами, свяжитесь с нами — мы подберём решение под ваш стек. Настраиваем импорт с предпросмотром, валидацией каждой строки и детальным отчётом об ошибках. В проектах с более чем 100 000 строк применяем чанковую обработку и фоновые очереди, чтобы не блокировать сервер. В результате пользователь получает понятную обратную связь и может исправить ошибки за минуты. Типичные случаи: импорт каталога товаров из Excel от поставщика, загрузка контактов из CSV, синхронизация цен из XML-прайс-листов 1С.

Проблемы, которые решаем

Неоднородные данные. В одном CSV — лишние пробелы, в другом — точки с запятой вместо запятых. Excel-файлы могут содержать формулы, скрытые символы и нестандартные кодировки. XML от 1С часто имеет свою структуру тегов. Без подготовки эти файлы не обработать.

Огромные объёмы. Импорт 100 000 строк через обычный INSERT убивает сервер. Нужна чанковая загрузка и фоновые очереди. Используем чанки по 500 строк и очереди RabbitMQ или Redis, что позволяет обрабатывать до 200 000 строк за раз без тайм-аутов.

Отсутствие обратной связи. Пользователь загружает файл и ждёт. Если что-то пошло не так — непонятно, какие строки не прошли и почему. Добавляем пошаговый отчёт: количество импортированных, количество с ошибками, детали по каждой строке. Например, отчёт может содержать 100 успешно импортированных и 5 ошибок с указанием номера строки и поля.

Как мы это делаем

Laravel: импорт через Laravel Excel

// Импорт пользователей из CSV/Excel class UsersImport implements ToModel, WithHeadingRow, WithValidation, SkipsOnError { use Importable, SkipsErrors; private int $imported = 0; private int $failed = 0; public function model(array $row): ?User { $this->imported++; return User::firstOrCreate( ['email' => $row['email']], [ 'name' => $row['name'], 'phone' => $row['phone'] ?? null, 'password' => bcrypt(Str::random(16)), ] ); } public function rules(): array { return [ 'email' => 'required|email', 'name' => 'required|string|max:255', 'phone' => 'nullable|string|max:20', ]; } public function customValidationMessages(): array { return [ 'email.required' => 'Колонка email обязательна', 'email.email' => 'Некорректный формат email в строке :attribute', ]; } public function onError(\Throwable $e): void { $this->failed++; Log::warning('Import row failed', ['error' => $e->getMessage()]); } public function getStats(): array { return ['imported' => $this->imported, 'failed' => $this->failed]; } } // Controller class ImportController extends Controller { public function store(Request $request): JsonResponse { $request->validate([ 'file' => 'required|file|mimes:csv,xlsx,xls|max:10240', ]); $import = new UsersImport(); Excel::import($import, $request->file('file')); return response()->json([ 'message' => 'Импорт завершён', 'stats' => $import->getStats(), 'errors' => $import->errors()->map(fn($e) => $e->getMessage()), ]); } } 

Чанковый импорт для больших файлов

class LargeProductsImport implements ToModel, WithChunkReading, WithHeadingRow { public function chunkSize(): int { return 500; } public function model(array $row): Product { return new Product([ 'sku' => $row['sku'], 'name' => $row['name'], 'price' => (float) str_replace(',', '.', $row['price']), 'stock' => (int) $row['stock'], 'category_id' => Category::getIdByName($row['category']), ]); } } // Асинхронно в очереди Excel::queueImport(new LargeProductsImport(), $request->file('file')); 

Node.js: CSV парсинг

import { parse } from 'csv-parse'; import { createReadStream } from 'fs'; import { pipeline } from 'stream/promises'; interface UserRow { email: string; name: string; phone?: string; } async function importUsersFromCsv(filePath: string): Promise<{ imported: number; failed: number }> { let imported = 0; let failed = 0; const batch: UserRow[] = []; const BATCH_SIZE = 100; const parser = parse({ columns: true, // первая строка — заголовки skip_empty_lines: true, trim: true, delimiter: [',', ';'], // автоопределение разделителя bom: true, // убрать UTF-8 BOM }); const processBatch = async () => { if (batch.length === 0) return; const rows = [...batch]; batch.length = 0; try { await db.user.createMany({ data: rows.map(row => ({ email: row.email.toLowerCase(), name: row.name, phone: row.phone || null, })), skipDuplicates: true, }); imported += rows.length; } catch (err) { failed += rows.length; console.error('Batch insert failed:', err); } }; for await (const record of createReadStream(filePath).pipe(parser)) { if (!record.email || !record.name) { failed++; continue; } batch.push(record); if (batch.length >= BATCH_SIZE) await processBatch(); } await processBatch(); // последний неполный батч return { imported, failed }; } 

XML импорт (прайс-листы, B2B)

class XmlPriceImport { public function import(string $filePath): array { $xml = simplexml_load_file($filePath, 'SimpleXMLElement', LIBXML_NOCDATA); if ($xml === false) { throw new \InvalidArgumentException('Некорректный XML файл'); } $products = []; foreach ($xml->offers->offer as $offer) { $products[] = [ 'sku' => (string) $offer['id'], 'name' => (string) $offer->name, 'price' => (float) $offer->price, 'url' => (string) $offer->url, ]; } // Пакетное обновление foreach (array_chunk($products, 200) as $chunk) { Product::upsert($chunk, ['sku'], ['name', 'price', 'url']); } return ['total' => count($products)]; } } 

Как обрабатывать дубликаты и формировать отчёты?

Дубликаты — частая проблема. В Laravel используем firstOrCreate или upsert, в Node.js — skipDuplicates: true в createMany. Но стратегия зависит от бизнес-логики: иногда дубли нужно обновлять, иногда пропускать. Мы настраиваем обработку индивидуально. Например, для каталога товаров чаще всего обновляем цену и остаток, а создаём запись только если SKU отсутствует. Это сокращает время импорта на 20% и исключает дубли.

Без отчёта пользователь слеп. Хороший импорт возвращает не просто «успех/ошибка», а список проблемных строк: «строка 3: неверный email», «строка 7: цена не число». Это позволяет оперативно исправить исходный файл и перезапустить импорт. Мы формируем отчёт в формате JSON или CSV с полями: номер строки, поле, сообщение об ошибке. В результате типичная загрузка 10 000 строк занимает 30 секунд, из которых 5 секунд — на валидацию и подготовку отчёта.

Пример отчёта:

{ "total": 10005, "imported": 10000, "failed": 5, "errors": [ {"row": 3, "field": "email", "message": "Некорректный email: not-an-email"}, {"row": 7, "field": "price", "message": "Цена должна быть числом"} ] } 

Какой стек выбрать: Laravel или Node.js?

По нашим оценкам, Laravel Excel позволяет реализовать импорт в 3 раза быстрее для стандартных задач, но Node.js даёт полный контроль над памятью — критично для файлов свыше 500 000 строк. Выбор стека зависит от объёма данных и требований к скорости разработки.

Процесс и сроки

1. Аналитика — изучаем структуру файлов, бизнес-правила, частоту импорта.
2. Проектирование — выбираем стек, определяем стратегию обработки дубликатов и ошибок.
3. Реализация — пишем импорт с валидацией, чанками, отчётом.
4. Тестирование — прогоняем на реальных данных (10–100 000 строк), проверяем граничные случаи.
5. Деплой и обучение — запускаем на продакшене, передаём документацию.

CSV/Excel импорт с валидацией для Laravel или Node.js: 2–3 дня. С чанковой обработкой, детальным отчётом об ошибках и XML поддержкой: 3–5 дней. Сроки могут варьироваться в зависимости от сложности бизнес-логики. Обычно укладываемся в 4 дня для типового решения с тремя форматами.

Стоимость интеграции рассчитывается индивидуально, в зависимости от объёмов и сложности. Снижаем затраты на обработку данных до 30% за счёт автоматизации.

Объём работ и подготовка

• Документация по форматам и настройкам импорта.
• Обучение сотрудников работе с интерфейсом импорта.
• Поддержка в течение 2 недель после запуска.
• Готовность к доработкам под новые форматы.

Чек-лист: готовимся к импорту

• Обязательность полей: определить, какие поля обязательны, а какие могут быть пустыми.
• Стратегия обработки дубликатов: пропускать, обновлять или блокировать.
• Максимальный размер файла: необходима ли фоновая обработка через очереди.
• Формат отчёта об ошибках: CSV, JSON или интерфейс.
• Необходимость предпросмотра перед импортом.

Наш опыт внедрения импорта — более 20 проектов, от простых каталогов до B2B-порталов с прайс-листами. Гарантируем, что после настройки вы сможете загружать любые данные без головной боли. Получите консультацию бесплатно — свяжитесь с нами для оценки вашего проекта, мы ответим в течение дня и предоставим пример архитектуры.