Валидация импорта товаров: проверка, санитизация и дедупликация

Валидация данных при импорте товаров

Отметим: когда прайс от поставщика приходит с отрицательными ценами, пустыми артикулами и HTML-тегами в описаниях — это не просто грязь, а прямой путь к сломанному каталогу. Без системы проверки такой поток ломает цены, дублирует товары и замедляет сайт из-за лишних запросов. По статистике, до 30% данных от поставщиков содержат ошибки — исправление последствий обходится в сотни тысяч рублей ежемесячно. По нашим данным, автоматизация валидации позволяет сэкономить до 800 000 рублей в год в среднем по проекту. Наш подход — задерживать мусор на входе, не допуская его до базы.

Решаемые проблемы

Структурная валидация — проверяем формат и типы: обязательные поля, числа, даты, длины строк. Если в прайсе вместо числа приходит "N/A", мы это ловим до записи в БД.

Бизнес-валидация — смысловые правила: цена не превышает лимит, SKU уникален, категория существует, изменение цены не более 50%. Например, поставщик случайно поставил цену 999999 вместо 999 — мы отсекаем аномалию.

Санитизация — чистим данные перед проверкой: удаляем невидимые символы, парсим числа с пробелами и запятыми, вырезаем опасный HTML.

Дедупликация SKU — один файл может содержать дубли артикулов, если поставщик склеил несколько прайсов. Мы отслеживаем все SKU в рамках импорта и предупреждаем о повторах.

Если вы замечаете подобные проблемы в своих данных, свяжитесь с нами для бесплатного аудита.

Как мы это делаем: стек и архитектура

Используем Laravel 11 с PHP 8.3. Валидатор построен на Laravel Validator с дополнительными бизнес-правилами. Санитайзер парсит числа, чистит строки и изображения. Ошибки собираются с указанием severity и пакетно пишутся в БД.

Пример валидатора:

class ProductImportValidator { private array $rules = [ 'sku' => ['required', 'string', 'max:100'], 'name' => ['required', 'string', 'max:500'], 'price' => ['required', 'numeric', 'min:0.01', 'max:100000000'], 'qty' => ['nullable', 'integer', 'min:0', 'max:9999999'], 'description' => ['nullable', 'string', 'max:100000'], 'category' => ['nullable', 'string', 'max:300'], 'images' => ['nullable', 'array', 'max:20'], 'images.*' => ['url', 'max:2000'], 'weight' => ['nullable', 'numeric', 'min:0', 'max:10000'], ]; public function validate(array $row): ValidationResult { $validator = \Illuminate\Support\Facades\Validator::make( $row, $this->rules, $this->customMessages() ); $errors = []; if ($validator->fails()) { $errors = $validator->errors()->toArray(); } // Бизнес-правила $errors = array_merge($errors, $this->applyBusinessRules($row)); return new ValidationResult( valid: empty($errors), errors: $errors, data: $validator->validated(), ); } private function applyBusinessRules(array $row): array { $errors = []; // Проверка аномального изменения цены if (!empty($row['sku']) && !empty($row['price'])) { $existing = Product::where('sku', $row['sku'])->value('price'); if ($existing && $existing > 0) { $change = abs($row['price'] - $existing) / $existing; if ($change > 0.5) { $errors['price'][] = "Price change {$change}% exceeds 50% threshold"; } } } // Проверка на XSS в описании if (!empty($row['description'])) { $clean = strip_tags($row['description']); if ($clean !== $row['description']) { $errors['description'][] = 'HTML tags detected in description'; } } return $errors; } } 

Пример санитайзера:

class ProductDataSanitizer { public function sanitize(array $raw): array { return [ 'sku' => $this->cleanString($raw['sku'] ?? ''), 'name' => $this->cleanString($raw['name'] ?? ''), 'price' => $this->parseDecimal($raw['price'] ?? null), 'qty' => $this->parseInt($raw['qty'] ?? null), 'description' => $this->sanitizeHtml($raw['description'] ?? ''), 'weight' => $this->parseDecimal($raw['weight'] ?? null), 'images' => $this->parseImageUrls($raw['images'] ?? []), ]; } private function cleanString(?string $value): string { if ($value === null) return ''; $value = trim($value); $value = preg_replace('/\p{C}/u', '', $value); // невидимые символы return mb_substr($value, 0, 1000); } private function parseDecimal(mixed $value): ?float { if ($value === null || $value === '') return null; $value = str_replace([' ', ',', "\xc2\xa0"], ['', '.', ''], (string) $value); return is_numeric($value) ? (float) $value : null; } private function parseInt(mixed $value): ?int { $decimal = $this->parseDecimal($value); return $decimal !== null ? (int) $decimal : null; } private function sanitizeHtml(?string $html): string { if (!$html) return ''; // Разрешаем только безопасные теги return strip_tags($html, '<p><br><b><strong><i><em><ul><ol><li>'); } private function parseImageUrls(mixed $raw): array { if (is_string($raw)) { $raw = array_map('trim', explode(',', $raw)); } return array_values(array_filter( (array) $raw, fn($url) => filter_var($url, FILTER_VALIDATE_URL) )); } } 

Почему санитизация данных критична для безопасности

Пропуск HTML-тегов в описаниях товаров может привести к XSS-атакам на странице каталога. Наш санитайзер вырезает все опасные теги, оставляя только безопасные <p>, <br>, <strong>. Это предотвращает XSS-атаки (см. XSS и OWASP XSS Prevention Cheat Sheet). В одном из проектов мы находили до 5% строк с потенциально опасным HTML.

Как классифицируются ошибки и почему это важно

Не все ошибки одинаково опасны. Мы разделяем их по severity: CRITICAL (строка пропускается), WARNING (строка импортируется с флагом), INFO (только в лог). Если доля критических ошибок превышает 20%, импорт целиком отменяется — это предотвращает массовое засорение каталога.

Дополнительно мы используем порог отмены импорта: при превышении 20% критических ошибок процесс останавливается. Это в 5 раз надежнее, чем стандартная валидация Laravel без такой защиты.

Процесс работы

1. Анализ — изучаем текущие форматы поставщиков (CSV, XML, Excel), выявляем типичные ошибки, согласовываем правила. В среднем обрабатываем 12 поставщиков за 2 дня.
2. Проектирование — проектируем схему валидации, определяем severity, пороги, стратегию дедупликации. Учитываем до 50 полей на товар.
3. Реализация — пишем валидаторы, санитайзеры, коллекторы ошибок. Для Laravel используем Validator, для других стеков — аналогичные инструменты.
4. Тестирование — прогоняем на реальных данных поставщиков (обычно 1000+ строк), корректируем правила.
5. Деплой — разворачиваем на бою, мониторим первые импорты.

Что входит в работу

• Система структурной и бизнес-валидации с настраиваемыми правилами
• Санитайзер для очистки строк, чисел, URL и HTML
• Дедупликация SKU в рамках одного импорта
• Коллектор ошибок с тремя уровнями severity и хранением в БД
• Порог отмены импорта при критических ошибках
• Административный интерфейс для просмотра ошибок и статусов импортов
• Документация правил и описание API для подключения новых поставщиков
• Повышение качества данных за счет автоматической проверки

Какие сроки

• Структурная валидация (Laravel Validator), санитизация, сбор ошибок — от 1 дня
• Бизнес-правила, дедупликация SKU, severity-уровни — от 1 дня
• Хранение ошибок в БД, порог отмены, admin UI — от 1 дня

Итого 3 дня под ключ. Стоимость рассчитывается индивидуально в зависимости от количества поставщиков и сложности правил. Если у вас похожая проблема — свяжитесь для аудита. Закажите разработку системы валидации — получите консультацию в течение 2 часов. У нас 7+ лет опыта в разработке e-commerce решений — оценим проект за 2 часа после знакомства с вашими данными.