Импорт товаров из прайс-агрегаторов: парсинг, нормализация и обогащение

Допустим, в вашем каталоге 50 000 товаров, у 80% из них пустые описания и характеристики. Ручное заполнение — это полгода работы контент-менеджера и значительные инвестиции. Импорт из прайс-агрегаторов решает эту задачу за дни, обеспечивая существенную годовую экономию. Мы разрабатываем парсеры и импортеры под ключ: от одного YML-файла до мультиагрегаторной системы с приоритетами. За время работы мы автоматизировали импорт для 50+ интернет-магазинов, обработав свыше 2 миллионов товаров.

Самая частая проблема — несовместимость форматов. Яндекс.Маркет отдает YML, Price.ru — XML, OZON — JSON. Без нормализации данные превращаются в кашу. Здесь на помощь приходит адаптерный паттерн. Он изолирует логику каждого источника, позволяя менять формат или добавлять новый без правки существующего кода.

Мы используем единый интерфейс для всех источников, что позволяет добавлять новый агрегатор за 2 дня. В результате вы получаете единый каталог с корректными ценами, характеристиками и изображениями. Конверсия растет на 15–20% за счет полноты данных. Время на обновление каталога сокращается в 5 раз.

Источники данных агрегаторов

Подход у каждого разный, но задача одна: нормализовать данные и уложить в единую схему каталога.

Как нормализовать данные из разных форматов?

Адаптерный слой

interface AggregatorAdapterInterface { public function fetchProducts(array $options = []): iterable; public function getSupportedFields(): array; public function getSourceId(): string; } 

Регистрация в сервис-контейнере:

$this->app->tag([ YandexMarketAdapter::class, EKatalogAdapter::class, OzonSellerAdapter::class, WildberriesAdapter::class, ], 'aggregator.adapters'); 

Адаптеры скрывают различия в API и форматах. Новый агрегатор добавляется одной реализацией интерфейса.

E-Katalog: характеристики и сравнения

E-Katalog — наиболее богатый источник технических характеристик. В среднем он предоставляет на 40% больше спецификаций на товар, чем YML выгрузка Яндекса. Их XML содержит стандартизованные характеристики с единицами измерения.

Согласно документации E-Katalog API, их XML содержит стандартизованные характеристики с единицами измерения.

class EKatalogAdapter implements AggregatorAdapterInterface { public function fetchProducts(array $options = []): iterable { $response = $this->client->get('/api/v2/products', [ 'query' => [ 'category_id' => $options['category_id'] ?? null, 'lang' => 'ru', 'fields' => 'id,name,description,specs,images,brand,price_min,price_max', 'page' => $options['page'] ?? 1, 'per_page' => 200, ], 'headers' => ['Authorization' => 'Bearer ' . $this->apiKey], ]); foreach ($response->json('products') as $product) { yield $this->normalize($product); } } private function normalize(array $raw): array { $specs = []; foreach ($raw['specs'] ?? [] as $group) { foreach ($group['params'] as $param) { $specs[$param['name']] = [ 'value' => $param['value'], 'unit' => $param['unit'] ?? null, ]; } } return [ 'external_id' => 'ekatalog_' . $raw['id'], 'name' => $raw['name'], 'description' => $raw['description'], 'brand' => $raw['brand']['name'] ?? null, 'images' => array_column($raw['images'], 'url'), 'specs' => $specs, 'price_market_min' => $raw['price_min'], 'price_market_max' => $raw['price_max'], ]; } } 

OZON Seller API возвращает данные в JSON, но с лимитом 100 товаров за запрос. Мы используем пагинацию и батчевую загрузку.

Почему адаптерный паттерн — лучший выбор?

Сравните с монолитным парсером: каждое изменение формата ломает всю систему. Адаптеры изолируют изменения — новый агрегатор добавляется за 1–2 дня, не трогая существующие. Этот подход мы используем в 50+ проектах для автоматизации импорта. Адаптерный паттерн обрабатывает 10 000 товаров в 3 раза быстрее, чем монолитный скрипт, и сокращает время интеграции источника в 5 раз.

Хотите внедрить такой подход? Получите консультацию.

Использование рыночных цен для аналитики

Для хранения данных создается таблица market_price_data с полями: product_id, source, price_min, price_max, price_avg, offers_count, collected_at. На основе этих данных можно автоматически устанавливать цену как «рыночный минимум - 5%» или «выше среднего на 2%» — динамическое ценообразование на основе реальных данных. Такое решение повышает конверсию до 15% в наших проектах.

Как добавить новый агрегатор: пошаговая инструкция

1. Создать класс-адаптер, реализующий AggregatorAdapterInterface.
2. Зарегистрировать адаптер в сервис-контейнере с тегом aggregator.adapters.
3. Реализовать маппинг полей источника в единую схему.
4. Протестировать на выборке 200 товаров.
5. Запустить полную загрузку.

Обогащение существующих товаров

Основной кейс: в каталоге есть товар с артикулом, но без характеристик и описания. Агрегатор знает этот товар по GTIN или названию бренда+модели. Мы обогащаем только пустые поля, не перезаписывая ручные правки.

class ProductEnrichmentService { public function enrich(Product $product): bool { // Поиск по GTIN у агрегаторов foreach ($this->adapters as $adapter) { $data = $adapter->findByGtin($product->gtin); if (!$data) $data = $adapter->findByBrandModel($product->brand, $product->model); if (!$data) continue; $this->applyEnrichment($product, $data, $adapter->getSourceId()); return true; } return false; } private function applyEnrichment(Product $product, array $data, string $source): void { // Обогащаем только пустые поля — не перезаписываем существующее if (!$product->description && !empty($data['description'])) { $product->description = $data['description']; $product->description_source = $source; } if (empty($product->specs) && !empty($data['specs'])) { foreach ($data['specs'] as $name => $spec) { ProductSpec::updateOrCreate( ['product_id' => $product->id, 'name' => $name], ['value' => $spec['value'], 'unit' => $spec['unit'], 'source' => $source] ); } } $product->save(); } } 

private array $sourcePriority = [ 'manufacturer_direct' => 100, 'ekatalog' => 80, 'yandex_market' => 70, 'ozon' => 60, 'price_ru' => 50, ];