Распознавание товаров на полках: где теряется точность учёта
Ручной обход зала устроен так, что ошибка заложена в нём по построению. Сотрудник идёт по маршруту с планшетом, сверяет выкладку с планограммой и фиксирует расхождения по памяти: при широком ассортименте один проход даёт выборку, а не инвентаризацию. Между обходами полка живёт своей жизнью — товар раскупили, подменили, вернули не в свой блок.
Первый сбой — учёт остатков на полке. Учётная система держит позицию в наличии, пока списание не прошло через кассу или склад, поэтому заказ на пополнение не уходит, хотя на полке уже стоит одна единица или не стоит ничего. Расхождение всплывает либо на следующем обходе, либо в момент, когда покупатель товар не нашёл.
Второй — пустые места на полке, которые обнаруживаются с задержкой в несколько часов. Дыра в выкладке фиксируется только тогда, когда до неё дойдёт сотрудник, и всё это время трафик уходит впустую. Третий — пересортица выкладки: товар стоит в правильной зоне, но не в своём блоке, и формально полка выглядит заполненной.
Точность распознавания выкладки в такой схеме упирается не в старательность человека, а в пропускную способность глаза: сверить все позиции за один проход физически невозможно, а сравнить состояние полки с прошлой неделей — тем более. Чем шире ассортимент, тем больше доля фейсингов, которые за смену не проверяли ни разу.
Разбираем, как это закрывается: съёмка стеллажа, привязка кадров к планограмме и автоматическая сверка факта с эталоном вместо ручных обходов зала.
Измеримый эффект: скорость, полнота и классы отказов
Камера снимает полку по секциям, модель сопоставляет кадры с планограммой и отдаёт перечень расхождений по позициям. Мерчандайзер приходит в зал с адресным списком, а не с общим обходом — выборочность проверки исчезает.
Время на проверку
Ручная сверка секции ограничена тем, сколько человек успевает осмотреть за смену. Перенос основной работы на постобработку снимков сокращает проверку до минут, и обходы становятся ежедневными без расширения штата.
Полнота найденных нарушений
Дефекты вроде перевёрнутого ценника или товара не в своём блоке человек устойчиво пропускает. Автоматизация проверки выкладки помечает каждое расхождение координатами и оценкой уверенности: доля найденных нарушений выходит на 0,9+ против 0,6–0,7 при ручной сверке и не зависит от загруженности ревизора.
Какие классы ошибок уходят
Уходит класс «заметили, но не зафиксировали»: расхождение попадает в журнал со снимком и меткой времени, а повторы по одной точке видны в динамике. Оценка перестаёт зависеть от опыта сотрудника.
Что меняется в метриках
Скорость инвентаризации, контроль планограммы и снижение доли возвратов считаем на замерной выборке до запуска — иначе эффект нечем подтвердить. Привязку позиций к GS1 по штрихкодам держим отдельным контуром проверки.
| Метрика | До | После |
|---|---|---|
| Обход точки с проверкой планограммы | 40–60 минут | 8–12 минут |
| Доля найденных нарушений выкладки | 0,6–0,7 | 0,9–0,95 |
| Периодичность проверки | раз в неделю | ежедневно |
| Возвраты и списания из-за выкладки | базовая доля | −30% |
Режимы съёмки и варианты развёртывания системы
Съёмка полки — самое узкое место в цепочке: чем реже снимок, тем дольше дефект выкладки живёт в зале незамеченным. Режим съёмки задаёт сразу и качество кадра, и трудозатраты: потолочный обзор даёт частоту, но зависит от света и перекрытий, а обход зала с терминалом — точный ракурс ценой времени сотрудника.
Форматы точек различаются геометрией, поэтому под каждый подбирается своя схема: широкий проход у гипермаркета и узкий стеллаж у магазина у дома требуют разного числа проходов и разной высоты подвеса.
| Вариант | Когда подходит | Ограничения |
|---|---|---|
| Стационарная съёмка с потолочных камер | Постоянный контроль выкладки, высокая частота обновления | Перекрытие покупателями и тележками, чувствительность к свету и углам |
| Обход зала с терминалом | Плотная выкладка и сложная геометрия полки | Ручной труд, частота упирается в график смен |
| Съёмка с тележки | Совмещение пополнения запаса и съёмки | Хуже видно верхние ярусы, привязка к маршруту пополнения |
| Гибридная схема съёмки | Смешанный ассортимент, зоны разной проходимости | Нужна синхронизация ракурсов и сведение двух источников |
На практике чаще выигрывает гибрид: камеры держат частоту по проходимым зонам, обход закрывает слепые участки, а периодические проверки выкладки подтверждают полноту. Свести эти потоки в один отчёт по товару проще, когда номенклатура описана едиными идентификаторами GS1 — тогда расхождения в названиях и фасовках не путают сверку.
Как проходит внедрение: этапы инженерной работы
Внедрение начинается не с модели, а с торгового зала: точность распознавания товаров на полках определяется тем, как снят кадр. Поэтому первые этапы — обследование и данные, и только затем настройка сети. Ниже — последовательность, по которой проект идёт от первого обхода зала до работающей системы.
-
Аудит торгового зала и точек съёмки. Фиксируем типы стеллажей, высоту полок, освещение, зоны перекрытия, сверяем планограммы. Результат — схема размещения камер, при которой полка попадает в кадр целиком.
-
Разметка данных для модели. Снимаем реальный поток, размечаем границы товаров и артикулы. Отдельными классами идут пустая полка и рука покупателя в кадре — без них модель ошибается на живом зале.
-
Настройка распознавания объектов. Детекция плюс классификация, пороги уверенности под задачу, дообучение на сложных категориях: блики, мятая упаковка, товар, повёрнутый лицом вбок.
-
Проверка качества распознавания. Метрики считаем на отложенной выборке, отдельно по полке и по каждому артикулу, разбираем пропуски и ложные срабатывания. Порог приёмки фиксируем до старта.
-
Связка с учётными данными. Сопоставляем распознанные позиции с мастер-данными и планограммой — на выходе не список объектов, а готовый отчёт о выкладке.
-
Передача в эксплуатацию. Разворачиваем систему, настраиваем мониторинг дрейфа и регламент дообучения, передаём документацию и обучаем команду заказчика.
Что остаётся у заказчика: конфигурации, схемы, регламенты
Внедрение не считается завершённым, пока система держится только на нашей команде. Поэтому в приёмку входит пакет артефактов, по которому ваши инженеры и персонал линии работают самостоятельно — без повторных выездов и без обращения к нам за каждым уточнением.
- Схема зон съёмки — привязка камер к стеллажам, ракурсы, перекрытия ракурсов, требования к освещению. По ней новый объект разворачивается по образцу, а не с нуля.
- Инструкция по съёмке — как выкладывать товар перед прогоном, порядок прохода, дистанция, что считается браком кадра. Именно это даёт сопоставимость данных месяц к месяцу.
- Документация по модели — перечень распознаваемых категорий, на каких данных обучалась, порог уверенности, поведение кадров ниже порога, разбор типовых ошибок.
- Политики доступа к данным — кому видны кадры и результаты, сроки хранения, обезличивание, правила выгрузки, отзыв доступа при смене сотрудника.
- Регламент работы персонала — кто и когда проводит съёмку, как фиксируются нераспознанные позиции, кому уходит расхождение и в какой срок закрывается.
- Схема обмена с учётной системой — формат выгрузки, расписание, поведение при недоступности приёмника.
- Чек-лист приёмки и план отката — контрольные выкладки с заранее известным ответом, допуски по точности, порядок возврата к предыдущей версии модели.
Отдельно передаём журнал изменений: что менялось в модели, правилах и конфигурации камер. Передача перестаёт быть разовым актом — команда заказчика видит, почему система ведёт себя именно так.
Кейс: как выросла точность учёта выкладки в сети магазинов
Сеть магазинов формата «у дома» держала контроль выкладки на ручных обходах: мерчандайзер проходил точку за 20-25 минут, закрывал 8-10 адресов за смену, а проверки шли раз в неделю. Нарушения жили на полке до следующего визита, расхождения с планограммой копились между проверками, и выборочно удавалось видеть не больше двух третей проблем.
Что сделали
Начали со съёмки: сотрудники фотографировали полку целиком на рабочий телефон, мы размечали границы упаковок, перекрытия и развёрнутые лицом позиции. Модель на базе YOLO актуальной ветки обучили на этом наборе, а поверх поставили сверку с планограммой: система сопоставляет распознанные позиции с эталоном категории и отдаёт не список расхождений, а готовую задачу — что и куда вернуть на полке.
Что изменилось
Доля найденных нарушений выкладки на контрольной выборке из 400 полок выросла с 61% до 94%: эталон для замера размечали вручную, вслепую от системы. Время проверки одной точки упало с 25 до 2-3 минут — сотрудник снимает полку и получает результат на месте, ручные обходы сократились вчетверо и стали адресными: идём только туда, где система показала расхождение.
Полнота выкладки по категории выросла с 88% до 96% за квартал, а ложные срабатывания — порядка одного на двенадцать снимков — разбираются с телефона одним нажатием. Разбор ошибок возвращается в разметку, поэтому точность держится и в новых магазинах сети без переобучения с нуля.
Чем отличается съёмка сверху от обхода зала с терминалом?
Режимы различаются не камерой, а точкой съёмки и, как следствие, тем, какие ошибки выкладки они физически способны заметить. Съёмка сверху — стационарные камеры, которые с интервалом в несколько минут снимают ряды стеллажей целиком и сравнивают кадр с эталонной планограммой. Обход зала с терминалом — ручной или на роботе-платформе: оператор идёт по маршруту и снимает полки вплотную, позиция за позицией.
Верхний ракурс силён там, где нужна картина всего зала: доля заполненного полочного пространства, пустоты, съехавшая выкладка, блоки одного бренда. Он считает по геометрии полки, а не по конкретной упаковке, поэтому не требует эталонного фото на каждый артикул и не ломается при вводе новинок. Слабое место — мелкий текст и цены: с высоты они не читаются, а покупатели, тележки и блики перекрывают заметную часть кадра в часы пик.
Обход закрывает ровно этот пробел: идентификация позиции по штрихкоду стандарта GS1, цена на ценнике, срок годности, подмена одной упаковки другой в одном лице полки. Съёмка вплотную уверенно различает похожие упаковки и сезонные варианты, где обзорный кадр даёт неоднозначность. Ограничение обратное — покрытие: маршрут фиксирован, секции вне него остаются непроверенными, а свежесть данных зависит от регламента обхода, то есть от раза в смену до раза в день.
На практике режимы не конкурируют, а распределяют роли. Обзорный контур работает триггером: фиксирует аномалию на конкретном стеллаже и ставит задачу на проверку, а обход закрывает её точечно, по нужным рядам, а не по всей площади. Это снимает большую часть ручного прохода, сохраняя точность по позициям и ценам.
Выбор режима упирается в метраж зала, число товарных позиций, требуемую частоту обновления и то, нужно ли контролировать цены и сроки годности. Если нужен только контроль наполненности — хватает верхнего обзора; если есть ценовые расхождения и сроки — без обхода не обойтись. Комбинация даёт полное покрытие и низкий класс ошибок, но требует синхронизации координат полки между обоими контурами — это отдельная часть настройки.
Технические сомнения: интеграции, нагрузка, качество данных
Технические сомнения обычно касаются не самого распознавания, а того, как оно живёт в контуре магазина: учётная система, сеть зала, изменения планограммы. Ниже — ответы на четыре вопроса, которые чаще всего поднимают на обсуждении.
Как решение стыкуется с учётной системой и что придётся менять на нашей стороне?
Учётная система остаётся источником истины: из неё берём номенклатуру, штрихкоды и действующую планограмму, обратно отдаём факт выкладки и расхождения. Обмен идёт через отдельный сервис-посредник, поэтому правки в самой учётной системе минимальны — чаще достаточно регулярной выгрузки. Если она недоступна, результаты съёмки ждут в локальной очереди и уходят после восстановления связи.
Как различаются похожие упаковки одной линейки?
Сложнее всего соседние позиции одного производителя: одинаковая форма и цвет, различаются вкусом или весом. Такие пары добавляем в обучающую выборку отдельно и проверяем на кадрах с перекрытой выкладкой, где видна лишь боковая грань. Спорные распознавания не угадываются, а помечаются и уходят на проверку сотруднику.
Выдержит ли сеть магазина нагрузку от съёмки?
Съёмка идёт с мобильного устройства сотрудника: кадры сжимаются на месте и уходят пакетом в окно низкой нагрузки. При слабом канале устройство работает автономно и досылает данные позже. Широкий канал не нужен, фотосъёмка не мешает кассовому оборудованию и не требует отдельной сети в зале.
Что происходит после смены планограммы?
Полное переобучение после каждой перестановки не требуется: модель дообучается на новых кадрах, а планограмма приходит из учётной системы как справочник. Штатная ротация полки укладывается в обычный цикл съёмки, перестройка категории — в отдельный короткий этап дообучения.
Обсудим вашу задачу: с чего начать
Разговор о распознавании товаров на полках начинается не с выбора модели, а с данных о вашей рознице. Чем точнее на входе описаны зал, товарные группы и учётная система, тем быстрее мы вернёмся с планом и оценкой — без допущений, которые обычно всплывают уже на этапе внедрения.
Что полезно подготовить к первой встрече:
- Схему зала или планограмму: число стеллажей, высоту полок, зоны с плохим светом и холодильники со стеклом.
- Список товарных групп с фото типовой выкладки — по несколько снимков на группу с разных ракурсов.
- Состав учётной системы: выгрузку номенклатуры, наличие артикулов и штрихкодов, привязку позиции к месту на полке.
- Описание парка съёмки: камера на тележке, робот, стационарные модули или съёмка на телефон сотрудника.
- Требования к выходным данным: остаток на полке, доля полки, отсутствие позиции, расхождение цены с ценником.
- Ограничения по контуру: где допустимо хранить и обрабатывать изображения — локальный сервер или облако.
После разбора фиксируем план работ и оценку, запускаем пилот на одной точке и замеряем точность на вашей выкладке, а не на синтетике. Если метрики сходятся, расширяем на сеть и передаём в эксплуатацию: инструкции для персонала, регламент дообучения и контроль качества распознавания.
Опишите задачу в свободной форме — вернёмся с оценкой и планом.
