Компьютерное зрение роботы: где теряется точность захвата
Промышленное зрение отказывает редко «целиком» — оно срывается точечно, на конкретных деталях и в конкретных условиях. Манипулятор уверенно берёт заготовку из первой партии, а на следующей либо хватает её за фаску, либо уводит в аварию по недобору. Доля брака при этом растёт не линейно: один пропущенный дефект меняет порог настройки, и линия начинает считать нестабильное распознавание нормой.
Три источника сбоев захвата повторяются чаще всего. Блики от смазки и антикоррозийного покрытия дают засветку, контур детали «плывёт», и классификатор путает годную заготовку с дефектной. Дрейф калибровки — от вибрации, тепла или подмены объектива — сдвигает систему координат; в пикселях это доли, на схвате — уже промах по центровке. Разная геометрия партии ломает порог уверенности, подобранный на одной выборке, и в поток идут ложные срабатывания.
Цена — простой линии, а не только брак. Ложное срабатывание останавливает подачу, оператор снимает деталь вручную и перезапускает цикл, теряя темп и достоверность статистики. Разметка данных при этом оказывается узким местом: пока инженеры вручную обводят кромки на сотнях кадров, оборудование уже стоит, а модель, обученная на идеальных образцах, на реальных бликах и заусенцах ведёт себя хуже случайного порога. Гипотезы здесь проверяются на OpenCV, но одной библиотекой разрыв между лабораторным кадром и цехом не закрывается — разбираем, как это закрывается по порядку.
Измеримый эффект: точность, темп линии, доля брака
Первый показатель — доля пропущенного брака на отложенной выборке, которую модель не видела при обучении. Считаем её отдельно по каждому типу дефекта, а не одним числом: общая точность распознавания дефектов усредняет картину и прячет редкий, но дорогой класс, на котором линия теряет больше всего.
Второй — повторяемость между сменами. Один и тот же дефект в дневную и ночную смену должен получать одинаковый вердикт, поэтому разброс проверяем на эталонном наборе кадров: до и после перекалибровки камеры, смены освещения, замены объектива и профилактики оборудования.
Третий — время цикла. Обработка кадра должна укладываться в такт линии, иначе зрение само становится узким местом конвейера. Вывод делается на контроллере рядом с камерой, а не в удалённом центре, и замеряем мы не только время на кадр, но и задержку от снятия до сигнала отбраковки — именно она определяет, успеет ли манипулятор убрать деталь.
Четвёртый — число ручных перепроверок. Считаем долю кадров, которые уходят оператору на подтверждение: порог уверенности настраиваем так, чтобы спорные случаи отдавались человеку, а однозначные отбраковывались автоматически. Ручной контроль сокращается, но не за счёт роста пропусков — эти два показателя смотрим только вместе.
Пятый — скорость ввода новой номенклатуры. Отдельно фиксируем, сколько образцов годных деталей и дефектов нужно на новую позицию и за какой срок переобучение модели выводит её в серию без остановки линии.
Сравнение подходов: локальный контур, облако, гибрид
Контур контроля на линии собирают несколькими способами, и выбирают между ними не по модности технологии, а по такту конвейера, стабильности канала связи и тому, насколько деталь отличается от типовой. Во всех вариантах результат уходит в существующую систему управления линии — различается только место, где живёт модель, и скорость, с которой её можно исправить.
| Вариант | Когда подходит | Ограничения |
|---|---|---|
| Готовая платформа с предобученными моделями | Типовые детали и классы дефектов из каталога, нужен быстрый запуск на одной линии | Нестандартную деталь не берёт: настраиваются только пороги и зоны, дообучение под деталь недоступно |
| Локальный контур | Жёсткий такт конвейера, закрытая сеть, изображения нельзя выводить за пределы цеха | Вычислительный узел у каждой линии, обновление моделей только с доступом к оборудованию |
| Облачная обработка | Много площадок, редкие события, нужна единая статистика и быстрая правка модели | Зависимость от канала: при обрыве контроль встаёт, а вынос изображений наружу требует согласований |
| Гибридная схема | Критичные проверки — на линии, аналитика и обучение — в центре | Две среды сопровождения, версионирование моделей и регламент их рассинхронизации |
Как выбирать
Выбор редко бывает окончательным. Обычно пилот поднимают на готовой платформе, затем критичные проверки переносят в локальный контур, а дообучение под конкретную деталь ведут в центре на накопленной выборке. Мы проектируем схему сразу так, чтобы переход между вариантами не требовал переписывать стыковку с линией.
Этапы внедрения: от аудита линии до передачи смены
Порядок этапов не случаен: если обучать модель до аудита линии, выборка окажется не про те дефекты, которые реально доходят до оператора, и система будет уверенно ловить не то. Ниже — как выглядит работа от первого выезда на участок до передачи смены.
- Аудит линии. Такт, зоны подачи, освещение, стабильность позиции детали; фиксируем, что ловит оператор, а что уходит дальше по потоку.
- Схема контура. Точки установки камер, подсветка, дистанция съёмки, синхронизация с контроллером робота — по какому сигналу снимаем кадр и как отдаём решение «годен/брак».
- Разметка выборки. Кадры по всем позициям и режимам; редкие классы добираем отдельно и не даём им утонуть. Спорные рамки проверяют двое, расхождения разбираем до обучения.
- Обучение и настройка порогов. Порог выбираем по кривой на отложенной части выборки, приоритет — ложным пропускам: пропущенный дефект дороже лишней остановки.
- Проверка на линии. Прогон на реальном такте, смена-эталон, замер по позициям: поймано дефектов, ложных срабатываний на смену, где вмешивается оператор.
- Приёмка на линии и передача регламентов. Фиксируем показатели, отдаём конфигурации, регламент обслуживания и процедуру переобучения на новых дефектах с откатом на предыдущую версию.
После передачи смены контур остаётся прозрачным: понятно, кто и по какому регламенту дообучает систему и как в неё попадают новые классы дефектов.
Комплект поставки: конфигурации, модели, регламенты
Комплект поставки — это не только работающий модуль распознавания, но и всё, что нужно вашей команде, чтобы сопровождать его своими силами. Артефакты передаём раздельно: конфигурации отдельно от весов модели, схема интеграции отдельно от кода обработки кадров — так любую часть можно заменить, не пересобирая систему целиком.
Что остаётся у заказчика после сдачи:
- Файлы конфигураций: выдержка и усиление камер, геометрия зоны съёмки, пороги уверенности по каждому классу дефекта — в текстовом виде, с комментариями о том, что и зачем менялось при настройке.
- Обученная модель: зафиксированная версия весов, состав и разметка обучающей выборки, отчёт по метрикам — полнота и точность по классам, матрица ошибок, доля пропусков на отложенных кадрах.
- Схема интеграции: точки подключения к контроллеру робота и конвейеру, форматы обмена сигналами «годен/брак» и координатами захвата, временные задержки, логика блокировок при потере кадра.
- Политики доступа: роли оператора, наладчика и администратора; кто вправе менять пороги, кто — загружать новую версию модели; журнал изменений и хранение снимков спорных деталей.
- Регламент переобучения: на каких данных и с какой периодичностью дообучать, как проверять новую версию на отложенной выборке, по каким критериям откатываться на предыдущую.
- Инструкции для смены и наладчика: калибровка, настройка освещения и фокуса, типовые неисправности и порядок действий.
- Протокол приёмки: тестовые сценарии, наборы кадров и зафиксированные результаты, по которым сверяют качество при спорных ситуациях.
Каждый пункт — рабочий документ, а не приложение к отчёту: по нему ваша служба сопровождения вводит систему в строй и развивает её без нас.
Кейс: доля пропущенного брака снизилась вчетверо
До и что изменили
Участок сборки выпускал мелкие узлы, контроль держался на выборочном осмотре: оператор смотрел каждую пятую деталь на мониторе и решал «годно / не годно». Доля пропущенного брака доходила до 0,8 % партии и всплывала уже у заказчика, а между сменами расхождения по спорным деталям доходили до нескольких процентов — утренняя смена браковала то, что вечерняя пропускала.
Разметили дефекты по классам, отдельно вынесли пограничные — царапину, недоштамповку, смещение. Стенд собрали на промышленных камерах Basler, подсветку привязали к такту линии, а распознавание обучили на реальных снимках всех трёх смен и дополнили нормализацией по освещению: решение перестало зависеть от того, кто и когда включает свет на участке.
Что стало
Замеры до и после: доля пропущенного брака — 0,2 % против 0,8 %, вчетверо меньше. Ручные перепроверки сократились с каждой детали до 10-15 % на спорных классах, а повторяемость между сменами выросла — расхождение решений ушло в пределы 0,5 %, потому что пороги и версия модели теперь одни на весь участок, а не свои у каждого оператора. На рабочий режим вышли за три недели: неделя на разметку и калибровку, две — на обучение и ежедневный разбор ложных срабатываний.
Руководитель направления сборки: «Спорную деталь раньше уносили и смотрели под лупой. Сейчас решение принимается на такте, а к концу смены есть выборка, по которой видно, где мы ошиблись».
Что делать, если робот уже оснащён камерами?
Сначала снимаем с уже развёрнутых камер архивный поток и прогоняем его через текущую модель вне робота — становится видно, хватает ли оптики и подсветки, без остановки цикла. Если детали уверенно детектируются на этих кадрах, сенсорный парк переиспользуется целиком, меняется только вычислитель. Исключение — камеры с аналоговым выходом или закрытым драйвером производителя: их переводим на стандартный интерфейс.
Дальше решаем совместимость с управляющим контуром. Робот получает не «команду от нейросети», а координаты и класс объекта в системе координат ячейки: пересчёт делает отдельный модуль, а уставки уходят в контроллер теми же сигналами и с той же логикой безопасности, что и раньше. Для наладчиков контур остаётся предсказуемым.
| Вариант | Когда подходит | Ограничения |
|---|---|---|
| Камеры и оптика остаются | Детали детектируются на архивных кадрах | Нужен внешний вычислитель, если контроллер не тянет модель |
| Меняем оптику и подсветку | Брак из-за бликов и низкой контрастности | Перекалибровка ячейки, повторная разметка эталонов |
| Меняем сенсорный контур | Аналоговый выход, закрытый драйвер, нет синхронизации | Простой линии на монтаж и пересборку эталонов |
Перенос модели — самый чувствительный этап. Веса выгружаем в открытый промежуточный формат (ONNX), чтобы не зависеть от прежнего вычислителя и запускать модель без переобучения. Затем калибровка: привязка пикселей к координатам манипулятора по эталонной детали и проверка в 20–30 положениях рабочей зоны — критерий приёмки здесь повторяемость попадания, а не картинка на экране.
Замыкает работу обвязка: логирование срабатываний, откат на прежний алгоритм одним переключением режима и дообучение по мере износа оптики. Так контур модернизируется без пересборки системы с нуля.
Технические сомнения: освещение, блики, смена номенклатуры
Инженерные сомнения на таких проектах касаются не модели, а условий эксплуатации. Ниже — ответы на вопросы, которые чаще всего звучат на техническом согласовании.
Что будет при смене освещения и бликах?
Поляризация, подсветка с синхронизацией по кадру и фиксированная экспозиция — автоматика камеры начинает «плавать» именно на бликах. Модель обучаем на кадрах разных смен и с засветкой от соседнего оборудования.
Что покажет система на новой номенклатуре?
Считаем уверенность и отдаём деталь на ручной контроль вместо ложной отбраковки. Несколько десятков размеченных кадров новой детали достаточно, чтобы дообучить модель на месте.
Придётся ли останавливать линию?
Монтаж идёт в технологические окна и пересменки. Сначала система работает в теневом режиме: считает решения, но не управляет отбраковкой, пока совпадение с оператором не подтвердится статистикой.
Кто отвечает за качество разметки?
Мы: схема классов, правила спорных кадров, перекрёстная проверка и метрика согласия разметчиков. Разметка остаётся частью сдаваемого комплекта, а не разовым материалом.
Что входит в передачу решения?
Веса моделей, конфигурации камер и подсветки, скрипты дообучения, регламент приёмки новой номенклатуры и обучение ваших инженеров. Дальше решение живёт без нашего постоянного участия.
Обсудим задачу: что подготовить для оценки
Оценка системы машинного зрения упирается не в алгоритмы, а в исходные данные об участке. Чем точнее вы опишете линию и детали, тем меньше допущений в расчёте и тем раньше мы назовём реальные сроки этапов. Ниже — вводные, которые закрывают большую часть вопросов ещё до выезда на производство.
- Схема участка: где стоит робот, как деталь подаётся и снимается, куда её уносит дальше.
- Образцы деталей: десяток годных и столько же бракованных — с типовыми и редкими дефектами, включая спорные случаи, которые сейчас решает человек.
- Текущие причины брака: что именно пропускает существующий контроль, в какой доле случаев и как это фиксируется.
- Требования к темпу: сколько деталей проходит линию и какая задержка на распознавание допустима, чтобы робот не простаивал.
- Ограничения по монтажу: доступные точки под камеры и подсветку, вибрации, стружка, пыль, мойка, перепады освещения в цехе.
- Доступ к линии: окно, когда можно снять поток и провести замеры без остановки производства.
- Куда отдаём результат: контроллер робота, система управления участком или журнал брака — что принимает решение и что просто логирует.
- Сроки этапов: к какой дате нужен опытный образец на линии и когда планируется серийный запуск.
Пришлите то, что есть, — даже черновик описания участка и несколько фотографий деталей. Обсудим задачу, уточним недостающее и вернёмся с оценкой и планом: схема установки, перечень проверок, которые закроет зрение, и сроки этапов.
