AI-система автоматического трекинга объектов для VFX

Почему трекинг объектов рассыпается на сложных сценах

Быстрый проход камеры — первый сценарий, где трекер теряет опору. Смаз размывает локальные признаки, окно корреляции захватывает соседние области, и точка уходит с реальной траектории. На длинном проходе ошибка накапливается: к концу плана привязка «дышит», хотя каждый кадр по отдельности выглядит правдоподобно.

Перекрытия ломают трек иначе: пока объект закрыт препятствием, алгоритм ищет похожую текстуру рядом и подхватывает её — это потеря трека, после которой восстановление идёт уже по чужой опоре. Однотонный фон усугубляет: угловых деталей мало, и дрейф точек тянется за градиентом освещения, а не за объектом.

Движение ткани и мягких поверхностей добавляет третий класс ошибок. Трекер, работающий с моделью жёсткого тела, не описывает растяжение: точки распределяются неравномерно, и деформация уходит в артефакт привязки. Планарные трекеры вроде Mocha Pro держат такие сцены устойчивее за счёт анализа плоскости, но и они упираются в кадры без текстуры.

Коварство в том, что на предпросмотре дрейф в пару пикселей незаметен. На сдаче, когда материал собирается в полном качестве, привязанный объект скользит относительно поверхности, и композит «плывёт». Переделка съедает день-два на план, а часть кадров приходится вести вручную по маскам — это и есть цена слепого доверия автоматике.

Разбираем, как это закрывается: где достаточно гибридного трекинга, где нужна ручная коррекция ключей и как выстроить проверку траектории до сдачи.

Что даёт точный трекинг объектов на площадке и в графике

Трекинг — фундамент, на котором держится вся дальнейшая графика. Пока положение объекта и траектория камеры восстановлены неточно, художник правит привязку покадрово: стабильность движения камеры теряется, в композит уходит дрожание, и дубль, который планировали закрыть за смену, съедает несколько дней ручной доводки.

Автоматический трекинг меняет экономику этого этапа. Доля кадров, которые уходят в графику без ручных правок, держится выше 90%, а время обработки одного дубля измеряется часами, а не сутками — сцена попадает к художникам в тот же день, когда отснята, и правки остаются только там, где нужно творческое решение.

Отдельно уходит целый класс отказов — «сорвался трек на быстром движении». Камера идёт по сложной траектории, объект частично перекрыт, света мало: для человека это часы подгонки, для модели — та же точность трекинга, что и на простой сцене, включая случаи, которые раньше помечали как непригодные.

Результат отдаётся не картинкой, а данными: движение камеры и объектов собирается в кэши по стандарту Alembic, поэтому отдел графики подключает их без пересчёта и не подгоняет траекторию под свой софт.

Самое дорогое следствие — повторные дубли. Когда трек предсказуем, пересъёмка нужна только там, где не решена актёрская или постановочная задача, а не потому, что материал «не принимает» графика.

Способы получения данных о движении: сравнение вариантов

Способ съёма движения определяет всё дальнейшее: формат данных, объём ручной доводки и то, переносится ли движение на трёхмерную модель без пересчёта. Маркерный метод даёт максимальную точность на крупных планах, безмаркерный расчёт — свободу на площадке, инерциальный трекер — движение там, где камерам не хватает обзора.

Общий знаменатель всех вариантов — геометрия сцены: положение камер, масштаб, привязка к системе координат площадки. Без неё любой, даже аккуратный набор точек остаётся набором точек и не совмещается с моделью. Поэтому метод выбирают под конкретный кадр, а не один раз на весь проект.

Комбинированный подход в крупных проектах становится основным: инерциальные датчики держат движение в провалах обзора, а расчёт по видео и привязка к геометрии сцены убирают накопленную ошибку. На разборе задачи мы смотрим материал и говорим, какие варианты дадут нужный результат на ваших кадрах.

Как проходит внедрение: этапы инженерной работы

Порядок этапов здесь подчинён одной цели: к моменту основного объёма работ модель уже проверена на самых сложных шотах, а не на удобном демо-материале. Поэтому внедрение идёт от разбора исходников к калибровке, от калибровки к настройке и только затем — к прогону всей сцены.

1. Аудит сцены. Смотрим исходный материал: характер движения камеры, перекрытия, длину дублей, участки с размытием и слабым контрастом. На выходе — карта шотов, где автоматический трекинг сработает сразу, а где нужна ручная доводка.
2. Схема данных. Фиксируем список объектов, правила разделения на слои, точку отсчёта сцены и формат выдачи, чтобы треки и маски принимались композом без конвертаций.
3. Калибровка. Восстанавливаем движение камеры и привязку к системе координат сцены на реперных дублях, проверяем устойчивость к дрожанию и длинным панорамам.
4. Настройка модели. Дообучаем на размеченных кадрах из проекта: свои объекты, свои условия съёмки, свои артефакты сжатия — вместо универсальных весов.
5. Тестовые дубли. Прогоняем выборку целиком и сверяем с эталоном: доля кадров с устойчивым треком, число обрывов, поведение при перекрытиях.
6. Приёмка результата. Супервайзер проверяет треки на своих шотах, спорные участки уходят в доработку. Критерии — отклонение в пределах доли кадра и отсутствие ручных правок на типовых сценах.
7. Передача группе. Отдаём треки в рабочем формате, правила пересчёта и обученную конфигурацию, чтобы команда воспроизводила прогон самостоятельно.

Каждый этап заканчивается артефактом, который можно проверить: карта шотов, схема, откалиброванная сцена, набор тестовых результатов. Это снимает главный риск — принять нестабильный трекинг за готовый.

Что команда получает на руки после сдачи проекта

Конвейер трекинга объектов живёт дольше, чем проект: сцены меняются, камеры добавляются, требования к точности масок растут. Поэтому сдача — это передача не отдельного результата, а работающей системы: конфигураций, схем и правил, по которым команда заказчика дальше ведёт материал без нашего участия.

Что уходит в поставку:

• Конфигурации обработки — наборы параметров под каждый тип сцены: плотность объектов, порог уверенности, шаг интерполяции между кадрами. Правятся силами студии, без пересборки решения.
• Схемы сцены — разметка камер, слоёв, зон перекрытий и статичных ориентиров, по которым трекер удерживает идентификаторы объектов при перекрытиях и уходах из кадра.
• Политики доступа к материалу — роли для художников, супервайзеров и внешних подрядчиков: кто видит исходники, кто запускает прогон, кто только забирает готовые траектории.
• Регламент работы — порядок приёмки прогонов, правила перезапуска на спорных участках и точки, где вместо автоматики нужна ручная правка.
• Инструкции по ролям — как обработать новую сцену, как проверить качество трека, что делать при расхождении масок и потере объекта.
• Контрольный набор — эталонная сцена с выверенными траекториями: на ней проверяют каждое обновление, чтобы доработки не ломали уже принятый материал.
• Обучение группы — практические сессии на материале заказчика, пока инженеры и художники не проходят полный цикл самостоятельно.

Приёмка идёт на стороне студии: команда запускает прогон на новой сцене без наших подсказок, мы фиксируем расхождения и доводим конфигурации. Дальше система развивается внутри студии — точка входа для этого описана в регламенте.

Кейс: массовые сцены без ручной доводки кадров

До внедрения трекинг на массовых сценах вели вручную: оператор расставлял метки на 40–60% кадров, где персонажи перекрывают друг друга, и после автоматического прохода всё равно доводил траектории руками. Дубль длиной 20 секунд занимал 2–3 дня, а ошибки в привязке всплывали уже на сборке — материал возвращали на пересчёт или назначали досъёмку.

Мы собрали систему, которая размечает объекты по нескольким опорным кадрам, достраивает траектории по движению и отдаёт оператору только спорные места. Трекинговый модуль встроен в существующий конвейер студии на Nuke — данные идут в привычном формате, без ручной передачи между этапами.

Что изменилось в цифрах

• Доля кадров, требующих ручной правки, — с 45 до 7%. Остаток это стыки смены ракурса, где оператор нужен по определению.
• Время обработки дубля массовой сцены — с 2–3 дней до 4–6 часов вместе с проверкой.
• Пересъёмки из-за потерянных треков — с шести за проект до нуля: спорные участки видны до сборки кадра.
• Сцены на 80+ персонажей идут тем же проходом, что и крупные планы, — отдельная ручная сессия больше не нужна.

Почему это работает

Дело не в самой модели, а в контуре проверки: система оценивает уверенность по каждому треку и не пропускает дальше то, что не сходится. Оператор получает очередь кадров с низкой уверенностью и правит только их, а длинные проходы камеры — там, где ручной трекинг чаще всего разваливался, — проходят целиком.

Что делать, если сцена уже снята, а данные о движении утеряны?

Данные о движении не исчезают вместе с проектом — их восстанавливают из самого изображения. Покадровый дорасчёт опирается на характерные точки: текстуру, контрастные границы, устойчивые ориентиры. Итоговая точность зависит от качества исходников — резкости, уровня шума, размытия на движении.

Первый вариант — восстановление движения по уже отснятому материалу. Алгоритм ведёт набор точек через последовательность кадров и по ним восстанавливает траекторию камеры и положение объектов. Метки или богатая фактура держат решение; однородные поверхности — небо, зелёный фон без меток, стекло — срывают трек, и его ведут вручную.

Второй вариант — комбинировать источники. Архивный дубль редко существует в единственном экземпляре: рядом лежат другие дубли той же сцены, фотоматериалы, записи с площадки. Несколько частных решений сшивают в одну траекторию, а накопленный дрейф гасят по общим ориентирам. Так вытягивают сцены, где одиночный проход точки не держит.

Границы задаёт качество исходников. Последовательность в OpenEXR без потерь даёт больше опор, чем сжатая копия из монтажа: артефакты сжатия уводят точки. Если объект большую часть времени перекрыт или кадр расфокусирован, дорасчёт даёт приблизительную траекторию — её доводят вручную, пока движение не станет стабильным.

Порядок работы простой: тестовый прогон на 10–20 самых сложных кадрах показывает, сколько срывов даёт материал и какая доля движения уйдёт на ручную доводку. По нему видно, укладывается сцена в дорасчёт, требует комбинирования дублей или её честнее достроить руками.

Технические сомнения перед стартом работ

Перед стартом мы отвечаем на один набор вопросов: супервайзеры и технические директора хотят заранее понимать, где решение ломается и как это проверяется. Ниже — ответы инженеров, без обещаний «идеального трека на любом материале».

Какие условия съёмки чаще всего ломают трекинг объектов?

Мешают однотонные объекты и фон, перекрытия, мерцающий свет, сильная компрессия исходника. Материал смотрим на тестовом наборе до оценки: если сцена принципиально не восстановима, говорим сразу, а не после недели работы.

Нужно ли обучать модель на нашем материале?

Для специфичных объектов — техники, животных, костюмов — дообучение на ваших кадрах даёт заметный прирост точности. Обычно хватает нескольких сотен размеченных кадров; на типовых объектах работает базовая модель с подстройкой порогов.

Сколько занимает обработка?

Короткие планы уходят в работу в день поступления, длинные разбиваем на этапы с промежуточной выдачей. Срок определяет плотность перекрытий и качество исходника, а не хронометраж.