Почему распознавание жестового языка AI срывается на живом видео
В распознавании жестового языка конвейер уверенно проходит размеченную запись — и рассыпается на первом же живом диалоге. Дело не в самой модели: обучающий корпус собирают крупными планами, при ровном свете и заранее нарезанными фрагментами. Живое видео снимает все эти допущения сразу.
Перекрытие кистей, тень, уход за край кадра — модель оценки позы теряет ключевые точки. Трекер перескакивает между левой и правой рукой, координаты дрожат от кадра к кадру, и дальше по конвейеру идёт уже не жест, а шум. Ошибка на входе не сглаживается временной моделью, а умножается на неё.
Темпоральная часть — трансформер с CTC-декодингом — обучена на усреднённом темпе. В реальности служебные фразы проскакивают вдвое быстрее, имена показывают медленнее, а паузы не совпадают с границами смысловых сегментов. Выравнивание кадров с символами разъезжается, и на выходе появляются пропуски и дубли знаков.
Отдельная статья потерь — рассинхрон видеоряда и метки времени. Кадры буферизуются и теряются при перегрузке канала, часы камеры дрейфуют относительно сервера, смена освещения меняет контраст между соседними фрагментами. Признаки перестают соответствовать моменту съёмки.
На стенде каждый сбой выглядит безобидно, на живом потоке они складываются в обвал точности. Разбираем, как это закрывается.
Что меняется после внедрения: скорость, точность, нагрузка
Ключевая метрика — время от завершения жеста до появления текста на экране. Оно складывается из обработки кадра, прохода по скелетной модели кисти и накопления окна кадров на временной модели. При живой съёмке с обычной камеры задержку удаётся удержать в пределах долей секунды, и зритель читает поток как синхронный перевод, а не как расшифровку постфактум.
Отклик интерфейса намеренно отделён от самого распознавания: текст выводится пословно, текущий фрагмент подсвечивается, а распознанное предложение остаётся на экране, пока набирается следующее. Это убирает ощущение рваного потока и позволяет принимать решение по неполной фразе, не дожидаясь её конца.
Доля уверенных распознаваний и отказы модели
Второй показатель — доля уверенных распознаваний на живом потоке, то есть жестов, где модель выдаёт результат без конфликта гипотез. Отказы здесь разных классов: неуверенность на отдельном кадре, расхождение жеста с накопленным контекстом фразы и обрыв трекинга кисти при выходе за кадр. Вместо случайной гипотезы система помечает фрагмент как непрочитанный и просит оператора повторить — доля незаметных ошибок падает, а спорные места видны прямо в интерфейсе.
Устойчивость к помехам проверяем сменой условий: другой оператор, другой темп жестикуляции, фон, освещение, съёмка под углом. Часть расхождений снимает дообучение на короткой записи конкретного диктора — доля уверенных распознаваний возвращается к уровню эталонных записей.
Нагрузка на устройство съёмки управляемая: при слабом устройстве расчёт переносится на сервер, и камера только отправляет кадры, либо модель сжимается для работы на месте. Итог внедрения — три измеряемых эффекта: задержка до появления текста, доля уверенных распознаваний и класс отказов, который система показывает честно вместо угадывания.
Варианты построения: потоковая модель, гибрид, офлайн-разбор
Схему выбирают не по качеству модели, а по тому, где появляется видео и когда нужен результат. Отсюда три базовые схемы — потоковое распознавание, офлайн-разбор видео и гибрид с уточнением на сервере.
| Вариант | Когда подходит | Ограничения |
|---|---|---|
| Разбор записи постфактум | Лекции, учебные задания, архив: расшифровка нужна после съёмки | Нет перевода в реальном времени, чувствительность к качеству съёмки |
| Поток на устройстве | Живой диалог, сцена без устойчивой связи, локальная обработка кадров | Ресурсы устройства ограничены, часть жестов требует уточнения |
| Гибрид с уточнением на сервере | Перевод в реальном времени с высокой точностью | Сложнее в эксплуатации: синхронизация и контроль задержки |
| Готовые библиотеки ключевых точек + своя модель | Быстрый старт и контроль над словарём жестов | Библиотека даёт точки, но не смысл — качество держит своя модель |
| Арендованный облачный сервис | Первые прогоны, редкие сессии, своей инфраструктуры нет | Зависимость от чужого темпа обновлений и ограничения по данным |
Когда достаточно разбора записи
Если жест не нужно переводить в момент показа, модель видит его целиком и может перепроверить спорные участки. Это подходит для расшифровки лекций, разбора учебных заданий и обработки архива. Задержка от конца записи до результата здесь не мешает.
Когда нужен поток на устройстве
Для живого диалога кадры обрабатываются локально, и результат появляется сразу после жеста — локальная обработка кадров снимает и вопрос передачи видео наружу. Ограничение — ресурсы устройства и словарь, который модель разбирает уверенно; редкие и слитные жесты надёжнее уточнять на сервере, что и даёт гибридная схема.
Как идёт внедрение: от аудита видео до передачи модели
Внедрение идёт итерациями: сначала мы понимаем, какие сценарии съёмки реальны, затем фиксируем словарь жестов — и только после этого обучаем модель. Такой порядок не даёт обучить распознаватель на студийном видео, которое не похоже на рабочий поток.
Разметка и словарь жестов
- Аудит видеоматериалов — смотрим записи с целевых камер: свет, ракурс, фон, темп жестикуляции, перекрытия. Фиксируем, какие условия модель обязана держать, а какие остаются вне области применения.
- Согласование словаря — сводим список жестов с заказчиком, отсекаем визуально неразличимые пары, договариваемся о нейтральном классе и границах жеста.
- Разметка жестов — размечаем записи по границам и покадрово, спорные фрагменты проверяем вторым разметчиком; расхождения разбираем до обучения, а не после.
Приёмка на живом потоке
- Обучение и подбор порогов уверенности — учим временную модель на размеченных последовательностях и подбираем порог срабатывания так, чтобы пропуски и ложные срабатывания были сбалансированы под сценарий.
- Проверка на живом потоке — прогоняем на реальной камере в целевом освещении: смотрим задержку выдачи, поведение при быстрых переходах и когда в кадре несколько человек.
- Интеграция с интерфейсом — подключаем распознаватель к вашему приложению, отдаём результат в понятном формате и оставляем ручной ввод как запасной путь.
- Приёмка решения и передача — согласуем метрики, фиксируем их на контрольной выборке, передаём веса модели, разметку, порядок обучения и инструкцию, обучаем вашу команду дообучать словарь.
Что передаём на руки: модели, схемы, регламенты
Передаём не модель на диске, а комплект, по которому ваша команда эксплуатирует и развивает распознавание жестового языка без нас. Каждый артефакт разворачивается на чистом окружении и воспроизводит метрики из отчёта.
- Веса и конфигурация модели: контрольные точки обучения, пороги уверенности по классам, сглаживание предсказаний во времени, условия отказа «жест не распознан».
- Схема конвейера: приём видеопотока, выделение кистей и позы, сборка временной последовательности, декодирование в текст и выдача в ваш интерфейс.
- Словарь жестов: классы с эталонными примерами, разметка начала и конца жеста, правила добавления новых классов.
- Политики доступа к видеозаписям: сроки хранения, роли, обезличивание или отказ от сохранения кадров, журнал обращений к потоку.
- Инструкция по переобучению: подготовка разметки, запуск обучения, воспроизводимость прогона, выкат новой версии и откат на предыдущую.
- Отчёт о качестве: метрики на отложенной выборке, разбор ошибок по классам, проверка на записях из реальных условий съёмки.
Документация и словарь жестов
Описываем жест так, чтобы разметчик добавлял новые без нашей помощи: где начинается движение и какие варианты исполнения считаются одним классом. Словарь лежит рядом с весами.
Регламент дообучения и контроля качества
Фиксируем, кто запускает дообучение, какие метрики приемлемы и при каком падении качества модель уходит на повторный прогон. Отдельно описаны откат на прошлую версию и разбор спорных распознаваний.
Кейс: живой сурдоперевод в клинике — метрики до и после
Клиника с постоянным потоком пациентов на жестовом языке вела приём так: обращение регистрировали, ждали свободного переводчика, разговор записывали, а расшифровку делали постфактум. Систему распознавания строили на MediaPipe поверх живого видеопотока из кабинета — с расчётом, что подсказка появляется в момент жеста, а не на следующий день.
Замеры до внедрения
На старте сняли базовые метрики. Доля обращений, закрытых без переводчика, — ноль: любой разговор требовал участия специалиста. Расшифровка 40-минутного приёма по записи занимала около трёх часов, а в ручном протоколе терялось до четверти смысловых блоков — про сроки, повторный визит, подготовку к обследованию. Пациент существенную часть информации получал письменно и уже после приёма.
Что изменилось на живом потоке
Задержка перевода на живом потоке — около секунды: жест распознаётся по кадрам, текст на экране обновляется по ходу фразы. Доля уверенных распознаваний, где модель отдаёт ответ сама, без привлечения человека, — 78%, остальное уходит переводчику с пометкой низкой уверенности. За счёт этого 6 из 10 обращений проходят без переводчика, а специалист подключается только к сложным формулировкам.
«Раньше приём с переводчиком приходилось планировать за несколько дней и подстраивать под его график, — говорит руководитель отделения. — Теперь подсказка идёт по ходу разговора, а на уточнения мы зовём переводчика точечно». Отзыв заказчика стал для нас частью приёмки: метрики до и после сверяли по журналу обращений, а не по ощущениям от демонстрации.
Что делать, если распознавание уже работает, но даёт сбои?
Сбои почти никогда не живут в самой модели — сначала проверяем вход. Обрезанные кисти у границы кадра, потеря ключевых точек при быстром движении, разный масштаб и ракурс руки между записями дают скачки предсказаний, которые легко списать на ошибку сети. Поэтому первым шагом аудита конвейера мы прогоняем эталонные фрагменты и смотрим, на каком слое расходится результат.
Дальше — словарь жестов. Классы, размеченные разными людьми, расходятся по границам и длительности: один жест записан как два, близкие жесты склеены в один. Ошибки разметки почти не видны в общей точности, зато видны в матрице ошибок — пара классов путается устойчиво, а декодер при этом выдаёт уверенный, но неверный результат.
Отдельная причина — смещённые пороги уверенности. После смены камеры, освещения или фона распределение оценок уезжает, и жёстко заданный порог начинает либо пропускать жесты, либо срабатывать на шум. Порог подбираем заново по кривой ошибок на размеченном наборе, а не по одному усреднённому показателю.
Порядок проверки идёт от входа к выходу: нарезка и синхронизация видео, детекция кистей, признаки, модель, декодер, постобработка. Слой детекции мы закрываем готовыми библиотеками вроде MediaPipe, чтобы не переизобретать решённое, и основное внимание отдаём признакам, словарю и логике сглаживания.
Доработка решения встраивается в уже работающий сервис без его остановки: новая версия запускается в теневом режиме рядом с текущей, сравнение идёт на живом трафике, перевод — долями пользователей, откат — одним переключением. Так правка словаря или порогов не роняет продукт, который уже приносит пользу.
Частые вопросы инженеров: точность, данные, развёртывание
Инженеры задают на старте одни и те же вопросы: точность на редких жестах, объём данных, приватность видео и автономность. Ниже — короткие ответы по каждому.
Насколько точно распознаются редкие и составные жесты?
Редкие классы проседают из-за дисбаланса выборки: выравниваем примеры и добавляем искажения по ключевым точкам. Составной жест собираем CTC-декодированием поверх последовательности, и точность в отчёте считаем по редким классам, а не в среднем по словарю.
Сколько записей нужно для обучения?
Для десятков жестов — сотни повторов на класс, и важнее разброс: ракурсы, свет, темп, разные люди. Плюс записи без жеста, чтобы модель уверенно отличала «нет знака» от слабого срабатывания.
Куда уходят видеозаписи?
Видео не покидает ваш контур. Наружу при необходимости передаются только координаты ключевых точек — восстановить по ним лицо нельзя, а срок хранения и доступ задаёт ваша политика.
Работает ли система без сети?
Да: извлечение точек и разбор последовательности идут на месте, канал нужен только для обновления модели. При обрыве связи распознавание продолжается, а результат досылается позже.
Как дообучать на нашей стороне?
Новые жесты размечаете в том же интерфейсе, дальше — дообучение на объединённой выборке. Проверяем, что старые классы не деградировали, версия модели фиксируется, откат к предыдущей остаётся возможным.
Обсудим задачу: соберём схему и вернёмся с планом
Чтобы оценка проекта опиралась на данные, а не на предположения, для старта достаточно материалов, которые у вас уже есть.
- Примеры видео — 10-20 коротких записей с разными людьми, ракурсами, освещением и фоном: по ним видно реальный разброс данных, а не идеальный демонстрационный кадр.
- Словарь жестов — что система должна различать, где допустимы близкие по смыслу варианты, а где ошибка критична.
- Сценарии использования — где распознавание работает и кто смотрит результат: сотрудник на смене, преподаватель, посетитель в сервисном окне.
- Требования к отклику и точности — какая задержка ещё не мешает диалогу и какую долю ошибок сценарий выдерживает без потери смысла.
- Ограничения по данным — можно ли хранить видео, есть ли запрет на съёмку людей и вынос кадров за пределы вашего контура.
- Текущий процесс — как задача решается сейчас, сколько времени занимает и на каком шаге чаще всего ломается.
На созвоне уточняем объёмы словаря, способ разметки и то, кто с вашей стороны подтверждает качество. В ответ присылаем схему конвейера: как кадры попадают в модель распознавания, где проходит фильтрация ложных срабатываний и как результат выводится пользователю. К схеме прикладываем этапы работ, состав артефактов и договорённости по приёмке — какие метрики считаем достигнутыми и на каком наборе данных проверяем.
Опишите задачу — вернёмся с оценкой и планом внедрения.
