Реализация Body Tracking в AR-приложении
Body tracking — отслеживание позы человека в реальном времени с привязкой 3D-контента к суставам тела. Используется в фитнес-приложениях (анализ техники упражнений), AR-примерке одежды, интерактивных AR-играх, где персонаж повторяет движения пользователя. Технически это сложнее face tracking: тело дальше от камеры, хуже освещено, перекрывается одеждой и фоном.
ARKit Body Tracking: архитектура
ARBodyTrackingConfiguration — iOS 13+, A12+. Отслеживает одного человека в кадре (поддержка нескольких тел экспериментальная и нестабильна).
Возвращает ARBodyAnchor с skeleton типа ARSkeleton3D. Скелет содержит 91 joint в иерархии. Основные: root, hips, spine_1 через spine_7, left_shoulder_1_joint, left_arm_joint, left_forearm_joint, left_hand_joint, аналогично правая сторона, ноги, голова.
func session(_ session: ARSession, didUpdate anchors: [ARAnchor]) {
guard let bodyAnchor = anchors.first as? ARBodyAnchor else { return }
let skeleton = bodyAnchor.skeleton
// Позиция правого запястья в мировых координатах
if let wristTransform = skeleton.modelTransform(for: .rightHand) {
let worldTransform = bodyAnchor.transform * wristTransform
// Привязать объект к запястью
}
}
modelTransform(for:) возвращает transform относительно root (таза). Для мировых координат умножаем на bodyAnchor.transform.
Ограничения и практика
Дистанция: уверенный трекинг — от 1.5 до 5 метров. Ближе 1 метра тело выходит за кадр. Дальше 5 метров — нестабильность суставов, особенно кистей и ступней.
Частичная видимость: когда часть тела за кадром, ARKit экстраполирует позицию «невидимых» суставов по кинематической модели. Точность экстраполяции нормальная для туловища и ног, хуже для рук.
Скорость движения: при быстрых движениях (прыжки, боксёрские удары) трекинг рук запаздывает на 2-4 кадра. Для fitness coaching это проблема — измерение скорости удара будет занижено.
Один человек: если в кадре двое — ARKit трекает одного (обычно первого обнаруженного). ARBodyAnchor — только один. Для multi-person tracking нужен сторонний ML.
Привязка 3D-персонажа к скелету
Готовая USDZ-сцена с rigged персонажем. Rig должен соответствовать ARKit joint hierarchy — 91 joint с теми же именами (left_arm_joint, right_hand_joint и т.д.). Blender: создаём armature с ARKit-именами суставов, экспортируем в USDZ.
RealityKit BodyTrackedEntity — специальный класс, который автоматически применяет ARKit skeleton transforms к compatible USDZ:
var character: BodyTrackedEntity?
func loadCharacter() async {
character = try? await Entity.load(named: "robot.usdz") as? BodyTrackedEntity
let bodyAnchor = AnchorEntity(.body)
bodyAnchor.addChild(character!)
arView.scene.addAnchor(bodyAnchor)
}
Если имена joints в USDZ не совпадают с ARKit — персонаж «разлетается». Проверка через Reality Composer Pro: Joint mapping inspector.
MediaPipe Pose для Android и кросс-платформы
ARCore не предоставляет body tracking. Для Android — MediaPipe Pose Landmarker:
- 33 ключевые точки (BlazePose GHUM)
- Работает на RGB-камере, без depth sensor
-
PoseLandmarker.detect()→PoseLandmarkerResultс 3D-координатами в нормализованном пространстве
Для привязки 3D-контента в ARCore: конвертируем 2D-координаты точек + глубину (если есть LiDAR/ToF) в AR world coordinates через Frame.hitTest() или depth API.
Точность MediaPipe хуже ARKit: ~5-10 см погрешность позиции сустава vs ~1-3 см у ARKit на устройствах с Neural Engine. Для фитнес-аналитики — достаточно. Для точного скелетного риггинга 3D-персонажа — заметная разница.
Анализ движений для фитнеса
Угол в суставе через dot product двух векторов:
func jointAngle(joint1: simd_float3, vertex: simd_float3, joint2: simd_float3) -> Float {
let v1 = normalize(joint1 - vertex)
let v2 = normalize(joint2 - vertex)
return acos(dot(v1, v2)) * (180 / .pi)
}
Угол колена при приседании: jointAngle(hip, knee, ankle). Правильный диапазон — 80-110°. Если < 60° — пользователь приседает слишком глубоко. Это основа для real-time формо-коучинга.
Сроки
Базовый body tracking с привязкой 3D-объекта к суставу — 1-2 недели. Риггинг 3D-персонажа под ARKit skeleton + интеграция — 3-4 недели. Фитнес-аналитика с анализом углов суставов и счётчиком повторений — 4-6 недель. Android MediaPipe-версия — дополнительно 2-3 недели. Стоимость рассчитывается индивидуально.