VR и AR разработка
Первый раз запустив проект в VR-гарнитуре, большинство команд сталкивается с одним и тем же: технически всё работает, но в гарнитуре либо укачивает, либо руки «плавают» с задержкой, либо сцена выглядит дёрганой на периферии взгляда. Это не баги в привычном смысле — это следствие того, что VR/AR разработка требует другого подхода к архитектуре рендера, взаимодействию и UX с самого начала проекта.
Платформы и SDK
Работаем со всем актуальным стеком:
| Платформа | SDK / Framework |
|---|---|
| Meta Quest 2/3/Pro | Meta XR SDK, OpenXR |
| PC VR (SteamVR) | SteamVR Plugin, OpenXR |
| PlayStation VR2 | Sony PSVR2 SDK |
| HoloLens 2 | Mixed Reality Toolkit (MRTK) |
| ARKit (iOS) | AR Foundation + ARKit XR Plugin |
| ARCore (Android) | AR Foundation + ARCore XR Plugin |
| WebXR | Unity WebXR Export |
OpenXR используем как базовый слой везде, где это возможно — он даёт кроссплатформенность между Meta, Valve Index, HP Reverb и другими PC VR-устройствами. Поверх OpenXR строим на XR Interaction Toolkit (Unity) или VR Expansion Plugin (Unreal).
Взаимодействие в VR: grab, throw, teleport
Это самая недооценённая часть VR-разработки. Клиенты часто воспринимают её как «просто анимация рук», но на практике — это сложная система, где физическая корректность, отзывчивость и комфорт вступают в противоречие друг с другом. Разберём детально.
Grab (захват объектов)
XR Interaction Toolkit предоставляет три типа Interactable для захвата:
-
XRGrabInteractable— стандартный захват, объект следует за контроллером через физический joint или direct position/rotation -
XRSimpleInteractable— для объектов без физического перемещения (кнопки, рычаги) - Кастомные Interactable через наследование от
XRBaseInteractable
Ключевой выбор при реализации захвата — Kinematic vs Physics-based movement:
Kinematic (trackPosition/trackRotation через Transform): объект мгновенно следует за рукой. Отзывчиво, но нереалистично — объект проходит сквозь стены. Подходит для большинства casual VR и experience-проектов.
Physics-based (через Rigidbody + Joint): объект удерживается физическим суставом. Реалистичное взаимодействие с окружением, объекты корректно сталкиваются со столами и стенами. Проблема — при быстрых движениях joint может «растягиваться», объект дрожит или выбивается из рук. Лечится через velocity damping, max joint force и детектор «разрыва» joint при экстремальных скоростях.
Attach Transform — часто игнорируемая деталь. У каждого Interactable должен быть правильно настроенный Attach Transform (точка, к которой рука «прилипает»). Без него рукоятка пистолета окажется по центру меша, а не там, где её держат.
Для оружия и инструментов с двуручным захватом — отдельная система TwoHandGrab: ведущая рука определяет позицию, вторая — ориентацию. XR Interaction Toolkit поддерживает это через XRTwoHandGrabInteractable или кастомную логику с двумя Attach Points.
Throw (бросок)
Физически корректный бросок в VR — это нетривиально. Проблема в том, что Rigidbody.velocity в момент отпускания контроллера отражает мгновенную скорость, которая часто некорректна из-за дискретизации трекинга. Пользователь делает быстрое движение запястьем — а объект летит вдвое медленнее, чем ожидается.
Решение: velocity smoothing за последние N кадров (типично 5-10 кадров, ~80-160 мс при 60 Hz) перед отпусканием. XR Interaction Toolkit делает это через VelocityEstimator. Дополнительно применяем velocity scaling multiplier — небольшое умножение скорости (1.2-1.5x) делает броски субъективно более удовлетворительными.
Угловую скорость (для объектов, которые должны крутиться в полёте) тоже усредняем аналогичным образом.
Teleport (перемещение)
Locomotion — главный источник motion sickness для неопытных VR-пользователей. Teleportation — стандартный способ навигации, когда плавное передвижение нежелательно.
Компоненты из XR Interaction Toolkit: TeleportationArea, TeleportationAnchor, TeleportationProvider. Базовая реализация работает «из коробки», но для продакшна дорабатываем:
-
Дуга телепортации (
XRRayInteractorс Bend Ray): дуга выглядит натуральнее прямого луча, лучше считывается пользователями - Валидная зона приземления: визуальный индикатор меняет цвет при наведении на препятствие — красный/зелёный
- Fade transition: плавное затухание экрана (black fade) перед телепортом снижает дезориентацию
- Rotation snapping: после телепорта предлагаем snap-поворот на 45° или 90° вместо плавного — снижает риск укачивания
Для проектов, где нужна плавная локомоция (экшн-игры, симуляторы), используем comfort settings: виньетирование при движении, снижение FOV во время ускорения. Настройки доступны пользователю в меню — разные люди имеют разный порог чувствительности.
AR: Plane Tracking и работа с окружением
AR добавляет другой класс проблем — работу с реальным, непредсказуемым окружением.
AR Foundation — кроссплатформенный слой поверх ARKit и ARCore. Большинство базовых функций (plane detection, raycasting, image tracking, face tracking) доступны через единый API.
Plane Detection
ARPlaneManager обнаруживает горизонтальные и вертикальные плоскости. Практические нюансы:
- Инициализация занимает время — пользователь должен осмотреть помещение, пока система строит карту. Нужен явный onboarding с инструкцией «медленно поводите камерой по поверхностям»
-
Плоскости нестабильны — их границы и позиция обновляются по мере накопления данных. Объекты, размещённые на плоскости, нужно
parenting-ом привязывать к ARPlane, а не к мировым координатам -
Слияние плоскостей — два обнаруженных сегмента пола могут слиться в один, что двигает якорь. Для критичных якорей используем
ARAnchorвместо прямой привязки к плоскости
Image Tracking и Object Tracking
ARTrackedImageManager — для маркеров. Важно: качество трекинга напрямую зависит от качества reference image. Изображения с высокой частотой деталей и контрастными краями (think: QR-код, но красиво) трекаются надёжнее, чем гладкие логотипы.
ARCore Geospatial API — для outdoor AR с привязкой к реальным координатам. Использует VPS (Visual Positioning System) на основе уличных данных Google. Точность до 10 см в хорошо картированных зонах.
Оптимизация для VR: фреймрейт и комфорт
VR требует стабильного высокого фреймрейта. Просадка ниже целевого значения вызывает у пользователей дискомфорт значительно острее, чем в обычных играх.
| Устройство | Целевой Hz | Критический порог |
|---|---|---|
| Meta Quest 2 | 72 / 90 Hz | < 72 Hz — заметно |
| Meta Quest 3 | 90 / 120 Hz | < 90 Hz — заметно |
| Valve Index | 90 / 120 / 144 Hz | < 90 Hz — заметно |
| PSVR2 | 90 / 120 Hz | < 90 Hz — заметно |
Single Pass Instanced Rendering
Главная оптимизация рендера в VR. Без неё сцена рендерится дважды (для каждого глаза), что удваивает draw calls. Single Pass Instanced рендерит оба глаза за один проход через instancing: geometry обрабатывается один раз, шейдер получает два view/projection matrix через GPU instancing.
Включается в Unity через XR Plug-in Management > Rendering Mode: Single Pass Instanced. Важно: кастомные шейдеры должны поддерживать SPI — стандартные URP/HDRP шейдеры поддерживают, кастомные HLSL требуют правки (UNITY_SETUP_STEREO_EYE_INDEX_POST_VERTEX и связанные макросы).
Foveated Rendering
На Meta Quest доступен Fixed Foveated Rendering (FFR) — снижение разрешения на периферии кадра, где острота восприятия ниже. Настраивается через OVRManager или Meta XR SDK:
OVRManager.fixedFoveatedRenderingLevel = OVRManager.FixedFoveatedRenderingLevel.High;
OVRManager.useDynamicFixedFoveatedRendering = true;
Dynamic FFR автоматически повышает уровень при просадке фреймрейта — удобнее фиксированного в сценах с переменной нагрузкой.
IPD и Comfort Settings
IPD (Inter-Pupillary Distance) — расстояние между зрачками, влияет на восприятие глубины и комфорт при длительном ношении. На программируемом уровне в большинстве устройств доступно только чтение IPD (OVRPlugin.GetSystemDisplayFrequency), физическая настройка — на гарнитуре. Для приложений с точным позиционированием (медицинские симуляторы, тренинги) учитываем IPD в расчётах масштаба сцены.
Haptics
Тактильный фидбек — недооценённый инструмент. Даже простой вибрационный отклик при захвате объекта или попадании значительно повышает ощущение присутствия.
XR Haptics через OpenXR:
var hapticImpulse = new UnityEngine.XR.HapticCapabilities();
InputDevice device = InputDevices.GetDeviceAtXRNode(XRNode.RightHand);
device.SendHapticImpulse(0, amplitude: 0.5f, duration: 0.1f);
Для сложных паттернов (тактильная «текстура» поверхности при прикосновении, нарастающая вибрация при натяжении тетивы лука) используем Meta Haptics Studio — позволяет дизайнить haptic-клипы визуально.
Что влияет на стоимость и сроки
VR/AR проекты дороже обычных игр аналогичного объёма по ряду причин:
- Итерации медленнее — каждую правку нужно тестировать в гарнитуре, эмулятор не передаёт реальный опыт
- Motion sickness — часть концептуальных решений приходится переделывать после первого плейтеста в железе
- Оптимизация занимает существенную долю времени, особенно для мобильного VR (Quest)
- QA требует физического оборудования, воспроизвести баги на скриншоте невозможно
Для проектов под Quest начинаем оптимизацию с первого спринта, а не в конце — ретрофит VR-оптимизации в готовый проект в разы дороже, чем правильная архитектура с самого начала.





