Реализация VR-режима в мобильном приложении (стереоскопический рендеринг)

Реализация VR-режима в мобильном приложении (стереоскопический рендеринг)

Добавить VR-режим в существующее мобильное приложение — это не просто разделить экран пополам. Стереоскопический рендеринг требует корректной настройки проекций для каждого глаза, дисторции под конкретную оптику гарнитуры, и режима head tracking, который работает без накопления drift.

Геометрия стереорендеринга

Два глаза разделены IPD (interpupillary distance) — в среднем 63–65mm. Каждый глаз видит сцену под слегка разным углом — это создаёт глубину. Для корректного стереоэффекта нужно рендерить сцену дважды: камеры смещены на ±IPD/2 по X от центральной точки, но направлены к общей точке схождения (vergence).

Матрица проекции для каждого глаза — это asymmetric frustum, а не просто смещённая symmetric frustum. Разница принципиальная: symmetric frustum создаёт «параллельные глаза», asymmetric — реалистичное физиологическое сведение:

// Unity: asymmetric frustum для левого глаза
Matrix4x4 LeftEyeProjection(float ipd, float near, float far, float fov, float aspect) {
    float top = near * Mathf.Tan(fov * 0.5f * Mathf.Deg2Rad);
    float right = top * aspect;
    float shift = ipd * 0.5f * near / convergenceDistance;

    // left/right границы сдвинуты под конкретный глаз
    return Matrix4x4.Frustum(-right + shift, right + shift, -top, top, near, far);
}

Lens Distortion Correction

Линзы VR-гарнитуры увеличивают поле зрения, но вносят barrel distortion — прямые линии изгибаются к центру. Чтобы компенсировать это, рендерим с обратным pincushion distortion — результат через искажённую линзу выглядит ровно.

Коэффициенты дисторции (k1, k2, k3) специфичны для каждой гарнитуры и закодированы в QR-коде Cardboard-корпуса. Google Cardboard SDK читает их автоматически. При кастомной реализации:

// Fragment shader: barrel distortion
varying vec2 vTexCoord;
uniform float k1;
uniform float k2;
uniform sampler2D renderTexture;

void main() {
    vec2 coord = vTexCoord * 2.0 - 1.0; // [-1, 1]
    float r2 = dot(coord, coord);
    float distortion = 1.0 + k1 * r2 + k2 * r2 * r2;
    vec2 distorted = coord * distortion;
    vec2 uv = (distorted + 1.0) * 0.5;

    // Clamp + check bounds
    if (uv.x < 0.0 || uv.x > 1.0 || uv.y < 0.0 || uv.y > 1.0) {
        gl_FragColor = vec4(0.0, 0.0, 0.0, 1.0);
    } else {
        gl_FragColor = texture2D(renderTexture, uv);
    }
}

На практике используем Cardboard SDK — он берёт на себя lens distortion, избавляя от необходимости реализовывать шейдер вручную.

Single Pass Stereo Rendering

Рендеринг каждого глаза отдельным проходом удваивает количество draw calls. На мобильных устройствах это критично. Single Pass Instanced Rendering (SPIR) рендерит обе eyes за один проход с инстанцированием:

В Unity: Project Settings → XR Management → включить Single Pass Instanced. Работает только при поддержке GL_EXT_multiview (Android OpenGL ES 3.0+) или Metal с multi-view render targets (iOS 12+).

// Проверка поддержки в runtime
bool supportsSPIR = SystemInfo.supportsMultiviewRendering;
// Если нет — fallback на Multi-Pass

На устройствах 2019+ Single Pass Instanced работает на большинстве флагманов. Бюджетные Android-устройства с Mali GPU часто не поддерживают.

ChromaticAberration и другие коррекции

Через стеклянные линзы края изображения имеют хроматическую аберрацию — красный и синий каналы разошлись. Дополнительный шаг коррекции сдвигает RGB каналы в зависимости от расстояния от центра. Cardboard SDK включает это в своём render pipeline автоматически.

Режим переключения: обычный экран / VR

Приложение должно нормально работать без гарнитуры. Переключение:

// iOS
func toggleVRMode(enabled: Bool) {
    if enabled {
        startCardboardSession()
        UIApplication.shared.isIdleTimerDisabled = true // экран не гасить
        UIDevice.current.setValue(UIInterfaceOrientation.landscapeRight.rawValue,
                                  forKey: "orientation")
    } else {
        stopCardboardSession()
        UIApplication.shared.isIdleTimerDisabled = false
        // восстановить portrait
    }
}

В ландшафтном режиме для Cardboard: экран горизонтально, Split-Screen по вертикали. Нотч iPhone нужно учитывать — safeAreaInsets смещают активную зону.

Процесс работы

Аудит существующего приложения: тип контента, текущий рендерпайплайн, целевые устройства.

Интеграция Cardboard SDK или кастомной стерео-рендеринг пары.

Настройка lens distortion, chromatic aberration correction.

Оптимизация: Single Pass Instanced, foveated rendering, LOD.

UI адаптация для VR-режима: gaze interaction, reticle, Cardboard button.

Тестирование latency и motion sickness на реальных устройствах.

Ориентиры по срокам

Добавление VR-режима с Cardboard SDK в существующее Unity-приложение — 1–2 недели. Кастомная реализация с нативным Metal/OpenGL, кастомными шейдерами дисторции и полной оптимизацией — 3–6 недель.