Реализация AI-виртуальной примерки мебели в интерьере в мобильном приложении

Реализация AI-виртуальной примерки мебели в интерьере в мобильном приложении

Поставить виртуальный диван в комнату пользователя — это три связанных задачи: обнаружить горизонтальную плоскость пола, разместить 3D-модель с корректным масштабом и освещением, и сделать так, чтобы диван выглядел частью комнаты, а не наклеенной картинкой.

Плоскостная детекция и позиционирование

На iOS это ARKit + ARPlaneDetection.horizontal. ARKit 4+ обнаруживает плоскость за 1–3 секунды на хорошо текстурированном полу. Проблема возникает с однородными поверхностями: белый ковёр, тёмный паркет без рисунка — детекция занимает дольше или не срабатывает вовсе.

let config = ARWorldTrackingConfiguration()
config.planeDetection = [.horizontal]
config.environmentTexturing = .automatic // для реалистичного отражения материалов
sceneView.session.run(config, options: [.resetTracking, .removeExistingAnchors])

// Delegate
func renderer(_ renderer: SCNSceneRenderer, didAdd node: SCNNode, for anchor: ARAnchor) {
    guard let planeAnchor = anchor as? ARPlaneAnchor,
          planeAnchor.alignment == .horizontal else { return }

    DispatchQueue.main.async {
        self.placeFurnitureNode(on: planeAnchor, parentNode: node)
    }
}

На Android — ARCore Plane.Type.HORIZONTAL_UPWARD_FACING. Логика аналогична, но детекция на Android менее стабильна из-за фрагментации железа: Qualcomm Snapdragon работает отлично, MediaTek-устройства среднего сегмента часто дают дрожание плоскости.

3D-модели мебели: форматы и оптимизация

Каталожные модели мебели обычно приходят в формате OBJ или FBX с десятками тысяч полигонов и 4K-текстурами. Для мобильного AR это неприемлемо — рендеринг просядет на устройствах 2020–2021 годов.

Оптимизация для мобильного AR:

На iOS нативный формат — USDZ, который рендерится через RealityKit или SceneKit. На Android — glTF 2.0, рендерится через Filament (используется в Sceneform и ARCore) или кастомный OpenGL/Vulkan рендерер.

Освещение: почему мебель выглядит «пластиковой»

Главная причина нереалистичного вида — несоответствие освещения AR-объекта и реального окружения. ARKit решает это через environmentTexturing = .automatic: система строит environment map из камеры и использует её для Image-Based Lighting (IBL) на PBR-материалах.

На RealityKit это работает автоматически. На SceneKit нужно явно передать environment map:

sceneView.scene.lightingEnvironment.contents = sceneView.session.currentFrame?.capturedImage
sceneView.scene.lightingEnvironment.intensity = 1.0

Для продвинутого варианта используем ARDirectionalLightEstimate — ARKit оценивает направление основного источника света в сцене. Тень от мебели падает в том же направлении, что и тени от реальных объектов — это делает примерку убедительной.

Жесты: перемещение, поворот, масштаб

Пользователь должен двигать мебель по полу, вращать и изменять размер. Стандартный набор жестов:

• Pan gesture — перемещение: ray cast из точки касания на ARPlane, перемещаем ноду в точку пересечения
• Rotation gesture (два пальца) — поворот вокруг вертикальной оси
• Pinch gesture — масштаб, но с ограничением диапазона (0.5x–2.0x реального размера)

@objc func handlePan(_ gesture: UIPanGestureRecognizer) {
    let location = gesture.location(in: sceneView)

    // Ray cast на ARPlane, не на весь мир
    let results = sceneView.raycastQuery(from: location,
                                          allowing: .existingPlaneGeometry,
                                          alignment: .horizontal)
        .flatMap { sceneView.session.raycast($0) }

    if let result = results.first {
        furnitureNode.simdWorldPosition = result.worldTransform.columns.3.xyz
    }
}

AI-компонент: подбор мебели под интерьер

«AI» в названии услуги — это рекомендательная система: приложение анализирует цветовую гамму комнаты через AVCaptureSession и предлагает варианты мебели, которые стилистически совпадают. Технически — кластеризация доминирующих цветов через k-means или готовый API (Google Vision Dominant Colors), затем матчинг по цветовым атрибутам в каталоге.

Более сложный вариант — CoreML-модель, которая классифицирует стиль интерьера (скандинавский, лофт, классика) и фильтрует каталог по совместимым коллекциям.

Процесс работы

Аудит каталога: форматы моделей, количество SKU, нужна ли оптимизация геометрии и текстур.

Реализация AR-слоя: плоскостная детекция, размещение модели, жесты управления.

Настройка освещения и теней для реалистичного вида.

Интеграция с каталогом: загрузка моделей по сети или предзагрузка набора популярных позиций.

Опционально: AI-подбор по цветовой гамме интерьера.

Ориентиры по срокам

Базовая AR-примерка для iOS с готовыми USDZ-моделями — 1 неделя. Кроссплатформенная реализация с оптимизацией каталога, жестами управления и цветовым подбором — 2–4 недели. Стоимость зависит от размера каталога и необходимости конвертации 3D-моделей.