AI-система генерации 3D-объектов по фотографии (Image-to-3D)

Генерация 3D-объектов из изображений с помощью ИИ

Художник 3D делает модель кроссовка для интернет-магазина: 3–5 рабочих дней, 4–8 видов референса, результат — 50k–150k полигонов. ИИ-генерация из одной фотографии: 2–10 минут на черновик, который художник дорабатывает за 2–4 часа. Это не замена пайплайна, но кратное ускорение первого этапа.

Методы и модели

Multiview reconstruction (NeRF / 3DGS)

NeRF (Neural Radiance Fields) восстанавливает 3D-сцену из набора снимков с разных ракурсов. Instant-NGP (NVIDIA) обучается за 5 минут на 100 фото. На выходе — volumetric representation, не mesh.

3D Gaussian Splatting — быстрее NeRF, рендерит в реальном времени, но тоже требует multiview input (20+ снимков). На выходе — облако гауссиан, конвертируемое в mesh через Poisson reconstruction.

Single-image to 3D

Это сложнее — из одного снимка нужно «придумать» невидимые стороны объекта.

Zero123 / Zero123++ — диффузионная модель, обученная на Objaverse (800k 3D-объектов). Генерирует несколько видов объекта под разными углами, затем MVS (Multi-View Stereo) собирает mesh.

One-2-3-45 — пайплайн Zero123 → elevation estimation → SDF reconstruction → текстурированный mesh за ~45 секунд на A100.

TripoSR (Stability AI / Tripo AI) — трансформер-архитектура, которая в один форвард генерирует 3D-mesh из одного фото. Время: 0.5 секунды на RTX 4090. Качество — хуже multi-view методов, но достаточно для прототипа.

Meshy 4 / Rodin — коммерческие API, дают текстурированный mesh за 1–3 минуты. Meshy поддерживает text-to-3D параллельно с image-to-3D.

Качество и ограничения

Главная проблема single-image методов: hallucination невидимых сторон. Модель не знает, как выглядит задняя часть кроссовка — она генерирует «правдоподобный» вариант на основе обучающих данных. Для уникальных объектов это неприемлемо.

Практическое правило: single-image подход работает для симметричных или стандартных объектов (мебель, электроника, автомобили). Для кастомных продуктов с уникальной геометрией — минимум 6–8 фото с разных ракурсов.

# Пример использования TripoSR
import torch
from tsr.system import TSR
from PIL import Image

model = TSR.from_pretrained(
    "stabilityai/TripoSR",
    config_name="config.yaml",
    weight_name="model.ckpt",
)
model.renderer.set_chunk_size(131072)
model.to("cuda")

image = Image.open("product.jpg").convert("RGBA")
with torch.no_grad():
    scene_codes = model([image], device="cuda")
    meshes = model.extract_mesh(scene_codes, resolution=256)
meshes[0].export("output.obj")

Постобработка и pipeline интеграции

Сырой mesh из ИИ-модели обычно требует:

• Ремешинг — Instant Meshes или Blender для получения квадратной топологии
• UV unwrap — автоматический через xatlas
• Текстуры — либо из модели, либо дополнительная генерация через TEXTure / SyncMV-D
• LOD (Levels of Detail) — Blender Decimate modifier для web/game использования

Для e-commerce пайплайна: image → TripoSR mesh → Instant Meshes → xatlas UV → SyncMV-D texture → экспорт glTF/GLB для web viewer. Полный цикл: 15–25 минут на объект с минимальной ручной работой.

Сроки

Стоимость рассчитывается индивидуально в зависимости от требований к качеству и объёма.