AI-реставрация повреждённых фотографий: пайплайн и внедрение

Сканированные плёнки из семейных архивов часто содержат царапины, потёртости, выцветание и пиксельные артефакты. Ручная реставрация одного кадра в Photoshop занимает 2–3 часа. Даже опытный ретушёр тратит до 8 часов на сложные портреты XIX века. Мы автоматизируем этот процесс через комбинацию специализированных моделей — получаем результат за секунды без потери качества. При этом стоимость обработки одного изображения в пайплайне может быть в десятки раз ниже ручного труда, особенно при массовой реставрации архивов. Экономия бюджета при переходе с ручной обработки достигает 80%.

Наш пайплайн решает полный спектр проблем: удаление царапин и пятен (инпейнтинг), восстановление лиц (GFPGAN), апскейлинг с детализацией (Real-ESRGAN), деноизинг и коррекцию цвета. Всё это объединено в единый сервис с REST API или gRPC.

Как мы восстанавливаем фото: пошагово

1. Анализ исходного изображения — определяем тип повреждений, разрешение, наличие лиц.
2. Удаление царапин и пятен — применяем инпейнтинг-модель (LaMa или внутреннюю на базе UNet).
3. Апскейлинг — Real-ESRGAN увеличивает разрешение в 4 раза с сохранением текстур.
4. Восстановление лиц — GFPGAN корректирует черты, используя StyleGAN2 в качестве приора.
5. Финальная пост-обработка — деноизинг, коррекция цвета и экспорта.

Пайплайн реализован на Python с использованием PyTorch и ONNX Runtime. Пример кода ниже.

from PIL import Image
import cv2
import numpy as np
import io

class PhotoRestorationPipeline:
    def restore(self, damaged_photo: bytes) -> bytes:
        # 1. Удаление царапин и пятен (GFPGAN + инпейнтинг)
        # 2. Апскейлинг (Real-ESRGAN)
        # 3. Восстановление лиц (GFPGAN)
        # 4. Деноизинг

        image = Image.open(io.BytesIO(damaged_photo)).convert("RGB")
        img_np = np.array(image)

        img_np = self.remove_scratches(img_np)
        img_np = self.upscale(img_np)
        img_np = self.restore_faces(img_np)

        result = Image.fromarray(img_np)
        buf = io.BytesIO()
        result.save(buf, format="PNG")
        return buf.getvalue()

Реализация апскейлинга (Real-ESRGAN)

from basicsr.archs.rrdbnet_arch import RRDBNet
from realesrgan import RealESRGANer

model = RRDBNet(num_in_ch=3, num_out_ch=3, num_feat=64, num_block=23, num_grow_ch=32, scale=4)
upsampler = RealESRGANer(
    scale=4,
    model_path="RealESRGAN_x4plus.pth",
    model=model,
    tile=512,
    tile_pad=10,
    pre_pad=0,
    half=True
)

def upscale_image(img_np: np.ndarray, scale: int = 4) -> np.ndarray:
    output, _ = upsampler.enhance(img_np, outscale=scale)
    return output

Восстановление лиц (GFPGAN)

from gfpgan import GFPGANer

gfpgan = GFPGANer(
    model_path="GFPGANv1.4.pth",
    upscale=2,
    arch="clean",
    channel_multiplier=2
)

def restore_faces(img_np: np.ndarray) -> np.ndarray:
    _, _, restored_img = gfpgan.enhance(
        img_np,
        has_aligned=False,
        only_center_face=False,
        paste_back=True,
        weight=0.5
    )
    return restored_img

REST API на FastAPI

from fastapi import FastAPI, UploadFile, File

app = FastAPI()
pipeline = PhotoRestorationPipeline()

@app.post("/restore")
async def restore_photo(file: UploadFile = File(...)):
    original_bytes = await file.read()
    restored_bytes = pipeline.restore(original_bytes)
    return Response(content=restored_bytes, media_type="image/png")

Почему GFPGAN лучше справляется с лицами?

GFPGAN использует StyleGAN2 в качестве приора и специфичный модуль восстановления лиц. В отличие от общей upscaling-модели, он сохраняет индивидуальные черты: глаза, нос, выражение. Согласно бенчмаркам, GFPGAN достигает 95% ID similarity даже при сильном размытии. Исходный код на GitHub верифицирован сообществом.

Как ускорить деплой пайплайна?

Мы используем предварительно квантизированные модели (INT8) и TensorRT для инференса. Для больших объёмов — vLLM или Ray Serve. Среднее падение качества при квантизации менее 1%, а скорость растёт в 2-3 раза. Конкретные цифры и конфиги подбираем под ваше железо. Например, на NVIDIA A100 latency p99 для одного изображения 4K составляет 8 секунд при batch size 1.

Сравнение методов восстановления лиц:

Что входит в работу

Мы предоставляем решение под ключ:

• Анализ архива: типы повреждений, разрешение, количество кадров
• Подбор и калибровка моделей под ваш датасет
• Разработка пайплайна (Python, PyTorch, ONNX)
• Развёртывание сервиса (Docker, Kubernetes, FastAPI/gRPC)
• Веб-интерфейс для загрузки, просмотра до/после, скачивания
• Тестирование на 50+ репрезентативных кадрах из вашего архива
• Документация: API, конфиги, инструкция по масштабированию
• Обучение операторов (1-2 дня)
• 2 недели технической поддержки после запуска

Сроки и стоимость

Сроки варьируются от 1–2 дней (деплой готового пайплайна) до 2–3 недель (полный цикл с веб-интерфейсом и доработками). Стоимость рассчитывается индивидуально — зависит от объёма архива, нужных моделей и требований к производительности. Оценим ваш проект в течение одного рабочего дня. Закажите демо — мы обработаем 5 ваших фотографий бесплатно.

Наш опыт

Более 12 лет занимаемся компьютерным зрением и обработкой изображений. Выполнили 30+ внедрений AI-пайплайнов для реставрации, детекции дефектов и OCR. Среди клиентов — архивы, музеи, фотостудии. Гарантируем качество — метрики восстановления фиксируем в договоре.

Типичные ошибки при самостоятельной реставрации

• Использование только одной модели (например, только Real-ESRGAN) — лица размыты
• Слишком большая степень шумоподавления — теряются мелкие детали
• Игнорирование калибровки — артефакты на стыках тайлов
• Отсутствие бэкапа оригиналов

Получите консультацию по архитектуре решения. Свяжитесь с нами — обсудим ваш архив и покажем демо на ваших фотографиях.

Генеративный AI разработка: от промпта к production API

Нам часто приносят задачу «сгенерируй изображение продукта» — на первый взгляд она простая. Но за этим стоит выбор между десятками моделей, настройка пайплайна инференса, ручное решение проблем consistency, интеграция в продуктовый бэкенд и ответ на вопрос, почему модель генерирует руки с шестью пальцами на стейджинге, но не на продакшене. Разберём направления, с которыми мы работаем.

Генерация изображений: от промпта к production API

Актуальный ландшафт — FLUX.1 [dev/schnell/pro] от Black Forest Labs и Stable Diffusion 3.5. FLUX.1 [schnell] делает 4 шага вместо 20–50 у SDXL — в 5–12 раз быстрее — и при этом держит качество выше. На A100 80GB — 1.2–1.8 с на изображение 1024×1024 при batch_size=4.

Типичная проблема при развёртывании: FLUX.1 [dev] требует 24+ GB VRAM в fp16. На A10G 24GB влезает впритык, при batch_size>1 — OOM. Решение: torch_dtype=torch.bfloat16 + enable_model_cpu_offload() из diffusers, либо квантизация через bitsandbytes в NF4 — падение качества минимально, потребление памяти снижается до 12–14 GB.

ControlNet и IP-Adapter — ключевые инструменты для production-задач, где нужна управляемость. ControlNet с Canny/Depth/Pose картой даёт структурный контроль. IP-Adapter (особенно IP-Adapter-FaceID) позволяет переносить identity персонажа на генерации — это основа для персонализированного контента. Подробнее о ControlNet можно прочитать в Wikipedia.

Кейс: e-commerce фотосъёмка. Ритейлер с 8000 SKU нуждался в lifestyle-фото для каждого продукта. Пайплайн: сегментация продукта (Segment Anything Model 2) → удаление фона → inpainting FLUX.1 [dev] с product image как IP-Adapter reference → upscale через RealESRGAN_x4plus. Стоимость генерации — $0.003/изображение на арендованных A100, vs $15–40 за профессиональную съёмку — экономия в 5000–13000 раз. Throughput — 200 изображений/час на 2× A100. Многолетний опыт 30+ проектов гарантирует, что мы выберем оптимальную модель под вашу задачу — оценку можно получить на старте.

Почему выбор модели — только половина успеха?

Fine-tuning под конкретный стиль или персонаж

Dreambooth и LoRA — стандарт для адаптации под конкретный визуальный стиль или объект. LoRA обучается за 2–4 часа на 20–30 референсных изображениях на одном A100. Rank 16–32 обычно достаточно для стиля, rank 64+ нужен для точного воспроизведения лиц.

Частая ошибка: обучать LoRA слишком долго — модель переобучается на референсы, теряет способность к вариативности. Признак: на cfg_scale=7 все изображения похожи на copy-paste референса. Лечится ранней остановкой (обычно 1500–2000 шагов для 20 изображений) и prior_preservation_loss.

Для более глубокой кастомизации — full fine-tuning через diffusers + accelerate с FSDP на нескольких GPU. Но это уже 40–80 часов обучения и нужен действительно большой датасет (1000+ изображений).

Сравнение подходов к генерации изображений

Генерация видео: какие модели лучше?

Open-weight видеомодели пока отстают от коммерческих по стабильности и длине. Wan2.1 — лучший выбор для self-hosted: 14B параметров, работает на 2× A100, даёт приемлемое качество для коротких клипов.

Главная боль видеогенерации — temporal consistency: персонаж меняет цвет одежды на третьей секунде, объект «плывёт». Частичное решение — генерация с motion_bucket_id и noise_aug_strength в Stable Video Diffusion, или использование I2V (image-to-video) вместо чистого text-to-video. Как отмечается в исследовании VideoPoet, consistency достигается за счёт обучения на длинных последовательностях.

AnimateDiff остаётся рабочим инструментом для коротких петель и motion-эффектов поверх SD/FLUX. Не Sora, но деплоится локально и предсказуем.

Генерация музыки и аудио

AudioCraft от Meta (MusicGen + AudioGen) — production-готовый стек для музыкальной генерации. musicgen-large (3.3B) генерирует 30 с музыки за ~8 с на A100. Управление через текстовый промпт и melody conditioning — можно задать мелодию напеванием.

Stable Audio Open от Stability AI — альтернатива с длиной до 47 с, лучшая управляемость структурой (intro/verse/chorus). Деплой аналогичен: diffusers + FastAPI.

Для voice-over и озвучки — ElevenLabs API или self-hosted XTTS v2 (см. услугу Speech AI). Для sound design и foley — AudioGen.

3D-генерация: практическое состояние

3D-генерация всё ещё не добралась до той же зрелости, что 2D. Но для конкретных задач инструменты уже рабочие:

TripoSG и Shap-E — text/image-to-3D. Shap-E от OpenAI генерирует простые 3D-меши за секунды, но геометрия грубовата. TripoSG даёт более детальные результаты, но требует постпроцессинга (ремешинг, UV-развёртка).

Wonder3D и Zero123++ — реконструкция 3D из одного изображения. Работают через генерацию multi-view (6–8 видов) и последующее 3D-восстановление через NeuS или instant-ngp.

Gaussian Splatting (3DGS) — не генерация, а реконструкция из серии фото/видео. Для товарных карточек и недвижимости это уже production: 50–200 фото → 3DGS модель за 15–30 мин на RTX 4090 → интерактивный 3D-вьювер в браузере.

Инфраструктура и деплой

Для генеративных моделей критично:

• Очередь задач — Celery + Redis или Ray Serve. Синхронный HTTP для генерации изображений неприемлем при >5 конкурентных запросов.
• Кэширование — схожие промпты дают похожие результаты. Семантический кэш через эмбеддинги (faiss + sentence-transformers) может снизить нагрузку на GPU на 20–40%.
• Мониторинг качества — CLIP score для text-image alignment, FID для оценки распределения генераций. Интеграция в MLflow или Weights & Biases.
• Хранение — сгенерированные изображения сразу в S3/MinIO, не на диске сервера инференса.

Что входит в работу (deliverables)

Мы берём проект под ключ — от выбора модели до деплоя и мониторинга. В результат входит:

• Модель (или API-интеграция) с бенчмарками производительности (latency p99, throughput).
• Документация пайплайна (prompt engineering guide, model card, версии зависимостей).
• Интеграция с вашим бэкендом (REST/gRPC, очереди).
• Настроенный мониторинг (дашборды, алерты по дрейфу качества).
• Обучающий воркшоп для команды (2–4 часа).
• Гарантийная поддержка 3 месяца после запуска — в рамках сертификата качества на нашу работу.

Исторически мы выполнили 30+ проектов в генеративном AI — это даёт нам право гарантировать результат.

Как строится процесс разработки генеративного AI?

1. Аналитика (1–2 дня): аудит текущей архитектуры, уточнение use case, выбор моделей и метрик успеха. Оцениваем проект бесплатно.
2. Proof of Concept (1–3 недели): быстрый прототип на ваших данных — чтобы видеть реальное качество, а не демо из блога.
3. Проектирование (1–2 недели): архитектура пайплайна, инфраструктура (GPU-кластер/API), план A/B-тестирования.
4. Реализация и fine-tuning (4–12 недель): разработка, обучение LoRA/full fine-tuning, интеграция с очередью и кэшем.
5. Тестирование (1–2 недели): нагрузочные тесты, валидация метрик, проверка на edge-case (негативные сценарии).
6. Деплой и мониторинг (1–2 недели): развёртывание на production, настройка мониторинга, документирование.

Сроки ориентировочно

Интеграция готового API (DALL‑E 3, Midjourney API, Stability API) — 1–2 недели. Self-hosted пайплайн с fine-tuning — 6–12 недель. Полная платформа с UI, очередями и мониторингом — 3–6 месяцев. Конкретная стоимость рассчитывается индивидуально после анализа вашего сценария.

Свяжитесь с нами — закажите консультацию, и мы подберём оптимальную архитектуру для вашего проекта. Получите предварительную оценку стоимости и сроков бесплатно.