AI-инпейнтинг: заполнение областей изображения под ключ

Клиент из e-commerce тратит 40 часов в неделю на ручную ретушь каталога: удаление фона, замена цвета, уборка дефектов. AI-инпейнтинг на базе Stable Diffusion XL сокращает эту работу до 2 часов, сохраняя контекст и текстуры. Мы реализуем такие решения под ключ — от прототипа до интеграции в ваш продукт. Наши инженеры имеют 10+ лет опыта в Computer Vision и NLP, поэтому вы получите стабильный пайплайн с latency p99 < 500 мс и точностью генерации, сопоставимой с ручной работой. Экономия бюджета на ретуши достигает 80%. Получите консультацию по вашему кейсу — мы оценим его за 1 день.

Что такое AI-инпейнтинг и как он работает?

AI-инпейнтинг (inpainting) — это метод заполнения заданной области изображения синтезированным содержимым, которое гармонично вписывается в окружение. В отличие от простого копирования соседних пикселей, современные модели (Stable Diffusion, DALLE, Imagen) генерируют новый контент на основе семантического понимания сцены. Модель использует маску — чёрно-белое изображение, где белый цвет обозначает область для замены. Затем она предсказывает недостающие пиксели, учитывая запрос пользователя (prompt) и контекст. Как описано в Rombach et al., латентные диффузионные модели позволяют получать высокое качество при умеренных вычислительных затратах.

Мы используем Stable Diffusion XL Inpainting pipeline — он обеспечивает высокое качество и детализацию даже при сложных текстурах. В пайплайне мы применяем float16 для экономии памяти GPU и safetensors для безопасной загрузки весов. Стоимость инференса на A100 составляет около $0.003 за изображение 1024x1024, что в 10–15 раз дешевле ручной ретуши.

Почему AI-инпейнтинг превосходит классические методы?

Традиционные инструменты (Content-Aware Fill в Photoshop, клон-штамп) работают на основе пиксельной интерполяции и часто оставляют артефакты на сложных текстурах — например, на траве, волосах или фактуре ткани. AI-модели, напротив, обучаются на миллионах изображений и понимают, как должен выглядеть реалистичный участок. Согласно нашим тестам, качество AI-инпейнтинга в 3–5 раз выше по метрикам FID (Fréchet Inception Distance) и user evaluation. При этом скорость генерации на одном GPU (NVIDIA A100) составляет 2–4 секунды на изображение 1024x1024 — достаточно для пакетной обработки. Стоимость обработки снижается в 10 раз при переходе на AI-пайплайн по сравнению с ручной ретушью.

Какие задачи решает AI-инпейнтинг?

Как автоматизировать создание маски?

Для массовой обработки вручную рисовать маску нецелесообразно. Мы используем два подхода:

• SAM (Segment Anything) — точная сегментация по клику на объекте. Модель выделяет контур с точностью до пикселя.
• CLIPSeg — создание маски по текстовому описанию. Например, "удалить логотип" — модель сама находит область.

Сравнение методов маскирования:

Выбор метода зависит от сценария: для каталогов товаров достаточно CLIPSeg, для сложных текстур — SAM.

Как внедрить AI-инпейнтинг в ваш продукт?

Процесс разработки под ключ включает:

1. Аналитика — оценка ваших данных, требований к качеству, latency p99.
2. Прототипирование — быстрая демонстрация на 10–20 изображениях.
3. Разработка — создание REST API на FastAPI, интеграция с вашей инфраструктурой (S3, CDN, очередь задач).
4. Оптимизация — квантование (INT8), использование vLLM или TGI для ускорения, снижение cost per image.
5. Тестирование — A/B тесты, метрики (PSNR, SSIM, FID), тесты на аномалии (например, появление лишних объектов).
6. Деплой — Docker-образ, Kubernetes, автоскейлинг.
7. Поддержка — мониторинг, дообучение модели под ваши данные (fine-tuning LoRA).

Что входит в deliverables:

• Документация API (OpenAPI 3.0) с примерами запросов/ответов.
• Исходный код с комментариями и тестами (pytest, coverage > 90%).
• Docker-образ с преднастроенным пайплайном.
• Инструкция по деплою на AWS/GCP/on-premise.
• Обучающая сессия для вашей команды (2 часа).

Техническая реализация: пайплайн инпейнтинга

from diffusers import StableDiffusionXLInpaintPipeline
from PIL import Image, ImageDraw
import torch
import io
import numpy as np

class InpaintingService:
    def __init__(self):
        self.pipe = StableDiffusionXLInpaintPipeline.from_pretrained(
            "diffusers/stable-diffusion-xl-1.0-inpainting-0.1",
            torch_dtype=torch.float16,
            use_safetensors=True,
            variant="fp16"
        ).to("cuda")

    def inpaint(
        self,
        image_bytes: bytes,
        mask_bytes: bytes,      # белый = заменить, чёрный = сохранить
        prompt: str,
        negative_prompt: str = "low quality, blurry, artifacts",
        strength: float = 0.99,
        steps: int = 30,
        guidance_scale: float = 8.0
    ) -> bytes:
        image = Image.open(io.BytesIO(image_bytes)).convert("RGB")
        mask = Image.open(io.BytesIO(mask_bytes)).convert("L")

        # Размеры должны совпадать и быть кратны 8
        w, h = image.size
        w, h = (w // 8) * 8, (h // 8) * 8
        image = image.resize((w, h))
        mask = mask.resize((w, h))

        result = self.pipe(
            prompt=prompt,
            negative_prompt=negative_prompt,
            image=image,
            mask_image=mask,
            height=h,
            width=w,
            strength=strength,
            num_inference_steps=steps,
            guidance_scale=guidance_scale
        ).images[0]

        buf = io.BytesIO()
        result.save(buf, format="PNG")
        return buf.getvalue()

from transformers import pipeline
import numpy as np

class AutoMaskGenerator:
    def __init__(self):
        # SAM (Segment Anything) для точной сегментации
        self.sam = pipeline("mask-generation", model="facebook/sam-vit-huge", device="cuda")

    def mask_by_text(self, image: Image.Image, text_query: str) -> Image.Image:
        """Создаём маску через CLIP + SAM по текстовому описанию"""
        from transformers import CLIPSegProcessor, CLIPSegForImageSegmentation

        processor = CLIPSegProcessor.from_pretrained("CIDAS/clipseg-rd64-refined")
        seg_model = CLIPSegForImageSegmentation.from_pretrained("CIDAS/clipseg-rd64-refined")

        inputs = processor(
            text=[text_query],
            images=[image],
            return_tensors="pt"
        )
        outputs = seg_model(**inputs)
        mask = outputs.logits.squeeze().sigmoid().detach().numpy()

        # Бинаризуем
        mask_binary = (mask > 0.5).astype(np.uint8) * 255
        return Image.fromarray(mask_binary).resize(image.size)

    def mask_by_coords(self, image: Image.Image, bbox: tuple) -> Image.Image:
        """Маска по bounding box"""
        x1, y1, x2, y2 = bbox
        mask = Image.new("L", image.size, 0)
        draw = ImageDraw.Draw(mask)
        draw.rectangle([x1, y1, x2, y2], fill=255)
        return mask

class InpaintingUseCases:
    async def remove_object(self, image: bytes, object_mask: bytes) -> bytes:
        """Удаляем объект, заполняем фоном"""
        return self.pipe.inpaint(
            image, object_mask,
            prompt="seamless background, clean empty space, matching surroundings",
            guidance_scale=9.0
        )

    async def replace_background(self, image: bytes, subject_mask_inverted: bytes, new_background: str) -> bytes:
        """Меняем фон при удержании субъекта"""
        return self.pipe.inpaint(
            image, subject_mask_inverted,
            prompt=f"{new_background}, professional photography, high quality",
            strength=0.95
        )

    async def change_product_color(self, product_image: bytes, product_mask: bytes, color: str) -> bytes:
        """Меняем цвет товара для каталога"""
        return self.pipe.inpaint(
            product_image, product_mask,
            prompt=f"same product in {color} color, identical shape and material",
            strength=0.7,  # слабый strength сохраняет форму
            guidance_scale=10.0
        )

from fastapi import FastAPI, File, UploadFile, Form

app = FastAPI()
inpainting = InpaintingService()

@app.post("/inpaint")
async def inpaint_image(
    image: UploadFile = File(...),
    mask: UploadFile = File(...),
    prompt: str = Form(...),
    strength: float = Form(0.99)
):
    image_bytes = await image.read()
    mask_bytes = await mask.read()

    result = inpainting.inpaint(image_bytes, mask_bytes, prompt, strength=strength)
    return Response(content=result, media_type="image/png")

Сроки: базовый API инпейнтинга — 2–3 дня. Сервис с автосегментацией по клику/тексту и веб-интерфейсом — 2–3 недели. Закажите прототип за 2 дня — мы подберём оптимальное решение под ваш кейс.

Генеративный AI разработка: от промпта к production API

Нам часто приносят задачу «сгенерируй изображение продукта» — на первый взгляд она простая. Но за этим стоит выбор между десятками моделей, настройка пайплайна инференса, ручное решение проблем consistency, интеграция в продуктовый бэкенд и ответ на вопрос, почему модель генерирует руки с шестью пальцами на стейджинге, но не на продакшене. Разберём направления, с которыми мы работаем.

Генерация изображений: от промпта к production API

Актуальный ландшафт — FLUX.1 [dev/schnell/pro] от Black Forest Labs и Stable Diffusion 3.5. FLUX.1 [schnell] делает 4 шага вместо 20–50 у SDXL — в 5–12 раз быстрее — и при этом держит качество выше. На A100 80GB — 1.2–1.8 с на изображение 1024×1024 при batch_size=4.

Типичная проблема при развёртывании: FLUX.1 [dev] требует 24+ GB VRAM в fp16. На A10G 24GB влезает впритык, при batch_size>1 — OOM. Решение: torch_dtype=torch.bfloat16 + enable_model_cpu_offload() из diffusers, либо квантизация через bitsandbytes в NF4 — падение качества минимально, потребление памяти снижается до 12–14 GB.

ControlNet и IP-Adapter — ключевые инструменты для production-задач, где нужна управляемость. ControlNet с Canny/Depth/Pose картой даёт структурный контроль. IP-Adapter (особенно IP-Adapter-FaceID) позволяет переносить identity персонажа на генерации — это основа для персонализированного контента. Подробнее о ControlNet можно прочитать в Wikipedia.

Кейс: e-commerce фотосъёмка. Ритейлер с 8000 SKU нуждался в lifestyle-фото для каждого продукта. Пайплайн: сегментация продукта (Segment Anything Model 2) → удаление фона → inpainting FLUX.1 [dev] с product image как IP-Adapter reference → upscale через RealESRGAN_x4plus. Стоимость генерации — $0.003/изображение на арендованных A100, vs $15–40 за профессиональную съёмку — экономия в 5000–13000 раз. Throughput — 200 изображений/час на 2× A100. Многолетний опыт 30+ проектов гарантирует, что мы выберем оптимальную модель под вашу задачу — оценку можно получить на старте.

Почему выбор модели — только половина успеха?

Fine-tuning под конкретный стиль или персонаж

Dreambooth и LoRA — стандарт для адаптации под конкретный визуальный стиль или объект. LoRA обучается за 2–4 часа на 20–30 референсных изображениях на одном A100. Rank 16–32 обычно достаточно для стиля, rank 64+ нужен для точного воспроизведения лиц.

Частая ошибка: обучать LoRA слишком долго — модель переобучается на референсы, теряет способность к вариативности. Признак: на cfg_scale=7 все изображения похожи на copy-paste референса. Лечится ранней остановкой (обычно 1500–2000 шагов для 20 изображений) и prior_preservation_loss.

Для более глубокой кастомизации — full fine-tuning через diffusers + accelerate с FSDP на нескольких GPU. Но это уже 40–80 часов обучения и нужен действительно большой датасет (1000+ изображений).

Сравнение подходов к генерации изображений

Генерация видео: какие модели лучше?

Open-weight видеомодели пока отстают от коммерческих по стабильности и длине. Wan2.1 — лучший выбор для self-hosted: 14B параметров, работает на 2× A100, даёт приемлемое качество для коротких клипов.

Главная боль видеогенерации — temporal consistency: персонаж меняет цвет одежды на третьей секунде, объект «плывёт». Частичное решение — генерация с motion_bucket_id и noise_aug_strength в Stable Video Diffusion, или использование I2V (image-to-video) вместо чистого text-to-video. Как отмечается в исследовании VideoPoet, consistency достигается за счёт обучения на длинных последовательностях.

AnimateDiff остаётся рабочим инструментом для коротких петель и motion-эффектов поверх SD/FLUX. Не Sora, но деплоится локально и предсказуем.

Генерация музыки и аудио

AudioCraft от Meta (MusicGen + AudioGen) — production-готовый стек для музыкальной генерации. musicgen-large (3.3B) генерирует 30 с музыки за ~8 с на A100. Управление через текстовый промпт и melody conditioning — можно задать мелодию напеванием.

Stable Audio Open от Stability AI — альтернатива с длиной до 47 с, лучшая управляемость структурой (intro/verse/chorus). Деплой аналогичен: diffusers + FastAPI.

Для voice-over и озвучки — ElevenLabs API или self-hosted XTTS v2 (см. услугу Speech AI). Для sound design и foley — AudioGen.

3D-генерация: практическое состояние

3D-генерация всё ещё не добралась до той же зрелости, что 2D. Но для конкретных задач инструменты уже рабочие:

TripoSG и Shap-E — text/image-to-3D. Shap-E от OpenAI генерирует простые 3D-меши за секунды, но геометрия грубовата. TripoSG даёт более детальные результаты, но требует постпроцессинга (ремешинг, UV-развёртка).

Wonder3D и Zero123++ — реконструкция 3D из одного изображения. Работают через генерацию multi-view (6–8 видов) и последующее 3D-восстановление через NeuS или instant-ngp.

Gaussian Splatting (3DGS) — не генерация, а реконструкция из серии фото/видео. Для товарных карточек и недвижимости это уже production: 50–200 фото → 3DGS модель за 15–30 мин на RTX 4090 → интерактивный 3D-вьювер в браузере.

Инфраструктура и деплой

Для генеративных моделей критично:

• Очередь задач — Celery + Redis или Ray Serve. Синхронный HTTP для генерации изображений неприемлем при >5 конкурентных запросов.
• Кэширование — схожие промпты дают похожие результаты. Семантический кэш через эмбеддинги (faiss + sentence-transformers) может снизить нагрузку на GPU на 20–40%.
• Мониторинг качества — CLIP score для text-image alignment, FID для оценки распределения генераций. Интеграция в MLflow или Weights & Biases.
• Хранение — сгенерированные изображения сразу в S3/MinIO, не на диске сервера инференса.

Что входит в работу (deliverables)

Мы берём проект под ключ — от выбора модели до деплоя и мониторинга. В результат входит:

• Модель (или API-интеграция) с бенчмарками производительности (latency p99, throughput).
• Документация пайплайна (prompt engineering guide, model card, версии зависимостей).
• Интеграция с вашим бэкендом (REST/gRPC, очереди).
• Настроенный мониторинг (дашборды, алерты по дрейфу качества).
• Обучающий воркшоп для команды (2–4 часа).
• Гарантийная поддержка 3 месяца после запуска — в рамках сертификата качества на нашу работу.

Исторически мы выполнили 30+ проектов в генеративном AI — это даёт нам право гарантировать результат.

Как строится процесс разработки генеративного AI?

1. Аналитика (1–2 дня): аудит текущей архитектуры, уточнение use case, выбор моделей и метрик успеха. Оцениваем проект бесплатно.
2. Proof of Concept (1–3 недели): быстрый прототип на ваших данных — чтобы видеть реальное качество, а не демо из блога.
3. Проектирование (1–2 недели): архитектура пайплайна, инфраструктура (GPU-кластер/API), план A/B-тестирования.
4. Реализация и fine-tuning (4–12 недель): разработка, обучение LoRA/full fine-tuning, интеграция с очередью и кэшем.
5. Тестирование (1–2 недели): нагрузочные тесты, валидация метрик, проверка на edge-case (негативные сценарии).
6. Деплой и мониторинг (1–2 недели): развёртывание на production, настройка мониторинга, документирование.

Сроки ориентировочно

Интеграция готового API (DALL‑E 3, Midjourney API, Stability API) — 1–2 недели. Self-hosted пайплайн с fine-tuning — 6–12 недель. Полная платформа с UI, очередями и мониторингом — 3–6 месяцев. Конкретная стоимость рассчитывается индивидуально после анализа вашего сценария.

Свяжитесь с нами — закажите консультацию, и мы подберём оптимальную архитектуру для вашего проекта. Получите предварительную оценку стоимости и сроков бесплатно.