Реализация AI-редактирования изображений (Inpainting) в мобильном приложении

Реализация AI-редактирования изображений (Inpainting) в мобильном приложении

Inpainting — это замена выделенной области изображения новым содержимым, сгенерированным по промпту, с сохранением контекста остальной части картинки. Убрать случайного прохожего с фото, поменять фон за портретом, добавить объект в сцену. Технически задача разбивается на три части: создание маски на устройстве, отправка изображения + маски на API, отображение результата.

Рисование маски: самая важная часть UX

Маска — это чёрно-белое изображение того же размера, что оригинал: белые пиксели — область для изменения, чёрные — сохранить.

На iOS — кастомный UIView с CALayer для рисования:

class MaskDrawingView: UIView {
    private var maskLayer = CAShapeLayer()
    private var path = UIBezierPath()
    private var brushSize: CGFloat = 30

    override func draw(_ rect: CGRect) {
        UIColor.black.setFill()
        UIRectFill(rect)
        UIColor.white.setFill()
        path.fill()
    }

    override func touchesMoved(_ touches: Set<UITouch>, with event: UIEvent?) {
        guard let touch = touches.first else { return }
        let point = touch.location(in: self)
        let circle = UIBezierPath(arcCenter: point, radius: brushSize / 2, startAngle: 0, endAngle: .pi * 2, clockwise: true)
        path.append(circle)
        setNeedsDisplay()
    }

    func getMaskImage() -> UIImage {
        UIGraphicsBeginImageContextWithOptions(bounds.size, false, 0)
        layer.render(in: UIGraphicsGetCurrentContext()!)
        let image = UIGraphicsGetImageFromCurrentImageContext()!
        UIGraphicsEndImageContext()
        return image
    }
}

На Android — Canvas + Paint в кастомном View:

class MaskDrawingView(context: Context) : View(context) {
    private val maskBitmap = Bitmap.createBitmap(width, height, Bitmap.Config.ARGB_8888)
    private val canvas = Canvas(maskBitmap)
    private val paint = Paint().apply {
        color = Color.WHITE
        style = Paint.Style.FILL
        strokeWidth = brushSize
        isAntiAlias = true
    }

    override fun onTouchEvent(event: MotionEvent): Boolean {
        when (event.action) {
            MotionEvent.ACTION_MOVE -> {
                canvas.drawCircle(event.x, event.y, brushSize / 2, paint)
                invalidate()
            }
        }
        return true
    }
}

Важный нюанс: маска должна быть того же разрешения, что исходное изображение. Если пользователь рисует на превью 375×375 pt, а оригинал 4032×3024 px — нужно масштабировать маску перед отправкой.

Интеграция с API

DALL-E 2 Inpainting

func inpaint(image: UIImage, mask: UIImage, prompt: String) async throws -> UIImage {
    guard let imageData = image.pngData(), let maskData = mask.pngData() else {
        throw InpaintError.invalidImage
    }

    var request = URLRequest(url: URL(string: "https://api.openai.com/v1/images/edits")!)
    request.httpMethod = "POST"
    request.setValue("Bearer \(apiKey)", forHTTPHeaderField: "Authorization")

    let boundary = UUID().uuidString
    request.setValue("multipart/form-data; boundary=\(boundary)", forHTTPHeaderField: "Content-Type")

    var body = Data()
    // image (обязательно PNG, RGBA, макс 4 МБ)
    body.appendMultipart(boundary: boundary, name: "image", filename: "image.png", contentType: "image/png", data: imageData)
    // mask (PNG, RGBA, прозрачность = область изменения)
    body.appendMultipart(boundary: boundary, name: "mask", filename: "mask.png", contentType: "image/png", data: maskData)
    // prompt
    body.appendMultipart(boundary: boundary, name: "prompt", data: prompt.data(using: .utf8)!)
    // size (должен совпадать с размером входного изображения)
    body.appendMultipart(boundary: boundary, name: "size", data: "1024x1024".data(using: .utf8)!)
    body.append("--\(boundary)--\r\n".data(using: .utf8)!)
    request.httpBody = body

    let (data, _) = try await URLSession.shared.data(for: request)
    let response = try JSONDecoder().decode(ImageResponse.self, from: data)
    // Загружаем результат
    let (imageData2, _) = try await URLSession.shared.data(from: URL(string: response.data[0].url)!)
    return UIImage(data: imageData2)!
}

Ограничение DALL-E 2: принимает только PNG с альфа-каналом (RGBA). Маска передаётся через прозрачность: прозрачные пиксели = область редактирования. Не чёрно-белая маска как в SD, а альфа-канал. Максимальный размер — 4 МБ. Если изображение JPEG — нужна конвертация в PNG с добавлением альфа-канала.

Stable Diffusion Inpainting через Replicate

val body: [String: Any] = [
    "version": "...", // SD inpainting model
    "input": [
        "prompt": prompt,
        "image": "data:image/jpeg;base64,${imageBase64}",
        "mask": "data:image/png;base64,${maskBase64}",
        "num_inference_steps": 25,
        "guidance_scale": 7.5,
        "strength": 0.99 // 1.0 = полная замена, 0.5 = мягкое смешение
    ]
]

SD inpainting через Replicate принимает base64 для image и mask. strength управляет тем, насколько модель отходит от оригинала в области маски: 0.99 — почти полная замена, 0.5 — смешение с оригиналом.

Преобразование изображения под требования API

DALL-E 2 требует точно 1024×1024 (или 256, 512). Если пользователь выбрал фото 4032×3024 — нужно ресайзить:

func resizeAndCrop(_ image: UIImage, to size: CGSize) -> UIImage {
    UIGraphicsBeginImageContextWithOptions(size, false, 1.0)
    let aspectFill = max(size.width / image.size.width, size.height / image.size.height)
    let newSize = CGSize(width: image.size.width * aspectFill, height: image.size.height * aspectFill)
    let origin = CGPoint(x: (size.width - newSize.width) / 2, y: (size.height - newSize.height) / 2)
    image.draw(in: CGRect(origin: origin, size: newSize))
    let result = UIGraphicsGetImageFromCurrentImageContext()!
    UIGraphicsEndImageContext()
    return result
}

После inpainting — если нужно вернуть результат к оригинальным пропорциям, накладываем результат обратно на оригинальное изображение в координатах маски.

Сроки

Экран с рисованием маски + inpainting через DALL-E 2 — 5–8 дней. Полноценный редактор с undo/redo маски, масштабированием кисти, preview наложения результата, SD Inpainting — 3–4 недели.