Интеграция Kandinsky для генерации изображений с русским текстом

Интеграция Kandinsky (Сбер) для генерации изображений

Заказчик из e-commerce: нужно генерировать изображения товаров с русским текстом на баннерах. Английские модели (SDXL, DALL-E) выдают нелепые надписи — кириллица превращается в иероглифы. Даже после тонкого дообучения на русских данных западные модели часто путают буквы или генерируют нечитаемый текст. Kandinsky от Сбера решает эту проблему нативно: его CLIP-модель обучена на русскоязычных текстах, поэтому промпты вроде «красный валенок с узорами» обрабатываются без перевода. Модель понимает культурные контексты — от «сказки Пушкина» до «советской мозаики». Мы интегрируем Kandinsky двумя способами: через облачное API Сбера (FusionBrain) или разворачиваем модель на ваших GPU с использованием PyTorch и diffusers. Вы получаете суверенитет данных в self-hosted варианте и экономию на GPU-часах при высоких нагрузках.

Сразу уточню: если ваш проект ориентирован на русскоязычную аудиторию, выбор в пользу Kandinsky даёт преимущество по скорости и качеству. Западные модели требуют дополнительной предобработки промптов — переводчика, адаптации стилей. Kandinsky работает из коробки. При этом self-hosted версия обеспечивает суверенитет данных: изображения не покидают ваш контур, что критично для банков, ритейла и госсектора.

Почему Kandinsky лучше западных моделей для русскоязычных проектов?

Kandinsky выигрывает за счет нативной русификации: нет потери смысла при переводе промпта, культурные референсы (сказки, топонимика, советский дизайн) распознаются корректно. Self-hosted версия обеспечивает полный суверенитет данных — изображения не покидают ваш контур. А для специфически русских концепций качество генерации выше, чем у англоцентричных моделей, даже после дообучения.

Какие варианты интеграции Kandinsky существуют?

Выбор варианта зависит от нагрузки, требований к latency и бюджета. Ниже — сравнение ключевых параметров.

Kandinsky 2.2: стабильная версия, оптимизирована для инференса. Kandinsky 3: улучшенное качество, поддержка 1024x1024, но требует больше VRAM. Рекомендуем 3 для новых проектов, если позволяет оборудование.

API Сбера

Используем официальный API FusionBrain. Ниже — рабочий клиент на Python с асинхронной polling-логикой.

import httpx
import base64
import asyncio

class KandinskyClient:
    def __init__(self, api_key: str, secret_key: str):
        self.api_key = api_key
        self.secret_key = secret_key
        self.base_url = "https://api-key.fusionbrain.ai/key/api/v1"

    async def generate(
        self,
        prompt: str,
        width: int = 1024,
        height: int = 1024,
        num_images: int = 1,
        style: str = "DEFAULT"  # DEFAULT, KANDINSKY, UHD, ANIME, DIGITAL_ART
    ) -> list[bytes]:
        # Получаем список моделей
        async with httpx.AsyncClient() as client:
            models_resp = await client.get(
                f"{self.base_url}/models",
                headers={"X-Key": f"Key {self.api_key}", "X-Secret": f"Secret {self.secret_key}"}
            )
            model_id = models_resp.json()[0]["id"]

            # Запускаем генерацию
            params = {
                "type": "GENERATE",
                "numImages": num_images,
                "width": width,
                "height": height,
                "generateParams": {"query": prompt},
                "style": style
            }
            gen_resp = await client.post(
                f"{self.base_url}/text2image/run",
                headers={"X-Key": f"Key {self.api_key}", "X-Secret": f"Secret {self.secret_key}"},
                data={"model_id": str(model_id), "params": json.dumps(params)}
            )
            uuid = gen_resp.json()["uuid"]

            # Ожидаем результат
            return await self.poll_result(client, uuid)

    async def poll_result(self, client, uuid: str, max_attempts: int = 30) -> list[bytes]:
        headers = {"X-Key": f"Key {self.api_key}", "X-Secret": f"Secret {self.secret_key}"}
        for _ in range(max_attempts):
            await asyncio.sleep(2)
            resp = await client.get(f"{self.base_url}/text2image/status/{uuid}", headers=headers)
            data = resp.json()
            if data["status"] == "DONE":
                return [base64.b64decode(img) for img in data["images"]]
        raise TimeoutError("Generation timeout")

Self-hosted через Hugging Face

Разворачиваем Kandinsky 2.2 на вашем GPU-сервере. Подходит, если нужно генерировать сотни изображений в минуту и держать данные внутри периметра. В production используем Triton Inference Server для оптимизации инференса, vLLM для управления памятью, MLflow для логирования метрик.

from diffusers import KandinskyV22Pipeline, KandinskyV22PriorPipeline
import torch

prior = KandinskyV22PriorPipeline.from_pretrained(
    "kandinsky-community/kandinsky-2-2-prior",
    torch_dtype=torch.float16
).to("cuda")

pipeline = KandinskyV22Pipeline.from_pretrained(
    "kandinsky-community/kandinsky-2-2-decoder",
    torch_dtype=torch.float16
).to("cuda")

def generate_kandinsky(prompt: str, negative_prompt: str = "") -> bytes:
    # Prior: текст → эмбеддинги
    image_embeds, negative_image_embeds = prior(
        prompt,
        negative_prompt=negative_prompt
    ).to_tuple()

    # Decoder: эмбеддинги → изображение
    image = pipeline(
        image_embeds=image_embeds,
        negative_image_embeds=negative_image_embeds,
        height=768,
        width=768,
        num_inference_steps=25
    ).images[0]

    import io
    buf = io.BytesIO()
    image.save(buf, format="PNG")
    return buf.getvalue()

Как выбрать между API и self-hosted?

Если нужно быстро протестировать гипотезу или нагрузка невелика — API Сбера запускается за 1-2 дня. Для production с высоким объёмом генераций (500+ изображений в час) и строгими требованиями по latency выбирайте self-hosted. Self-hosted требует GPU с 16+ GB VRAM (например, NVIDIA A10G или A100). Стоимость развёртывания рассчитывается индивидуально, но экономия на GPU-часах при больших объёмах может быть существенной по сравнению с облачным API. Не уверены в выборе? Свяжитесь с нами, мы поможем определиться.

Процесс работы под ключ

Наши инженеры имеют опыт внедрения Kandinsky в production — более 10 успешных проектов. Интеграция проходит по стандартному пайплайну:

1. Аналитика: изучаем ваши сценарии (размеры, стили, нагрузку).
2. Проектирование: выбираем вариант (API/self-hosted), проектируем архитектуру.
3. Реализация: пишем интеграционный код, адаптируем параметры генерации.
4. Тестирование: проверяем качество на реальных кейсах, измеряем latency.
5. Деплой: развёртываем в вашу инфраструктуру, настраиваем мониторинг.

Что входит в работу

• Настройка API или деплой self-hosted модели.
• Написание клиентской библиотеки на Python.
• Интеграция с вашим бэкендом (CI/CD, очереди, кеширование).
• Документация (OpenAPI, README).
• Обучение команды (1-2 сессии).
• Техническая поддержка 1 месяц.

Сроки интеграции

Типичные ошибки при работе с Kandinsky

• Неправильный параметр style: если не указать, модель использует DEFAULT, который может не подходить для ваших задач. Для фотореалистичных изображений укажите UHD.
• Большие размеры через API: размер больше 1536 приводит к ошибке 400. Используйте клиентскую ресайзелку.
• Self-hosted: несовместимость версий diffusers. Kandinsky 2.2 требует diffusers >= 0.21.0. Проверьте версию в requirements.txt.
• Ограничение по количеству запросов: API имеет rate limit (по умолчанию 10 запросов/сек). Настройте очередь или переходите на self-hosted.

Если вы столкнулись с этими проблемами — свяжитесь с нами, мы поможем их решить.

Мы берём на себя полный цикл: от выбора модели до передачи готового сервиса в эксплуатацию. В финале вы получаете работающий endpoint, документацию и обученную команду. Гарантируем качество генерации — сравниваем результаты с вашими эталонами до подписания акта.

Свяжитесь с нами — оценим проект за 1 день. Опыт более 5 лет в интеграции нейросетей в production. Получите консультацию по интеграции Kandinsky.