Реализация AI-генерации звуковых эффектов

AI-генерация звуковых эффектов

AI-генерация SFX создаёт звуковые эффекты для игр, видео, приложений, подкастов по текстовому описанию. Заменяет библиотеки стоковых SFX и студийную запись для уникальных или специфических звуков.

AudioGen + ElevenLabs Sound Effects

from audiocraft.models import AudioGen
import torchaudio
import io

# AudioGen Medium — 300M параметров, MIT лицензия
sfx_model = AudioGen.get_pretrained("facebook/audiogen-medium")

async def generate_sfx(
    description: str,
    duration: float = 3.0,
    variations: int = 1
) -> list[bytes]:
    sfx_model.set_generation_params(
        duration=duration,
        temperature=1.0 + (0.1 * variations)  # чуть больше температуры для вариаций
    )

    descriptions = [description] * variations
    wavs = sfx_model.generate(descriptions=descriptions)

    results = []
    for wav in wavs:
        buf = io.BytesIO()
        torchaudio.save(buf, wav.cpu(), sample_rate=16000, format="wav")
        results.append(buf.getvalue())
    return results

ElevenLabs Sound Effects API

import httpx

async def generate_sfx_elevenlabs(
    text: str,
    duration_seconds: float = 3.0,
    prompt_influence: float = 0.3,  # 0=менее буквальный, 1=точное следование промпту
    api_key: str = ""
) -> bytes:
    async with httpx.AsyncClient() as client:
        resp = await client.post(
            "https://api.elevenlabs.io/v1/sound-generation",
            headers={"xi-api-key": api_key},
            json={
                "text": text,
                "duration_seconds": duration_seconds,
                "prompt_influence": prompt_influence
            }
        )
        return resp.content  # возвращает mp3

SFX библиотека по категориям

SFX_CATEGORIES = {
    "ui": [
        "soft button click, pleasant tap sound",
        "notification ding, gentle bell",
        "error buzzer, short negative tone",
        "success chime, three ascending notes",
    ],
    "nature": [
        "rain on leaves, gentle drizzle",
        "wind through pine forest, soft rustle",
        "ocean waves on beach, distant",
    ],
    "mechanical": [
        "gear mechanism turning, metallic",
        "engine starting, low rumble",
        "lock clicking, metal mechanism",
    ],
    "digital": [
        "data scan, futuristic beep sequence",
        "hologram activation, sci-fi ambient",
        "glitch sound, digital artifact",
    ]
}

async def build_sfx_library(categories: list[str] = None) -> dict[str, list[bytes]]:
    """Предгенерируем библиотеку SFX для быстрого доступа"""
    target = {k: v for k, v in SFX_CATEGORIES.items() if k in (categories or SFX_CATEGORIES)}
    library = {}

    for category, descriptions in target.items():
        library[category] = []
        for desc in descriptions:
            sfx = await generate_sfx(desc, duration=2.0)
            library[category].append(sfx[0])

    return library

AudioGen быстр: 3-секундный SFX генерируется за 0.5–1 сек на A100. ElevenLabs Sound Effects — $0.002–0.005 за эффект, отличное качество. Для production-библиотеки игры — предгенерация 500–2000 звуков занимает 2–8 часов. Сроки интеграции — 1–2 дня.