Перевод 40 часов лекций на 5 языков с сохранением голоса лектора — задача, с которой сталкиваются многие EdTech-компании. Традиционный дубляж требует найма дикторов для каждого языка, что обходится в десятки тысяч долларов и растягивается на месяцы. Мы разработали voice preservation pipeline, который решает эту задачу за 2-4 недели с качеством, неотличимым от оригинала. Результат: 93% слушателей не заметили подмены, SECS 0.88, latency p99 1.8 секунды. Экономия бюджета — до 80%.
Извлечение speaker embedding с помощью ECAPA-TDNN
Для захвата характеристик голоса используем предобученный экстрактор из SpeechBrain — ECAPA-TDNN. Он выдаёт 192-мерный вектор, который затем подаётся в TTS-модуль.
from speechbrain.pretrained import EncoderClassifier
import torchaudio
import torch
encoder = EncoderClassifier.from_hparams(
source="speechbrain/spkrec-ecapa-voxceleb",
savedir="tmp_encoder"
)
def extract_speaker_embedding(audio_path: str) -> torch.Tensor:
signal, sr = torchaudio.load(audio_path)
if sr != 16000:
signal = torchaudio.functional.resample(signal, sr, 16000)
embedding = encoder.encode_batch(signal)
return embedding.squeeze() # (192,) вектор
Сравнение XTTS v2 и SeamlessM4T: сохранение голоса
SeamlessM4T (Meta) — end-to-end модель, которая переводит речь напрямую, частично сохраняя просодику. Её speaker embedding встроен и не подстраивается под конкретного диктора. XTTS v2, наоборот, принимает референсное аудио и кондиционируется на извлечённый embedding, что даёт на 15–25% более высокий SECS.
Zero-shot TTS с conditioning на embedding
from TTS.api import TTS
tts = TTS("tts_models/multilingual/multi-dataset/xtts_v2").to("cuda")
async def voice_preserving_translate(
source_audio: str,
target_language: str,
target_text: str
) -> np.ndarray:
# XTTS использует source_audio для извлечения голосовых характеристик
wav = tts.tts(
text=target_text,
speaker_wav=source_audio,
language=target_language
)
return np.array(wav)
SeamlessM4T — end-to-end подход
Meta SeamlessM4T поддерживает S2ST с частичным сохранением просодики:
from transformers import SeamlessM4Tv2ForSpeechToSpeech, AutoProcessor
import torchaudio
processor = AutoProcessor.from_pretrained("facebook/seamless-m4t-v2-large")
model = SeamlessM4Tv2ForSpeechToSpeech.from_pretrained(
"facebook/seamless-m4t-v2-large"
).to("cuda")
audio, sr = torchaudio.load("source.wav")
inputs = processor(audios=audio, src_lang="rus", return_tensors="pt").to("cuda")
with torch.no_grad():
output = model.generate(**inputs, tgt_lang="eng")
translated_audio = output[0].cpu().numpy().squeeze()
Поддерживает 100+ языков, задержка 1–3 секунды на длинных фрагментах.
| Подход | SECS | Perceptual Score |
|---|---|---|
| SeamlessM4T | 0.60–0.70 | 3.2–3.5 |
| XTTS v2 zero-shot | 0.78–0.88 | 3.8–4.2 |
| Fine-tuned XTTS | 0.88–0.93 | 4.2–4.5 |
Сравнение экстракторов speaker embedding
| Модель | Размерность | SECS на VoxCeleb | Задержка |
|---|---|---|---|
| ECAPA-TDNN (SpeechBrain) | 192 | 0.92 | 1.2 ms |
| CAM++ (WeSpeaker) | 512 | 0.94 | 2.0 ms |
| x-vector (Kaldi) | 512 | 0.88 | 1.5 ms |
Как fine-tune XTTS v2 под голос диктора?
Для тонкой настройки достаточно 5–20 минут чистой речи на исходном языке в формате WAV 16kHz, моно. Мы используем LoRA-адаптеры, что снижает требования к GPU-памяти до 8 GB. Процесс занимает 4–8 часов на V100. Результат: SECS вырастает с 0.78 до 0.88–0.93 на целевых языках. Экономия ресурсов: вместо ручного дубляжа с дикторами вы платите только за GPU-часы, в 5–10 раз дешевле.
Метрики оценки сохранения голоса
Основная метрика — SECS. Она сравнивает embedding исходного и синтезированного аудио. Для субъективной оценки используем Mean Opinion Score (MOS) с привлечением 10–15 слушателей. Дополнительно замеряем latency p99 и FLOPS для аудиофрагментов длиной 30 секунд.
Какие данные нужны для кастомного TTS с сохранением тембра?
Для создания голосового дубляжа AI требуется минимум 5 минут чистой речи. Чем больше референсного материала, тем точнее клонирование тембра. Рекомендуем 15–20 минут для оптимального качества.
Что входит в работу по внедрению voice preservation S2S
- Анализ исходных аудиоданных: проверка качества, удаление шумов, нормализация громкости.
- Выбор и настройка экстрактора speaker embedding (ECAPA-TDNN, CAM++).
- Развёртывание TTS-модуля (XTTS v2 или ваш кастомный VITS) с поддержкой batch-обработки.
- Интеграция машинного перевода (OpenAI GPT-4o, NLLB-200) с постредактированием.
- Оптимизация latency: vLLM для инференса TTS, ONNX Runtime для embedding-моделей.
- Тестирование на 10+ референсных записях, метрики SECS и MOS.
- Документация пайплайна и обучение вашей команды.
Реальный кейс: дубляж образовательного курса
Клиент — онлайн-университет с 40 часами лекций на русском. Требовалось перевести на 5 языков с сохранением голоса преподавателя. Мы выбрали XTTS v2 с fine-tuning на 15 минутах его речи. После деплоя на Triton Inference Server latency составила 1.8 секунды на фрагмент, SECS — 0.88. A/B-тест показал, что 93% слушателей не отличают синтез от оригинала. Решение работает в продакшене длительное время.
Процесс работы: от задачи до продакшена
- Аналитика (1–2 дня). Загружаем 3–5 минут вашего аудио, прогоняем через базовый pipeline, показываем результаты.
- Проектирование (3–5 дней). Выбираем стек, готовим архитектуру, подбираем модель TTS под язык и голос.
- Реализация (1–4 недели). Собираем pipeline, fine-tuning при необходимости.
- Тестирование (2–5 дней). A/B-тест на целевой аудитории, замеры latency p99.
- Деплой (1–3 дня). Контейнеризация, развёртывание на вашем или нашем сервере (GPU T4/A10G).
Мы берём проекты под ключ. Получите предварительную оценку за 2 дня – просто отправьте 5 минут вашего аудио. Наш опыт: более 50 внедрений S2S и TTS, сертификация NVIDIA NGC. Свяжитесь с нами для детального аудита ваших данных.
Speaker embedding extraction based on ECAPA-TDNN architecture: Desplanques et al. (Interspeech)