Реализация синтеза эмоциональной речи (Expressive TTS)
Эмоциональный TTS передаёт не только слова, но и интонацию: радость, сочувствие, серьёзность. Критично для голосовых ботов, где нейтральный роботизированный голос снижает удовлетворённость клиентов.
Подходы к эмоциональному TTS
Azure Neural TTS со стилями — наиболее зрелое решение:
import azure.cognitiveservices.speech as speechsdk
AZURE_STYLES = {
"cheerful": "радостный",
"sad": "грустный",
"angry": "раздражённый",
"fearful": "напуганный",
"disgruntled": "недовольный",
"serious": "серьёзный",
"depressed": "подавленный",
"gentle": "мягкий",
"embarrassed": "смущённый",
"customerservice": "клиентский сервис"
}
def synthesize_with_emotion(text: str, style: str = "customerservice") -> bytes:
ssml = f"""
<speak version='1.0' xmlns='http://www.w3.org/2001/10/synthesis'
xmlns:mstts='https://www.w3.org/2001/mstts' xml:lang='ru-RU'>
<voice name='ru-RU-SvetlanaNeural'>
<mstts:express-as style='{style}' styledegree='1.5'>
{text}
</mstts:express-as>
</voice>
</speak>"""
speech_config = speechsdk.SpeechConfig(
subscription=AZURE_SPEECH_KEY,
region="westeurope"
)
synthesizer = speechsdk.SpeechSynthesizer(speech_config=speech_config)
result = synthesizer.speak_ssml_async(ssml).get()
return result.audio_data
ElevenLabs с Voice Settings — контроль через stability/similarity:
# Высокая экспрессивность: низкая stability, высокий style
emotional_settings = {
"stability": 0.3, # нестабильность = вариативность интонации
"similarity_boost": 0.5,
"style": 0.8, # высокий стиль = больше эмоций
"use_speaker_boost": True
}
Bark с текстовыми маркерами:
emotional_text = "Поздравляем! [laughs] Ваш заказ принят! [gasps] Это невероятно!"
audio = generate_audio(emotional_text, history_prompt="v2/ru_speaker_6")
Эмоциональная маршрутизация в диалоге
def choose_tts_style(message_context: dict) -> str:
if message_context.get("is_apology"):
return "gentle"
elif message_context.get("is_celebration"):
return "cheerful"
elif message_context.get("is_urgent"):
return "serious"
return "customerservice"
Сроки: интеграция Azure со стилями — 2–3 дня. Кастомная эмоциональная маршрутизация — 1 неделя.