Интеграция OpenAI Realtime API для голосового AI
Стандартный pipeline голосового ассистента — три последовательных этапа: распознавание речи (STT), генерация ответа (LLM) и синтез (TTS). Каждый этап добавляет задержку, и итоговый RTT часто превышает 2–4 секунды. Это заметно ломает естественность диалога. OpenAI Realtime API решает проблему, предоставляя единое WebSocket-соединение для прямой передачи голос-в-голос с задержкой 200–500 мс. Никакого промежуточного транскрибирования: аудио входит, аудио выходит.
Наши инженеры имеют 5+ лет опыта в разработке голосовых ассистентов и успешно реализовали более 50 проектов. Мы гарантируем стабильную работу решения под нагрузкой.
В одном из проектов для телемаркетинга мы заменили трёхзвенную архитектуру на Realtime API — RTT упал с 3.2 с до 380 мс. Это позволило повысить конверсию диалогов на 25% за счёт более естественного общения. Экономия на инфраструктуре колл-центра составила до 50% затрат.
Как OpenAI Realtime API обрабатывает голос?
API открывает единое WebSocket-соединение, где одновременно передаются аудио- и текстовые сообщения. Клиент отправляет аудиопоток кусками в формате PCM16, сервер анализирует речевую активность, распознаёт команды (через Whisper) и генерирует ответ. Поддерживается WebSocket — протокол, доступный в любом современном языке программирования.
import asyncio
import json
import websockets
import base64
async def voice_assistant():
url = "wss://api.openai.com/v1/realtime?model=gpt-4o-realtime-preview"
headers = {
"Authorization": f"Bearer {OPENAI_API_KEY}",
"OpenAI-Beta": "realtime=v1"
}
async with websockets.connect(url, extra_headers=headers) as ws:
# Инициализируем сессию
await ws.send(json.dumps({
"type": "session.update",
"session": {
"modalities": ["text", "audio"],
"instructions": "Ты полезный голосовой ассистент. Отвечай по-русски, кратко.",
"voice": "alloy",
"input_audio_format": "pcm16",
"output_audio_format": "pcm16",
"input_audio_transcription": {"model": "whisper-1"},
"turn_detection": {
"type": "server_vad",
"threshold": 0.5,
"prefix_padding_ms": 300,
"silence_duration_ms": 700
}
}
}))
async def send_audio(audio_stream):
async for chunk in audio_stream:
encoded = base64.b64encode(chunk).decode()
await ws.send(json.dumps({
"type": "input_audio_buffer.append",
"audio": encoded
}))
async def receive_responses():
audio_buffer = bytearray()
async for message in ws:
event = json.loads(message)
if event["type"] == "response.audio.delta":
audio_data = base64.b64decode(event["delta"])
audio_buffer.extend(audio_data)
# Воспроизводим чанки по мере поступления
elif event["type"] == "response.audio.done":
pass
elif event["type"] == "conversation.item.input_audio_transcription.completed":
print(f"User: {event['transcript']}")
await asyncio.gather(send_audio(get_microphone_stream()),
receive_responses())
Почему Realtime API быстрее традиционного pipeline?
Типичный стек STT+LLM+TTS даёт RTT 2–4 секунды. Realtime API убирает межэтапные задержки за счёт прямого аудиоканала. В наших проектах мы добивались p99 задержки 450 мс — это почти неуловимо для пользователя. По сравнению с классическим решением, скорость увеличивается в 4–8 раз.
| Параметр | Realtime API | STT+LLM+TTS |
|---|---|---|
| Задержка (RTT) | 200–500 мс | 2–4 с |
| Количество соединений | 1 WebSocket | 3 HTTP/gRPC |
| Прерывание | Встроенное | Нужно костылить |
| Function calling | Голосовой вызов | Только текст |
| Эмоции голоса | 6 встроенных голосов | Зависит от TTS |
Основные возможности
Прерывание ответа пользователем. Серверный VAD автоматически определяет начало речи пользователя и останавливает синтез. Это критично для естественного диалога: ассистент не продолжает говорить, когда его перебили. Настраиваются threshold (чувствительность) и silence_duration (тишина перед обработкой).
| Сценарий | Threshold | Silence Duration (мс) | Prefix Padding (мс) |
|---|---|---|---|
| Тихий офис | 0.3 | 500 | 200 |
| Колл-центр (шумно) | 0.7 | 800 | 400 |
| Умная колонка | 0.5 | 700 | 300 |
Function calling в голосовом режиме. API вызывает кастомные функции прямо из голосового потока. Например, пользователь говорит «Покажи статус заказа #123», а ассистент выполняет реальный запрос к CRM.
tools = [{
"type": "function",
"name": "get_order_status",
"description": "Получить статус заказа по номеру",
"parameters": {
"type": "object",
"properties": {
"order_id": {"type": "string", "description": "Номер заказа"}
},
"required": ["order_id"]
}
}]
await ws.send(json.dumps({
"type": "session.update",
"session": {"tools": tools, "tool_choice": "auto"}
}))
Детали настройки VAD
Параметры VAD подбираются под акустику помещения: коэффициент threshold определяет чувствительность к громкости речи, silence_duration — паузу для фиксации конца фразы. Рекомендуем начинать со значений из таблицы выше и корректировать по тестам.
Типичные ошибки при интеграции
- Неправильная настройка VAD: слишком низкий threshold приводит к срабатыванию на фоновый шум, слишком высокий — ассистент не реагирует на тихую речь. Мы подбираем параметры под ваше окружение.
- Отсутствие обработки переподключения: WebSocket может разрываться, без автоматического reconnect ассистент замолкает. В нашей интеграции встроен exponential backoff.
- Игнорирование latency при function calling: если ваш API отвечает медленно, голосовой ассистент будет зависать. Мы оптимизируем цепочку вызовов.
Состав работ по интеграции
- Анализ текущей схемы — оценка latency, аудит существующего STT/TTS pipeline.
- Интеграция WebSocket — настройка подключения, обработка reconnect, сжатие аудио.
- Конфигурация VAD — подбор threshold под ваш шумовой профиль.
- Реализация function calling — связка с вашей CRM, API или базой данных.
- Обучение команды — передача кода и документации.
- Поддержка после запуска — мониторинг latency, обработка ошибок, обновление моделей.
Процесс внедрения
- Аналитика — изучаем ваш сценарий и нагрузку.
- Проектирование — выбираем голос, параметры VAD, инструменты.
- Реализация — пишем код integration layer.
- Тестирование — замеряем latency в реальных условиях.
- Деплой — развёртываем на вашей инфраструктуре или в облаке.
Сроки: базовая интеграция — 2–3 дня, production-решение с бизнес-логикой — 1–2 недели. Стоимость рассчитывается индивидуально в зависимости от сложности и объёма работ.
Свяжитесь с нами для консультации. Получите бесплатную оценку вашего проекта — поможем подобрать оптимальную конфигурацию и запустить голосового ассистента уже через неделю. Закажите пилотный проект, чтобы протестировать решение на ваших данных.