Как Voice Activity Detection улучшает сегментацию аудио
Без детектора речи STT-системы тратят ресурсы на обработку тишины и шума. В одном из проектов для call-центра мы обнаружили, что из 8-часовой аудиозаписи только 2.5 часа содержат речь. Остальное — паузы, фоновый шум вентиляции, разговоры операторов. При стоимости транскрибации $0.006 за минуту это означало $2.88 за запись, из которых $1.98 уходило на пустую обработку. После внедрения VAD клиент сократил расходы на 40% и ускорил время обработки в 3 раза. Наш подход — комбинация энергетического и ML-детектора с кастомными порогами, настроенными под конкретную акустику.
Как выбрать порог VAD для вашего сценария
Порог threshold (от 0 до 1) определяет минимальную вероятность речи для фиксации сегмента. Для чистого голоса (подкасты) достаточно 0.3, для шумного окружения (open-space, улица) — до 0.7. В одном проекте для офиса с открытой планировкой мы установили threshold=0.5, min_speech_duration=300ms, что дало precision 0.97 при recall 0.95. В отличие от WebRTC VAD с фиксированной агрессивностью (0–3), Silero VAD позволяет гибко настраивать параметры под задачу.
Рекомендуемые параметры для разных сценариев
| Сценарий | Threshold | min_speech_duration | Precision |
|---|---|---|---|
| Подкаст (чистая речь) | 0.3 | 300 ms | 0.99 |
| Call-центр (шум) | 0.6 | 500 ms | 0.97 |
| Улица | 0.7 | 400 ms | 0.95 |
Что такое min_speech_duration и как он влияет на детекцию
min_speech_duration — минимальная длительность (в мс), которую должен набрать речевой сегмент, чтобы быть зафиксированным. Если задать слишком малое значение (например, 50 мс), то кратковременные щелчки и удары будут ошибочно приняты за речь. Оптимальный диапазон для стандартных задач — 250–500 мс. Для real-time ботов мы используем 250 мс, чтобы не задерживать ответ.
Сравнение VAD-библиотек с метриками
| VAD | Задержка (p99) | GPU util | Precision | Recall | Лицензия |
|---|---|---|---|---|---|
| Silero VAD (ONNX) | 12 ms | 5% | 0.98 | 0.97 | MIT |
| WebRTC VAD | 4 ms | 0% (CPU) | 0.92 | 0.90 | BSD |
| pyannote VAD | 55 ms | 15% | 0.99 | 0.98 | MIT |
| faster-whisper VAD | 18 ms | 8% | 0.97 | 0.96 | MIT |
Silero VAD — лучший баланс качества и скорости для продакшена. Мы используем его в 80% проектов благодаря низкой задержке и поддержке ONNX. Silero VAD обеспечивает precision 0.98 против 0.92 у WebRTC VAD — на 6% точнее.
Практическая интеграция: код
Пример загрузки Silero VAD и получения временных меток речи:
import torch
import torchaudio
model, utils = torch.hub.load(
repo_or_dir='snakers4/silero-vad',
model='silero_vad'
)
(get_speech_timestamps, _, read_audio, _, _) = utils
audio = read_audio('audio.wav', sampling_rate=16000)
speech_timestamps = get_speech_timestamps(
audio,
model,
threshold=0.5,
sampling_rate=16000,
min_speech_duration_ms=250,
min_silence_duration_ms=100
)
# [{'start': 1600, 'end': 24320}, ...]
Для real-time сценариев подходит WebRTC VAD с минимальной задержкой:
import webrtcvad
import collections
vad = webrtcvad.Vad(3) # агрессивность 0–3
def frame_generator(frame_duration_ms, audio, sample_rate):
n = int(sample_rate * (frame_duration_ms / 1000.0) * 2)
for offset in range(0, len(audio) - n + 1, n):
yield audio[offset:offset + n]
Процесс работы по интеграции VAD
- Анализ аудиоданных: оценка степени зашумленности, длительности пауз, параметров речи.
- Выбор VAD и калибровка: подбор threshold,
min_speech_duration,min_silence_duration. - Интеграция в пайплайн: подключение к STT (Whisper, DeepSpeech, др.) в режиме реального времени или офлайн.
- Тестирование на выборке: расчет метрик precision, recall, F1; корректировка параметров.
- Оптимизация под продакшен: квантизация модели, батчизация, кэширование результатов.
- Деплой с мониторингом: логирование качества детекции, алерты при ухудшении метрик.
Что входит в работу
— Аудит текущего аудиопайплайна; — Выбор и калибровка VAD под конкретную акустику; — Интеграция в существующую архитектуру (Python-сервис, микросервис); — Написание unit и integration тестов; — Документация по настройке и поддержке; — Пост-релизная поддержка в течение месяца.
Что делать, если VAD пропускает тихую речь
Если детектор не фиксирует речь с низкой громкостью, попробуйте снизить threshold до 0.2–0.3, уменьшить min_speech_duration до 100 мс или добавить энергетический вето — предварительный порог по RMS. В сложных случаях мы используем двухэтапную детекцию: сначала грубый WebRTC VAD, затем уточнение с помощью Silero VAD на подозрительных фрагментах.
Почему мы выбираем Silero VAD
Silero VAD даёт стабильно высокое качество (precision 0.98) при задержке ~12 мс, работает на CPU и GPU, имеет открытую MIT-лицензию. Модель легко квантизировать до INT8, что снижает latency ещё на 30% без потери точности. Для задач реального времени — рекомендуем WebRTC VAD с агрессивностью 2–3.
Ссылки: Voice Activity Detection, Silero VAD.
Получите консультацию по настройке VAD для вашего STT пайплайна. Мы более 5 лет занимаемся аудиообработкой и реализовали более 20 интеграций VAD для call-центров, голосовых ассистентов и систем аналитики.