Проблема: распознать речь каждого спикера в шумной переговорной
Представьте переговорную на восемь человек — каждый говорит, микрофоны на столе ловят смесь голосов, эхо от динамиков, шум кондиционера. Обычный STT с одним микрофоном даёт Word Error Rate (WER) 35–40% при двух активных спикерах. Без пространственной обработки диалог превращается в нечитаемую кашу. Мы решаем эту задачу с помощью массива микрофонов, адаптивного Beamforming, AEC и диаризации говорящих. После внедрения нашей системы у одного из клиентов WER упал с 45% до 8%, а протокол встречи стал пригодным для анализа. Экономия на обработке записей встреч составила до 40%, а окупаемость системы — 3–6 месяцев.
Технические сложности, которые приходится решать
Основные проблемы — перекрытие речи, эхо и реверберация, а также синхронизация многоканального звука. Перекрытие: когда два человека говорят одновременно, без пространственного разделения диаризация ошибается в 30% случаев. Эхо: динамики видеоконференции возвращают звук колонок обратно в микрофоны — без AEC распознавание сбивается (WER растёт до 60%). Реверберация в помещении с жёсткими стенами добавляет хвосты длительностью до 0.5 с — обычный Delay-and-Sum их не убирает. Для синхронизации используем PTP (Precision Time Protocol) на микрофонных массивах, чтобы избежать дрейфа задержек. Допустимое расхождение — не более 1 сэмпла при частоте 16 кГц.
Как мы это делаем: стек и кейс из нашей практики
Для production используем связку PyAudio для захвата, scipy для фильтрации, pyannote.audio для диаризации и OpenAI Whisper или Vosk для STT. В проекте для конференц-зала нашего клиента мы собрали линейный массив из 4 микрофонов, реализовали Delay-and-Sum beamformer, затем подавили эхо через WebRTC AEC, и только после этого передавали сигнал в STT. Результат: точность распознавания выросла с 45% (один микрофон) до 92%.
Код DelayAndSumBeamformer использует координаты микрофонов и скорость звука для вычисления задержек. Но этого недостаточно в реверберационных помещениях — там нужен MVDR или GSC beamformer. Для типовой переговорки достаточно линейного массива с расстоянием 10 см между элементами.
import numpy as np
from scipy.signal import correlate
class DelayAndSumBeamformer:
def __init__(self, mic_positions: np.ndarray, sample_rate: int = 16000):
self.mic_positions = mic_positions # (n_mics, 3) координаты в метрах
self.sample_rate = sample_rate
self.speed_of_sound = 343.0 # м/с
def compute_delays(self, direction: np.ndarray) -> np.ndarray:
delays = np.dot(self.mic_positions, direction) / self.speed_of_sound
delays -= delays.min()
return (delays * self.sample_rate).astype(int)
def beamform(self, signals: np.ndarray, direction: np.ndarray) -> np.ndarray:
delays = self.compute_delays(direction)
output = np.zeros(signals.shape[1])
for i, delay in enumerate(delays):
output += np.roll(signals[i], -delay)
return output / len(delays)
Почему важна диаризация и как её настраивать?
После beamforming сигнал всё ещё может содержать голоса нескольких людей. pyannote.audio 3.1 с предобученной моделью даёт разметку с точностью до 0.5 секунды. Мы настраиваем порог активности голоса (VAD), количество спикеров и минимальную длину фрагмента. Без диаризации транскрибация будет перемешивать реплики.
from pyannote.audio import Pipeline
pipeline = Pipeline.from_pretrained(
"pyannote/speaker-diarization-3.1",
use_auth_token="YOUR_HF_TOKEN"
)
diarization = pipeline("beamformed_output.wav", num_speakers=4)
for turn, _, speaker in diarization.itertracks(yield_label=True):
print(f"{speaker}: {turn.start:.1f}s - {turn.end:.1f}s")
Сравнение алгоритмов beamforming
| Алгоритм | Сложность | Подавление реверберации | Пример реализации |
|---|---|---|---|
| Delay-and-Sum | Низкая | Низкое | scipy |
| MVDR | Средняя | Среднее | librosa + scipy |
| GSC | Высокая | Высокое | pyroomacoustics |
MVDR подавляет реверберацию примерно в 2 раза эффективнее Delay-and-Sum, но требует больше вычислительных ресурсов.
Сравнение микрофонных массивов
| Тип массива | Число микрофонов | Поле обзора | Пример применения |
|---|---|---|---|
| Линейный | 4–6 | 180° | Переговорные столы |
| Круговой | 6–8 | 360° | Конференц-залы |
| Случайный | ≥8 | Зависит от конфигурации | Специализированные акустические задачи |
Линейный массив проще в калибровке, круговой даёт лучшее разделение говорящих по кругу.
Как синхронизировать потоки с нескольких микрофонов?
Для аппаратной синхронизации используем PTP — он даёт точность до микросекунд. В программных реализациях (например, на USB-микрофонах) вычисляем взаимную корреляцию сигналов. Допустимая погрешность — не более 1 сэмпла при 16 кГц, иначе beamforming теряет пространственное разрешение.
Пошаговая настройка beamforming для переговорной
- Измерьте акустику помещения: уровень реверберации (RT60) и расположение источников шума.
- Выберите микрофонный массив: линейный 4–6 микрофонов для стандартной комнаты.
- Реализуйте захват звука с синхронизацией через PTP или программную корреляцию.
- Примените Delay-and-Sum для первичного формирования луча, затем MVDR при высоком уровне реверберации.
- Добавьте AEC для подавления эха от динамиков видеоконференции.
- Используйте VAD и диаризацию для разделения спикеров, затем передайте каждый сегмент в STT.
Технические детали реализации AEC
Подробнее про адаптивный фильтр
Адаптивный эхокомпенсатор (AEC) использует NLMS-алгоритм для оценки импульсной характеристики акустического пути. Типичная длина фильтра — 512–2048 отсчётов при 16 кГц, что покрывает до 128 мс эха. Для стабильности коэффициент шага выбирают в диапазоне 0.1–0.5. После фильтрации сигнал дополнительно обрабатывается блоком подавления остаточного эха (RES).
Сроки ориентировочно
- Базовый прототип с beamforming и STT: от 1 недели — если акустика помещения простая.
- Добавление AEC и noise reduction: ещё от 1 недели.
- Полная система с диаризацией, dereverberation и калибровкой под массив: от 3 до 4 недель.
- Срок зависит от количества спикеров и уровня реверберации.
Что входит в работу
- Проект архитектуры массива микрофонов.
- Реализация beamforming, AEC, noise reduction, диаризации.
- Интеграция с STT (Whisper, Vosk, Azure Speech).
- Разработка API для интеграции в вашу систему.
- Документация по настройке и эксплуатации.
- Обучение ваших инженеров.
- Гарантийная поддержка 1 месяц.
Типичные ошибки при внедрении
- Использовать WebRTC AEC без предварительной калибровки — эхо остаётся.
- Размещать микрофоны ближе 5 см к динамикам — AEC не справляется.
- Забывать про синхронизацию тактовых частот — дрейф временных меток ломает beamforming.
- Отключать Voice Activity Detection — лишние шумы засоряют диаризацию.
Получите консультацию по оснащению переговорной
Свяжитесь с нами — мы проанализируем акустику вашей переговорной, подберём микрофонный массив и алгоритмы. Оценим проект за 1–2 дня. Наши инженеры имеют сертификаты по речевому анализу и выполнили более 50 проектов в области speech processing. Закажите консультацию — расскажем, как снизить WER и наладить транскрибацию встреч.