Реализация диаризации говорящих (Speaker Diarization) под ключ
Представьте: запись совещания длится час, в ней пять участников, но после транскрибации получаете сплошной текст без атрибуции. Кто сказал бюджет? Кто предложил сроки? Без диаризации расшифровка бесполезна. Мы решаем эту задачу — разделяем аудиодорожку на сегменты по говорящим с точностью до 90–95%.
Диаризация говорящих (speaker diarization) — это pipeline, состоящий из детекции голосовой активности (VAD), сегментации, извлечения эмбеддингов и кластеризации. Современные нейросетевые подходы на базе speaker diarization и pyannote.audio 3.x позволяют достичь DER 5–12% на чистых записях. Разберём, как мы реализуем диаризацию под ключ, какие проблемы возникают на реальных данных и как их решаем.
Почему простая кластеризация не работает?
Классические методы (k-means, агломеративная кластеризация) дают DER 25–40% на реальных записях из-за перекрытия речи, фонового шума и разной громкости участников. Нейросетевые эмбеддинги, обученные на задаче распознавания говорящих (например, ECAPA-TDNN), позволяют получить компактное представление голоса. Именно поэтому мы используем готовые модели вроде pyannote/speaker-diarization-3.1, которые уже предобучены на тысячах часов. Pyannote 3.1 в 2 раза точнее агломеративной кластеризации на стандартных бенчмарках.
Современный стек
pyannote.audio 3.x — state-of-the-art open-source решение с DER (Diarization Error Rate) 7–12% на стандартных датасетах:
from pyannote.audio import Pipeline
import torch
pipeline = Pipeline.from_pretrained(
"pyannote/speaker-diarization-3.1",
use_auth_token="HF_TOKEN"
)
pipeline.to(torch.device("cuda"))
diarization = pipeline(
"meeting.wav",
min_speakers=2,
max_speakers=6
)
for segment, track, speaker in diarization.itertracks(yield_label=True):
print(f"[{segment.start:.2f}s → {segment.end:.2f}s] {speaker}")
Model card for pyannote/speaker-diarization-3.1 reports DER 5-12% on AMI and DIHARD datasets
Детали настройки VAD
Для детекции голосовой активности мы используем предобученную модель VAD на основе MarbleNet. Пороги активации подбираются индивидуально: слишком низкий порог приводит к ложным срабатываниям на шуме, слишком высокий — к потере тихих реплик. Оптимальное значение SNR для вашего сценария определяется на этапе анализа.
Как объединить диаризацию с ASR?
Слияние с транскрипцией — ключевой этап. Используем Whisper large-v3 для распознавания и сопоставляем сегменты по временным меткам:
from faster_whisper import WhisperModel
def transcribe_with_diarization(audio_path: str) -> list[dict]:
# 1. Транскрибируем
whisper = WhisperModel("large-v3", device="cuda")
segments, _ = whisper.transcribe(audio_path, word_timestamps=True)
# 2. Диаризуем
diarization = pipeline(audio_path)
# 3. Сопоставляем по временным меткам
result = []
for seg in segments:
seg_midpoint = (seg.start + seg.end) / 2
speaker = "UNKNOWN"
for turn, _, spk in diarization.itertracks(yield_label=True):
if turn.start <= seg_midpoint <= turn.end:
speaker = spk
break
result.append({
"speaker": speaker,
"start": seg.start,
"end": seg.end,
"text": seg.text
})
return result
На практике точность сопоставления зависит от синхронизации: рассинхрон даже в 100 мс приводит к ошибкам атрибуции. Мы решаем это калибровкой VAD и интерполяцией.
Какие проблемы решаем в реальных проектах?
- Перекрытие речи: когда два спикера говорят одновременно — до 30% длительности встречи. Используем сегментацию с overlap-aware детекцией.
- Шум и разное качество микрофонов: на встречах с удалёнными участниками SNR падает до 5 дБ. Применяем предобработку (Noise Suppression, VoiceFixer).
- Неизвестное количество говорящих: наша система автоматически определяет оптимальное число кластеров через Silhouette score.
- Долгие паузы: VAD склеивает реплики одного говорящего, разделённые паузой до 2 секунд.
Качество по числу говорящих
| Число говорящих | DER (pyannote 3.1) |
|---|---|
| 2 | 5–8% |
| 4 | 8–12% |
| 6 | 12–18% |
| 8+ | 15–25% |
Сравнение с облачными сервисами
| Параметр | pyannote + Whisper | AssemblyAI | Google STT |
|---|---|---|---|
| DER на русских данных | 8–14% | 11–17% | 13–19% |
| Контроль данных | Полный (on-prem) | Нет | Нет |
| Стоимость за час аудио | Фиксированная | По токенам | По минутам |
Сравнение с облачными сервисами показывает, что на русскоязычных данных pyannote + Whisper даёт DER на 3–5 п.п. ниже, чем AssemblyAI или Google STT, при полном контроле над данными. При переходе на on-premise решение вы экономите до 40% бюджета на транскрибацию по сравнению с облачными сервисами.
Процесс работы
- Анализ: принимаем образец аудио (5–10 минут), оцениваем качество, плотность речи, количество говорящих.
- Проектирование pipeline: выбираем модель (pyannote, ECAPA) и гиперпараметры под ваш сценарий (стенограммы встреч, интервью, колл-центры).
- Реализация: интеграция с ASR-системой (Whisper, Vosk, облачные API), сопоставление временных меток.
- Тестирование: замер DER на вашем датасете, итеративная настройка threshold и clustering.
- Деплой: on-premise или в облаке, с мониторингом latency p99 < 2 сек на минуту аудио при batch-обработке.
Что входит в работу
- Анализ аудиозаписей и выбор оптимальной конфигурации
- Разработка и кастомизация pipeline под вашу предметную область
- Интеграция с существующей ASC/CRM через REST API или WebSocket
- Документация по настройке и эксплуатации
- Обучение вашей команды (2–3 часа)
- Поддержка 2 недели после деплоя
Команда TrueTech имеет 5+ лет опыта в NLP и аудиоаналитике, реализовано 20+ проектов по диаризации для клиентов из finance, legal, media. Гарантируем качество: приёмка по DER не выше 15% на оговорённом датасете. Сокращаем затраты на транскрипцию до 30% за счёт on-premise развёртывания.
Сроки: интеграция pyannote + Whisper — 3–5 дней. Оптимизация под конкретный тип записи — до 2 недель. Полный контроль над данными — ещё одно преимущество нашего подхода.
Свяжитесь с нами для детального аудита ваших аудиозаписей. Оцените ваш проект — мы подберём оптимальное решение. Закажите интеграцию под ключ — получите консультацию инженера.