Классические анализаторы колл-центра опираются на стоп-слова и тональность — это не спасает, когда клиент уже на взводе. Мы разрабатываем AI-системы, которые детектируют стресс и агрессию по акустике голоса за 2–3 секунды, до того как человек произнесёт угрозу или бросит трубку. За более чем 5 лет мы реализовали 15+ проектов для ритейла, банков и логистики под ключ — от сбора датасета до интеграции через API. Экономия на эскалациях конфликтов достигает 15–20% бюджета на поддержку.
Почему это важно? Каждый пропущенный агрессивный звонок может обернуться потерей клиента и репутационными рисками. По статистике, 30% эскалаций в колл-центрах происходят из-за несвоевременной реакции на эмоциональный накал. Наша модель позволяет перехватывать такие моменты на ранней стадии, давая оператору или супервизору подсказку за доли секунды.
Проблемы, которые решаем
- Запаздывание реакции оператора. Человек тратит 5–10 секунд, чтобы осознать агрессивный тон. Система выдаёт алерт мгновенно, позволяя подключить супервизора.
- Субъективная оценка. Разные операторы по-разному трактуют эмоции. Наша модель даёт объективный score (0–1) по каждому классу.
- Высокая нагрузка при ручном мониторинге. Прослушивать все звонки невозможно. AI-модель сканирует 100% записей в реальном времени или в batch-режиме.
Акустические маркеры стресса и агрессии
import librosa
import numpy as np
from dataclasses import dataclass
@dataclass
class EmotionalAcoustics:
f0_mean: float # средняя частота (агрессия: рост >20%)
f0_range: float # диапазон тона (стресс: сужение)
f0_std: float # вариабельность
speaking_rate: float # темп (стресс: ускорение или замедление)
energy_mean: float # громкость (агрессия: значительный рост)
jitter: float # тремор голоса (стресс: рост)
shimmer: float # неравномерность амплитуды
hnr: float # гармоническое отношение (стресс: снижение)
def extract_stress_features(audio: np.ndarray, sr: int = 16000) -> EmotionalAcoustics:
# Основной тон
f0, voiced_flag, _ = librosa.pyin(audio, fmin=75, fmax=500, sr=sr)
f0_voiced = f0[voiced_flag & ~np.isnan(f0)]
# Энергия
rms = librosa.feature.rms(y=audio, frame_length=2048, hop_length=512)[0]
# Spectral features для HNR proxy
zcr = librosa.feature.zero_crossing_rate(audio)[0]
return EmotionalAcoustics(
f0_mean=float(np.mean(f0_voiced)) if len(f0_voiced) > 0 else 0,
f0_range=float(np.ptp(f0_voiced)) if len(f0_voiced) > 0 else 0,
f0_std=float(np.std(f0_voiced)) if len(f0_voiced) > 0 else 0,
speaking_rate=estimate_speaking_rate(audio, sr),
energy_mean=float(np.mean(rms)),
jitter=estimate_jitter(f0_voiced),
shimmer=estimate_shimmer(rms),
hnr=float(1.0 / (np.mean(zcr) + 1e-8))
)
Система анализирует акустические характеристики голоса: частоту основного тона (F0), темп речи, энергию, джиттер, шиммер. Эти признаки меняются при стрессе и агрессии, независимо от содержания речи. Анализ ведётся каждые 3 секунды, что позволяет реагировать мгновенно.
Какие акустические признаки указывают на стресс?
Эвристические правила (например, «если громкость > порога — агрессия») дают точность ~60%. Наш ML-классификатор на основе Gradient Boosting или нейросети (PyTorch) повышает точность до 85% и выше. Ключевое преимущество — учёт индивидуального baseline голоса. Первые 10 секунд разговора система запоминает «норму» для конкретного клиента и определяет отклонения от неё.
Сравните: правила дают 60% точности, наша модель — 85%. Это в 1.4 раза точнее, что критически снижает количество ложных срабатываний и пропусков.
from sklearn.ensemble import GradientBoostingClassifier
import joblib
class StressAggressionClassifier:
LABELS = {0: "neutral", 1: "stressed", 2: "aggressive"}
def __init__(self, model_path: str):
self.model = joblib.load(model_path)
self.baseline = {} # персональный baseline первых 10 секунд
def classify(
self,
features: EmotionalAcoustics,
baseline: EmotionalAcoustics = None
) -> dict:
feat_vector = self._to_vector(features)
if baseline:
# Нормализуем относительно персонального baseline
base_vector = self._to_vector(baseline)
feat_vector = (feat_vector - base_vector) / (base_vector + 1e-8)
proba = self.model.predict_proba([feat_vector])[0]
label_id = np.argmax(proba)
return {
"label": self.LABELS[label_id],
"confidence": float(proba[label_id]),
"probabilities": {self.LABELS[i]: float(p) for i, p in enumerate(proba)}
}
Как классификатор учитывает индивидуальный baseline?
Для каждого клиента в начале звонка мы вычисляем baseline — усреднённые акустические характеристики за первые 10 секунд. Все последующие признаки нормализуются относительно него. Это позволяет отличить «тихого от природы» человека от внезапно притихшего в стрессе. Без baseline модель часто путает спокойную агрессию с нейтральным состоянием.
Обучение на датасете эмоций
Используем RAVDESS (английский) + EMOVO + кастомные записи с разметкой. Для русского — RESD (Russian Emotional Speech Dataset) или собственная разметка.
Производительность после обучения: accuracy ~78–85% на 3 классах (neutral / stressed / aggressive). Сравнение: эвристические правила дают 60% точности, наша модель — 85% — это в 1.4 раза лучше.
Сравнение подходов
| Метод | Точность | Учёт baseline | Время реакции |
|---|---|---|---|
| Эвристические правила | ~60% | Нет | Мгновенно |
| ML-классификатор (Gradient Boosting) | 78–85% | Да | 3 секунды |
| Нейросеть (PyTorch) | до 90%+ | Да | 3–5 секунд |
Этапы работы над проектом
- Аналитика — аудит процессов, сбор требований, оценка объёма данных.
- Сбор данных и разметка — если нет готового датасета, записываем звонки и размечаем эмоции вручную (2–4 недели).
- Разработка ML-пайплайна — извлечение признаков, обучение модели (Gradient Boosting или нейросеть на PyTorch), валидация.
- Интеграция — REST API или gRPC сервис, обработка потока аудио, алерты в CRM.
- Тестирование — A/B тест на 10% звонков, сравнение с текущей системой.
- Деплой и сопровождение — контейнеризация (Docker + Kubernetes), мониторинг дрейфа данных.
Что входит в работу?
- Датасет (сбор, очистка, разметка) — при необходимости.
- Обученная модель в формате ONNX или TorchScript.
- REST API для инференса с документацией.
- Интеграция с вашей SIP-инфраструктурой или CRM.
- Дашборд статистики (распределение эмоций, тренды, SLA).
- Обучение операторов и супервизоров.
- Гарантия на качество модели (accuracy не ниже 80% на контрольной выборке).
Сроки и стоимость
| Этап | Срок | Условия |
|---|---|---|
| Модель на готовом датасете (2–3 класса) | 2–3 недели | Да, если подходит открытый датасет |
| Сбор и разметка данных с нуля | 2–3 месяца | Расширенный объём работ |
| Интеграция и деплой | 1–2 недели | Под ключ, полная документация |
Стоимость рассчитывается индивидуально после анализа данных и требований.
Типичные ошибки при внедрении
- Использование одной и той же модели для разных акцентов и языков без адаптации.
- Отсутствие baseline — приводит к ложным срабатываниям на «эмоциональных» клиентах.
- Попытка распознавать больше 3–4 классов — accuracy падает до 60%.
- Игнорирование дрейфа данных: модель требует периодического дообучения на новых записях.
Закажите пилотный проект или технический аудит — мы оценим точность на ваших данных и предложим оптимальное решение. Получите консультацию по интеграции без обязательств.
CLASSIFICATION_WINDOW_SEC = 3.0 # анализируем каждые 3 секунды
async def continuous_emotion_monitoring(call_id: str, audio_stream):
classifier = StressAggressionClassifier("models/stress_model.pkl")
baseline = None
buffer = bytearray()
async for chunk in audio_stream:
buffer.extend(chunk)
if len(buffer) >= 16000 * CLASSIFICATION_WINDOW_SEC * 2:
audio = np.frombuffer(buffer, dtype=np.int16).astype(np.float32) / 32768.0
features = extract_stress_features(audio)
# Первые 10 сек — устанавливаем baseline
if baseline is None and len(buffer) < 160000:
baseline = features
buffer = bytearray()
continue
result = classifier.classify(features, baseline)
if result["label"] == "aggressive" and result["confidence"] > 0.75:
await trigger_aggression_alert(call_id, result)
buffer = bytearray()
Сроки: классификатор на готовом датасете — 2–3 недели. Сбор датасета и обучение с нуля — 2–3 месяца. Свяжитесь с нами для обсуждения вашего проекта.