Реализация голосового AI-бота для подтверждения заказов

Проектируем и внедряем системы искусственного интеллекта: от прототипа до production-ready решения. Наша команда объединяет экспертизу в машинном обучении, дата-инжиниринге и MLOps, чтобы AI работал не в лаборатории, а в реальном бизнесе.
Показано 1 из 1Все 1564 услуг
Реализация голосового AI-бота для подтверждения заказов
Средний
от 1 недели до 3 месяцев
Часто задаваемые вопросы

Направления AI-разработки

Этапы разработки AI-решения

Последние работы

  • image_website-b2b-advance_0.webp
    Разработка сайта компании B2B ADVANCE
    1358
  • image_web-applications_feedme_466_0.webp
    Разработка веб-приложения для компании FEEDME
    1250
  • image_websites_belfingroup_462_0.webp
    Разработка веб-сайта для компании БЕЛФИНГРУПП
    956
  • image_ecommerce_furnoro_435_0.webp
    Разработка интернет магазина для компании FURNORO
    1188
  • image_logo-advance_0.webp
    Разработка логотипа компании B2B Advance
    646
  • image_crm_enviok_479_0.webp
    Разработка веб-приложения для компании Enviok
    929

Реализация голосового AI-бота для подтверждения заказов

При пиковых нагрузках — акции, распродажи, чёрные пятницы — операторы кол-центра не справляются с потоком звонков. До 30% заказов остаются неподтверждёнными, а каждый пятый клиент жалуется на долгое ожидание. Голосовой AI-бот на базе GPT-4o решает эту проблему: обрабатывает до 500 звонков в час с конверсией подтверждения 85–92% и стоимостью звонка, значительно ниже операторского. Мы внедрили такие решения для 50+ интернет-магазинов — от локальных до федеральных сетей, имея более 5 лет опыта в разработке голосовых AI-решений.

Технически бот представляет собой цепочку: STT (распознавание речи) → NLU (классификация намерений через GPT-4o-mini) → TTS (синтез ответа) → API CRM. Мы используем асинхронную архитектуру на Python с очередями задач, что обеспечивает latency p99 менее 2 секунд. Интеграция с вашей CRM занимает 1–2 дня через REST API или webhook.

Сравните два подхода: классический кол-центр и AI-бот. Вот ключевые показатели:

Параметр Оператор Голосовой бот (GPT-4o)
Средняя длительность звонка 90–180 с 45–90 с
Стоимость одного звонка Высокая Низкая
Доля подтверждений 80–88% 85–92%
Доступность 24/7 Нет Да
Обработка 100+ звонков в час Требует 3+ операторов 1 инстанс бота

Бот не берёт больничный, не ошибается в данных заказа и всегда говорит по скрипту. Единственный минус — сложность эмпатии в нестандартных диалогах, но мы закрываем это переводом на оператора при негативных эмоциях.

Почему голосовой бот эффективнее оператора?

У бота нет усталости, а его производительность линейно масштабируется. Один экземпляр обрабатывает 500 звонков в час — для достижения такой же пропускной способности нужно нанять 5–6 операторов. При этом стоимость одного звонка у бота существенно ниже.

Как реализовать обработку намерений клиента?

Ключевая задача — классифицировать ответ клиента: подтверждение, отмена, изменение адреса, запрос повторения информации. Мы используем gpt-4o-mini с принудительным JSON-выходом. Это дешевле (стоимость за 1М токенов низкая) и точнее, чем регулярки или легковесные NLU-модели.

import json
from openai import AsyncOpenAI

client = AsyncOpenAI()

async def classify_intent(text: str) -> dict:
    response = await client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[
            {
                "role": "system",
                "content": """Ты классификатор намерений для звонка подтверждения заказа.
                Ответь JSON с полями:
                - action: "confirm" | "cancel" | "change_address" | "change_date" | "repeat_info" | "unknown"
                - entities: словарь извлечённых данных (адрес, дата и т.д.)"""
            },
            {"role": "user", "content": text}
        ],
        response_format={"type": "json_object"}
    )
    return json.loads(response.choices[0].message.content)

По данным наших проектов, точность классификации на русском языке — 97% для первых 3 намерений.

Выбор STT и TTS

Модель Задержка Стоимость за минуту Качество для русского
Whisper 1–2 с Низкая Отличное
Deepgram 0.5–1 с Средняя Хорошее
ElevenLabs 0.8–1.5 с Низкая Отличное (TTS)
OpenAI TTS 0.5–1 с Высокая Хорошее (TTS)

Выбор зависит от приоритета: минимальная задержка или качество голоса. Для русского языка оптимальная пара — Whisper + ElevenLabs.

Интеграция с API заказов

Боту нужно не только распознать намерение, но и обновить статус в вашей системе. Мы используем asyncio с повторными попытками и Circuit Breaker.

import aiohttp

async def update_order(order_id: str, status: str, data: dict = None):
    async with aiohttp.ClientSession() as session:
        for attempt in range(3):
            async with session.patch(
                f"{ORDERS_API}/orders/{order_id}",
                json={"status": status, "confirm_data": data},
                headers={"Authorization": f"Bearer {API_TOKEN}"}
            ) as resp:
                if resp.status == 200:
                    return await resp.json()
                await asyncio.sleep(2 ** attempt)  # exponential backoff
    raise Exception("Update failed after 3 retries")

Статусы: confirmed, cancelled, address_changed, date_changed. После обновления бот сообщает клиенту новый статус и завершает диалог.

Как избежать типичных ошибок при внедрении?

  • Приветствие не длиннее 15 секунд — иначе клиент кладёт трубку.
  • Обязательная проверка дублей звонков: не обзванивать уже подтверждённые заказы.
  • Учёт часовых поясов — звонок в 8 утра по местному времени даёт отказ.
  • Скрипт должен иметь ветвления для нестандартных вопросов (например, "где сейчас заказ?").
  • Надёжная интеграция: статус в CRM меняется синхронно с ответом бота.

Процесс работы под ключ

  1. Аудит — разбираем ваш сценарий звонка, API-схему, SKU, ограничения (1–2 дня).
  2. Проектирование — проектируем диалоговый граф, настраиваем STT/TTS, определяем fallback-стратегию (2–3 дня).
  3. Разработка — пишем скрипты на Python с использованием LangChain для RAG-контекста (если подгружаются данные из базы товаров) (5–7 дней).
  4. Интеграция — подключаемся к вашей CRM через REST API или webhook, настраиваем логирование (2–3 дня).
  5. Тестирование — прогоняем 100+ тестовых звонков, корректируем тональность и скорость речи (2 дня).
  6. Деплой — разворачиваем контейнеры в облаке (AWS/GCP/on-prem), подключаем номер SIP или входящую линию (1 день).

Сроки ориентировочно

  • MVP (один скрипт, мелкооптовые заказы) — от 2 до 3 недель.
  • Полноценная система с кампаниями, A/B-тестированием и аналитикой — от 4 до 6 недель.

Точные сроки называем после аудита. Стоимость рассчитывается индивидуально — вы можете стартовать с пилота за меньшие деньги.

Что входит в работу

  • Диалоговый граф в формате JSON (можно править без кодера)
  • Адаптация STT/TTS под голосовой тон бренда
  • Интеграция с вашей CRM/ERP (REST API, webhook)
  • Дашборд метрик (Grafana) с десятками графиков
  • Инструкция по эксплуатации и 1 месяц поддержки
  • Консультация по оптимизации скрипта на основе логов

Мы гарантируем Confirmation Rate >85% после двух недель обкатки. Если показатель ниже — дорабатываем сценарий бесплатно. Получите консультацию по вашему сценарию — оцените увеличение подтверждений в первые же дни. Свяжитесь с нами для быстрой оценки проекта. Закажите демонстрацию работы бота на ваших данных.

Распознавание и синтез речи: ASR, TTS, клонирование голоса

Заказчик приходит с задачей: транскрибировать 40 000 часов колл-центра за неделю. Штатный облачный ASR (Google Speech-to-Text) выдаёт WER 28% на отраслевой лексике и стоит ощутимо дорого при таких объёмах. Задача — снизить WER ниже 10% и перейти на self-hosted инференс.

Типовые проблемы, с которыми приходят

WER не сходится к нужной метрике. Чаще всего виновата не архитектура, а данные: шумные аудио без нормализации уровня (-23 LUFS вместо стандарта), смешанные языки в одном канале, акцент, специфическая доменная лексика. Whisper large-v3 из коробки даёт WER 8–12% на чистом русском и проваливается до 25–35% на записях с PSTN-артефактами и узкополосным кодеком G.711.

Диаризация ломается при больше двух спикеров. pyannote/speaker-diarization-3.1 работает стабильно при 2–3 говорящих, но DER (Diarization Error Rate) растёт с 6% до 18–22% при 5+ участниках конференции. Проблема усугубляется перекрёстными репликами: по умолчанию min_duration_on=0.1 срезает короткие вставки.

Клонирование голоса — латентность или качество. XTTS v2 (Coqui) даёт натуральный голос, но при потоковой генерации stream_chunk_size=20 первый аудиочанк прилетает через 1.4–2.0 с — неприемлемо для интерактивных сценариев. StyleTTS2 и Kokoro быстрее, но требуют точной подготовки референсного аудио.

Как это решается на практике

Базовый стек для production-пайплайна:

  • ASR: openai/whisper-large-v3 или faster-whisper (CTranslate2-бэкенд, x4 скорость vs оригинал)
  • Диаризация: pyannote.audio 3.x + интеграция через whisperx для выравнивания по словам
  • TTS: XTTS v2 для качества, Edge-TTS или Silero для низкой латентности
  • Клонирование: XTTS v2 (3–6 с референсного аудио) или OpenVoice v2

Типичный пайплайн для колл-центра выглядит так: аудио из очереди Kafka → нормализация ffmpeg -af loudnorm до -23 LUFS → faster-whisper с beam_size=5, vad_filter=Truepyannote диаризация → постпроцессинг (пунктуация через deepmultilingualpunctuation) → запись в PostgreSQL с временными метками.

Кейс из практики. Финтех-компания с 12 000 звонков/день. Исходный WER на русском с банковской лексикой — 22% (Google STT). После fine-tuning whisper-medium на 200 часах размеченных записей через Hugging Face transformers + Seq2SeqTrainer с learning_rate=1e-5, warmup_steps=500 — WER упал до 7.3%. Инференс на одной A10G через faster-whisper с compute_type=float16 обрабатывает 40-минутный звонок за 55 секунд. Итоговая стоимость инференса — $0.0008/мин против $0.016/мин у облачного провайдера.

Дообучение Whisper на доменных данных

Когда общая модель не справляется, fine-tuning — первый инструмент. Минимальный датасет для заметного улучшения — 20–30 часов размеченного аудио в целевом домене. Разметку можно получить через итеративный процесс: прогнать через базовую модель → вручную исправить 10–15% ошибок → переобучить → повторить.

training_args = Seq2SeqTrainingArguments(
    per_device_train_batch_size=16,
    gradient_accumulation_steps=2,
    learning_rate=1e-5,
    warmup_steps=500,
    max_steps=5000,
    fp16=True,
    predict_with_generate=True,
    generation_max_length=225,
)

Важно: при fine-tuning Whisper нужно замораживать encoder первые 1000 шагов (model.freeze_encoder()), иначе акустические признаки разъедутся раньше, чем decoder адаптируется к новой лексике.

Синтез речи: выбор под задачу

Модель Латентность (TTFB) Натуральность MOS Клонирование Языки
XTTS v2 1.2–2.0 с 4.1–4.3 Да, 3 с референса 17
StyleTTS2 0.3–0.6 с 4.0–4.2 Да, требует адаптации en, + fine-tune
Kokoro-82M 0.08–0.15 с 3.7–3.9 Нет en, ja
Silero TTS 0.05–0.1 с 3.4–3.6 Нет ru, en, de, и др.
Edge-TTS ~0.4 с (cloud) 4.0 Нет 100+

Для интерактивных ботов с требованием TTFB < 300 мс — Silero или Kokoro. Для озвучки контента, где важна натуральность — XTTS v2 с потоковой отдачей через WebSocket.

Процесс работы

Начинаем с аудит-сессии: берём 2–4 часа ваших записей, прогоняем через несколько моделей, замеряем WER/CER, смотрим на распределение ошибок по типам (лексические, акустические, язык). Это занимает 1–2 дня и сразу показывает, нужен ли fine-tuning или достаточно пост-обработки.

Далее — выбор архитектуры под ваш throughput: один GPU для 1000 мин/день или кластер с балансировщиком для 100 000+ мин/день. Деплой через Docker-контейнер с FastAPI или Triton Inference Server для батчированного инференса.

Сроки зависят от сложности: базовая интеграция готовой модели — 1–2 недели. Fine-tuning с подготовкой данных и валидацией — 4–8 недель. Полная разработка голосового пайплайна (ASR + диаризация + TTS + мониторинг) — 2–4 месяца.