Голосовые и чат-агенты на Voiceflow: разработка под ключ

Проектируем и внедряем системы искусственного интеллекта: от прототипа до production-ready решения. Наша команда объединяет экспертизу в машинном обучении, дата-инжиниринге и MLOps, чтобы AI работал не в лаборатории, а в реальном бизнесе.
Показано 1 из 1Все 1564 услуг
Голосовые и чат-агенты на Voiceflow: разработка под ключ
Простой
от 1 дня до 3 дней
Часто задаваемые вопросы

Направления AI-разработки

Этапы разработки AI-решения

Последние работы

  • image_website-b2b-advance_0.webp
    Разработка сайта компании B2B ADVANCE
    1349
  • image_web-applications_feedme_466_0.webp
    Разработка веб-приложения для компании FEEDME
    1247
  • image_websites_belfingroup_462_0.webp
    Разработка веб-сайта для компании БЕЛФИНГРУПП
    949
  • image_ecommerce_furnoro_435_0.webp
    Разработка интернет магазина для компании FURNORO
    1183
  • image_logo-advance_0.webp
    Разработка логотипа компании B2B Advance
    642
  • image_crm_enviok_479_0.webp
    Разработка веб-приложения для компании Enviok
    921

Голосовые и чат-агенты на Voiceflow: разработка под ключ

Типичный запрос: «У нас уже есть FAQ и база знаний, хотим, чтобы клиенты в чате или по телефону получали ответы без оператора». Часто такие проекты упираются в ручную логику — каждый канал (Web, Telegram, Twilio) живёт отдельно, и поддержка одного диалога требует дублирования на трёх платформах. Voiceflow решает это одним визуальным холстом: создаёте флоу один раз — разворачиваете везде.

Но есть нюанс: просто нарисовать граф недостаточно. Надо правильно настроить интеграции, обучить RAG, оптимизировать TTS для голоса и выстроить fallback-сценарии. Без этого агент будет терять контекст, давать нерелевантные ответы или зацикливаться. Мы берём на себя полный цикл, чтобы вы получили production-ready решение.

Наши инженеры имеют опыт работы с голосовыми агентами на Twilio, чат-ботами для мессенджеров и встраиванием RAG на основе Pinecone или ChromaDB. В результате — агент, который понимает до 90% запросов без участия оператора.

Как Voiceflow решает проблему дублирования логики?

Благодаря единому runtime-агенту: диалоговый граф компилируется в абстрактное представление, которое может быть вызвано из любого канала через API или SDK. Например, для Twilio используется голосовой канал, для веба — чат-виджет, но флоу остаётся одним. Это сокращает время разработки мультиканальных решений в 2-3 раза по сравнению с раздельной реализацией.

Архитектура мультиканального агента

Voiceflow Canvas (визуальный редактор)
            ↓
      Agent Runtime
     /      |      \
 Voice    Chat    API
(Twilio) (Web)  (Custom)

Типы блоков и их назначение

  • Speak / Text — ответ агента
  • Choice — кнопки или ключевые фразы для выбора
  • Capture — захват пользовательского ввода (entity extraction)
  • API Block — HTTP-запрос к внешнему сервису
  • Code Block — JavaScript-логика для сложных вычислений
  • AI Response — генеративный ответ через GPT с контекстом

Интеграция через Voiceflow Dialog Manager API

import requests

class VoiceflowDMClient:
    """Взаимодействие с агентом через Dialog Manager API"""

    def __init__(self, api_key: str, version_id: str):
        self.api_key = api_key
        self.version_id = version_id
        self.base_url = "https://general-runtime.voiceflow.com"
        self.headers = {
            "Authorization": api_key,
            "versionID": version_id,
            "Content-Type": "application/json"
        }

    def send_message(self, user_id: str,
                      message: str,
                      variables: dict = None) -> list[dict]:
        """
        Отправка сообщения и получение ответов агента.
        user_id: уникальный идентификатор сессии/пользователя
        Returns: список ответных трейсов (текст, кнопки, аудио)
        """
        payload = {
            "action": {
                "type": "text",
                "payload": message
            },
            "config": {
                "tts": False,
                "stripSSML": True
            }
        }

        if variables:
            payload["variables"] = variables

        response = requests.post(
            f"{self.base_url}/state/user/{user_id}/interact",
            json=payload,
            headers=self.headers
        )
        traces = response.json()

        # Парсим ответы
        responses = []
        for trace in traces:
            if trace["type"] == "text":
                responses.append({
                    "type": "text",
                    "content": trace["payload"]["message"]
                })
            elif trace["type"] == "choice":
                responses.append({
                    "type": "buttons",
                    "buttons": [b["name"] for b in trace["payload"]["buttons"]]
                })
            elif trace["type"] == "end":
                responses.append({"type": "end"})

        return responses

    def launch_session(self, user_id: str,
                        variables: dict = None) -> list[dict]:
        """Запуск новой сессии (начало диалога)"""
        payload = {"action": {"type": "launch"}}
        if variables:
            payload["variables"] = variables

        response = requests.post(
            f"{self.base_url}/state/user/{user_id}/interact",
            json=payload,
            headers=self.headers
        )
        return response.json()

Как интегрировать Voiceflow с вашим сайтом за 5 шагов

  1. Создайте агента в Voiceflow и настройте базовый флоу (приветствие, обработка интентов, fallback).
  2. Скопируйте Dialog Manager API ключ из настроек версии.
  3. Настройте HTTP-запросы с вашего сервера к эндпоинту /state/user/{user_id}/interact.
  4. Реализуйте обработку ответов: текст, кнопки, конец сессии.
  5. Подключите канал (веб-чат, Twilio, Telegram) через соответствующий SDK или виджет.

Почему Voiceflow лучше классических фреймворков (Rasa, Dialogflow)?

Voiceflow выигрывает в скорости прототипирования в 3-5 раз — для MVP достаточно недели вместо месяца. При этом не уступает в интеграциях: Knowledge Base блок поддерживает векторный поиск (embedding 1536-dim) через Pinecone/ChromaDB, что даёт RAG-агентам релевантность на уровне 90%+. Для кастомной логики доступен Code Block на JavaScript — можно реализовать сложную валидацию или вызов внешних API.

Сравнение Voiceflow, Rasa и Dialogflow

Параметр Voiceflow Rasa Dialogflow
Время прототипа 1-7 дней 2-4 недели 1-2 недели
Визуальный редактор + (drag-n-drop) - (код) + (частично)
Знание кода низкое высокое среднее
Поддержка голоса + (Twilio, Alexa) +/- (кастом) + (Telephony)
RAG из коробки + (Knowledge Base) +/- (требуется интеграция) +/- (Enterprise)
Масштабирование облачное, автоматическое требует инфраструктуры облачное

Что входит в работу?

Этап Что делаем Срок (рабочих дней)
Аудит Анализ существующих процессов, сбор базы знаний, определение интентов 2-3 дня
Проектирование Диаграмма диалогов, маппинг entities, выбор каналов 3-5 дней
Разработка Сборка графа в Voiceflow, настройка интеграций (API, Code Block) 5-10 дней
Тестирование QA по всем каналам, A/B тестирование интентов, проверка latency 3-5 дней
Деплой и сопровождение Развёртывание в production, мониторинг, обучение команды 2-3 дня

При интеграции с Twilio мы используем готовый шаблон и помогаем с настройкой SSML для естественного звучания речи. Что вы получаете: документацию на флоу, доступы к среде, обучение операторов (1-2 часа), гарантию корректной работы 30 дней после релиза.

Типичные ошибки при разработке на Voiceflow

  • Игнорирование fallback-сценариев. Если агент не распознаёт интент — он должен мягко переспросить, а не падать в бесконечный цикл. Рекомендуем добавлять 2-3 уровня fallback с эскалацией на оператора.
  • Переусложнение графа. Voiceflow визуален, но если Canvas содержит 200+ блоков, его сложно поддерживать. Лучше разделять на sub-блоки (модули) по функциям.
  • Неоптимизированный TTS. Для голосовых каналов (Twilio) важно настраивать SSML-теги (паузы, акценты), иначе речь звучит неестественно.

Как начать?

Оценим ваш проект за 1-2 дня: проанализируем сценарии, посчитаем число интентов, подберём каналы. Получите консультацию — просто свяжитесь с нами. Работаем под ключ с гарантией качества и соблюдением SLA.

Свяжитесь с нами, чтобы обсудить ваш проект. Закажите консультацию — оценим сценарии за 1-2 дня.

Распознавание и синтез речи: ASR, TTS, клонирование голоса

Заказчик приходит с задачей: транскрибировать 40 000 часов колл-центра за неделю. Штатный облачный ASR (Google Speech-to-Text) выдаёт WER 28% на отраслевой лексике и стоит ощутимо дорого при таких объёмах. Задача — снизить WER ниже 10% и перейти на self-hosted инференс.

Типовые проблемы, с которыми приходят

WER не сходится к нужной метрике. Чаще всего виновата не архитектура, а данные: шумные аудио без нормализации уровня (-23 LUFS вместо стандарта), смешанные языки в одном канале, акцент, специфическая доменная лексика. Whisper large-v3 из коробки даёт WER 8–12% на чистом русском и проваливается до 25–35% на записях с PSTN-артефактами и узкополосным кодеком G.711.

Диаризация ломается при больше двух спикеров. pyannote/speaker-diarization-3.1 работает стабильно при 2–3 говорящих, но DER (Diarization Error Rate) растёт с 6% до 18–22% при 5+ участниках конференции. Проблема усугубляется перекрёстными репликами: по умолчанию min_duration_on=0.1 срезает короткие вставки.

Клонирование голоса — латентность или качество. XTTS v2 (Coqui) даёт натуральный голос, но при потоковой генерации stream_chunk_size=20 первый аудиочанк прилетает через 1.4–2.0 с — неприемлемо для интерактивных сценариев. StyleTTS2 и Kokoro быстрее, но требуют точной подготовки референсного аудио.

Как это решается на практике

Базовый стек для production-пайплайна:

  • ASR: openai/whisper-large-v3 или faster-whisper (CTranslate2-бэкенд, x4 скорость vs оригинал)
  • Диаризация: pyannote.audio 3.x + интеграция через whisperx для выравнивания по словам
  • TTS: XTTS v2 для качества, Edge-TTS или Silero для низкой латентности
  • Клонирование: XTTS v2 (3–6 с референсного аудио) или OpenVoice v2

Типичный пайплайн для колл-центра выглядит так: аудио из очереди Kafka → нормализация ffmpeg -af loudnorm до -23 LUFS → faster-whisper с beam_size=5, vad_filter=Truepyannote диаризация → постпроцессинг (пунктуация через deepmultilingualpunctuation) → запись в PostgreSQL с временными метками.

Кейс из практики. Финтех-компания с 12 000 звонков/день. Исходный WER на русском с банковской лексикой — 22% (Google STT). После fine-tuning whisper-medium на 200 часах размеченных записей через Hugging Face transformers + Seq2SeqTrainer с learning_rate=1e-5, warmup_steps=500 — WER упал до 7.3%. Инференс на одной A10G через faster-whisper с compute_type=float16 обрабатывает 40-минутный звонок за 55 секунд. Итоговая стоимость инференса — $0.0008/мин против $0.016/мин у облачного провайдера.

Дообучение Whisper на доменных данных

Когда общая модель не справляется, fine-tuning — первый инструмент. Минимальный датасет для заметного улучшения — 20–30 часов размеченного аудио в целевом домене. Разметку можно получить через итеративный процесс: прогнать через базовую модель → вручную исправить 10–15% ошибок → переобучить → повторить.

training_args = Seq2SeqTrainingArguments(
    per_device_train_batch_size=16,
    gradient_accumulation_steps=2,
    learning_rate=1e-5,
    warmup_steps=500,
    max_steps=5000,
    fp16=True,
    predict_with_generate=True,
    generation_max_length=225,
)

Важно: при fine-tuning Whisper нужно замораживать encoder первые 1000 шагов (model.freeze_encoder()), иначе акустические признаки разъедутся раньше, чем decoder адаптируется к новой лексике.

Синтез речи: выбор под задачу

Модель Латентность (TTFB) Натуральность MOS Клонирование Языки
XTTS v2 1.2–2.0 с 4.1–4.3 Да, 3 с референса 17
StyleTTS2 0.3–0.6 с 4.0–4.2 Да, требует адаптации en, + fine-tune
Kokoro-82M 0.08–0.15 с 3.7–3.9 Нет en, ja
Silero TTS 0.05–0.1 с 3.4–3.6 Нет ru, en, de, и др.
Edge-TTS ~0.4 с (cloud) 4.0 Нет 100+

Для интерактивных ботов с требованием TTFB < 300 мс — Silero или Kokoro. Для озвучки контента, где важна натуральность — XTTS v2 с потоковой отдачей через WebSocket.

Процесс работы

Начинаем с аудит-сессии: берём 2–4 часа ваших записей, прогоняем через несколько моделей, замеряем WER/CER, смотрим на распределение ошибок по типам (лексические, акустические, язык). Это занимает 1–2 дня и сразу показывает, нужен ли fine-tuning или достаточно пост-обработки.

Далее — выбор архитектуры под ваш throughput: один GPU для 1000 мин/день или кластер с балансировщиком для 100 000+ мин/день. Деплой через Docker-контейнер с FastAPI или Triton Inference Server для батчированного инференса.

Сроки зависят от сложности: базовая интеграция готовой модели — 1–2 недели. Fine-tuning с подготовкой данных и валидацией — 4–8 недель. Полная разработка голосового пайплайна (ASR + диаризация + TTS + мониторинг) — 2–4 месяца.