Мы часто сталкиваемся с ситуацией: клиенту нужно транскрибировать сотни часов аудио ежемесячно. Облачные API либо дороги, либо небезопасны — данные уходят на сторону, а стоимость растёт линейно. Self-hosted Whisper даёт полный контроль над данными, предсказуемую стоимость при больших объёмах и возможность тонкой настройки под конкретный акцент или домен. Например, на одном из проектов мы развернули Whisper large-v3 на двух A10G, обрабатывая до 8 часов аудио в час с точностью сопоставимой с облачным решением, но с экономией более чем в 4 раза. При этом мы использовали VAD-фильтр и word_timestamps для синхронизации субтитров. Такая конфигурация позволяет обрабатывать до 2000 часов аудио в месяц на одном GPU-сервере. Для оценки вашей нагрузки свяжитесь с нашим инженером — мы подберём оптимальную конфигурацию.
Какие проблемы решаем?
- Низкая точность на шумных аудио: VAD-фильтр и настройка beam_size улучшают распознавание. Мы настраиваем параметры под ваш тип аудио.
- Высокая задержка при потоковой записи: используем чанкирование и WebSocket.
- Отсутствие мониторинга: Prometheus + Grafana отслеживают GPU utilization и глубину очереди.
Как развернуть Whisper на выделенном сервере?
Архитектура production-развёртывания включает несколько ключевых компонентов:
Audio Input → Nginx → FastAPI Workers → Whisper Workers (GPU) → PostgreSQL
↓ ↓
Redis Queue S3 Storage
Основные компоненты:
- FastAPI — REST API для приёма задач
- Celery — очередь асинхронной обработки
- Redis — брокер задач и кэш
- faster-whisper — inference engine (CTranslate2)
- PostgreSQL — хранение транскрипций и метаданных
Пошаговая инструкция настройки:
- Установите Docker и NVIDIA Container Toolkit.
- Соберите образ воркера с faster-whisper и зависимостями.
- Запустите Redis и PostgreSQL.
- Разверните FastAPI-приложение, реализующее REST-эндпоинты.
- Запустите Celery worker с привязкой к GPU через
--gpus all. - Настройте мониторинг через Prometheus и Grafana.
- Протестируйте на тестовых аудиофайлах, варьируя язык и длительность.
Процесс настройки воркера
Конфигурация Celery worker для faster-whisper с поддержкой retry и мониторингом:
from celery import Celery
from faster_whisper import WhisperModel
app = Celery('whisper_tasks', broker='redis://localhost:6379/0')
model = WhisperModel("large-v3", device="cuda", compute_type="int8_float16")
@app.task(bind=True, max_retries=3)
def transcribe_audio(self, file_path: str, language: str = None):
try:
segments, info = model.transcribe(
file_path,
language=language,
vad_filter=True,
word_timestamps=True
)
return {
"language": info.language,
"duration": info.duration,
"segments": [
{"start": s.start, "end": s.end, "text": s.text}
for s in segments
]
}
except Exception as exc:
raise self.retry(exc=exc, countdown=60)
Требования к железу
Для запуска Whisper необходима дискретная видеокарта NVIDIA с поддержкой CUDA. Рекомендуемые конфигурации в зависимости от нагрузки:
| Нагрузка | GPU | RAM | Диск |
|---|---|---|---|
| до 10 часов/день | RTX 3080 10GB | 16 GB | 100 GB SSD |
| до 100 часов/день | RTX 4090 | 32 GB | 500 GB SSD |
| более 100 часов/день | 2x A10G | 64 GB | 2 TB NVMe |
Как выбрать правильную модель Whisper?
Выбор модели влияет на точность и скорость. В production чаще всего используют large-v3, но для лёгких задач подойдёт medium. Сравнение на основе данных faster-whisper:
| Модель | VRAM | Скорость (xRT) | WER (англ.) |
|---|---|---|---|
| tiny | ~1 GB | ~32x | ~7.7% |
| base | ~1 GB | ~16x | ~5.2% |
| small | ~2 GB | ~6x | ~4.0% |
| medium | ~5 GB | ~2x | ~3.0% |
| large-v3 | ~10 GB | ~1x | ~2.2% |
*Скорость относительно real-time (xRT: чем больше, тем быстрее).
Мониторинг и надёжность
- Celery Flower для мониторинга очереди задач
- Prometheus + Grafana для метрик GPU utilization и queue depth
- Автоматический рестарт воркеров через systemd
- Healthcheck endpoint с проверкой GPU доступности
Пример docker-compose.yml для развёртывания
version: '3.8'
services:
redis:
image: redis:7
db:
image: postgres:15
api:
build: ./api
depends_on: [redis, db]
worker:
build: ./worker
deploy:
resources:
reservations:
devices:
- capabilities: [gpu]
Экономические преимущества self-hosted Whisper
При транскрибации от 3000 минут в месяц собственный сервер окупается быстрее. Облачные тарифы линейны, тогда как self-hosted на A10G при загрузке 50% даёт экономию в 3-6 раз. Кроме того, вы получаете полный контроль над обработкой данных и можете кастомизировать модель под свою предметную область. Снижение затрат на транскрибацию напрямую улучшает ROI. Закажите консультацию — мы рассчитаем экономию для вашего объёма.
Что входит в работу
- Аудит аудио-нагрузки и подбор конфигурации GPU.
- Развёртывание FastAPI + Celery + Redis + PostgreSQL.
- Настройка faster-whisper с VAD-фильтром и word_timestamps.
- Интеграция с S3-совместимым хранилищем.
- Мониторинг через Prometheus + Grafana.
- Документация API и инструкция по эксплуатации.
- Обучение команды работе с системой.
Сроки и стоимость
- Базовое развёртывание: 2–3 дня.
- С очередью задач и API: 5–7 дней.
- Полная production-система с мониторингом: до 2 недель.
- Стоимость рассчитывается индивидуально под вашу нагрузку и требования.
Наш опыт в развёртывании Whisper — более 30 проектов. Гарантируем стабильную работу и своевременную поддержку. Если вас интересует внедрение self-hosted Whisper, получите консультацию инженера — мы подготовим предложение и оценим проект в течение дня.