AI-система оценки качества перевода: QE без эталонов

Проблема: BLEU не видит ошибок стиля и терминологии

Переводчик потратил два часа на пост-редактирование перевода, который система оценила как 0.95 BLEU. Клиент вернул проект из-за несоответствия style guide и неправильного использования терминов. BLEU сравнивает с эталоном, но эталон часто не учитывает контекст, тон и отраслевую лексику. Мы решаем эту задачу с помощью Quality Estimation (QE) — AI-системы, которая оценивает перевод без эталона, как человек-ревизор. Экономия бюджета на ревью может достигать 60%.

Как работает оценка качества без эталонного перевода (QE)

Quality Estimation анализирует исходный текст и перевод, вычисляя score 0–1 на уровне сегмента, слова и документа. Сегментный уровень показывает, какие предложения требуют проверки. Словный уровень (word-level QE) размечает каждое слово как OK или BAD — ревизор сразу видит ошибку. Документный уровень оценивает когерентность, последовательность терминологии и стилистическое единство.

Как QE экономит 40–60% времени ревизора?

Предположим, вы обрабатываете 10 000 сегментов в день. Без QE ревизор просматривает каждый. С QE — только сегменты с score < 0.7 (обычно 20–30%). При пороге 0.9 для автопубликации, 10–15% сегментов уходят без проверки. Мы внедрили такой pipeline в проекте локализации финтех-приложения: ревизор стал обрабатывать 3 000 сегментов вместо 10 000, ошибки стиля снизились на 80%.

Почему CometKiwi лучше BLEU для QE?

CometKiwi (Unbabel/wmt22-cometkiwi-da) — модель на основе трансформеров, обученная на тысячах оценок от людей. Она превосходит BLEU и традиционные метрики по корреляции с человеческой оценкой. Вот сравнение основных метрик:

CometKiwi не требует эталона и даёт word-level ошибки через MQM-таксономию.

Какие типы ошибок классифицирует QE?

Мы используем MQM-таксономию, которая делит ошибки на четыре класса:

• Accuracy — неверный перевод, пропуски, добавления.
• Fluency — грамматика, орфография, пунктуация.
• Terminology — нарушение глоссария, непоследовательное использование терминов.
• Style — несоответствие tone of voice, стилистические расхождения.

При внедрении QE часто допускают типичные ошибки: используют модель без дообучения под пару языков (падает precision), неправильно выбирают порог score (пропускают ошибки или перегружают ревизора), игнорируют word-level QE (теряют контекст отдельных слов) и не интегрируют MQM (сложно улучшить процесс).

Как мы внедряем QE в ваш pipeline

1. Аудит текущего процесса: замеряем volume, latency, текущие метрики.
2. Выбор модели: CometKiwi, OpenKiwi или дообучение под вашу пару языков.
3. Интеграция: REST API или gRPC — заворачиваем в микросервис.
4. Настройка MQM-таксономии: подключаем классификатор типов ошибок через LLM (GPT-4o или LLaMA 3).
5. Тестирование: замеряем precision/recall на вашем датасете.
6. Деплой: Kubernetes + GPU (T4 или A10).

from transformers import AutoModelForSequenceClassification, AutoTokenizer

class QualityEstimator:
    def __init__(self, model_name: str = "Unbabel/wmt22-cometkiwi-da"):
        self.model = load_comet_model(model_name)

    def estimate_segment(self, source: str, hypothesis: str) -> QEScore:
        score = self.model.predict(
            [{"src": source, "mt": hypothesis}],
            batch_size=8
        ).scores[0]

        return QEScore(
            score=score,              # 0-1, где 1 = отличное качество
            requires_review=score < 0.7,
            error_probability=1 - score
        )

    def estimate_batch(
        self,
        segments: list[tuple[str, str]]
    ) -> list[QEScore]:
        data = [{"src": src, "mt": mt} for src, mt in segments]
        scores = self.model.predict(data, batch_size=32).scores
        return [QEScore(score=s, requires_review=s < 0.7) for s in scores]

Сравнение моделей QE

Что входит в работу

• Аудит текущего pipeline перевода с замером метрик.
• Выбор и настройка QE-модели (CometKiwi, OpenKiwi, дообучение).
• Интеграция через REST API или gRPC с документацией.
• Обучение градации ошибок под вашу MQM-таксономию.
• Развёртывание на инфраструктуре (Kubernetes, GPU).
• Обучение команды и сопровождение 1 месяц.

Сроки и стоимость

Сроки — от 2 до 6 недель в зависимости от сложности (объём, количество языков, необходимость дообучения). Стоимость рассчитывается индивидуально. Получите консультацию — пришлите описание текущего pipeline, и мы оценим проект за 2 дня.

Почему стоит работать с нами

• Более 5 лет опыта в NLP и машинном переводе.
• Реализовали 15+ проектов оценки качества для fintech, e-commerce и локализации ПО.
• Сертифицированные инженеры по PyTorch и MLOps.
• Гарантируем экономию времени ревизора от 40% или вернём деньги.

Подробнее о Quality Estimation на Wikipedia.

Свяжитесь с нами, чтобы получить консультацию по внедрению QE в ваш процесс перевода. Закажите оценку вашего проекта за 2 дня — отправьте описание текущего pipeline.

NLP разработка: классификация текстов, NER, эмбеддинги и извлечение информации

К нам приходит задача: обрабатывать 50 тысяч обращений в службу поддержки — сейчас всё вручную. Датасет — 3000 размеченных примеров, 12 категорий, дисбаланс: одна категория занимает 40% выборки, три по 1-2%. Baseline accuracy — 78%. Звучит неплохо, пока не смотришь на recall по редким классам: 0.31, 0.44, 0.28. Именно эти классы — жалобы и угрозы оттока — важнее всего бизнесу.

Это типичный проект NLP разработки. Проблема не в алгоритме, а в том, что accuracy — не та метрика. Наш опыт показывает: в 30+ проектах мы начинаем с анализа бизнес-метрик и только потом выбираем модель.

Почему accuracy — не та метрика для редких классов?

Accuracy игнорирует дисбаланс. Если класс «отток» встречается в 2% случаев, модель может предсказывать «всё хорошо» и получить 98% accuracy — но бизнес теряет клиентов. Решение: F1 macro (усреднение по всем классам) или weighted F1. Для NER — strict entity F1 (только точные совпадения). Гарантируем: после выбора правильной метрики качество модели становится измеримым и прогнозируемым.

Классификация текста: от BERT до дистилляции

BERT-подобные модели — стандарт для классификации. ruBERT-base или ruBERT-large от DeepPavlov для русского языка. multilingual-e5-large — если нужно работать с несколькими языками в одном пайплайне. XLM-RoBERTa-large — сильный multilingual backbone.

Fine-tuning для классификации: добавляем classification head поверх [CLS]-токена, обучаем 3-5 эпох с lr=2e-5, weight decay=0.01. При дисбалансе — weighted CrossEntropyLoss или focal loss с gamma=2.0. Пишите — покажем code snippet.

Кейс с дисбалансом. Датасет — 3000 примеров, дисбаланс 1:20. Решение: class_weight через sklearn + CrossEntropyLoss. Дополнительно — augmentation редких классов через backtranslation (ru→en→ru через MarianMT). Recall по редким классам вырос с 0.31 до 0.67 при незначительном падении accuracy (76%→74%). Полная NLP разработка под ключ заняла 3 недели.

Дистилляция для production. BERT-large даёт F1 0.89, но inference на CPU — 180ms. Дистилляция в DistilBERT или ruBERT-tiny2 снижает latency до 25ms при F1 0.84. Экспорт в ONNX Runtime даёт дополнительный 1.5-2x. Оценим проект — рассчитаем экономию на инфраструктуре.

NER: распознавание именованных сущностей

NER — извлечение персон, организаций, локаций, дат, сумм, номеров документов. Для общих категорий (PER, ORG, LOC) предобученные модели работают хорошо. Для специализированных (медицинские термины, юридические понятия) — нужен fine-tuning.

Разметка данных. Основная стоимость NER-проекта. Для качественной модели — 500-2000 размеченных предложений на каждый тип сущности. Инструменты: Label Studio (open source) или Prodigy (от создателей spaCy). Формат IOB2 — стандарт.

Архитектура. Token classification поверх BERT: каждому токену метка (B-PER, I-PER, O). spaCy 3.x с transformer pipeline — удобный production-выбор.

Вложенные сущности. Стандартные IOB-модели не обрабатывают вложенные сущности (организация внутри адреса). Для таких задач — span-based NER: SpanBERT или SpERT. Сложнее, но правильно.

Постобработка обязательна. Модель предсказывает токены — нужны нормализованные сущности. Дата — dateparser. Суммы — regex + валидация. Имена — дедупликация через rapidfuzz. Входит в нашу стандартную поставку.

Sentiment Analysis и opinion mining

Бинарная классификация positive/negative работает с BERT из коробки. Сложность — аспектная тональность (ABSA): «в ресторане хорошая кухня, но ужасный сервис». Для ABSA: aspect extraction (NER) + sentiment по каждому аспекту. Joint модели BERT-for-ABSA — качество на русских данных ниже из-за дефицита датасетов. RuSentiment, SentiRuEval — основные ресурсы.

Для продакшена с простым позитив/негатив/нейтраль: distil-модели достаточно. Три класса, balanced датасет, 2000+ примеров — F1 macro 0.82-0.87 за 1-2 дня.

Суммаризация текста

Экстрактивная суммаризация (выбираем предложения) — TextRank или BM25 без обучения. Быстро, не галлюцинирует. Хорошо для длинных документов.

Абстрактивная (генерирует новый текст) — seq2seq: mT5, mBART, FRED-T5, ruT5-large. Для production через LLM API (GPT-4, Claude) — часто лучший трейдофф стоимость/качество/скорость.

Эмбеддинги: векторные представления текста

Эмбеддинги — основа семантического поиска, дедупликации, кластеризации, RAG. Качество критически влияет на downstream задачи.

Модели. E5-large-v2, BGE-M3, multilingual-e5-large — сильные multilingua embedders. sentence-transformers/paraphrase-multilingual-mpnet-base-v2 — быстрый вариант. Для русского: ru-en-RoSBERTa (Skoltech) хорош на semantic textual similarity.

Как оценить качество эмбеддингов? MTEB benchmark — стандарт. Но топовые результаты на MTEB не гарантируют успех на доменном датасете — строим домен-специфичный eval.

Fine-tuning эмбеддингов. Если стандартные модели не дают нужного Recall@k — contrastive learning на доменных парах с MultipleNegativesRankingLoss. 500-2000 пар, 1-3 эпохи — 5-15% прирост Recall@k.

Размерность и хранение. E5-large: 1024 dim, float32 — 4KB на вектор. При 10M документов — 40GB. Квантизация int8 снижает до 10GB. FAISS IVF_PQ — ещё компактнее, но с потерями. Входит в наши рекомендации по деплою.

Извлечение информации

Структурированное извлечение — одна из частых задач. Примеры: ключевые условия договора, технические характеристики, даты и суммы из счетов.

1. Regex + rule-based. Для ИНН, ОГРН, сумм, дат — надёжнее нейросети. Не требует данных.
2. NER + постобработка. Для вариативных форматов.
3. LLM с structured output. GPT-4 / Claude с JSON schema — для сложных документов. Стоимость: ~$0.001-0.01 на документ. Для 10k+ документов/день — считаем экономику.

Гарантируем гибрид: regex/NER для типовых полей + LLM для edge cases. Сертификат доверия: 5 лет на рынке, >30 проектов.

Этапы работы

Прототип на существующих данных — 1-3 недели. Production-система с CI/CD — 1.5-2.5 месяца. Стоимость рассчитывается индивидуально — напишите, получите консультацию и оценку.

Что входит в работу

• Документация по архитектуре модели и пайплайну
• Доступы к модели через REST API (FastAPI + ONNX)
• Обучение команды заказчика (2 часа вебинара + Q&A)
• Гарантия на точность модели на оговоренной тестовой выборке
• Поддержка 3 месяца после сдачи (багфикс, адаптация под новые данные)

Наш опыт

Более 5 лет в NLP, 30+ проектов от классификации до RAG-систем. Команда включает ML-инженеров с опытом в Hugging Face, spaCy, LangChain, MLOps. Используем vLLM, Kubeflow, Weights & Biases — продакшен-стек, а не игрушки. Пишите — оценим проект за 2 дня.