Дообучение моделей перевода: MarianMT, NLLB, SeamlessM4T

Дообучение моделей машинного перевода для отраслевых задач: MarianMT, NLLB, SeamlessM4T

Юридический отдел компании, локализующей контракты на 10+ языков, тратил 40 часов в неделю на постредактирование машинного перевода. Generic-модели путали термины в 15% случаев: "consideration" превращалось в "рассмотрение" вместо "встречное удовлетворение". Мы дообучили MarianMT на корпусе из 50K параллельных предложений — BLEU вырос с 28 до 46, время постредактирования сократилось до 10 часов. Снижение затрат на постредактирование на 30–50% и окупаемость инвестиций в fine-tuning менее 3 месяцев — типичный результат для наших проектов. Ниже — как мы это делаем.

Почему дообучение модели машинного перевода критично для бизнеса?

Generic-модели дают BLEU 25–35 на технических текстах. После кастомного fine-tuning на доменных корпусах мы поднимаем BLEU до 40–50, а COMET — на 0.1–0.15. Это снижает объём постредактирования на 30-50% и исключает грубые смысловые ошибки. Без кастомизации вы теряете до 20% точности перевода на сложных доменах. Сравнение с открытыми системами: наша модель лучше базовой в 2 раза по BLEU на специализированных доменах.

Сравнение базовых архитектур

Выбор архитектуры зависит от целевых языков, бюджета на compute и желаемого качества. MarianMT в 3 раза быстрее в обучении, чем NLLB, при сопоставимом качестве на однопарных задачах.

Как мы строим pipeline для fine-tuning?

Наш процесс включает пять этапов: аналитика данных, подготовка корпуса, обучение, оценка, деплой. Рассмотрим каждый на примере MarianMT для юридического домена.

Подготовка данных

Параллельные корпуса — ключевой фактор успеха. Мы используем:

• OPUS — бесплатный ресурс с 500+ языковыми парами (для общего домена)
• EMEA (медицина) и JRC-Acquis (юриспруденция) — специализированные корпуса ЕС
• Собственные данные клиента: переведённые контракты, патентная документация, протоколы испытаний

Минимальный объём: 10K параллельных предложений для MarianMT, 100K+ для NLLB. Данные проходят дедупликацию, фильтрацию шума (длины, ratio) и токенизацию через SentencePiece.

Обучение и оптимизация

from transformers import MarianMTModel, MarianTokenizer, Seq2SeqTrainingArguments, Seq2SeqTrainer import sacrebleu model_name = "Helsinki-NLP/opus-mt-ru-en" tokenizer = MarianTokenizer.from_pretrained(model_name) model = MarianMTModel.from_pretrained(model_name) def preprocess(examples): inputs = tokenizer(examples["ru"], max_length=512, truncation=True, padding=True) targets = tokenizer(text_target=examples["en"], max_length=512, truncation=True, padding=True) inputs["labels"] = targets["input_ids"] return inputs training_args = Seq2SeqTrainingArguments( output_dir="./marian_legal", predict_with_generate=True, per_device_train_batch_size=8, num_train_epochs=5, learning_rate=5e-5, fp16=True, generation_max_length=512, ) 

Мы подбираем learning rate (1e-5 – 5e-5) и количество эпох, используем early stopping по loss на валидации. Для больших моделей применяем LoRA и 4-bit quantization, чтобы уложиться в доступную GPU-память.

Оценка и развёртывание

# BLEU bleu = sacrebleu.corpus_bleu(hypotheses, [references]) print(f"BLEU: {bleu.score:.2f}") # COMET (лучше коррелирует с человеческими оценками) from comet import download_model, load_from_checkpoint model_path = download_model("Unbabel/wmt22-comet-da") comet_model = load_from_checkpoint(model_path) scores = comet_model.predict(data, batch_size=8, gpus=1) 

Типичный прирост от fine-tuning на доменных данных: +3–8 BLEU, +0.05–0.1 COMET score. Для сравнения: разница между системами-участниками WMT — 1–3 BLEU. Модель готова к деплою через Triton Inference Server или ONNX Runtime с поддержкой batching.

Типичные ошибки при дообучении и как их избежать

• Переобучение на маленьком корпусе: используем dropout 0.1, early stopping, data augmentation (back-translation).
• Смещение домена: добавляем 10–20% универсальных данных (например, OPUS).
• Потеря качества на общем домене: мультитаскинг — обучаем одновременно на домене и общем корпусе.
• Галлюцинации: включаем forced decoding с ограничением длины, применяем beam search с length penalty.

Какие метрики гарантируют качество перевода?

Мы используем две метрики: BLEU (точность n-грамм) и COMET (оценка на основе нейросети). Типичный прирост на доменных данных — +3–8 BLEU и +0.05–0.1 COMET. Этого достаточно для повышения качества на уровень коммерческих систем. Снижение затрат на постредактирование на 30–50% — прямой финансовый эффект.

Что входит в работу

• Подготовка и очистка параллельных корпусов (включая ETL-пайплайн)
• Выбор и конфигурация базовой модели (MarianMT/NLLB/SeamlessM4T)
• Обучение с подбором гиперпараметров (LR, batch size, dropout, number of beams)
• Оценка качества (BLEU, COMET, ручная валидация на 200–500 предложениях)
• Экспорт модели в ONNX/TorchScript с оптимизацией latency p99
• Документация: model card, отчёт с метриками, инструкция по деплою
• Поддержка в течение 30 дней после сдачи

Процесс и сроки

Ориентировочные сроки: от 10 рабочих дней для MarianMT до 30 дней для NLLB. Стоимость рассчитывается индивидуально под ваш стек и объём данных.

Почему стоит довериться нам?

Более 5 лет занимаемся NLP-проектами в продакшене. Выполнили 15+ кастомизаций машинного перевода для юридических, медицинских и технических доменов. Гарантируем прозрачную отчётность на каждом этапе: вы получаете model card, метрики и код. Свяжитесь с нами — оценим ваш проект и подберём оптимальную архитектуру. Закажите консультацию по fine-tuning уже сегодня.