Обучение NER-модели: Named Entity Recognition под ключ

Вы работаете с доменными текстами — медицинскими, юридическими, финансовыми. Стандартные NER-модели (например, spaCy или Stanford NER) пропускают до 30% специфических сущностей: номера лицензий, коды препаратов, ссылки на законодательные акты. Кастомная модель на TokenClassification решает проблему — мы обучаем её с точностью F1 до 97%. За 5 лет в NLP и 30+ проектах мы научились обходить типичные ловушки: несбалансированную разметку, редкие типы и неоптимальный выбор предобученной модели.

Named Entity Recognition (NER) — это задача извлечения именованных сущностей. Fine-tuning на кастомных типах — стандартная практика, но подводных камней много: от ошибок в IOB2-разметке до некорректного подсчёта loss на специальных токенах.

Какие проблемы решаем

• Хаотичная разметка: IOB2-теги с пропусками и перекрытиями снижают F1 на 10–15%. Мы проводим аудит, исправляем инконсистентность и стандартизируем формат. Один из клиентов сэкономил более $1.8k–2.6k. на исправлении ошибок после нашего аудита.
• Редкие сущности: тип "Номер лицензии" может встретиться 20 раз на 10 000 документов. Без oversampling или аугментации модель просто не научится его выделять. Используем замену сущностей из предопределенного словаря — это даёт прирост F1 до 8%.
• Выбор модели: DeepPavlov/rubert-base-cased даёт 94% на PER, но на кастомных юридических сущностях может упасть до 70%. Мы тестируем 3–4 предобученные модели (ruBERT, XLM-R, mBERT) и выбираем лучшую под ваш домен. DeepPavlov/rubert в 1.5 раза точнее mBERT на русскоязычных кастомных сущностях.

[CLS] Пациент [B-PER] Иванов [I-PER] жалуется [O] на [O] головную [B-SYMPTOM] боль [I-SYMPTOM] . [O] Диагноз [O] : [O] мигрень [B-DIAGNOSIS] . [O] Назначен [O] парацетамол [B-DRUG] . [SEP] 

Как мы это делаем

Рассмотрим кейс: медицинские протоколы, где нужно выделять сущности "Симптом", "Диагноз", "Лекарство". Исходная разметка — 500 предложений в IOB2. Мы:

1. Исправляем ошибки: в 10% предложений путаница между B-Diagnosis и I-Diagnosis.
2. Аугментируем: заменяем названия препаратов из словаря аналогов, увеличиваем выборку до 1500 предложений.
3. Fine-tune на DeepPavlov/rubert-base-cased: 10 эпох, batch size 16, learning rate 5e-5.
4. Оценка: seqeval, F1 по сущностям: симптом — 91%, диагноз — 94%, лекарство — 96%.

Процесс fine-tuning на TokenClassification:

from transformers import AutoModelForTokenClassification, TrainingArguments, Trainer from transformers import DataCollatorForTokenClassification label_list = ["O", "B-PER", "I-PER", "B-ORG", "I-ORG", "B-LOC", "I-LOC"] label2id = {l: i for i, l in enumerate(label_list)} id2label = {i: l for l, i in label2id.items()} model = AutoModelForTokenClassification.from_pretrained( "DeepPavlov/rubert-base-cased", num_labels=len(label_list), id2label=id2label, label2id=label2id ) data_collator = DataCollatorForTokenClassification(tokenizer) training_args = TrainingArguments( output_dir="./ner_model", num_train_epochs=10, # NER требует больше эпох чем классификация per_device_train_batch_size=16, learning_rate=5e-5, weight_decay=0.01, ) 

Метрики NER: библиотека seqeval (формат BIO)

import evaluate seqeval = evaluate.load("seqeval") def compute_metrics(p): predictions, labels = p predictions = np.argmax(predictions, axis=2) true_predictions = [ [label_list[p] for (p, l) in zip(pred, label) if l != -100] for pred, label in zip(predictions, labels) ] true_labels = [ [label_list[l] for (p, l) in zip(pred, label) if l != -100] for pred, label in zip(predictions, labels) ] results = seqeval.compute(predictions=true_predictions, references=true_labels) return {"f1": results["overall_f1"], "precision": results["overall_precision"]} 

Процесс работы

1. Аналитика: изучаем ваш домен, список сущностей, объем данных.
2. Аудит и подготовка разметки: проверка IOB2, аугментация, фикс ошибок.
3. Выбор модели: тестируем 3 архитектуры на валидационной выборке.
4. Fine-tuning с гиперпараметрами: learning rate, эпохи, шедулинг.
5. Тестирование: на отложенной выборке с оценкой по типам.
6. Деплой: конвертация в ONNX, интеграция через REST API или библиотеку.

Что входит в работу

• Итоговый отчёт с метриками по каждому типу сущности.
• Код fine-tuning и инференса (Jupyter notebook или Python скрипт).
• Модель в формате ONNX или TorchScript для продакшена.
• Краткая документация по параметрам и поддерживаемым сущностям.
• Поддержка 2 недели после сдачи — отвечаем на вопросы по донастройке.

Как выбрать архитектуру модели?

DeepPavlov/rubert даёт лучший F1 на русском для стандартных сущностей, но для кастомных с малым количеством данных XLM-RoBERTa может быть стабильнее.

Сравнение методов аугментации

Почему важна качественная разметка?

IOB2-разметка — ключевой фактор. Ошибки типа пропущенного B-тэга или перекрытия сущностей снижают итоговый F1 на 10–20%. Мы гарантируем, что после аудита разметки и исправления ошибок вы получите прирост точности как минимум на 5% при том же объёме данных.

Типичные ошибки при fine-tuning

• Слишком мало эпох: 3 эпохи для NER недостаточно, нужно 8–12.
• Несбалансированный batch: если один тип сущностей встречается в 90% предложений, используем weighted loss или undersampling.
• Игнорирование special tokens: не забывайте маскировать [CLS], [SEP] и паддинги при расчёте loss.

Метрики и гарантии

Опираемся на seqeval для прозрачной оценки. Типичные F1 после нашей настройки: PER 94–97%, ORG 88–93%, кастомные доменные сущности 80–92%. Даём гарантию на стабильность метрик на тестовой выборке: если F1 окажется ниже заявленного на 5% и более, донастраиваем бесплатно.

Свяжитесь с нами для оценки вашего кейса — мы подберем оптимальную архитектуру и объём разметки. Закажите обучение модели NER уже сегодня: пишите на почту или в мессенджер, ответим в течение часа.