Дообучение (Fine-Tuning) языковой модели GigaChat (Сбер)

Дообучение (Fine-Tuning) языковой модели GigaChat (Сбер)

GigaChat — языковая модель Сбера, доступная через GigaChat API. Fine-tuning модели реализован в рамках корпоративного сегмента (GigaChat Pro / GigaChat Enterprise) и позволяет адаптировать модель под специфику бизнеса заказчика. Модель изначально ориентирована на русскоязычный рынок, что делает её приоритетным выбором для задач, связанных с русскоязычным контентом, финансовыми документами по РСБУ и взаимодействием в рамках российского правового поля.

Доступ к fine-tuning GigaChat

GigaChat API предоставляется через платформу Сбер Cloud. Для fine-tuning необходим корпоративный договор и доступ к соответствующему тарифу. Стандартный доступ через API предоставляет базовые модели GigaChat Lite, GigaChat Pro и GigaChat Max, дообучение — через GigaChat Enterprise или специальный запрос в корпоративный отдел.

Аутентификация через OAuth 2.0:

import requests
import base64

credentials = base64.b64encode(
    f"{client_id}:{client_secret}".encode()
).decode()

response = requests.post(
    "https://ngw.devices.sberbank.ru:9443/api/v2/oauth",
    headers={
        "Authorization": f"Basic {credentials}",
        "RqUID": "unique-request-id",
    },
    data={"scope": "GIGACHAT_API_CORP"}
)
access_token = response.json()["access_token"]

Формат данных для дообучения

GigaChat принимает обучающие данные в виде диалоговых пар в формате JSON. Каждый пример — полный контекст разговора с ролями:

{
  "messages": [
    {
      "role": "system",
      "content": "Ты — ассистент страховой компании. Помогаешь клиентам разобраться с условиями страховых продуктов."
    },
    {
      "role": "user",
      "content": "Что входит в страховое покрытие по КАСКО при ДТП по вине третьего лица?"
    },
    {
      "role": "assistant",
      "content": "При ДТП по вине третьего лица по полису КАСКО покрываются: ущерб от столкновения независимо от виновника, стоимость восстановительного ремонта..."
    }
  ]
}

Преимущества для российского рынка

Работа с финансовыми регуляторными требованиями: GigaChat обучен на российских нормативных документах, включая указания ЦБ РФ, стандарты РСБУ, формы налоговой отчётности. Это снижает объём данных, необходимых для дообучения под финансовые задачи.

Медицинская документация: шаблоны МЗ РФ, клинические рекомендации, МКБ-10, СНИЛС-интеграция с СФР. Нативная поддержка российской медицинской терминологии.

Государственные услуги: работа с СМЭВ-документами, форматами ведомств, специфической терминологией госсектора.

Безопасность данных: данные остаются в периметре Сбер Cloud, что критично для банков, страховых компаний, госструктур.

Практический пример: ассистент для банковского чат-бота

Задача: дообучение GigaChat Pro для обработки входящих обращений в розничный банк — ответы на вопросы по продуктам, маршрутизация сложных обращений к операторам.

Датасет: 3500 диалогов из реальной переписки (обезличенной), охватывающих 45 тематик (кредиты, вклады, карты, переводы, споры по операциям).

Этапы подготовки данных:

1. Извлечение диалогов из CRM
2. Деперсонализация (замена ФИО, номеров карт, телефонов)
3. Фильтрация диалогов с негативным исходом (клиент не получил ответ)
4. Разметка сложных кейсов, требующих маршрутизации
5. Балансировка по тематикам (не более 15% от одной категории)

Результаты:

• CSAT (удовлетворённость клиента ответом бота): 3.2 → 4.1 из 5
• Процент корректных маршрутизаций: 71% → 94%
• Снижение escalation rate (доля обращений, переданных оператору): 61% → 38%
• Среднее время диалога: -22%

Ограничения GigaChat fine-tuning

• Закрытые веса: как и GPT-4o, вы получаете hosted endpoint без доступа к весам
• Инфраструктурная привязка: только Сбер Cloud, нет on-premise деплоя
• Корпоративный порог: fine-tuning недоступен на бесплатных тарифах
• Размер контекста: 32K токенов — меньше, чем у Qwen2.5 или Claude 3.5 Sonnet

Сравнение со смежными решениями

Сроки проекта

• Аудит задачи, оценка датасета: 3–5 дней
• Подготовка и деперсонализация данных: 2–4 недели
• Итеративное обучение: 1–2 недели
• Тестирование, A/B: 1 неделя
• Интеграция, мониторинг: 1–2 недели
• Итого: 5–9 недель