Почему предсказание исхода судебных дел даёт сбои
Предсказание исхода судебных дел ломается не на модели, а на данных. Разнородные тексты решений приходят из разных источников: один суд отдаёт структурированную выгрузку, другой — скан без текстового слоя, третий — фрагмент с обрезанной мотивировочной частью. После очистки остаётся то, что уцелело, и прогноз строится по неполной картине.
Дальше вступает качество обучающей выборки. Единой разметки нет: в одном решении исход читается из резолютивной части, в другом — только из мотивировки, а мировые соглашения и отказы от иска смешиваются с проигрышем. Доля противоречивых примеров растёт, и модель учится на шуме.
Когда разметка шумная, модель идёт по короткому пути — опирается на формальные признаки. Номер суда, состав участников, шаблонные обороты и длина текста начинают весить больше, чем фабула и правовая позиция. Снаружи это выглядит как рабочий прогноз, но проверка на новых делах рассыпает его.
Отдельный провал — ошибки на редких категориях споров. Массовые дела исчисляются тысячами, редкие — десятками, и усреднённая оценка по всей выборке их просто прячет. Там, где примеров мало, доля верных ответов падает кратно, а именно такие споры чаще всего и нужно оценивать.
Поэтому разбор начинается не с модели, а с данных: как разнородные тексты решений приводятся к сопоставимому виду, как строится разметка и как качество проверяется отдельно по редким категориям. Ниже — что мы делаем на каждом шаге.
Что меняет модель прогноза в работе юридической команды
Модель прогноза не отменяет правовую позицию юриста — она даёт команде общую точку отсчёта. Эффект решения измеряем по разбросу оценок между юристами, времени до первой оценки перспектив и доле споров, где прогноз подтвердился фактическим исходом.
Единая оценка перспектив у всех юристов
- Раньше по одному делу юристы давали оценки от «заведомо проигрышное» до «выигрываем» — клиент выбирал стратегию по чужой интуиции.
- Теперь оценка перспектив спора считается по формализованному набору признаков: предмет и основание требования, процессуальные нарушения, устойчивость практики по аналогичным составам.
- Снижение разброса оценок между специалистами — до нескольких процентных пунктов; юрист отдельно фиксирует то, что в данные не попадает: поведение контрагента, готовность к мировому, ход переговоров.
Скорость первичного анализа материалов
- Разбор тома материалов и подборка релевантной практики идут в один проход — часы вместо дней ожидания.
- Модель размечает стороны, хронологию и ключевые процессуальные эпизоды: юрист проверяет готовую структуру, а не собирает её вручную.
- Единый стандарт оценки держится и на новых делах: результат по типовым спорам не зависит от того, кто взял дело в работу.
«Мы перестали обсуждать, чья оценка вернее, и перешли к фактам и стратегии. Спорные дела теперь видно сразу — по низкой уверенности прогноза». — руководитель юридической команды
Массив для обучения собирается из открытых правовых баз, включая КонсультантПлюс, и обезличенных архивов практики: данные заказчика не покидают его контур.
Подходы к построению модели: сравнение вариантов
Выбор подхода определяется не «силой» модели, а тем, на каких данных она обучается и кто отвечает за ошибку в конкретном деле. На практике сравнивают три рабочие альтернативы — от быстрого старта на готовом решении до модели, дообученной на архиве собственных решений.
| Вариант | Когда подходит | Ограничения |
|---|---|---|
| Внешний сервис прогноза | Нужен результат до накопления своего корпуса, однотипный поток дел | Обучен на чужой практике, дообучение на своих решениях недоступно, объяснение вывода обезличено |
| Своя модель с дообучением на своих решениях | Есть архив судебных актов и юристы, готовые размечать исходы | Нужен корпус и разметка, качество растёт постепенно, требуется контроль изменения практики |
| Гибридная схема: модель плюс экспертные правила | Разнородные категории споров, высокая цена ошибки | Сложнее в поддержке: правила и модель ведут вместе |
Внешний сервис: чем платите за готовность
Готовый сервис прогноза даёт оценку сразу, без сбора корпуса и разметки. Платите за это управляемостью: обновление модели приходит извне, на своей практике её не дообучить, а на редких категориях дел качество проседает. Отдельно решается вопрос передачи материалов дела на сторону.
Гибридная схема: модель плюс экспертные правила
Часть решений принимают не вероятности, а правила: процессуальные сроки, подсудность, категория и объём требований отсекают заведомо невозможные исходы, модель ранжирует оставшиеся. Если уверенность ниже порога, дело уходит юристу — так ограничения модели становятся явными, а не скрытыми. Дообучение на своих решениях идёт постоянно: каждое закрытое дело уточняет веса.
Этапы внедрения: от аудита данных до передачи контура
Внедрение системы предсказания исхода судебных дел начинается не с модели, а с корпуса решений и заранее зафиксированной метрики. Этапы внедрения повторяют обычный инженерный цикл: данные, разметка, обучение, слепая проверка, передача. Ниже — семь шагов, которые проходят до запуска.
Аудит корпуса и постановка целевой метрики
Проверяем полноту корпуса по инстанциям, периодам и типам споров, качество извлечения текста, дубликаты и пропуски. Целевую метрику фиксируем до обучения: доля совпадений прогноза с итоговым решением и полнота по каждому классу исходов — иначе рост качества не отличить от подгонки.
- Аудит корпуса: состав, полнота, дубликаты, качество текстов.
- Разметка выборки: исход, статьи, суммы требований, процессуальные признаки.
- Схема признаков и связь решения с материалами дела.
- Обучение с калибровкой вероятностей по классам.
- Проверка на слепых примерах юристов.
- Разбор расхождений с экспертами и дообучение.
- Передача контура сопровождения: регламенты, мониторинг, откат.
Проверка на слепых примерах юристов
Выборку готовят юристы заказчика: они дают заключение до того, как увидят прогноз, и мы сверяем оба результата. «Инструмент считаем рабочим, когда он совпадает с позицией юриста в оговорённой доле дел», — фиксирует обзор практики по корпоративным спорам.
Именно здесь видно, где модель путает исходы и каких признаков не хватает в схеме.
Что передаём на руки: схемы данных, регламенты, инструкции
Комплект для предсказания исхода судебных дел нельзя передать формулой «модель обучена, точность высокая» — он живёт на закрытых материалах дел. Передаём набор документов, по которому ваши юристы и техническая команда работают без нас: что система умеет, на каких данных училась, кто и как её обновляет.
- Карточка модели: где прогноз устойчив, где смещён и при каком пороге уверенности он не выдаётся.
- Регламент разметки: как разбираются решения, как трактуются спорные случаи, как формируется контрольная выборка.
- Схема потоков данных: путь от загрузки материалов дела до прогноза и точки, где данные не покидают контур.
- Инструкция для юристов: как ставить запрос, как читать ответ, когда ручная проверка обязательна.
- Матрица доступа к материалам дел: роли, объём видимых данных, журнал обращений.
- Справочник признаков: какие факторы модель учитывает и показывает в пояснении к прогнозу.
- Порядок мониторинга качества: какие метрики снимаются и какой сдвиг останавливает выдачу прогнозов.
Карточка модели и границы применимости
Карточка фиксирует категории дел, где прогноз устойчив, и те, где он смещён: нетиповая инстанция, редкий состав требований, неполный корпус. Порог уверенности выставлен так, что ниже него система отдаёт не вывод, а перечень факторов со ссылками на фрагменты дела.
Регламент переобучения и роли в команде
Регламент описывает цикл обновления: кто готовит выборку, кто проверяет разметку, кто утверждает выпуск и по каким метрикам, как выполняется откат. Роли закреплены за людьми с обеих сторон — юристами и технической командой, — чтобы качество не зависело от одного специалиста.
Разбор внедрения: как выровнялись оценки перспектив
Юридическая практика на 40 юристов, договорные споры, поток около 60 дел в месяц. Первичная оценка перспектив решала, идти в суд, в переговоры или отказаться, — поэтому в разборе внедрения мы замеряли метрики до и после на одном и том же потоке дел.
Что было до внедрения
Оценку готовил младший юрист за 3-5 рабочих дней: поднимал практику по составу спора, искал похожие дела, писал вывод на две страницы. Разброс оценок юристов был главной проблемой — по одной фабуле старший и младший расходились на 25-30 процентных пунктов, причём младшие чаще оценивали перспективы оптимистичнее. Совпадение с итоговым решением по 300 закрытым делам — около 60%. На младших юристах лежала вся первичная рутина: до 70% их времени уходило на оценки вместо ведения дел.
Что получилось после
Модель обучили на внутреннем архиве закрытых дел и текстах судебных актов; основу составил CatBoost — он даёт калиброванную вероятность и работает в закрытом контуре, документы не покидают фирму. Добавили разбор факторов: состав спора, сумму требований, регион, устойчивость практики по похожим делам. Сроки первичной оценки сократились до 15-20 минут на дело — юрист загружает документы, получает вероятность и объяснение, разбирает расхождения. Разброс оценок внутри команды упал до 5-7 процентных пунктов, совпадение с итоговым решением выросло до 84%, а младшие юристы вернулись к ведению дел.
Раньше спорный вопрос решался тем, кто убедительнее настаивал. Теперь обсуждение идёт вокруг факторов, которые система выделила, — руководитель практики.
Чем отличается прогноз по существу спора от оценки рисков?
Разница между этими задачами — в целевом признаке. Прогноз по существу спора отвечает на вопрос «чем закончится дело»: признак берётся из резолютивной части — удовлетворено, отказано, удовлетворено частично.
Такой признак дискретный, наблюдаемый и подтверждён документом. Поэтому его проверяют на отложенной выборке без ручной экспертизы, а метрика — доля совпадений с резолютивной частью и калибровка уверенности отдельно по каждой категории.
Оценка процессуальных рисков предсказывает не итог, а движение дела: отложение, приостановление, назначение экспертизы, оставление без рассмотрения, выход в апелляцию и срок до вступления решения в силу. Целевой признак здесь — событие и время, а не результат спора.
Отсюда разные требования к разметке. Для существа нужен корпус решений с чистой резолютивной частью и разметкой категорий споров — иначе модель смешает договорные споры с корпоративными и потеряет точность на редких классах. Для рисков достаточно журнала движения дела: даты, определения, инстанции.
Смешивать оба признака в один нельзя: модель начнёт выдавать усреднённый ответ, который не годится ни для стратегии, ни для планирования. Рабочая схема — два слоя на общих признаках из текста и истории дела, где оценка рисков уточняет прогноз по существу, а не подменяет его.
Качество, объяснимость и границы применимости модели
Модель оценивает исход дела как вероятность по классам, а не как приговор. Приёмка такой системы сводится к одному вопросу: где заканчивается статистика и начинается правовая оценка, за которую отвечает юрист. Ниже — ответы на сомнения, которые чаще всего возникают при передаче системы в работу.
Насколько устойчив прогноз?
Один и тот же иск с перефразировками и сменой персональных данных должен давать близкую вероятность. Если разброс между прогонами растёт, модель уходит на дообучение, а не в эксплуатацию.
Как понять, почему модель решила именно так?
К прогнозу прикладываем факторы, повлиявшие на вывод: фрагменты иска, нормы, обстоятельства, сроки. Юрист видит опору для позиции и может оспорить расчёт, а не доверять необъяснимому числу.
Что делать с региональными различиями практики?
Одна и та же норма в разных судах срабатывает по-разному, поэтому в расчёте учитываются регион, инстанция и тип спора. Где данных по региону мало, прогноз помечается как менее надёжный вместо усреднения по стране.
Как в выборке учитываются мировые соглашения?
Дела, закрытые мировым, искажают статистику по существу спора. Размечаем их отдельным классом, чтобы они не смещали прогноз по делам, которые дойдут до решения.
Кто отвечает за выводы системы?
Прогноз остаётся материалом для подготовки позиции, решение принимает юрист. Система хранит основания и версию расчёта, поэтому вывод воспроизводится и может быть оспорен внутри компании.
Обсудим задачу: какие данные и выводы вам нужны
Обсуждение задачи начинается не с демонстрации модели, а с вашей предметной области: какая категория споров, кто пользуется выводом и какое решение по нему принимается. Нам нужен реальный массив дел — по нему видно, хватает ли в нём признаков для устойчивого предсказания исхода судебных дел. Чтобы вернуться с оценкой и планом работ, а не общими словами, от вас нужно:
- 300-500 закрытых дел одной категории споров с полными текстами актов;
- перечень признаков, которые вы считаете значимыми, и тех, что использовать нельзя;
- описание целевого вывода: вероятность, диапазон или рекомендация юристу;
- требования к контуру: где хранятся документы и кто получает доступ;
- примеры дел, где интуиция юриста расходится с ожидаемым итогом;
- ответственный с вашей стороны, который примет работу по критериям приёмки.
В ответ мы присылаем план работ по этапам с ориентировочными сроками и критерии приёмки, зафиксированные до старта. Первый этап — пилот на одной категории споров: разметка корпуса, сборка базовой модели, сверка её выводов с решениями ваших юристов и отчёт о точности.
Такое сужение даёт честную картину: если на пилоте качество не подтверждается, вы видите это до масштабирования на смежные отрасли права. Опишите задачу — вернёмся с оценкой и планом работ.
