Разработка AI-детектора депрессии по тексту и речи

Детекция депрессии AI: где теряется точность

Детекция депрессии AI ломается не на модели, а на входе: оценка состояния по тексту и речи начинается с того, какие сигналы вообще дошли до обработки. В практике текстовые и голосовые обращения часто проходят мимо внимания специалистов — человек отвечает коротко, речь звучит ровно, явных жалоб нет, и материал ложится в архив без метки.

Главная слепая зона — пропуск признаков состояния. В речи это сглаженная интонация, удлинённые паузы, снижение темпа и обеднение просодии; в тексте — обобщённые формулировки, отрицания, короткие ответы, упрощённый синтаксис. По отдельности каждый признак слаб и неотличим от усталости, поэтому модальности обрабатывают раздельно, а решения объединяют на последнем шаге, не смешивая сырые сигналы.

Второй источник ошибок — разрозненные заключения специалистов: разные шкалы, свободная форма записи, отсутствие подпороговых случаев в разметке. Модель доучивается на том, что легко согласуется, и начинает ловить стиль изложения вместо состояния — отсюда ложные срабатывания на формально «тяжёлый» текст и пропуски там, где состояние выражено сдержанно.

Добавляет шума и сдвиг между записями: другая гарнитура, другая площадка, другой язык описания меняют распределение признаков, и качество проседает при той же модели. Разбираем, как это закрывается — единой схемой разметки, раздельной обработкой модальностей, калибровкой порогов на целевых записях и контролем стабильности между выборками.

Измеримый эффект: скорость, охват, стабильность

До внедрения первичная оценка упиралась в ресурс специалиста: один разбор — десятки минут, очередь копится, спорные случаи трактуются по-разному в зависимости от того, кто читал обращение. В выборку попадала малая часть — остальное до оценки просто не доходило.

Модель снимает первичную оценку, специалист её проверяет и подтверждает. Время первичной оценки падает с часов ожидания в очереди до минут: обращения с высокой оценкой риска уходят вперёд, плановые разбираются фоном. Охват растёт с выборочных 10–15% до всех входящих — текстовых сообщений и записей речи, включая расшифровку и признаки голоса: темп, длительность пауз, ровность интонации.

Единые критерии оценки дают второй эффект. Разметка ведётся по валидированной шкале PHQ-9, правила сведены в один документ, спорные случаи описаны примерами. Повторная разметка одной и той же подборки двумя специалистами совпадает в 85–90% случаев, а расхождения разбираются и уходят в правила.

Воспроизводимость держится и на инженерной стороне: версия модели фиксируется, каждое решение сохраняется в журнал вместе со входными данными и оценкой, архив можно прогнать повторно и получить ту же картину. При обновлении версии старая и новая сравниваются на отложенной выборке — видно, где стало точнее, а где выросла доля ложных срабатываний. Итог измеряется тремя числами в динамике: время до первичной оценки, доля охваченных обращений и совпадение решений при повторной проверке.

Режимы работы детекции: пакетный и потоковый

Детекция опирается на один и тот же набор признаков — лексику, темп и паузы речи, изменение тональности по ходу разговора. Разница между режимами не в модели, а в том, когда нужен результат: разобрать накопленный материал или подсказать прямо в момент диалога. Поэтому режимы не исключают друг друга и часто включаются вместе.

Ключевое ограничение потокового режима — задержка отклика. Подсказка оператору полезна, только если приходит, пока разговор ещё идёт, поэтому оценка обновляется по мере поступления реплик, а не после завершения беседы. Плата за это — узкое окно обзора: редкие изменения состояния и медленные сдвиги за длительный срок потоковый режим может не уловить.

Пакетный режим, наоборот, видит материал целиком — на длинном отрезке проявляется динамика и повторяющиеся эпизоды, которые в коротком окне теряются. Ограничение здесь обратное: результат появляется с задержкой, а точность зависит от распознавания речи в записи и от того, насколько полно сохранён диалог.

Как проходит внедрение: этапы инженерной работы

Внедрение детектора начинается не с модели, а с данных: текст и речь дают разную чувствительность, и смешивать модальности без проверки качества записей нельзя. Работа идёт этапами, после каждого заказчик получает артефакт и решает, продолжать ли.

1. Аудит данных и сценария. Смотрим, какие записи есть — интервью, дневниковые тексты, звонки, — где смещение выборки и какие метки реально получить. На выходе протокол разметки и требования к качеству записи.
2. Разметка корпуса записей. Клинические шкалы переводим в уровневые метки; каждый фрагмент размечают минимум двое, расхождения разбирает третий. Считаем согласованность — при низкой правим инструкцию, а не усредняем спорные случаи.
3. Отложенная выборка. Делим по людям, а не по записям: иначе голос пациента попадает и в обучение, и в проверку, а метрика на приёмке завышается. Отложенная часть не открывается до финальной проверки.
4. Обучение и отбор признаков. Текст: тематика, синтаксис, отрицания. Речь: темп, паузы, интонация. Оставляем то, что действительно добавляет разделяющую способность.
5. Калибровка порогов срабатывания. Цена пропуска и ложного срабатывания разная, поэтому порог подбираем под сценарий — скрининг или мониторинг, — фиксируя чувствительность и специфичность и поведение на пограничных случаях.
6. Приёмка результата. Проверка на отложенной выборке, разбор ошибок по подгруппам, тест на шум и обрезанные фрагменты. Метрики фиксируются письменно до доработок.
7. Передача в эксплуатацию. Схема подключения к каналу, журналирование решений, правило эскалации специалисту и регламент перепроверки на новых данных.

Точки контроля — после разметки, отложенной выборки и приёмки: если качество меток или разделение выборок не подтверждается, работа останавливается до устранения причин, а не маскируется дообучением.

Артефакты проекта: модели, правила разметки, регламенты

Проект в области детекции депрессии AI заканчивается не демонстрацией, а комплектом, который живёт внутри контура заказчика. Ниже — минимальный состав артефактов проекта, которые мы передаём: без любого из пунктов модель остаётся чёрным ящиком, который нельзя ни проверить, ни обновить силами своей команды.

• Обученные модели двух модальностей — текстовая и речевая ветки — вместе с настройками вывода, параметрами предобработки аудио и фиксированной версией словарей и признаков.
• Правила разметки: руководство разметчика с определением каждого класса, примерами спорных случаев, схемой перекрёстной проверки и требованием согласия между разметчиками выше заданного порога.
• Регламент контроля качества: набор метрик (чувствительность, специфичность, доля пропущенных тяжёлых случаев), порядок калибровки порога решения и правило эскалации к живому специалисту.
• Документация по модели: карта признаков, отчёт валидации на отложенной выборке, разбор типовых ошибок и явный список ограничений применимости.
• Регламент переобучения на новых данных: периодичность, признаки дрейфа в поступающих текстах и записях речи, порядок запуска и журнал версий с возможностью отката.
• Инструкции для специалистов: как читать отчёт модели, что означает каждый уровень риска и в какой момент подключается человек.
• Набор обезличенных тестовых данных и средства воспроизведения окружения, чтобы обновление на стороне заказчика давало тот же результат, что у нас.

Кейс: как сократили пропуски в первичной оценке

Направление — первичная оценка обращений в сервисе психологической помощи: несколько сотен анкет и текстовых сообщений в неделю, отбор вручную по жалобе и по шкале PHQ-9. Специалисты физически разбирали лишь часть потока, остальное ждало очереди, и часть тяжёлых случаев всплывала только на повторном обращении.

Чтобы метрики были честными, замер делали на размеченной выборке прошлых обращений: два специалиста независимо размечали случаи, спорные снимал третий. До и после считали на одних и тех же данных, без выборки «удобных» примеров.

Метрики до и после

Что дало результат

Работает каскад из двух этапов. Модель оценивает текст и речь — лексические маркеры, темп, паузы, изменения просодии — и выдаёт оценку риска; решение остаётся за специалистом, система не ставит диагноз, а приоритизирует очередь. Порог отсечения подбирали в сторону чувствительности, чтобы не терять тяжёлые случаи, а избыточные срабатывания гасил второй фильтр — короткое структурированное интервью.

Отдельно контролировали дрейф: раз в квартал прогоняем замороженный набор примеров и сверяем метрики. Если доля ложных срабатываний растёт, пороги пересматривают до того, как нагрузка на специалистов вернётся к прежней. Тот же контур мы переносим на смежные направления — там достаточно заменить разметку и перекалибровать пороги.

Чем отличается анализ текста от анализа речи

Короткий ответ: надёжнее не один источник, а их согласованность. Текст отвечает на вопрос, что человек говорит о себе, речь — в каком состоянии он это произносит. Расхождение между ними само по себе информативно: бодрые формулировки при замедленном ровном голосе — типичная картина маскировки.

анализ текста обращения работает с лексикой и структурой: доля отрицаний и обобщений, слова с семантикой безысходности, обеднение словаря, смещение «я» в сторону безличных конструкций, распад связности между абзацами. Признаки устойчивы к шуму, но зависят от языка, диалекта и от того, насколько человек готов писать развёрнуто.

анализ речи и интонации берёт темп, длительность пауз, монотонность, динамику громкости, задержку перед ответом. Это признаки состояния, которые человек не контролирует осознанно, поэтому подделываются они хуже — зато первыми страдают от плохой записи: эха, узкополосного канала, фонового разговора.

качество аудиозаписи — ограничитель, а не повод отказаться от акустики. Если запись шумная или обрезана, вес речевых признаков снижается, итог смещается в сторону текста, а уверенность оценки падает явно, а не молча.

совместная оценка сигналов — единая оценка по двум наборам признаков, откалиброванная на валидированной шкале PHQ-9: слабый сигнал не тянет результат за собой, сильный его компенсирует. выбор источника данных диктует канал — чат, транскрипт звонка, голосовое сообщение или свободный рассказ; наборы признаков и пороги для них разные. На выходе не диагноз, а приоритет: при высокой оценке система направляет человека к специалисту.

Сомнения по данным, приватности и внедрению

До пилотного проекта обычно всплывают пять технических вопросов: где хранятся записи, хватит ли корпуса, можно ли объяснить вывод, останутся ли данные внутри контура и что подписывают юристы. Разбираем каждый.

У нас мало записей — модель обучится?

Да. Дообучаем предобученные языковые и речевые представления: несколько сотен размеченных случаев дают устойчивое разделение. Важнее баланс классов и качество разметки, чем объём.

Сможет ли врач понять, почему такой вывод?

К каждой оценке прикладываем вклад признаков — какие фрагменты текста и участки речи на неё повлияли. Врач видит опоры решения, а не абстрактный балл.

Можно развернуть на нашей инфраструктуре?

Да, обучение и вывод идут в вашем контуре: ваши серверы или изолированное облако, данные не выходят наружу. Отдаём модель, конфигурации и скрипты развёртывания.

Что придётся согласовывать с юристами?

Составляем карту данных, описываем основания обработки, сроки хранения и порядок удаления. Это первое, что проверяют юристы, — готовим документы под ваши регламенты.

Обсудим вашу задачу и вернёмся с планом

Чтобы вернуться с оценкой задачи и составом работ, нам нужен срез вашего процесса: какие данные уже есть, в каком они виде и кто принимает решение по результатам модели. Разбираем это на первом разговоре — без общих вопросов, по конкретным пунктам, от которых зависит архитектура и срок пилота.

• Модальности и источники: работаем только с текстом (обращения, переписка, расшифровки) или добавляем речь — тогда нужны записи и разметка подачи, темпа, пауз; отдельно проговариваем, что делать с шумом, диалектами и смешанной речью.
• Корпус и разметка: сколько размеченных примеров есть сейчас, кто размечал — клиницист или асессор, привязаны ли метки к валидированным шкалам. От этого зависит, стартуем мы с дообучения или с нуля.
• Критерии приёмки: целевая полнота обнаружения при заданной точности, отдельно — доля пропущенных тяжёлых состояний, порог срабатывания и формат ответа модели: балл, категория или флаг для специалиста.
• Приватность и контур: где хранятся данные, допустима ли внешняя обработка, нужен ли закрытый контур на ваших серверах, как ограничивается доступ к чувствительным записям и сколько они живут.
• Точки интеграции: откуда приходит поток, в каком виде нужен результат, кто из специалистов его видит и как возвращается обратная связь для дообучения.
• Пилотный запуск: какой участок и объём данных берём, на каком периоде проверяем, кто разбирает спорные случаи и как считаем расхождение модели с оценкой человека.
• План внедрения: этапы от прототипа до рабочего контура, контроль дрейфа на новых данных, регламент переобучения и пересмотра порогов.

Модель здесь — инструмент поддержки решения, а не замена специалиста: финальную интерпретацию оставляем за человеком. Опишите задачу в свободной форме — вернёмся с оценкой сроков, составом работ и планом пилота.