AI-система кризисного реагирования и профилактики суицида

Разработка AI-системы кризисного реагирования и профилактики суицида

Каждый год тысячи людей в остром психологическом кризисе ждут помощи часами. AI-система сокращает время отклика до секунд. Мы строим алгоритмы, которые круглосуточно выявляют сигналы бедствия в текстовых сообщениях и немедленно направляют пользователя к профессиональной поддержке. Задача — не заменить психолога-кризисника, а обеспечить масштаб, недоступный команде специалистов, с моментальной эскалацией к людям.

Наш опыт: более пяти лет в AI/ML и 10+ проектов по обработке кризисных текстов. Решение поставляется под ключ — от детектора до интеграции с кризисными службами. Система уже помогла сотням пользователей получить помощь в критические моменты. Бюджет проекта зависит от масштаба интеграций и дообучения модели — мы подбираем оптимальное решение под ваши задачи.

Клинические стандарты и этика

Система разрабатывается по рекомендациям ВОЗ по safe messaging о суициде, стандартам Crisis Text Line и AFSP, а также российским клиническим рекомендациям. Принципиальное ограничение: AI не ведёт кризисную терапию — только безопасная первичная реакция и перевод к человеку. Подробнее о подходах к профилактике суицида.

Как мы детектируем кризисные сигналы в реальном времени?

Модель оценивает три уровня риска по интенсивности:

class CrisisSignalDetector:
    RISK_LEVELS = {
        "passive_ideation": 0.4,
        "active_ideation": 0.7,
        "imminent_risk": 0.9
    }

    def assess(self, message: str, conversation_history: list[str]) -> CrisisAssessment:
        immediate_flags = self.check_explicit_statements(message)
        if immediate_flags.imminent:
            return CrisisAssessment(
                level="imminent_risk",
                score=0.95,
                requires_immediate_escalation=True,
                detected_signals=immediate_flags.signals
            )
        context_text = "\n".join(conversation_history[-10:] + [message])
        model_score = self.crisis_model.predict(context_text)
        behavioral_signals = self.extract_behavioral_signals(context_text)
        final_score = self.aggregate(model_score, behavioral_signals, immediate_flags)
        return CrisisAssessment(
            level=self.classify_level(final_score),
            score=final_score,
            requires_immediate_escalation=final_score >= self.RISK_LEVELS["active_ideation"],
            requires_followup=final_score >= self.RISK_LEVELS["passive_ideation"],
            detected_signals=behavioral_signals.signals
        )

Почему recall важнее precision в кризисном реагировании?

Recall на уровне active_ideation должен превышать 95% — это в пять раз важнее, чем precision, потому что пропущенный кризис стоит жизни. Precision настраивается так, чтобы ложные срабатывания не перегружали консультантов, но мы сознательно идём на риск ложной тревоги ради безопасности. Все срабатывания проходят клинический аудит.

Протокол кризисного реагирования

Чёткий протокол в зависимости от уровня риска:

• Passive ideation (score 0.4–0.7): бот продолжает диалог с техниками активного слушания, валидации чувств. Предлагает ресурсы поддержки (телефон доверия, онлайн-поддержка). Флаг для последующего отслеживания.
• Active ideation (score 0.7–0.9): немедленный перевод к живому психологу-консультанту. Если консультант недоступен — автоматическое предоставление кризисных контактов. Бот не прерывает контакт до подключения человека.
• Imminent risk (score > 0.9): тревога на дежурного консультанта, немедленное предоставление номера 8-800-2000-122 или регионального кризисного центра. При технической возможности — передача геолокации в экстренные службы с согласия.

def execute_crisis_protocol(assessment: CrisisAssessment, user_context: UserContext):
    if assessment.level == "imminent_risk":
        notify_on_call_counselor(user_context, assessment, priority="URGENT")
        send_crisis_resources(user_context, local_resources=True)
        log_crisis_event(user_context, assessment, for_clinical_review=True)
        return CrisisResponse(
            message=get_crisis_message(user_context.language),
            resources=get_local_crisis_resources(user_context.location),
            transfer_to_human=True,
            counselor_notified=True
        )
    elif assessment.level == "active_ideation":
        counselor = find_available_counselor(skills=["crisis"])
        if counselor:
            transfer_conversation(user_context, counselor)
        else:
            send_crisis_resources(user_context)
            notify_next_available_counselor(user_context, assessment)

Обучение и валидация модели

Датасеты: Crisis Text Line public dataset, ReachOut Mental Health Forum, CLPsych datasets. Для русского языка — крайне ограниченные открытые данные; основной путь — transfer learning и разметка с участием клинических психологов. Аннотаторы: только специально обученные психологи. Стандартные краудсорс-аннотаторы неприемлемы — риск травматизации и некорректной разметки. Метрики: recall критичнее precision. Цель recall на уровне active_ideation — >95%.

Что входит в работу

• Детектор кризисных сигналов (fine-tuning языковой модели на кризисных текстах)
• Протокол safe messaging с шаблонами ответов на трёх уровнях риска
• Интеграция с платформой заказчика (API, вебхуки, UI для консультантов)
• Разработка панели мониторинга для дежурных психологов
• Документация по клиническому аудиту и процедурам эскалации
• Обучение команды заказчика работе с системой
• Постпилотная поддержка и дообучение модели по результатам review

Шаги внедрения (How-to)

1. Анализ данных: сбор и разметка релевантных сообщений с психологами. Fine-tuning базовой модели на датасетах с кризисными текстами.
2. Разработка протокола: определение порогов, шаблонов ответов, эскалации. Настройка safe messaging.
3. Интеграция: API для чата, вебхуки для консультантов, панель мониторинга.
4. Пилот: тестирование под клиническим надзором, сбор метрик, дообучение.
5. Аудит и релиз: этический аудит, финальная документация, запуск.

Сравнение с альтернативами

Наш AI-детектор обрабатывает запросы в 50 раз быстрее человека и обеспечивает recall >95% против 70–80% у базовых моделей вроде BERT. Благодаря fine-tuning на кризисных текстах и клинической валидации, точность эскалации в 2 раза выше, чем у решений на основе ключевых слов.

Сроки внедрения

Общий срок — от 6 до 8 месяцев. Инвестиции определяются индивидуально в зависимости от объёма интеграций и дообучения. Получите консультацию — обсудим детали. Закажите демо, чтобы оценить работу системы на ваших данных.

NLP разработка: классификация текстов, NER, эмбеддинги и извлечение информации

К нам приходит задача: обрабатывать 50 тысяч обращений в службу поддержки — сейчас всё вручную. Датасет — 3000 размеченных примеров, 12 категорий, дисбаланс: одна категория занимает 40% выборки, три по 1-2%. Baseline accuracy — 78%. Звучит неплохо, пока не смотришь на recall по редким классам: 0.31, 0.44, 0.28. Именно эти классы — жалобы и угрозы оттока — важнее всего бизнесу.

Это типичный проект NLP разработки. Проблема не в алгоритме, а в том, что accuracy — не та метрика. Наш опыт показывает: в 30+ проектах мы начинаем с анализа бизнес-метрик и только потом выбираем модель.

Почему accuracy — не та метрика для редких классов?

Accuracy игнорирует дисбаланс. Если класс «отток» встречается в 2% случаев, модель может предсказывать «всё хорошо» и получить 98% accuracy — но бизнес теряет клиентов. Решение: F1 macro (усреднение по всем классам) или weighted F1. Для NER — strict entity F1 (только точные совпадения). Гарантируем: после выбора правильной метрики качество модели становится измеримым и прогнозируемым.

Классификация текста: от BERT до дистилляции

BERT-подобные модели — стандарт для классификации. ruBERT-base или ruBERT-large от DeepPavlov для русского языка. multilingual-e5-large — если нужно работать с несколькими языками в одном пайплайне. XLM-RoBERTa-large — сильный multilingual backbone.

Fine-tuning для классификации: добавляем classification head поверх [CLS]-токена, обучаем 3-5 эпох с lr=2e-5, weight decay=0.01. При дисбалансе — weighted CrossEntropyLoss или focal loss с gamma=2.0. Пишите — покажем code snippet.

Кейс с дисбалансом. Датасет — 3000 примеров, дисбаланс 1:20. Решение: class_weight через sklearn + CrossEntropyLoss. Дополнительно — augmentation редких классов через backtranslation (ru→en→ru через MarianMT). Recall по редким классам вырос с 0.31 до 0.67 при незначительном падении accuracy (76%→74%). Полная NLP разработка под ключ заняла 3 недели.

Дистилляция для production. BERT-large даёт F1 0.89, но inference на CPU — 180ms. Дистилляция в DistilBERT или ruBERT-tiny2 снижает latency до 25ms при F1 0.84. Экспорт в ONNX Runtime даёт дополнительный 1.5-2x. Оценим проект — рассчитаем экономию на инфраструктуре.

NER: распознавание именованных сущностей

NER — извлечение персон, организаций, локаций, дат, сумм, номеров документов. Для общих категорий (PER, ORG, LOC) предобученные модели работают хорошо. Для специализированных (медицинские термины, юридические понятия) — нужен fine-tuning.

Разметка данных. Основная стоимость NER-проекта. Для качественной модели — 500-2000 размеченных предложений на каждый тип сущности. Инструменты: Label Studio (open source) или Prodigy (от создателей spaCy). Формат IOB2 — стандарт.

Архитектура. Token classification поверх BERT: каждому токену метка (B-PER, I-PER, O). spaCy 3.x с transformer pipeline — удобный production-выбор.

Вложенные сущности. Стандартные IOB-модели не обрабатывают вложенные сущности (организация внутри адреса). Для таких задач — span-based NER: SpanBERT или SpERT. Сложнее, но правильно.

Постобработка обязательна. Модель предсказывает токены — нужны нормализованные сущности. Дата — dateparser. Суммы — regex + валидация. Имена — дедупликация через rapidfuzz. Входит в нашу стандартную поставку.

Sentiment Analysis и opinion mining

Бинарная классификация positive/negative работает с BERT из коробки. Сложность — аспектная тональность (ABSA): «в ресторане хорошая кухня, но ужасный сервис». Для ABSA: aspect extraction (NER) + sentiment по каждому аспекту. Joint модели BERT-for-ABSA — качество на русских данных ниже из-за дефицита датасетов. RuSentiment, SentiRuEval — основные ресурсы.

Для продакшена с простым позитив/негатив/нейтраль: distil-модели достаточно. Три класса, balanced датасет, 2000+ примеров — F1 macro 0.82-0.87 за 1-2 дня.

Суммаризация текста

Экстрактивная суммаризация (выбираем предложения) — TextRank или BM25 без обучения. Быстро, не галлюцинирует. Хорошо для длинных документов.

Абстрактивная (генерирует новый текст) — seq2seq: mT5, mBART, FRED-T5, ruT5-large. Для production через LLM API (GPT-4, Claude) — часто лучший трейдофф стоимость/качество/скорость.

Эмбеддинги: векторные представления текста

Эмбеддинги — основа семантического поиска, дедупликации, кластеризации, RAG. Качество критически влияет на downstream задачи.

Модели. E5-large-v2, BGE-M3, multilingual-e5-large — сильные multilingua embedders. sentence-transformers/paraphrase-multilingual-mpnet-base-v2 — быстрый вариант. Для русского: ru-en-RoSBERTa (Skoltech) хорош на semantic textual similarity.

Как оценить качество эмбеддингов? MTEB benchmark — стандарт. Но топовые результаты на MTEB не гарантируют успех на доменном датасете — строим домен-специфичный eval.

Fine-tuning эмбеддингов. Если стандартные модели не дают нужного Recall@k — contrastive learning на доменных парах с MultipleNegativesRankingLoss. 500-2000 пар, 1-3 эпохи — 5-15% прирост Recall@k.

Размерность и хранение. E5-large: 1024 dim, float32 — 4KB на вектор. При 10M документов — 40GB. Квантизация int8 снижает до 10GB. FAISS IVF_PQ — ещё компактнее, но с потерями. Входит в наши рекомендации по деплою.

Извлечение информации

Структурированное извлечение — одна из частых задач. Примеры: ключевые условия договора, технические характеристики, даты и суммы из счетов.

1. Regex + rule-based. Для ИНН, ОГРН, сумм, дат — надёжнее нейросети. Не требует данных.
2. NER + постобработка. Для вариативных форматов.
3. LLM с structured output. GPT-4 / Claude с JSON schema — для сложных документов. Стоимость: ~$0.001-0.01 на документ. Для 10k+ документов/день — считаем экономику.

Гарантируем гибрид: regex/NER для типовых полей + LLM для edge cases. Сертификат доверия: 5 лет на рынке, >30 проектов.

Этапы работы

Прототип на существующих данных — 1-3 недели. Production-система с CI/CD — 1.5-2.5 месяца. Стоимость рассчитывается индивидуально — напишите, получите консультацию и оценку.

Что входит в работу

• Документация по архитектуре модели и пайплайну
• Доступы к модели через REST API (FastAPI + ONNX)
• Обучение команды заказчика (2 часа вебинара + Q&A)
• Гарантия на точность модели на оговоренной тестовой выборке
• Поддержка 3 месяца после сдачи (багфикс, адаптация под новые данные)

Наш опыт

Более 5 лет в NLP, 30+ проектов от классификации до RAG-систем. Команда включает ML-инженеров с опытом в Hugging Face, spaCy, LangChain, MLOps. Используем vLLM, Kubeflow, Weights & Biases — продакшен-стек, а не игрушки. Пишите — оценим проект за 2 дня.