Реализация обнаружения AI-сгенерированного текста (AI Text Detection)
Детекция AI-текста — гонка вооружений. Модели детекции обучаются на текстах конкретных LLM, а LLM постоянно развиваются. Ни один детектор не даёт 100% точности — это принципиальное ограничение задачи.
Как работают детекторы
Статистические методы (Perplexity, Burstiness):
- AI-тексты имеют низкую perplexity (предсказуемые слова)
- Низкую burstiness (равномерная длина предложений без «взрывов»)
- Реализация:
openai/detect-gptалгоритм, GPTZero метод
Водяные знаки (Watermarking):
- На уровне генерации LLM встраивает статистический паттерн в выбор токенов
- Детектируется без исходного текста
- Реализация:
extended_watermark_processor(John Kirchenbauer et al.) - Ограничение: работает только если генерирующий LLM поддерживает watermarking
Fine-tuned детекторы:
-
roberta-base-openai-detector(OpenAI, обученный на GPT-2) -
Hello-SimpleAI/chatgpt-detector-roberta(ChatGPT) - Проблема: высокий false positive для нейтральных академических текстов
Коммерческие API
- Originality.ai: специализация на SEO-контенте, 97%+ accuracy заявлена
- GPTZero API: распространён в образовании, поддерживает русский
- Sapling AI: корпоративный вариант
Ограничения и честность
False positive rate у лучших детекторов: 5–15% на человеческих текстах. Академические тексты с формальным стилем ошибочно помечаются как AI-generated. Перефразирование через другой LLM обходит большинство детекторов. Используйте детекцию как один из сигналов, а не как окончательный приговор.







