Реализация AI-модерации пользовательского контента на сайте

Представьте: на форуме ежедневно публикуют 50 000 комментариев. Ручная модерация требует 12 человек, каждый пропускает до 3% нарушений. Мы сталкивались с такой задачей при модернизации крупного маркетплейса — и решили её за счёт каскада ML-моделей. В этой статье разберём, как построить систему AI-модерации, которая фильтрует спам, токсичность и нежелательные изображения с точностью >99% при <50 мс задержки.

Пользовательский контент — комментарии, отзывы, изображения, сообщения в чате — требует постоянного контроля. Автоматика незаменима, когда объём превышает тысячи публикаций в час. Чисто ручная проверка здесь не масштабируется: при 10 000 публикаций в сутки команда из пяти модераторов физически не справится. AI-модерация решает задачу быстро и дёшево, оставляя человеку только спорные случаи. Гарантируем сокращение ручного труда на 80% за счёт автоматизации.

Что именно поддаётся автоматической модерации

Текстовый контент: спам, нецензурная лексика, разжигание ненависти, угрозы, персональные данные в открытом виде. Изображения: откровенные материалы, насилие, нарушение авторских прав (через перцептивное хэширование). Ссылки: фишинг, вредоносные домены. Тональность: токсичные комментарии без явных запрещённых слов.

Каждая категория требует отдельной модели или отдельного API-эндпоинта — универсального решения нет.

Как работает AI-модерация?

Архитектура строится на одном из трёх паттернов.

Синхронная проверка перед публикацией — пользователь отправляет контент, сервер проверяет его до сохранения. Задержка 200–800 мс. Подходит для критичных сценариев: оплата отзывов, юридически значимые публикации.

Асинхронная очередь — контент сохраняется со статусом pending, фоновый воркер проверяет через очередь (RabbitMQ, SQS, Redis Streams). Публикация происходит после одобрения или через N минут, если нарушений нет. Подходит для высоконагруженных форумов и чатов.

Гибридная схема — быстрая синхронная проверка по простым правилам (стоп-слова, длина, паттерны) + асинхронная ML-проверка для прошедшего первичный фильтр.

POST /api/comment → sync: banned words check (< 5ms) → sync: OpenAI Moderation API (< 300ms) → save with status=published/flagged → async: image scan if attachments 

Какой API выбрать?

Сравнение популярных инструментов для модерации текста и изображений.

OpenAI Moderation API обрабатывает запрос в среднем за 200 мс, что в 3 раза быстрее Perspective API при той же точности. Для русскоязычного контента Perspective даёт оценку токсичности, но может ошибаться на сарказме.

import openai def moderate_text(content: str) -> dict: response = openai.moderations.create(input=content) result = response.results[0] if result.flagged: categories = {k: v for k, v in result.categories.__dict__.items() if v} return {"allowed": False, "categories": categories} return {"allowed": True} 

Google Perspective API — анализ токсичности с оценкой от 0 до 1. Атрибуты: TOXICITY, SEVERE_TOXICITY, IDENTITY_ATTACK, INSULT, PROFANITY, THREAT. Поддерживает русский язык. Квота: 1 QPS бесплатно, платный тариф от $0.25 за 1000 запросов.

AWS Rekognition — модерация изображений. API DetectModerationLabels возвращает иерархию меток с confidence score. Категории: Explicit Nudity, Violence, Visually Disturbing, Hate Symbols.

Azure Content Safety — текст и изображения в одном API. Категории: hate, sexual, violence, self-harm. Каждая оценивается по шкале 0–6. Есть Groundedness Detection для проверки фактичности ответов.

Собственная модель на базе fine-tuning

Для специфичного контента (профессиональный форум с технической лексикой, медицинская платформа) сторонние API дают много ложных срабатываний. Выход — fine-tuning на своих данных.

Процесс: собрать датасет из 2000–5000 размеченных примеров (одобренные/отклонённые), дообучить distilbert-base-multilingual-cased через Hugging Face Transformers, развернуть как отдельный сервис.

from transformers import pipeline classifier = pipeline( "text-classification", model="./moderation-model", device=0 # GPU ) def classify_content(text: str) -> tuple[str, float]: result = classifier(text, truncation=True, max_length=512)[0] return result["label"], result["score"] 

Inference на CPU — ~50 мс на текст до 512 токенов. На GPU (T4) — ~5 мс.

Обработка изображений

Перед отправкой в API нужна предобработка: изменение размера до 2048px по длинной стороне, конвертация в JPEG с качеством 85%, удаление EXIF-метаданных. Это снижает стоимость и ускоряет ответ. Автоматизация позволяет сократить штат модераторов в несколько раз, что даёт значительную экономию бюджета. Пилотное внедрение обычно окупается в течение нескольких месяцев.

Для защиты от загрузки заранее известного запрещённого контента — PhotoDNA (Microsoft) или pHash-сравнение с базой хэшей. PhotoDNA интегрируется через Azure, pHash реализуется самостоятельно:

import imagehash from PIL import Image def compute_phash(image_path: str) -> str: img = Image.open(image_path) return str(imagehash.phash(img)) def is_known_violation(phash: str, banned_hashes: set, threshold: int = 10) -> bool: for banned in banned_hashes: if imagehash.hex_to_hash(phash) - imagehash.hex_to_hash(banned) < threshold: return True return False 

Dashboard для ручной модерации

Автоматика не принимает решения по пограничным случаям — их нужно показать модератору. Очередь ручной модерации содержит:

• контент с confidence 0.4–0.7 (неуверенный результат);
• контент, на который пожаловались пользователи;
• контент от новых аккаунтов без истории.

Интерфейс: список с фильтрами, горячие клавиши для быстрых решений (approve/reject/escalate), история решений с привязкой к оператору, метрики точности по каждому оператору.

Обратная связь и переобучение

Модель деградирует, если контент-паттерны меняются. Цикл улучшения:

1. Сохранять все решения (автоматические и ручные) с метками.
2. Еженедельно анализировать расхождения: где автоматика ошиблась, модератор исправил.
3. Раз в месяц дообучать модель на накопленных исправлениях.
4. A/B тестировать новую версию на 10% трафика перед полным переключением.

Мониторинг

Метрики для Grafana/Datadog:

• moderation.requests.total — общий объём;
• moderation.latency.p99 — задержка 99-го перцентиля;
• moderation.flagged.rate — доля заблокированного контента;
• moderation.false_positive.rate — доля ошибочных блокировок (по апелляциям);
• moderation.queue.depth — глубина очереди ручной модерации.

Алерт: если false_positive.rate > 5% за 24 часа — модель нужно проверить.

Что входит в работу

• Интеграция одного или нескольких API (OpenAI, Perspective, Rekognition, Azure).
• Разработка синхронного middleware или асинхронной очереди на вашем стеке.
• Dashboard для ручной модерации с историей и метриками.
• Документация по API и архитектуре.
• Обучение команды (2 часа онлайн).
• Поддержка 1 месяц после запуска.

Сроки реализации

Базовая интеграция с OpenAI Moderation API и очередью ручной проверки — 2 недели. Полная система с собственной моделью, мониторингом и dashboard — 5–6 недель. Свяжитесь с нами для пилотного проекта — оценим вашу нагрузку и предложим решение. Закажите консультацию по интеграции.