Реализация AI-детекции NSFW-контента в мобильном приложении
При публикации пользовательских изображений через мобильное приложение задача детекции NSFW встаёт сразу на двух уровнях: скорость (показываем контент с минимальной задержкой) и точность (ложные блокировки разрушают доверие). Оба требования конфликтуют, и правильная архитектура — это всегда компромисс между ними.
Где обычно ошибаются
Полностью серверная классификация без предфильтра
Если каждое загруженное изображение уходит на API-сервис и ждёт ответа перед показом — при пиковой нагрузке latency растёт, UX деградирует. Один запрос к AWS Rekognition DetectModerationLabels занимает 300–800 мс. Для чата с фото или маркетплейса с быстрой загрузкой это неприемлемо.
On-device классификация «в лоб»
Гонять полноценную NSFW-модель на каждый кадр видеозвонка или каждое фото в галерее нагревает устройство и садит батарею. iPhone 12 с моделью Open NSFW (~50 МБ в CoreML) при непрерывной обработке уходит в thermal throttling за 8–10 минут.
Двухступенчатая архитектура
Оптимальная схема: лёгкий on-device предфильтр + облачная верификация пограничных случаев.
On-device (CoreML / TFLite)
На клиенте запускаем лёгкую бинарную модель (~8–15 МБ): MobileNetV3-Small или специализированная NSFW-модель в coremltools-конвертации. Результат — два класса: safe / unsafe, плюс confidence score.
// iOS: CoreML inference перед загрузкой
func checkImage(_ image: UIImage, completion: @escaping (NSFWResult) -> Void) {
guard let pixelBuffer = image.resized(to: CGSize(width: 224, height: 224)).toCVPixelBuffer() else { return }
let request = VNCoreMLRequest(model: nsfwModel) { request, _ in
guard let results = request.results as? [VNClassificationObservation],
let top = results.first else { return }
let result = NSFWResult(
label: top.identifier,
confidence: top.confidence
)
DispatchQueue.main.async { completion(result) }
}
try? VNImageRequestHandler(cvPixelBuffer: pixelBuffer).perform([request])
}
Пороги: confidence > 0.92 для unsafe → блокируем на клиенте, не загружаем. confidence между 0.65 и 0.92 → загружаем в скрытом состоянии, отправляем на серверную верификацию.
Android: ML Kit + TFLite
На Android используем ImageClassifier из TFLite Task Library — он управляет жизненным циклом модели и обработкой Bitmap без ручного управления буферами:
val classifier = ImageClassifier.createFromFileAndOptions(
context,
"nsfw_lite.tflite",
ImageClassifier.ImageClassifierOptions.builder()
.setMaxResults(2)
.setScoreThreshold(0.5f)
.build()
)
val tensorImage = TensorImage.fromBitmap(bitmap)
val results = classifier.classify(tensorImage)
val nsfwScore = results.flatMap { it.categories }
.firstOrNull { it.label == "nsfw" }?.score ?: 0f
Серверная верификация через Google Cloud Vision / AWS Rekognition
Для пограничных случаев и финальной проверки перед публикацией:
// отправка на сервер только пограничных случаев
if (nsfwScore in 0.65f..0.92f) {
uploadForReview(imageUri, nsfwScore)
}
Google Cloud Vision SafeSearch возвращает 5 категорий: adult, spoof, medical, violence, racy — каждая с VERY_UNLIKELY до VERY_LIKELY. Это позволяет тонко настраивать политику: медицинские приложения whitelistят категорию medical, детские приложения ставят racy = POSSIBLE как триггер блокировки.
Видео: покадровый анализ с семплингом
Для видео-UGC берём кадры через AVAssetImageGenerator (iOS) с интервалом 1 секунда, запускаем on-device модель параллельно через DispatchQueue.concurrentPerform. На Android — MediaMetadataRetriever.getFrameAtTime() + корутины с Dispatchers.Default. Если хоть один кадр превышает порог unsafe — весь ролик помечается для проверки.
Процесс работы
Анализ контентной политики: какие категории блокировать, какие требуют human review, нужен ли whitelist для медицины/арта.
Подбор и тестирование on-device модели на representative датасете приложения.
Интеграция двухступенчатой логики в клиент + серверный верификатор.
Настройка пороговых значений с учётом аудитории (возрастной рейтинг приложения).
Ориентиры по срокам
On-device предфильтр с CoreML/TFLite — 2–3 дня. Полная двухступенчатая система с серверной верификацией и обработкой видео — 1–1,5 недели.