Реализация Differential Privacy для защиты конфиденциальности данных в ML

Реализация Differential Privacy для защиты конфиденциальности данных в ML

Differential Privacy (DP) — математически строгая гарантия: присутствие или отсутствие любого конкретного индивидуума в обучающей выборке не влияет на результат модели более чем на заданную величину ε. Не "примерно анонимно", а доказуемо.

Почему стандартной анонимизации недостаточно

История показала несостоятельность наивной анонимизации. Netflix Prize dataset — "анонимизированный" — был деанонимизирован через сопоставление с IMDb в 2006 году. AOL search data, медицинские записи Массачусетса — десятки примеров. ML-модели, обученные на персональных данных, могут запоминать отдельные записи из обучающей выборки и выдавать их при целенаправленных запросах (membership inference attacks).

DP даёт формальную гарантию: даже зная всё о модели, атакующий не сможет определить, было ли конкретное лицо в обучающих данных.

Типы DP для ML-задач

Local Differential Privacy (LDP)

Шум добавляется на стороне пользователя до передачи данных. Каждый индивидуум добавляет случайный шум к своим данным перед отправкой.

Преимущество: даже оператор системы не видит реальных данных. Недостаток: требует значительно большего объёма данных для той же точности (~100× больше при ε=1).

Применение: сбор статистики на мобильных устройствах (Apple использует LDP в iOS), опросы с чувствительными вопросами.

Central Differential Privacy (CDP) с DP-SGD

Шум добавляется в процессе обучения модели через алгоритм DP-SGD (Differentially Private Stochastic Gradient Descent):

1. Вычисление градиентов для каждого примера в mini-batch
2. Gradient clipping: нормирование градиентов по L2-норме (порог C)
3. Добавление Gaussian noise: N(0, σ²C²) к sum of clipped gradients
4. Нормализация и шаг оптимизации

Параметры: ε (privacy budget), δ (failure probability), σ (noise multiplier), C (clipping threshold).

Реализация через TensorFlow Privacy, Opacus (PyTorch):

from opacus import PrivacyEngine
from opacus.validators import ModuleValidator

model = ModuleValidator.fix(model)  # Replace incompatible layers
optimizer = torch.optim.Adam(model.parameters(), lr=1e-4)

privacy_engine = PrivacyEngine()
model, optimizer, data_loader = privacy_engine.make_private_with_epsilon(
    module=model,
    optimizer=optimizer,
    data_loader=data_loader,
    epochs=20,
    target_epsilon=5.0,
    target_delta=1e-5,
    max_grad_norm=1.0,
)

Privacy Accounting

DP budget потребляется при каждой итерации обучения. Важно отслеживать accumulation через Rényi Differential Privacy (RDP) accountant или moments accountant. Превышение бюджета означает исчерпание гарантий.

Компромисс privacy-utility

DP неизбежно снижает точность модели. Размер деградации зависит от:

Практический совет: для большинства production задач ε=5–10 даёт приемлемый компромисс. Для задач с очень большими датасетами (>1M записей) деградация минимальна.

Техники снижения degradation

• Pretraining on public data: предобучение на публичных данных без DP → fine-tuning с DP на приватных. Деградация снижается в 2–3 раза
• Larger batch sizes: DP-SGD работает лучше при больших batches (меньше итераций = меньший бюджет)
• Model architecture: BatchNorm несовместим с DP (утечка информации через статистику). Использовать GroupNorm или LayerNorm
• Amplification by subsampling: sampling rate напрямую влияет на эффективный ε

Аудит и верификация гарантий

Реализации DP имеют баги — несколько раз в истории находились ошибки в библиотеках. Аудит включает:

• Проверку реализации gradient clipping и noise addition
• Эмпирическую валидацию через membership inference attacks (если атака успешна — реализация неверна)
• Privacy auditing tools: auditing методы Steinke et al. для эмпирической lower bound на ε

Применение в production

Где DP-обучение применяется сегодня:

• Медицинские ML-модели (HIPAA compliance требует защиты PHI)
• Финансовые модели кредитного скоринга
• Рекомендательные системы с пользовательским поведением
• Федеральные ML-системы с персональными данными граждан

Срок реализации DP в существующем ML-пайплайне: 2–4 недели при наличии PyTorch/TF-кода, включая настройку гиперпараметров и валидацию гарантий.