Реализация On-Device ML (обучение и инференс на устройстве без передачи данных)
On-Device ML — данные не покидают устройство. Критично для: медицинских данных (HIPAA), биометрии, корпоративных документов, персонализации без privacy concerns. Apple, Google, Samsung активно продвигают это направление.
On-Device Inference
Задача проще — модель предварительно обучена на сервере, деплоится на устройство:
- iOS: Core ML + Neural Engine. Отличная производительность на iPhone 12+
- Android: TFLite + NNAPI/GPU/Hexagon
- Embedded: TFLite Micro, ONNX Runtime Mobile
On-Device Training
Значительно сложнее. Требует: достаточный объём памяти, адаптивный оптимизатор, эффективный backward pass.
Federated Learning: Стандартный подход для on-device training. Устройство дообучает модель на локальных данных → отправляет только gradient updates (не сырые данные) → сервер агрегирует через FedAvg → обновлённая модель возвращается. TensorFlow Federated, PySyft, FATE.
Continual Learning на устройстве: Модель адаптируется к конкретному пользователю без centralized training. NLP: адаптация к стилю набора текста. Computer Vision: персонализация face recognition.
Apple Private Cloud Compute: новый подход Apple — вычисления в облаке, но с cryptographic guarantees что данные не доступны Apple или третьим сторонам.
Технические ограничения
Battery: training — энергоёмкая операция. Только во время зарядки. Memory: обратное распространение требует ~3x памяти по сравнению с inference. Typically: только fine-tuning последних слоёв.