Развёртывание AI на Google Coral Edge TPU
Google Coral — платформа для высокоэффективного ML inference на edge. Edge TPU — специализированный ASIC для INT8 inference. 4 TOPS при 0.5–2 Вт потребления. Идеален для battery-powered или low-power applications.
Форм-факторы Coral
- USB Accelerator: подключается к Raspberry Pi / x86. Plug-and-play
- PCIe M.2 Accelerator (A+E): для встраиваемых систем
- Dev Board: SoC NXP i.MX 8M + Edge TPU. Standalone edge computer
- Dev Board Mini: compact version
Оптимальные применения
Object detection (MobileNet SSD, EfficientDet-Lite): MobileNet SSD на Coral USB → 400 FPS при 28 мВт. Image classification: MobileNetV2 → 400 FPS. Pose estimation, face detection — модели под Coral есть в Coral Model Zoo.
Требования к модели
Edge TPU выполняет только операции, поддерживаемые TPU. Несовместимые операции → CPU (медленно). Правила для полной поддержки TPU: INT8 quantization, поддерживаемые операции (Conv2D, DepthwiseConv, FC, BatchNorm, ReLU, etc.), модель < 8 MB (иначе частичное выполнение на TPU).
Workflow
- Обучить модель (TensorFlow / TFLite)
- Пост-обучение INT8 квантизация с representative dataset
-
edgetpu_compiler model_quant.tflite - Деплой + PyCoral API
Ограничения
Edge TPU — эффективен для стандартных CNN. Для трансформеров, RNN, нестандартных архитектур — лучше Jetson или x86 с OpenVINO.