Развёртывание AI на Intel Movidius / OpenVINO
Intel OpenVINO — toolkit для оптимизации и деплоя ML моделей на Intel hardware: CPU (x86), GPU (Intel Iris/Arc), NPU (Intel Neural Processing Unit в Core Ultra), VPU (Intel Movidius). Конкурент TensorRT для Intel-экосистемы.
OpenVINO Toolkit
Model Optimizer → IR (Intermediate Representation): Конвертация из TensorFlow, PyTorch (через ONNX), ONNX, PaddlePaddle в OpenVINO IR формат. INT8 calibration через Post-Training Optimization Tool (POT) или Neural Network Compression Framework (NNCF).
Inference Engine:
from openvino.runtime import Core
core = Core()
model = core.compile_model("model.xml", "NPU") # CPU, GPU, NPU
Intel Neural Processing Unit (NPU)
Intel Core Ultra (Meteor Lake, Arrow Lake) содержит встроенный NPU:
- Core Ultra 5/7 125H: ~10 TOPS NPU
- Core Ultra 9 185H: ~11 TOPS NPU
- Core Ultra 200V: ~48 TOPS NPU
Идеален для: always-on AI задач (face detection, keyword spotting) с минимальным энергопотреблением.
Intel Movidius VPU
Myriad X (в Intel Neural Compute Stick 2, хотя устаревает) и последователи. 4 TOPS, USB-подключение. Конкурент Coral USB.
Применение
Edge servers на Intel Xeon, промышленные ПК на Core i5/i7, edge гейтвеи с Intel Atom. OpenVINO Model Server для production serving с gRPC API.