Оптимизация моделей для мобильных: TFLite, квантизация, делегаты

Оптимизация ML-моделей для мобильных: квантизация, делегаты, деплой

Представьте: ваша модель на сервере даёт 0.99 F1, но на Android latency 200 мс, 500 МБ RAM. Клиенты жалуются, uninstall растёт. Мы привозим такие проекты каждую неделю. Наша команда — 5 лет опыта, 70+ сконвертированных моделей — помогает конвертировать модель в TFLite-формат с подбором квантизации и делегатов. Результат: inference под 10 мс, footprint меньше 10 МБ. Экономия на облачной инфраструктуре — до 60%. Снижение стоимости одного инференса — до 80%. Оцените свой проект за 2 дня — просто напишите нам.

Почему квантизация критична для мобильных приложений?

На сервере вы можете позволить FP32, но на устройстве каждый мегабайт и миллисекунда на счету. Квантизация уменьшает модель в 4 раза (INT8) и ускоряет inference в 2–4 раза без специального железа. С делегатами вы выжимаете ещё 3–10x. Без этого ваше приложение проигрывает конкурентам по скорости и энергопотреблению. Подробнее о квантизации нейронных сетей.

Когда требуется конвертация в TFLite?

Если ваше приложение работает на Android, iOS или embedded Linux (Raspberry Pi, Coral), TFLite — стандартный формат. Он поддерживает аппаратное ускорение через NNAPI, GPU delegate, Hexagon DSP и Core ML. Без конвертации вы используете только CPU — теряете 5–20x производительности. TFLite лучше ONNX Runtime на мобильных платформах благодаря оптимизациям под ARM и поддержке Edge TPU. Согласно документации TensorFlow Lite, GPU delegate может ускорить inference до 10 раз по сравнению с CPU.

Как выбрать метод квантизации?

Выбор зависит от требований к точности и скорости:

QAT (Quantization-Aware Training) — лучший выбор для критичных по точности задач. Мы часто используем его на моделях семейства BERT. Например, fine-tuning с QAT даёт падение <0.3% при ускорении 4x.

Что даёт использование GPU delegate?

GPU delegate позволяет выполнять тензорные операции на видеокарте — прирост скорости 3–10x по сравнению с CPU. На Qualcomm Snapdragon с Adreno GPU мы получали 50 FPS на MobileNet v2. Для iOS Core ML delegate даёт до 15x. GPU делегат лучше CPU в 3–10 раз по throughput, но потребляет больше энергии — это компромисс. Стоимость одного инференса снижается в 4 раза по сравнению с CPU.

Пошаговый план конвертации

1. Профилирование — замеряем размер, latency, power на целевых устройствах.
2. Выбор стратегии — post-training или QAT, INT8 или float16.
3. Калибровка — подготавливаем representative dataset (минимум 200–500 образцов).
4. Конвертация — используем tf.lite.TFLiteConverter с оптимизациями.
5. Валидация — сравниваем точность и производительность на реальных девайсах.
6. Документация — готовим код интеграции и рекомендации по деплою.

# TF/Keras → TFLite
converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]  # post-training quantization
tflite_model = converter.convert()

PyTorch → ONNX → TFLite: PyTorch не имеет прямого пути. Используем torch.onnx.export → onnx-tf → TFLite. Важно тщательно тестировать — двойная конвертация может внести артефакты. Для PyTorch-моделей рекомендуем ONNX Runtime для мобильных платформ, если точность критична.

Сравнение делегатов

Типичные ошибки при конвертации

• Несоответствие representative dataset — leads to accuracy drop. Например, если датасет состоит из JPEG с высоким качеством, а в продакшене сжатые — точность падает на 3–5%.
• Отсутствие проверки на устройстве: эмулятор не показывает реальную производительность. CPU на эмуляторе в 2–3 раза быстрее реального.
• Игнорирование power consumption при использовании GPU — на слабых батареях троттлинг снижает FPS.

Пример: портирование YOLOv8 на Android

Клиент хотел real-time детекцию на Snapdragon 8 Gen 2. Мы выбрали full integer quantization с representative dataset из 500 изображений. После калибровки точность упала на 1.2% — компенсировали QAT. Итог: 30 FPS при 8 МБ модели. Весь пайплайн занял 5 дней.

Что входит в работу

• Анализ архитектуры модели и профилирование (размер, latency, power).
• Выбор стратегии квантизации (post-training / QAT, INT8 / float16).
• Конвертация с калибровкой на representative dataset.
• Тестирование точности и производительности на целевых устройствах.
• Документация по интеграции и поддержка при деплое.

Опыт команды: за 5 лет мы сконвертировали 70+ моделей — от YOLOv8 до трансформеров. Имеем сертификаты Google ML и опыт работы с Qualcomm NPU.

Свяжитесь с нами для оценки вашего проекта — рассчитаем сроки (обычно 1–2 недели) и стоимость под ваши требования. Закажите консультацию бесплатно.

Edge AI и оптимизация: деплой моделей без облака

Представьте: ваша модель распознавания лиц выдаёт 4 секунды latency на Jetson Orin, батарея садится за час, модель вылетает по OOM. Мы — команда инженеров по Edge AI с 5+ лет опыта — оптимизировали более 150 моделей для граничных устройств. Без профилирования и правильного выбора квантизации или дистилляции проект обречён. Разрыв между исследовательским кодом и edge-деплоем — отдельная инженерная дисциплина, мы помогаем её освоить за 2–16 недель под ключ. Услуги Edge AI и оптимизация моделей — это не просто экспорт, а системная работа с железом.

Почему просто «экспортировать модель» не работает

PyTorch-модель с float32 и batch_size=32 не готова к edge. Типичные проблемы:

• ResNet-50 в fp32 занимает 98 MB, inference на Cortex-A78 — 380 мс. После INT8-квантизации torch.ao.quantization — 24 MB, 95 мс. Экспорт в ONNX + TensorRT на Jetson — 28 мс.
• YOLOv8m на Raspberry Pi 5 в fp32 — 2.8 fps. TFLite INT8 — 9.4 fps. С XNNPACK делегатом — 14 fps.
• Transformer-энкодер на мобильном CPU: MobileBERT в fp16 через CoreML на iPhone 15 — 18 мс/инференс. distilbert-base-uncased в ONNX — 42 мс.

Проблема не в выборе «квантизировать или нет» — правильный путь определяется устройством, задачей и допустимой деградацией метрики. Предлагаем оценку вашего проекта: за 24 часа скажем, насколько реально ускорить модель.

Какой метод квантизации выбрать для вашей задачи?

PTQ (Post-Training Quantization) — быстрый путь. Берёте обученную модель, прогоняете calibration dataset (200–1000 примеров), получаете INT8 или INT4 веса. Инструменты: torch.ao.quantization, ONNX Runtime quantization tool, bitsandbytes. Деградация точности: 0.5–2% на классификации. Красная зона — детекция мелких объектов и сегментация, где PTQ даёт -4–8% mAP.

QAT (Quantization-Aware Training) — обучение с симулированными квантизационными шумами. Дороже (переобучение), но деградация 0.1–0.5%. Оправдано, когда PTQ неприемлем. В PyTorch — torch.ao.quantization.prepare_qat().

GPTQ / AWQ — для LLM. AWQ лучше сохраняет качество при 4-bit квантизации. llm-compressor от Neural Magic или autoawq — основные библиотеки.

Экономия от выбора правильного метода: до 350 000 ₽ в год на облачных инстансах за счёт снижения latency и энергопотребления. Стоимость проекта рассчитывается индивидуально — диапазон от 100 000 до 500 000 ₽ в зависимости от сложности модели.

Прунинг и дистилляция

Структурный прунинг удаляет каналы или слои. torch.nn.utils.prune — базовый инструмент. Для transformer — прунинг attention heads (LTP, movement pruning). Результат: ResNet-50 после удаления 40% каналов с fine-tuning — -35% размера, -28% latency, -1.2% top-1 accuracy.

Knowledge distillation — обучаем маленькую student имитировать большую teacher. Классика через KLDivLoss на soft labels. Feature distillation на промежуточных слоях эффективнее. Hugging Face DistilBERT: 66M vs 110M параметров, -40% latency, -3% на GLUE. Согласно Wikipedia, это техника сжатия модели.

Комбинированный подход: дистилляция → прунинг → QAT. Даёт максимальный эффект на ограниченном железе. Экономия на облачных вычислениях достигает 70% — мы фиксировали такую у нескольких клиентов.

Целевые платформы и инструменты

TensorRT — главный инструмент для NVIDIA edge. TRT строит граф с fusion операторов, выбирает оптимальные ядра. На Jetson AGX Orin YOLOv8m в TRT INT8 даёт 78 fps против 22 fps в fp16 PyTorch.

Практический кейс: детекция дефектов на производственной линии

Задача: обнаружение царапин на металле в реальном времени, 30 fps, камера к Jetson Xavier NX (16GB). Исходная модель YOLOv8l mAP50 0.91, inference на сервере 28 мс, на Jetson в fp16 — 110 мс (9 fps). Не подходит.

Шаги оптимизации:

1. Переход на YOLOv8m — mAP50 0.887 (-2.3%), 68 мс
2. Экспорт в TensorRT FP16 через yolo export format=engine half=True — 31 мс (32 fps)
3. INT8 calibration на 500 кадрах — 22 мс (45 fps), mAP50 0.879

Итого: деградация 3.5% при 5× ускорении. Клиент получил engine и документацию. Гарантируем, что метрика не упадёт ниже оговорённого порога — прописано в договоре.

Что входит в работу

• Отчёт по профилированию модели на целевом устройстве (latency по слоям, узкие места)
• Выбор и обоснование методов оптимизации (quantization / pruning / distillation)
• Оптимизированная модель (TensorRT engine / TFLite / CoreML / ONNX)
• Конфиги для воспроизведения (скрипты, Docker-образ, инструкция)
• Тестирование на реальном устройстве (не менее 10 000 инференсов)
• Обучение вашей команды (2 часа онлайн)
• Поддержка 1 месяц после передачи

Как заказать оптимизацию модели

1. Оставьте заявку на сайте или свяжитесь с нами любым удобным способом.
2. Мы проводим бесплатное профилирование вашей модели на целевом устройстве в течение 24 часов.
3. Готовим план оптимизации с оценкой trade-off (скорость vs качество).
4. Вы утверждаете план — мы приступаем к работе.
5. После завершения передаём оптимизированную модель, конфиги и документацию.
6. Проводим обучение вашей команды и предоставляем месячную поддержку.

Сроки: оптимизация готовой модели — 2–4 недели. Разработка с нуля под edge — 6–16 недель.

Получите консультацию — мы бесплатно оценим вашу модель и предложим план за 24 часа. Закажите бесплатное профилирование прямо сейчас.