AI-система для доставочных роботов
Доставочные роботы последней мили работают в принципиально другой среде, чем складские: неструктурированные городские тротуары, неровности, пандусы, перекрёстки, непредсказуемые пешеходы. Это делает задачу значительно сложнее и требует другого подхода к восприятию и принятию решений.
Перцептивный стек
Доставочный робот (тип Starship, Kiwibot, Yandex Rover) использует несколько модальностей:
Сенсорный пакет:
- 9-12 камер для 360° обзора (fisheye, 1-2 Мпикс)
- 2-4 LiDAR (Livox Mid-360 или кастомный solid-state)
- Ультразвуковые датчики для ближней зоны (< 1 м)
- RTK GPS для глобальной локализации + Visual SLAM для точной
Детекция объектов:
- YOLOv8 / RT-DETR для пешеходов, велосипедов, автомобилей
- Semantic segmentation (SegFormer) для классификации поверхностей: асфальт, газон, бордюр, лужа
- Depth estimation из стерео или monocular (UniDepth, DPT)
Всё это работает на edge-компьютере: NVIDIA Jetson Orin NX или аналоге с TensorRT-оптимизацией для достижения 30+ FPS при каждом потоке.
Навигация в городской среде
Глобальный маршрут: прокладывается по HD-карте тротуаров (OSM + собственная разметка). Строится граф проходимых сегментов с атрибутами: ширина тротуара, тип покрытия, наличие бордюра, освещённость ночью.
Локальный планировщик: здесь работает RL. Агент обучается в Isaac Sim с фотореалистичными городскими сценами (NVIDIA Omniverse). Задача: за 10-секундный горизонт выбрать траекторию, избегающую столкновений с пешеходами и препятствиями.
Алгоритм: TD3 (Twin Delayed DDPG) для непрерывного пространства скоростей. Входной тензор: Bird's Eye View (BEV) 64×64 м вокруг робота с семантическими слоями + вектор состояния.
Работа с неструктурированными препятствиями
Городские тротуары полны edge cases, которых нет в WMS-сценариях:
| Ситуация | Стратегия |
|---|---|
| Бордюр без пандуса | Объезд по HD-карте / поиск пандуса |
| Лужа / снег | Снижение скорости, объезд |
| Строительный забор | Перепланирование глобального маршрута |
| Толпа пешеходов | Остановка, ожидание прохода |
| Собака без поводка | Мягкая остановка, объезд |
Для обработки редких событий используется Out-of-Distribution (OOD) детектор: если уверенность перцептивного модуля ниже порога, система переходит в safe-stop режим и запрашивает оператора.
Human-in-the-loop телеоперация
Полная автономия достижима лишь при ODD (Operational Design Domain) с чёткими ограничениями. На старте часть edge cases решается телеоператорами:
- Видеопоток с 4 камер в реальном времени (WebRTC, < 200 мс латентность)
- Оператор берёт управление через геймпад
- Все телеоперации логируются как обучающие данные (DAgger — Dataset Aggregation)
- По мере накопления данных процент ручного вмешательства снижается
Типичная динамика: первый месяц — 15-25% миссий требуют вмешательства, через 6 месяцев — 1-3%.
Fleet Management и мониторинг
Centralized Fleet Controller:
- Диспетчеризация заказов: ближайший свободный робот с учётом заряда и текущей позиции
- Предиктивная зарядка: расчёт энергии на маршрут + буфер 20%
- Реальное время: геопозиция + статус каждого робота (Kafka + TimescaleDB)
Метрики операционной эффективности:
- Mission Success Rate: > 95% цель
- Average Delivery Time vs. ETA: deviation < 10%
- Intervention Rate: % миссий с телеоперацией
- MTBF (Mean Time Between Failures): > 200 ч
Регуляторные аспекты
Разные юрисдикции имеют разные требования. США: NHTSA oversight, в ряде штатов (Калифорния, Техас, Виргиния) — специальные разрешения для sidewalk robots. Европа: работа в рамках GDPR (обезличивание лиц в видеопотоке обязательно), национальные дорожные кодексы.
Техническая реализация privacy-by-design: детекция лиц + real-time blurring до записи на диск. Хранение raw видео только при инцидентах, иначе — только агрегированные данные.
Сроки: MVP с базовой навигацией по тротуару — 4-5 месяцев. Продакшн-система с fleet management и телеоперацией — 9-12 месяцев.