Разработка мобильного приложения для управления робототехникой

Разработка мобильного приложения для управления робототехникой

Управление роботом с мобильного устройства распадается на несколько принципиально разных задач: телеоперация в реальном времени (джойстик для колёсной платформы или манипулятора), мониторинг состояния (заряд, температура, статус задачи), программирование миссий (waypoints, pick-and-place последовательности), видеотрансляция с камер. Каждая из них предъявляет разные требования к latency, надёжности и стеку технологий.

ROS 2 и rosbridge: стандарт в исследовательской и промышленной робототехнике

ROS 2 (Robot Operating System) — де-факто стандарт в академической и всё больше в промышленной робототехнике (Universal Robots UR-серия, MiR мобильные платформы, Boston Dynamics Spot SDK). rosbridge_suite предоставляет WebSocket API для взаимодействия с ROS-топиками, сервисами и параметрами из любого языка.

class RosbridgeClient {
  late WebSocketChannel _channel;
  final _topicStreams = <String, StreamController<dynamic>>{};
  int _opId = 0;

  Future<void> connect(String url) async {
    _channel = WebSocketChannel.connect(Uri.parse(url));
    _channel.stream.listen(_handleMessage);
  }

  // Подписка на ROS-топик
  Stream<T> subscribe<T>(String topic, String type,
      T Function(Map<String, dynamic>) fromJson) {
    final controller = StreamController<T>.broadcast();
    _topicStreams[topic] = controller as StreamController<dynamic>;

    _channel.sink.add(jsonEncode({
      'op': 'subscribe',
      'topic': topic,
      'type': type,
      'id': 'sub_${_opId++}',
    }));

    return controller.stream.map((data) => fromJson(data as Map<String, dynamic>));
  }

  // Публикация в ROS-топик
  void publish(String topic, String type, Map<String, dynamic> message) {
    _channel.sink.add(jsonEncode({
      'op': 'publish',
      'topic': topic,
      'type': type,
      'msg': message,
    }));
  }

  void _handleMessage(dynamic raw) {
    final msg = jsonDecode(raw as String) as Map<String, dynamic>;
    if (msg['op'] == 'publish') {
      final topic = msg['topic'] as String;
      _topicStreams[topic]?.add(msg['msg']);
    }
  }
}

Телеоперация: джойстик и latency

Управление колёсной платформой через виртуальный джойстик публикует geometry_msgs/Twist в топик /cmd_vel. Критическое требование — latency. При задержке >200 мс управление становится некомфортным, >500 мс — опасным.

class TeleopController {
  final RosbridgeClient _rosbridge;
  Timer? _publishTimer;

  void startTeleop(Stream<Offset> joystickInput) {
    joystickInput.listen((offset) {
      _currentLinear = offset.dy * MAX_LINEAR_SPEED;   // м/с
      _currentAngular = -offset.dx * MAX_ANGULAR_SPEED; // рад/с
    });

    // Публикуем Twist с фиксированной частотой 10 Гц
    // Не привязываем к событиям джойстика — нужна равномерная частота для ROS-контроллера
    _publishTimer = Timer.periodic(const Duration(milliseconds: 100), (_) {
      _rosbridge.publish('/cmd_vel', 'geometry_msgs/Twist', {
        'linear': {'x': _currentLinear, 'y': 0.0, 'z': 0.0},
        'angular': {'x': 0.0, 'y': 0.0, 'z': _currentAngular},
      });
    });
  }

  void stopTeleop() {
    _publishTimer?.cancel();
    // Явная остановка — безопасность важнее
    _rosbridge.publish('/cmd_vel', 'geometry_msgs/Twist', {
      'linear': {'x': 0.0, 'y': 0.0, 'z': 0.0},
      'angular': {'x': 0.0, 'y': 0.0, 'z': 0.0},
    });
  }
}

Watchdog на роботе: если /cmd_vel не приходил 0.5 секунды — аварийная остановка. Это стандартная практика для мобильных платформ. Потеря WiFi или переключение сети = робот останавливается сам.

Видеотрансляция: web_video_server или WebRTC

web_video_server — ROS-пакет, стримит топики sensor_msgs/Image или sensor_msgs/CompressedImage через HTTP MJPEG/h264. Для мобильного клиента на Flutter:

// MJPEG из web_video_server
Widget buildCameraView(String topic) {
  final url = 'http://$robotIp:8080/stream?topic=$topic&type=mjpeg&quality=70';
  return MjpegStreamView(url: url);  // кастомный виджет с MJPEG-декодером
}

Для latency <200 мс нужен WebRTC — webrtc_ros пакет или Janus Gateway. WebRTC даёт real-time видео с sub-100 мс задержкой через flutter_webrtc:

class RobotVideoCall {
  late RTCPeerConnection _peerConnection;

  Future<void> startStream() async {
    _peerConnection = await createPeerConnection({
      'iceServers': [{'urls': 'stun:stun.l.google.com:19302'}],
    });

    _peerConnection.onTrack = (RTCTrackEvent event) {
      if (event.track.kind == 'video') {
        _videoRenderer.srcObject = event.streams.first;
      }
    };

    // Сигнализация через rosbridge или отдельный WebSocket
    final offer = await _peerConnection.createOffer();
    await _peerConnection.setLocalDescription(offer);
    _signalingChannel.send(offer.sdp);
  }
}

Навигация и waypoints

Для автономной навигации (ROS Navigation Stack, Nav2) — отправка целевой точки через geometry_msgs/PoseStamped в /move_base_simple/goal (ROS 1) или action-сервер /navigate_to_pose (Nav2 в ROS 2):

Future<void> navigateTo(double x, double y, double yaw) async {
  final quaternion = yawToQuaternion(yaw);

  // ROS 2 Nav2 через rosbridge action
  _rosbridge.publish('/goal_pose', 'geometry_msgs/PoseStamped', {
    'header': {
      'frame_id': 'map',
      'stamp': {'sec': DateTime.now().millisecondsSinceEpoch ~/ 1000, 'nanosec': 0},
    },
    'pose': {
      'position': {'x': x, 'y': y, 'z': 0.0},
      'orientation': quaternion,
    },
  });
}

Map<String, double> yawToQuaternion(double yaw) {
  return {
    'x': 0.0, 'y': 0.0,
    'z': sin(yaw / 2),
    'w': cos(yaw / 2),
  };
}

Отображение карты — nav_msgs/OccupancyGrid из топика /map. Растровая карта (uint8 array, 0=свободно, 100=занято, -1=неизвестно) конвертируется в PNG и рендерится через flutter_map или кастомный CustomPainter.

SDK проприетарных роботов

Boston Dynamics Spot — Spot SDK (Python + gRPC, мобильный клиент через REST-обёртку). Universal Robots — UR RTDE (Real-Time Data Exchange) для телеметрии, URScript через сокет для команд. Doosan, Kuka — своих SDK с REST API или Modbus TCP.

Разработка мобильного приложения для управления роботом на ROS 2 с телеоперацией, видеостримингом и навигацией: 12–18 недель. Интеграция с проприетарным SDK конкретного робота оценивается отдельно. Стоимость рассчитывается индивидуально после изучения архитектуры системы.