Publication

Robot demonstration datasets used to train visionlanguage-action policies can contain a subtle but harmful failure mode: trajectories that are behaviorally correct but paired with the wrong language instruction. We study post-hoc auditing of these Instruction–Trajectory Mismatches (ITMs). Unlike failed rollouts, ITMs often look plausible, and can corrupt the language–behavior mapping learned by the policy. We propose Multimodal Probabilistic Fusion (MMPF), a training-free auditing framework that treats each modality as an expert, estimates a task-label distribution from local neighborhood agreement and global prototype similarity, and then fuses modalities with predictive-entropy weighting in a product of experts. Across LIBERO benchmarks with injected instruction mismatches and noisy real-robot data, MMPF achieves the strongest overall ITM detection and label correction accuracy. We also show that auditing improves most downstream policy learning in settings where language is needed to disambiguate the task. We demonstrate in real robot experiments that our method can achieve improved policy performance and show the trade-off of filtering demonstrations compared to relabeling. Index Terms—Data Sets for Robot Learning, Learning from Demonstration.

Vision-Language Action（VLA）モデルの学習データが大規模化し、人間データや異なるロボットデータなどの複数身体性から学習されるようになると、推論時に出力される軌道がロボットの動力学制約を超える問題がしばしば発生し、一方でこの現象を抑制するようにダウンサンプル後の固定速度で推論すると、一律遅く実行されタスク完了時間が悪化する。本研究では、推論時にVLAが出力するアクションチャンクの予測を評価し、ロボットの動力学制約を満たす範囲で実行速度（時間付け）を動的に調整する枠組みを提案する。シミュレータ上で評価した結果、固定速度で推論する場合に比べ接触のタイミング付近では律速しつつタスク完了時間を短縮することを示した。

模倣学習のためのデータ収集には、多自由度ロボットを直感的かつ安全に操作できる遠隔操作システムが不可欠である。本稿では、双腕車輪型ヒューマノイド TX-G2 を対象に、VR 遠隔操作・全身逆運動学・ハードウェアブリッジを統合したROS 2 ベースの全身制御システムの開発について報告する。とくに、計算資源を開発PCとロボット搭載計算機に分離した構成、リアルタイム性を確保する CPU 割り当て、および多段の安全機構といったソフトウェア工学的な設計を中心に述べ、実機での遠隔操作によるデータ収集への適用を示す。

家庭用ロボットには家事タスクの自動化だけでなく、人と長期的な関係を築きながら生活を共にする存在としての役割が期待されている。本講演では、そのようなロボットを Personal Embodied Agent(PEA)として捉え、家族の一員として成長するロボットの概念を提案する。フィジカル AI 時代における設計原理や研究課題を整理し、今後の家庭ロボット研究の方向性を議論する。

実家庭へのロボット導入を目指し、タスクの登録・実行・評価を一元化した実証基盤を構築する。住民はスマホアプリからタスクを登録し、オペレータがテレオペ UI からロボットを遠隔操作して実行する。実行後には作業動画を住民に提示し、軌道・観測データとともに動作の評価を収集する。本論文では、実住居への Human Support Robot(HSR)と本基盤の導入に向けた取り組みを報告する。

Robot foundation models require real-world manipulation data at a scale beyond what any single laboratory can collect. We describe the design and operation of an end-to-end infrastructure that produced approximately 82,000 hours of teleoperated manipulation data with a fleet of 35+ HSR mobile manipulators across distributed sites:<br />
hierarchical task representation, cross-site VPN teleoperation, resilient upload to multi-tenant cloud storage, automated conversion to LeRobot format, and multistage quality assurance. Filtering ∼80,000 raw hours to ∼50,000 high-quality hours raised real-robot task success from 0% to 60% — evidence that data quality dominates quantity for post-training. We analyze Phase 1 limitations — most critically the opacity of the ROS 1 rosbag data lake — and present a second-generation design adopting ROS 2/MCAP, edge-side compression, network ingestion, collection-time quality gates, a lineage-tracked medallion data lake, and telemetry-integrated dataset creation.

2024年12月に設立された一般社団法人AIロボット協会（AIRoA）は、AIとロボットの融合により汎用ロボットの実現を目指す非営利のコンソーシアムである。本稿では、AIRoAの体制と戦略を概観したうえで、主要な技術アセット、すなわちROS2ベースのデータプラットフォーム、大規模モバイルマニピュレーションデータセットAIRoA MoMaや軽量ハンドYUBIを含むデータセット群、および事後学習の改善から自社事前学習へと進む基盤モデル開発を紹介する。あわせて、家庭用ロボットPEAなどの社会実装と、これらを貫く「データエコシステム構想」を概説する。

Large-scale robot learning datasets are essential for training general-purpose policies, yet annotating long-horizon demonstrations with temporally localized sub-actions remains expensive and difficult to scale. In this work, we study zero-shot temporal action segmentation for bimanual gripper manipulation using multimodal large language models (MLLMs). Given a demonstration video and an ordered sequence of predefined sub-actions, our method localizes sub-action boundaries without task-specific training or manual annotations. Using 2,084 episodes across 18 manipulation tasks collected with the YUBI gripper, we systematically investigate three key design choices: camera view selection, reasoning strategy, and prediction ensembling. Our results reveal several counterintuitive findings. A single top-view camera substantially outperforms wrist-view and multi-view inputs, suggesting that stable global context is more important for temporal boundary localization than fine-grained contact observations. Explicit chain-of-thought reasoning and grasp-aware prompting further degrade performance, primarily due to accumulated temporal drift and noisy auxiliary signals. Finally, we show that ensembling predictions over phase-shifted temporal samples achieves the best segmentation performance while providing a more informative uncertainty signal through ensemble disagreement. These findings provide practical insights into designing scalable MLLM-based annotation pipelines for long-horizon robot manipulation data and demonstrate the potential of zero-shot video understanding for reducing the cost of action annotation in large-scale robot learning datasets.

実ロボットによるモバイルマニピュレーションのための大規模構成的データセット AIRoA MoMa 5k を提案する。本データは、より広い継続的な収集から整備した成功例のみのコーパスで、約5,025時間(1,184,259エピソード・1,809億フレーム)からなる。さらに、π0.5の継続事前学習による予備検討を報告する。一部のチェックポイントでは、継続事前学習の後に下流を50k更新すると平均85.7%の基本動作成功率が得られ、直接fine-tuningの200k更新後の83.3%を上回った。