李飞飞团队「具身智能」最新研究：机器人接手所有家务

李飞飞「具身智能」又出新研究了。

「机器人学习领域中的一个『圣杯』级挑战是执行通用的日常家庭移动操作任务。借助一款新型双臂移动机器人，我们的最新成果 ——BEHAVIOR Robot Suite（简称 BRS）正在尝试攻克这一极为困难且尚未解决的难题！」

视频详情

对于问题 2：JoyLo 能够为策略学习提供高质量的数据

研究团队对 10 名参与者进行了全面的用户研究，以评估 JoyLo 的效果及其收集数据对策略学习的适用性。下图为将 JoyLo 与 VR 控制器和 Apple Vision Pro 进行比较。

效率优势：

• JoyLo 整体任务成功率是 VR 控制器的 5 倍（Apple Vision Pro 无人完成全任务）；

• 中位完成时间较 VR 控制器缩短 23%；

• 在铰接物体操作等精细任务中表现突出。

 用户研究结果（10 名参与者）。

用户体验：

• 所有参与者最终评价 JoyLo 为最友好交互；

• 70% 用户最初认为 IK 更直观，但实操后偏好逆转；

• 用户反馈 IK 方法在移动底座 / 躯干控制上存在显著困难。

用户研究参与者的人口统计数据和调查结果。

对于问题 3：WB-VIMA 始终优于基线方法

实验显示，WB-VIMA 在所有任务中全面超越基准方法：端到端任务成功率比 DP3 高 13 倍，比 RGB-DP 高 21 倍；平均子任务表现分别优于 DP3（1.6 倍）和 RGB-DP（3.4 倍）。

五项代表性家庭活动的成功率。「ET」表示整个任务，「ST」表示子任务。

评估期间的安全违规情况。WB-VIMA 与环境物体的碰撞极少，且几乎不会因施加过度力量而导致电机失去动力。

对于问题 4：WB-VIMA 组件对任务性能的影响

研究团队针对 WB-VIMA 展开消融实验，分别移除自回归全身动作去噪和多模态观察注意力机制模块。实验表明，任一组件缺失均导致性能显著下降：在「将物品放上架子」及「整理衣物」任务的「打开衣柜」子任务中，移除自回归去噪模块使成功率骤降 53%；而多模态注意力机制缺失则全面削弱各任务表现。

「放置物品到架子上」和「铺展衣物」任务的消融实验结果。

最后，研究团队还展示了几个失败案例。包括：

1. 尽管机器人已经抓住把手，但未能完全打开洗碗机；

2. 未能按下冲水按钮；

3. 未能从地板上拾起垃圾袋；

4. 未能抬起地上的箱子；

5. 未能关闭衣柜门。

了解更多内容，请查看原论文。