麻省理工学院的研究人员开发了一种完全集成的机械臂，它融合了来自相机的视觉数据和来自天线的射频 (RF) 信息，以寻找和检索物体，即使它们被埋在一堆下面并且完全看不见。图片来源：麻省理工学院

一个忙碌的通勤人员正准备走出门，却发现他们把钥匙放错了地方，必须在成堆的东西中搜索才能找到它们。他们迅速筛选杂物，希望能找出哪一堆藏着钥匙。

学院的研究人员已经创建了一个可以做到这一点的机器人系统。该系统 RFusion 是一个机械臂，其抓手上装有摄像头和射频 (RF) 天线。它将来自天线的信号与来自摄像机的视觉输入融合，以定位和检索物品，即使物品被埋在一堆下面并且完全看不见。

研究人员开发的 RFusion 原型依赖于 RFID 标签，这是一种廉价、无电池的标签，可以粘在物品上并反射天线发送的信号。由于 RF 信号可以穿过大多数表面（例如可能会遮挡钥匙的脏衣服堆），因此 RFusion 能够定位一堆中的标记物品。

使用机器学习，机械臂会自动将物体的准确位置归零，将物品移到上面，抓住物体，并验证它是否捡到了正确的东西。摄像头、天线、机械臂和 AI 完全集成，因此 RFusion 可以在任何环境下工作，无需特殊设置。

虽然找到丢失的钥匙很有帮助，但 RFusion 在未来可能有更多更广泛的应用，比如整理堆以完成仓库中的订单，在汽车制造厂识别和安装组件，或帮助老年人在家中执行日常任务，尽管当前的原型对于这些用途来说还不够快。

“能够在混乱的世界中找到物品的想法是我们多年来一直在努力解决的一个悬而未决的问题。拥有能够在一堆东西下搜索物品的机器人是当今行业日益增长的需求。对现在，您可以将其视为使用类固醇的 Roomba，但在短期内，这可能会在制造和仓库环境中得到大量应用，”资深作者、电气工程和计算机科学系副教授 Fadel Adib 说。麻省理工学院媒体实验室信号动力学组主任。

共同作者包括研究助理 Tara Boroushaki，主要作者；电气工程和计算机科学研究生 Isaac Perper；研究助理 Mergen Nachin；和 Alberto Rodriguez，机械工程系 1957 届副教授。这项研究将在下个月的嵌入式网络传感器系统计算机协会会议上发表。

机械臂正在寻找隐藏在物品下面的钥匙。图片来源：麻省理工学院

RFusion 开始使用其天线搜索物体，天线从 RFID 标签反射信号（如阳光从镜子反射）以识别标签所在的球形区域。它将该球体与相机输入相结合，从而缩小了对象的位置。例如，该项目不能位于空的表区域上。

但是，一旦机器人对物品的位置有了大致的了解，它就需要在房间周围广泛摆动手臂，进行额外的测量以得出准确的位置，这是缓慢且低效的。

研究人员使用强化学习来训练一个神经网络，可以优化机器人到物体的轨迹。在强化学习中，算法通过反复试验和奖励系统进行训练。

“这也是我们的大脑学习的方式。我们从老师、父母、电脑游戏等那里得到奖励。强化学习中也会发生同样的事情。我们让智能体犯错或做正确的事情，然后我们惩罚或奖励网络。这就是网络如何学习很难建模的东西，”Boroushaki 解释道。

在 RFusion 的情况下，当优化算法限制了定位项目所需的移动次数以及拾取项目所需的移动距离时，它就会得到奖励。

一旦系统识别出正确的位置，神经网络就会使用组合的射频和视觉信息来预测机械臂应该如何抓取物体，包括手的角度和抓手的宽度，以及是否必须先移除其他物品. 它还最后一次扫描物品的标签，以确保它拾取了正确的物体。

错或做正确的事情，然后我们惩罚或奖励网络。这就是网络如何学习很难建模的东西，”合著者 Tara Boroushaki（如图所示）解释说。图片来源：麻省理工学院

解决杂乱

研究人员在几种不同的环境中测试了 RFusion。他们把钥匙链埋在一个杂乱无章的盒子里，把遥控器藏在沙发上的一堆物品下面。

但是，如果他们将所有相机数据和 RF 测量值提供给强化学习算法，系统就会不堪重负。因此，利用 GPS 用于整合来自卫星的数据的方法，他们总结了 RF 测量结果并将视觉数据限制在机器人正前方的区域。

他们的方法效果很好——RFusion 在检索完全隐藏在一堆下的物体时的成功率为 96%。

“有时，如果你只依赖 RF 测量，就会有一个异常值，如果你只依赖视觉，有时相机会出错。但如果你把它们结合起来，它们就会得到纠正” Boroushaki 说。

未来，研究人员希望提高系统的速度，使其能够平稳移动，而不是定期停下来进行测量。这将使 RFusion 能够部署在快节奏的制造或仓库环境中。

Boroushaki 说，除了其潜在的工业用途外，这样的系统甚至可以融入未来的智能家居中，以帮助人们完成任何数量的家务。

“每年都有数十亿个 RFID 标签用于识别当今复杂供应链中的物品，包括服装和许多其他消费品。RFusion 方法为自主机器人指明了道路，该机器人可以挖掘一堆混合物品并将其分类使用存储在 RFID 标签中的数据，比单独检查每件物品更有效，尤其是当物品看起来类似于计算机视觉系统时，”CoMotion 总统创新研究员兼电气和计算机副 教授 Matthew S. Reynolds 说华盛顿大学的工程学博士，他没有参与这项研究。“对于在复杂供应链中运行的机器人技术来说，RFusion 方法是向前迈出的一大步，在这些供应链中，识别和‘拣选’。