【CNMO新闻】谷歌机器人研究部门在一篇博客文章中表示，他们正在研究如何让机器人自己进行长距离移动。高级研究科学家Aleksandra Faust和高级机器人软件工程师Anthony Francis表示：“仅在美国，就有300万人患有行动障碍，无法出门，机器可以帮助行动不便的人做一些简单的事情，比如拿食品、药品或包裹等。”

在某种程度上，通过使用强化学习（RL）可以做到这一点，这是一种人工智能训练技术，它利用奖励来驱动个体朝着目标前进。福斯特、弗朗西斯和他的同事们将强化学习与长距离规划路线结合起来，编出能够安全穿越短距离（约15米）且不会撞上移动障碍物的程序。他们利用AutoRL，一个自动搜索强化学习奖励和神经网络架构的工具，在模拟环境中进行训练，再使用经过训练的程序构建路线图，或由节点（位置）和边组成图。

机器人

使用传统RL方法的训练，仍存在许多问题，比如它需要花费时间迭代和手工调整奖励，并在人工智能架构方面不够明智，更不用说减轻遗忘，这种现象是指人工智能系统在学习新信息时，突然忘记了以前学过的信息。

AutoRL试图通过两个阶段来解决这个问题，奖励搜索和神经网络架构搜索。在第一阶段， 每个奖励功能略有不同，在这个阶段的最后，通常会选择将带到其目的地的奖励。神经网络架构搜索阶段本质上是第一阶段的重复，但使用选定的奖励来优化网络，并对累积奖励进行优化。

这个自动化的训练过程，可以减轻模型的遗忘情况，并且与现有技术相比，由此产生的策略的质量更高（导航任务的质量提高了26%），它们甚至足够强大，可以在非结构化环境中引导机器人。

AutoRL制定的策略，对本地导航很有帮助，但远程导航就需要用到概率路线图了，它们是基于采样的规划器的一个子类，对机器人的姿态进行采样，创建符合机器人特性的路线图。

福斯特和弗朗西斯解释说：“首先，我们在一个通用的模拟训练环境中对机器人进行训练，训练一个本地规划策略。再根据该策略构建一个PRM，称为PRM-rl，它位于部署环境的平铺图之上，相同的平面图可以用于任何机器人。”

为了评估PRM-RL，谷歌的研究人员使用比培训环境大200倍的办公室楼层地图构建了一个路线图，在20次试验中，成功率达90%以上。