利用强化学习技术，有可能在流体环境中教授微型机器人类似于生物细胞的运动技能，从而在需要特别复杂的动作或存在背景扰动时绕过步态设计问题，有利于未来在生物医学领域的应用。

要点

●通过两所大学和香港大学的联合工作，首次尝试设计出能够在明确目标方向上游泳、执行复杂动作和改变步态的微型机器人。

●一种强化学习算法和一个具有 "行为批判 "结构的神经网络负责确保微型游泳机器人获得典型的微生物导航策略，并根据环境改变其动作。

●未来的研究设想采用同样的方法，使微型机器人发展出三维导航能力，以及克服干扰、物理边界和障碍物的能力。

采用人工智能技术，使微型机器人能够在复杂的流体环境中自主移动，是指学习微型生物特有的运动技能，能够制定导航策略，使它们能够根据所处的环境改变步态。

这种策略的一个例子就是从平移和旋转模式过渡到细菌典型的反向运动模式，或真核生物的运行-停止-冲击模式。

这种自适应步态切换能力在生物医学领域尤为可取，例如使用人工微泳器进行靶向药物输送和显微外科手术，这些手术通常需要在不受控制和不可预测的环境条件下导航到目标位置，"题为 "通过深度强化学习实现微泳器的步态切换和靶向导航 "的论文如是说、该论文概述了加利福尼亚州圣克拉拉大学、新泽西理工学院和香港大学的研究人员利用机器学习技术在微型机器人和微型游泳技能方面开展的联合工作。

研究报告的作者指出："有关这一主题的现有文献表明，具有运动步态的简单可重构系统可以产生净平移和旋转。"然而，当需要复杂的动作或存在背景环境扰动时，运动步态设计就会变得越来越棘手"。

这就是为什么现有的微型游泳器在设计时使用软质材料，并且仍然采用固定的运动步态，人工干预导航。

简而言之，类似于生物细胞的自适应运动策略，能够在高度复杂和不可预测的环境中自主导航，是开发流体环境微型机器人的一项尚未解决的挑战。

直到最近，旨在克服机器人运动问题的人工智能技术的发展才为下一代智能微型游泳机器人的设计开辟了道路。让我们拭目以待。

微型机器人的人工智能：强化学习的作用

关于微型机器人的人工智能，研究人员使用的人工智能技术是强化学习（reinforcement learning），这是一种机器学习技术，旨在开发能够在不同行动之间做出选择的机器，以便通过与运行环境的交互来实现预先设定的目标。

"我们利用强化学习来训练我们的模型系统，使其在初始微型游泳者的任意方向上沿着目标方向游泳。方向由微型游泳者的重心（rc）和 r1 之间的相对位置定义。"研究小组解释道。

具体来说，用于训练微型机器人的强化学习算法是 "近端策略优化"（PPO），而运动控制则由一个具有 "行为批判 "结构的人工神经网络来管理。

根据上图，我们可以看到左侧的人工微型游泳者模型由三个球体组成，球体之间由两条长短不一的臂连接。球体 r1（红色）表示微型机器人的初始位置和当前方向，而两个蓝色球体则表示--在实验中--其随后的方向。

具有行为批判结构的神经网络

在微型机器人人工智能领域，研究团队开发的两个神经网络（Actor 和 Critic）都由三组层组成：输入层（Input Layer）、隐藏层（Hiden Layer）和输出层（Output Layer）。

每一层都由神经元（标记为节点）组成，而权重则表示为节点之间的链接。如上图所示，"在 Actor 模型中，网络输出层的大小与输入状态的大小相同（三个节点），而 Critic 模型网络的输出层只有一个节点"，作者指出。

这是因为在强化学习中，每个后续行动都是通过行为者的神经网络（行为者模型）来定义的。然后由临界神经网络（批判模型）对行动进行评估，以指导训练过程。微型机器人执行代理推荐的动作，并与水动力环境互动，从而产生构成后续观察和奖励的动作。"代理和临界神经网络都会定期更新，以提高整体性能"。

神经网络的训练过程被分为一系列情节，每个情节由 150 个学习步骤组成。根据每20集后的训练结果，临界神经网络更新人工智能算法，以最大限度地提高预期的长期奖励。

而随着剧情的推进，演员-批判框架会逐步训练强化学习算法，从而提高人工游泳运动员的表现。通过所述方案，我们的目标是让微型机器人发展出独特的运动步态，如转向、过渡和平移，从而实现多模式导航策略。

"配备人工智能的微型游泳机器人能够自主调整步态，朝着任意方向航行，并在不同环境变化的影响下航行"。

微型机器人的人工智能：未来前景

在这项关于微型机器人人工智能的研究中，"配备人工智能的微型游泳者所采用的多模式策略让人联想到细菌典型的奔跑和跌倒"，研究小组强调，这项研究取得的成果表明，强化学习方法在实现与生物有机体类似的适应能力方面具有潜力，"可实现强大的运动和适应能力，这对未来的生物医学应用至关重要"。

虽然第一项研究的重点是微型机器人的平面运动，但所使用的方法将来可能会扩展到三维导航等领域，"允许在游泳者的平面外旋转，扩大观察和行动空间以获得额外的自由度"。

强化学习所代表的框架并不局限于特定的游泳者：本作品中使用的是一个简单的多球体系统，仅供参考，但同样的方案也适用于其他微型机器人系统。后续研究还可以解决训练阶段的流动扰动问题，从而开发出更强大的人工智能算法，进一步改进微型机器人的导航策略。作者指出："目前正在研究热波动对微型游水器训练过程和由此产生的导航性能的影响。"

除了水流和热波动，其他环境因素，包括物理边界和障碍物的存在，也可能在未来的研究中得到类似的解决。