图片来源：Pixabay/CC0公共领域

在2022年2月23日发表在《自然-机器智能》上的一篇论文中，马克斯-普朗克智能系统研究所（MPI-IS）的一个科学家团队介绍了一种名为 "Insight "的鲁棒性软触觉传感器，它使用计算机视觉和深度神经网络来准确估计物体与传感器接触的位置以及施加的力有多大。该研究项目是朝着机器人能够像人类和动物一样准确地感受其环境迈出的重要一步。就像它的自然对应物一样，指尖传感器非常敏感、坚固，而且分辨率高。

拇指形状的传感器是由一个围绕轻质硬质骨架的软壳制成的。这个骨架支撑着这个结构，就像骨头稳定了柔软的手指组织一样。外壳由混合了深色但反光的铝片的弹性体制成，形成了不透明的灰色，防止任何外部光线进入。隐藏在这个手指大小的帽子里的是一个微小的160度鱼眼相机，它记录了彩色的图像，由一圈LED照亮。

当任何物体接触到传感器的外壳时，传感器内的颜色图案的外观就会改变。相机每秒记录许多次图像，并将这些数据输入一个深度神经网络。该算法可以检测到每个像素中即使是最小的光线变化。在几分之一秒的时间内，经过训练的机器学习模型就能绘制出手指与物体接触的确切位置，确定力的强度，并指出力的方向。该模型推断出科学家所称的力图。它为三维指尖上的每一个点提供一个力矢量。

MPI-IS的马克斯-普朗克研究组组长Georg Martius说："我们通过外壳的创新机械设计、内部定制的成像系统、自动数据收集和尖端的深度学习，实现了这种出色的传感性能，他是自主学习组的负责人。"他的博士生孙焕波补充说："我们独特的混合结构，即一个软壳包围着一个坚硬的骨架，确保了高灵敏度和坚固性。我们的相机可以从一张图像中检测到甚至最轻微的表面变形"。事实上，在测试该传感器时，研究人员意识到它足够敏感，可以感受到自己相对于重力的方向。

该团队的第三位成员是MPI-IS触觉智能部主任凯瑟琳-J-库琴贝克。她确认，新的传感器将是有用的。Kuchenbecker说："以前的软触觉传感器只有很小的感应区域，很精致，很难制作，而且往往不能感觉到与皮肤平行的力，而这对于机器人的操作是至关重要的，比如拿着一杯水或沿着桌子滑动一枚硬币。"

但是这样的传感器是如何学习的呢？孙焕波设计了一个测试平台，生成机器学习模型所需的训练数据，以了解原始图像像素的变化与所施加的力之间的相关性。该测试平台探测了传感器的整个表面，并将真实的接触力矢量与传感器内的摄像机图像一起记录下来。通过这种方式，产生了大约20万个测量值。收集数据花了近三周时间，又花了一天时间来训练机器学习模型。在这么多不同接触力的长期实验中幸存下来，有助于证明Insight的机械设计的稳健性，而用更大的探头进行的测试显示了传感系统的通用性。

拇指形状的传感器的另一个特别之处是它拥有一个指甲形状的区域，其弹性层较薄。这个触觉窝的设计，甚至可以探测到微小的力和详细的物体形状。对于这个超敏感区，科学家们选择了1.2毫米的弹性体厚度，而不是他们在手指传感器的其他部分使用的4毫米。

我们在工作中提出的硬件和软件设计可以转移到具有不同形状和精度要求的各种机器人部件。机器学习架构、训练和推理过程都是通用的，可以应用于许多其他的传感器设计，"孙焕波总结道。