《Meta AI：赋予机器人“触觉”的创新力量》

一、Meta AI 与机器人触觉的邂逅

人工智能机器人在当今时代已不陌生，其拥有 “视觉” 和 “听觉” 早已屡见不鲜，这两种感官成为人类感知物理世界的重要渠道。然而，Meta AI 的基础人工智能研究团队（FAIR）近日公布的新技术，为机器人带来了全新的 “触觉”，这无疑是机器人发展历程中的重大突破。

Meta 的愿景是使 AI 能够 “更丰富地了解世界” 并 “更好地理解和模拟物理世界”。通过为机器人赋予触觉，Meta 让机器人在与世界互动的方式上更加多样化，使其在 “类人” 的道路上迈出了坚实的一步。

Meta 正在与美国传感器公司 GelSight 和韩国机器人公司 Wonik Robotics 合作，开发了一系列专注于触觉感知、机器人灵巧性和人机交互的新技术。这些新技术包括 Sparsh、Digit 360 和 Digit Plexus 三个研究工具，以及用于评估人机协作中的规划和推理的基准测试 PARTNR。

Sparsh 是第一个用于基于视觉的触觉感知的通用编码器模型，在包含 460000 多个触觉图像的大型数据集上进行预训练，让机器人通过看大量的图片和视频来自学如何 “感觉” 物体，无需人工为其 “感觉” 打标签。Digit 360 是人造手指形状的触觉传感器，配备超过 18 种传感功能，能检测小至 1 毫牛顿的力，还可感知振动、热量甚至气味，性能远超以前的传感器。Meta AI 团队还为 Digit 360 开发了宽视场的触摸感知专用光学系统，由超过 800 万个传感器单元组成，可捕捉指尖表面的全向变形，借助设备上的人工智能加速器，能快速处理信息，充当机器人的周围神经系统。Digit Plexus 则是一个标准化软硬件平台，允许将各种指尖和皮肤触觉传感器集成到机器人手中，实现无缝数据收集、控制和分析。PARTNR 是人机协作规划和推理任务基准，包含 100000 个自然语言任务，涵盖 60 栋房屋和 5800 多个独一无二的对象，旨在评估大型语言和视觉模型通过人机交互工具与人类协作的性能。

二、关键技术与工具

（一）Sparsh：基于视觉的触觉感知编码器

Sparsh 作为第一个用于基于视觉的触觉感知的通用编码器模型，通过自我监督学习实现了触觉感知的新突破。在传统方法中，需要为特定任务和传感器手工制作模型，将物体的触摸参数打包成感觉标签喂给机器人，这不仅麻烦，还需要大量的标签数据。而 Sparsh 利用自我监督学习，在一个包含 460000 多个触觉图像的大型数据集上进行预训练，让机器人像看大量的图片和视频一样，自主学习如何识别和处理物体，无需人工标注每个动作对应的标签。这样的方式使得机器人更容易在不同任务中使用不同的触觉传感器。

“Sparsh” 这个名字源自梵语，意为 “触摸或接触感官体验”，非常贴切地体现了它处理数字化触觉信号并实现触摸感知的功能特点。它就像是为机器人打开了一扇新的感知之门，让机器人能够更加智能地理解和处理周围的世界。

（二）Digit 360：高精度人造手指触觉传感器

Digit 360 是一款形状类似人类手指的高精度触觉传感器，配备超过 18 种传感功能。研究人员可以结合各种传感技术，或单独分析每个信号，深入了解每种模式。它能够检测空间细节的微小变化，甚至可以捕捉小至 1 毫牛顿的力。

Meta FAIR 团队为 Digit 360 开发了一种宽视场的触摸感知专用光学系统，该系统由超过 800 万个传感器单元组成，能够捕捉指尖表面的全向变形。每次 Digit 360 与物体接触时，都会产生独特的信号，这些信号由物体表面的机械特性、几何特性和化学特性产生。它可以感知振动、温度变化，甚至气味，性能明显优于以前的传感器。

除了提高机器人的灵巧性外，Digit 360 在医学和假肢、虚拟现实和远程呈现等领域都有广阔的应用前景。在医学领域，它可以帮助医生更准确地进行手术操作；在虚拟现实中，它可以让用户获得更加真实的触觉体验。

（三）Digit Plexus：标准化软硬件平台

Digit Plexus 是一个标准化软硬件平台，它的作用在于将各种指尖和皮肤触觉传感器集成到一个机器人手中，提高机器人的灵巧性和对物理世界的感知能力。

通过一根电缆将触觉数据编码并传输到主机计算机中，实现无缝数据收集、控制和分析。Plexus 系统的设计旨在简化机器人应用的开发，特别是对于那些需要精细触觉反馈的应用。开发者可以更容易地将触觉传感器技术集成到他们的机器人项目中，从而让机器人更加智能地与物理世界互动。

（四）PARTNR：人机协作基准测试

PARTNR 是一种人机协作规划和推理任务基准测试，它的目标是评估大型语言和视觉模型通过人机交互工具与人类协作的性能。PARTNR 包含 100000 个自然语言任务，涵盖 60 栋房屋和 5800 多个独一无二的对象。通过提供标准化基准和数据集，Meta 希望能使机器人的研究不仅能够独立运行，而且能够围绕人类运行，使它们更加高效、可靠，并且适应每个人的喜好。在家庭活动中的人机协作研究中，PARTNR 发挥着重要的作用，为未来的人机协作提供了有力的评估工具。

三、技术实现原理与应用前景

（一）技术实现原理

Meta AI 通过与美国传感器公司 GelSight 和韩国机器人公司 Wonik Robotics 合作，实现了机器人触觉技术的突破。其中，Sparsh 通过自我监督学习，在包含 460000 多个触觉图像的大型数据集上预训练，让机器人像看图片和视频一样自主学习如何 “感觉” 物体。Digit 360 则是通过配备超过 18 种传感功能，以及由超过 800 万个传感器单元组成的宽视场触摸感知专用光学系统，实现对触摸的高精度数字化，产生由物体表面机械、几何和化学特性产生的独特信号，从而提供丰富而详细的触觉数据。Digit Plexus 作为标准化软硬件平台，将各种指尖和皮肤触觉传感器集成到机器人手中，并通过电缆将触觉数据编码传输到主机计算机，实现无缝数据收集、控制和分析。PARTNR 则通过提供标准化基准和数据集，评估人机协作性能。

（二）应用前景

外科手术领域机器人触觉在外科手术中具有巨大的应用潜力。自带触觉反馈的机器人，如 HeroSurg，能够将触觉传递给主刀医生以及 3D 图像处理器，让医生更准确地判断手术刀的位置、感受到操作力度以及组织的软硬程度，从而提高手术的安全性和精准度。例如，在常见的微创手术中，由于切口小，医生操作难度大，而拥有触觉的机器人可以帮助医生更好地进行手术，特别是在缝合微小组织等精细操作中。Meta AI 的新技术让机器人对外界变化拥有远超人类的敏感度，配合高效的软硬件协作系统，在外科手术场景中大有用武之地。例如，在一些复杂的手术中，机器人可以感知微小的力变化，避免对脆弱组织造成过度损伤，提高手术的成功率。精密仪器制造领域在精密仪器制造中，对精度和操作的准确性要求极高。拥有触觉的机器人可以更好地感知和处理微小的零件，提高制造精度。例如，清华大学精密仪器系朱荣教授研究组研发的多功能感知触觉传感器，将多模感知原位集成，实现对触感、物感、温感等多种感知的高密度集成，应用于机器手抓握感知，实现了对抓握物品的形状、大小和材料等多属性识别，并成功应用于垃圾分类。Meta AI 的 Digit 360 触觉传感器性能明显优于以前的传感器，可以检测空间细节的微小变化，能够捕获小至 1 毫牛顿的力，并且包含多种传感模式，可以感知振动、热量甚至气味。在精密仪器制造中，这种高精度的触觉传感器可以帮助机器人更好地操作和组装微小零件，提高制造质量和效率。

总之，Meta AI 的新技术为机器人赋予了 “触觉”，这不仅是机器人发展的重大突破，也为外科手术、精密仪器制造等领域带来了广阔的应用前景。随着技术的不断发展和完善，相信拥有触觉的机器人将会在更多领域发挥重要作用。