基于多模态触觉传感器系统的机器人手指，用于瓶装液体的分类
2025-09-20 22:17:43   来源：麦姆斯咨询   评论：0   点击：

近年来，机器人技术的进步加速了智能制造系统的发展。其中，基于视觉感知的物体识别发挥着关键作用。然而，由于液体的光学透明性及其触觉特性之间的相似性，容器中液体的识别与分类仍然是一个尚未被充分探索的领域。

据麦姆斯咨询报道，近日，韩国高丽大学（Korea University）的研究团队提出了一种基于机器学习的机器人手指多模态触觉传感器系统，可用于对瓶装液体进行分类（图1）。该触觉传感器系统融合了热传导和频率响应的感知机制，其设计灵感来自于人体的温度与振动受体，此外还采用了一种双并行结构的卷积神经网络来处理多模态输入。该多模态触觉传感器系统演示了两类不同的分类任务：水体积以及液体种类的分类。本文所提出的模型在两项任务中均取得了较高的分类准确率，并能够实现实时运行。这一仿生学方法为利用静态接触实现对瓶装液体的分类提供了新的解决方案，在机器人感知中具有广阔的应用前景。上述研究成果以“Liquid classification in robotic fingers with multimodal tactile sensor system”为题发表于npj Robotics期刊。

图1 基于机器学习的机器人手指多模态触觉传感器系统，用于瓶装液体的分类

多模态触觉传感器系统和机器学习流程的设计和工作原理

为了实现液体分类，研究人员设计了一种利用热传导和振动感知机器学习模型的多模态触觉传感器系统。该系统包括一个热传感器模块（用于感知热传导）和一个振动传感器模块（用于感知物体振动传递的频率响应），这两个传感器模块可独立运行。系统整体设计及所获得的数据如图2所示。热传感器模块的配置如图2（a）所示。具体而言，热传感器模块采用了热电装置（TED），基于珀尔帖效应（Peltier effect）工作。通过该效应，TED在电压输入下能够产生热量，从而在热传感器模块与接触物体之间引起温度变化。此外，热传感器模块还配备了电阻温度检测器（RTD）用于测量温度变化。RTD能够通过测量线性电阻变化产生的电压输出来检测温度变化，从而提供高精度和高稳定性的测量结果。

图2 多模态触觉传感器系统架构

热传感器模块的工作原理如图2（b）所示。使用热传感器模块抓取水瓶时获得的原始电压数据如图2（c）所示。为了将电压信号转换为温度变化并平滑热传感器模块的输出数据，进行了数据预处理，结果如图2（d）所示。

振动传感器模块的配置如图2（e）所示。该模块基于压电效应工作。选择聚偏二氟乙烯（PVDF）薄膜是因为其能够支持机电耦合，实现振动的产生与感知。模块由一个执行器和一个传感器构成，其中执行器使用厚度为110 μm的PVDF薄膜以保证高电压耐受性，传感器则使用厚度为28 μm的PVDF薄膜以获得高灵敏度。执行器被设计为两腿式结构，以集中并增强振动信号。该振动传感器模块通过硅胶手指套安装在机器人手指上，在抓握瓶子时测量与液体相关的频率响应。通过执行器与传感器之间的压电相互作用，振动传感器模块能够捕捉液体所产生的不同频率响应。

当正弦信号输入至执行器时，由于压电效应引起执行器的形变，从而产生振动。所产生的振动通过被抓取的物体传播，并作用于传感器。当传感器因振动产生机械形变时，它利用压电效应将这些机械形变测量为电压变化。记录下的电压变化被分析，以识别液体瓶的特征频率响应。振动传感器系统在抓取水瓶时的工作原理和原始电压数据分别如图2（f）、2（g）所示。

利用神经网络模型对物体进行分类。该神经网络模型由特征学习部分和分类部分组成。模型的特征学习部分如图2（i）所示。为了实现精确分类，模型将各触觉传感器提取的特征通过展平与拼接相结合，并经过全连接层处理。模型的分类部分如图2（j）所示。

水体积分类

为了验证多模态触觉传感器系统在液体分类中的性能，研究人员进行了两项测试：（i）瓶中水体积分类；（ii）瓶中液体种类分类。首先，在水体积分类实验中，选用了市售500 mL PET瓶（依云，法国达能），因其使用广泛。六个瓶子分别装入0、100、200、300、400和500 mL水。机器人手指以两指平行抓取瓶子，左手指对应热传感器模块，右手指对应振动传感器模块。抓取点位于水位在100和200 mL之间的位置。每个水瓶重复抓取200次，每个传感器模块为每个瓶子收集200组数据。在使用多模态触觉传感器系统进行数据采集时，夹持每个瓶子的夹持器如图3（a）所示。热传感器模块的平均温度变化和总温度变化如图3（b）、3（c）所示。振动传感器模块的平均频率响应和总频率响应如图3（d）、3（e）所示。

图3 待分类水体积的照片与图表

每个瓶子的200个样本被随机划分为训练集、验证集和测试集，比例为8:1:1。采用所提出的多模态触觉传感器模块和双并行1D-CNN（卷积神经网络）模型，实现了97.5%的分类准确率。混淆矩阵如图4（c）所示，展示了多模态触觉传感器系统出色的分类能力。

图4 对水体积进行分类的测试数据集的混淆矩阵

液体种类分类

为了对液体种类进行分类，将六个相同的PET瓶中分别装入丙酮、水、乙醇、FR3油、菜籽油和Mictrans油。每个瓶子均装入200 mL液体，该体积能够使传感器模块与液面之间的距离最短，从而在频率响应中产生最高峰值振幅。类似的，每个瓶子重复抓取200次，因此每种液体每个传感器模块均收集200组数据。热传感器模块记录的平均温度变化和总温度变化如图5（b）、5（c）所示。振动传感器模块的平均频率响应和总频率响应如图5（d）、5（e）所示。

图5 待分类液体的实物照片与图表

所提出的多模态触觉传感系统结合双并行1D-CNN模型，实现了最高97.5%的分类准确率。混淆矩阵如图6（c）所示，凸显了该系统及模型在分类方面的出色性能。这些结果证实了该系统在区分不同液体种类方面的有效性。

图6 对液体种类进行分类的测试数据集的混淆矩阵

综上所述，这项研究提出了一种用于瓶装液体分类的基于机器学习的机器人手指多模态触觉传感器系统，通过统一架构实现温度变化与频率响应的多模态感知。所开发的系统由多模态触觉传感器系统和优化的机器学习流程构成。热传感器模块利用热电装置（TED）和电阻温度检测器（RTD）测量由热传导引起的温度变化，而振动传感器模块则采用PVDF薄膜检测由压电效应产生的频率响应。两个传感器系统均使用了多种数据预处理技术，例如多项式回归和快速傅里叶变换（FFT）。此外，双并行1D-CNN经过专门设计，可有效提取并整合来自传感器系统的不同多模态特征。利用“水体积分类”和“液体种类分类”两个实验验证了多模态触觉传感器系统的性能。总之，本文所提出的多模态触觉传感器系统为瓶装液体分类提供了一种仿生学启发的解决方案，在机器人手指感知中展现出广阔的应用前景。

论文链接：https://doi.org/10.1038/s44182-025-00051-2

延伸阅读：

《触觉技术及市场-2024版》

《人形机器人技术及市场-2025版》

《印刷和柔性传感器技术及市场-2024版》

《机器人传感器技术及市场-2022版》

《可穿戴传感器技术及市场-2025版》

《电子皮肤贴片技术及市场-2022版》