电子皮肤作为机器人VR的人机交互接口，具有巨大的医疗应用潜力
2022-01-21 20:04:04 来源：麦姆斯咨询 评论：0 点击：
中国研究团队在SCIENCE ADVANCES期刊上发表了电子皮肤作为机器人虚拟现实的无线人机交互接口的最新论文，通过电子皮肤将视觉和触觉VR集成到机器人VR的闭环人机交互接口中，在非接触式生物样本采集、传染病患者护理等方面展示了巨大潜力。
据麦姆斯咨询报道，近日，由香港城市大学（City University of Hong Kong）、大连理工大学、清华大学和中国电子科技大学组成的研究团队在SCIENCE ADVANCES期刊上发表了电子皮肤作为机器人虚拟现实（VR）的无线人机交互接口（human-machine interfaces，HMI）的最新论文，通过电子皮肤将视觉和触觉VR集成到机器人VR的闭环人机交互接口（CL-HMI）中，在非接触式生物样本采集、传染病患者护理等方面展示了巨大潜力。
图1 电子皮肤CL-HMI系统的设计和架构
由于其在沉浸式游戏、假肢或外骨骼控制、极端环境操作等应用领域的巨大潜力，在机器人遥操作中的HMI备受关注。尽管HMI系统和设备的开发已经取得了实质性的进展，但它们大多依赖于大而笨重的机器和刚性的电子设备，这使得在可穿戴性、舒适度和功能方面受到限制。随着柔性电子技术的快速发展，HMI系统正从传统的笨重设备转向柔性衬底上的小型化、集成化替代品。
到目前为止，各种柔性传感器已经被开发用于检测电生理信号（如脑电图、眼电图、肌电图等，或捕捉人体运动），然后将这些信息转换成机器人控制指令。工程技术的最新进展使HMI能够通过近场通信、蓝牙（Bluetooth）和无线保真（Wi-Fi）实现无线传输功能。然而，目前的柔性/可穿戴HMI只能从人体的部分部位（如手或手臂）获取信息。此外，缺乏必要的自我调节行为反馈系统限制了其在动态环境中执行复杂任务的应用。因此，开发闭环可穿戴系统HMI是改善该领域控制先进机器人的关键。
作为下一代HMI，CL-HMI应该比现有技术表现出以下巨大优势:（i）电子皮肤集成的元件具有完全柔性的配置，以便能够准确捕获大量人体运动信息作为精确的指令；（ii）长距离无线传输功能，允许传输用户指令，以便在互联网覆盖的任何角落操作目标设备或机器；（iii）精心设计的反馈系统，允许用户同步接收来自机器人的足够信息并及时做出调整。
现在，来自中国的一支研究团队已经开发出一种含有传感器、无线发射器和微型振动磁铁的柔性电子皮肤，并且它可以向用户提供触觉反馈。通过将这些电子皮肤贴片附着在人体的各个部位（如手、前臂或膝盖），系统可以记录用户的动作并将其传输到机器人设备。
该电子皮肤CL-HMI系统的传感器依赖于压阻材料，当受到机械应力时，其电阻会发生变化。这使得它们可以充当弯曲传感器，因此，当电子皮肤贴片附着到用户的关节上时，电阻的变化对应于其弯曲的角度。
这些传感器通过像蛇形一样弯曲的铜线与中央微控制器相连。这种“之”字形模式使铜线在受到拉伸或弯曲时容易延展，从而防止它们在应力下断裂。来自传感器的电压信号被处理并通过蓝牙传输，它们可以直接传输到附近的机器人设备或计算机，然后由计算机通过本地网络或互联网进行传输。
至关重要的是，研究人员还建立了一个反馈系统。同样的压阻传感器可以附着于机器人设备的部件上，例如在指尖上，它们可以充当压力传感器。
来自这些传感器的信号被传输到电子皮肤，在那里它们被用来控制微小的磁铁，这些磁铁根据施加的压力大小以不同的频率振动。研究人员表明，控制机械手的人类可以利用反馈来区分硬度不同的橡胶块。
图2 CL-HMI在机器人遥操作中的控制与反馈功能演示
重要的是，在直接通过蓝牙操作时，反馈信号的响应时间低至4μs，在通过本地Wi-Fi网络操作时，响应时间仅为350μs，低于人类对触觉刺激作出反应所需的550μs。不过，通过互联网传输信号会导致相当长的响应时间——在30到50ms之间。
图3 CL-HMI在机器人VR应用中的演示
尽管如此，研究人员表明，通过将不同配置的电子皮肤贴片与VR目镜的视觉反馈相结合，人类用户可以用手指控制遥控汽车，可以使用机械臂进行新冠病毒（COVID-19）拭子测试，甚至可以让基本的仿人机器人行走、蹲下、打扫房间和帮助护理患者。
论文对CL-HMI系统中的材料、设备和集成方案进行了广泛的实验和理论研究，这为机器人VR的发展奠定了坚实的基础。论文介绍的高自由度机器人在机器人遥操作、假肢控制/反馈和医疗应用中的示例，代表了它在不同领域的广泛潜在应用，包括医疗机器人、工业制造、娱乐体验和外科手术培训。
这项研究工作得到了香港城市大学、香港特别行政区研究资助委员会、深圳市科技创新委员会、国家自然科学基金、辽宁振兴人才计划、大连市优秀青年科技人才、中央高校基本科研业务费的支持。
论文信息：
Y. Liu et al. Electronic skin as wireless human-machine interfaces for robotic VR. Sci Adv. 8(2):eabl6700 (2022).
DOI: 10.1126/sciadv.abl6700.
延伸阅读：