用于颜色感知的超低功耗垂直集成的尖峰视锥感受器阵列
2023-06-17 15:17:26   来源：麦姆斯咨询   评论：0   点击：

据麦姆斯咨询报道，近日，南京大学电子科学与工程学院万青教授、万昌锦副教授课题组在Nature Communications期刊上发表了题为“Vertically integrated spiking cone photoreceptor arrays for color perception”的论文，构建了能够对连续光进行频率编码的垂直集成的尖峰视锥感受器阵列，取得了可见光范围单个尖峰小于400 pW的功耗（与人眼视锥感受器功耗相当），实现了高生物相似性的颜色感知能力的模拟。该成果将为低功耗的动态视觉处理系统提供基础元件，并为高智能仿生机器人的发展提供重要参考价值。

颜色视觉是一种感知由不同波长组成的光之间差异的能力，为生物体提供了实质性的环境适应能力。光线穿过角膜和晶状体，在眼睛后部的视网膜上形成倒像。视网膜包含两种类型的光感受器细胞：视杆细胞和视锥细胞。颜色信息在日光下被视锥细胞检测到，并被传输到大脑进行颜色感知。与数码相机通过滤波器和基于集中、顺序和二进制运算处理来获得颜色信息不同，生物视觉系统中形成的颜色视觉依赖于视锥感受器，它们选择性地对三种波长的光产生响应，并将其编码为用于事件驱动、时间相关和并行处理的尖峰序列。

因此，电荷耦合器件（CCD）或互补金属氧化物半导体（CMOS）等图像传感器的特征尺寸和响应时间对图像分割和物体识别等智能任务的效率至关重要，这不可避免地需要巨大的吞吐量和能耗。人们的眼睛有三种类型、约600万个视锥细胞，每个视锥细胞消耗大约数百皮瓦（pW）的能量，使人们能够在非常紧凑的结构中辨别100多万种颜色，其性能胜过大多数数字传感器。因此，开发生物相似性的人工光感受器，特别是视锥型感受器，将催生一种具有精妙视觉感知和极高能效的视觉系统，并将促进假体、神经机器人和半机械人等相关领域的发展。

硬件尖峰视锥感受器（SCP）能够对由不同波长组成的光产生不同的响应，并以一定的频率将其编码为尖峰。最初，研究人员致力于模拟视觉神经系统中基本突触功能和开发光敏突触器件，旨在模拟关于光的短期/长期记忆。最近，人工尖峰感受器引起了人们的极大兴趣，因为频率中隐含的信息是非常节能的，并且对噪声具有很强的鲁棒性。基于光学传感器和振荡神经元串联的尖峰感受器在复杂背景下表现出高效的边缘图像分割，是一种新颖可行的尖峰视锥感受器方法。然而，为了追求更小的占位面积，需要一种无电容器和更紧凑的配置。此外，高生物相似性仍然具有挑战性，并且关于能量消耗、尖峰频率的范围、对不同波长光的选择性等基本特性尚未很好地实现。

基于此，这项研究工作提出了一种基于金属氧化物的垂直集成的尖峰视锥感受器（VISCP）阵列，它可以根据输入波长以一定的频率将连续光直接转换为尖峰序列。这种尖峰视锥感受器在可见光下具有超低功耗，每个尖峰的功耗小于400 pW，这非常接近生物视锥细胞。该VISCP通过三种波长的光进行了验证，不仅能够分辨这些光的不同组合并表现出高选择性（>1.5个数量级）。由于这种高选择性，这也有利于色盲测试模拟的演示。研究人员使用色盲测试的手写数字作为测试数据集，可以观察到具备和不具备分辨混合颜色能力的器件之间在识别精度上的差异。本研究的成果将使硬件尖峰神经网络具有生物相似性的视觉感知，并为动态视觉传感器的开发提供巨大潜力。

在生物视觉系统中，光感受器（视杆细胞和视锥细胞）将外部光刺激转化为尖峰电位，最终在大脑中形成视觉，如图1a所示。这些光感受器细胞体在眼盘的顶端区域精确地排列成簇，并将轴突投射到大脑的视叶中（图1b）。受视锥细胞的启发，研究人员提出了一种具有ITO/Ta₂O₅/Ag/IGZO/ITO器件结构的VISCP（图1c–e），对多种颜色光的响应在图1f中进行了概念性说明。VISCP由基于IGZO的光敏电阻器和基于Ta₂O₅的尖峰编码器构成，能够根据光强将连续光直接转换为尖峰序列。

图1 垂直集成的尖峰视锥感受器（VISCP）及其生物对应物

研究人员对光敏电阻器和尖峰编码器进行了电学表征，如图2所示。

图2 光敏电阻器和尖峰编码器的电学表征

垂直集成的ITO/Ta₂O₅/Ag/IGZO/ITO器件集成了尖峰编码和光传感特性，可以模拟视锥细胞的功能。VISCP的等效电路如图3a所示。在顶部和底部ITO电极上分别施加恒定电压（V_Bias = 0.5 V）和接地电压，输出电压（V_OUT）在Ag电极上进行测量。该器件以单片方式将连续光编码成具有一定频率水平的尖峰序列，如图3b所示。VISCP中输出尖峰的频率与光强和波长呈正相关（图3c）。图3d显示了在固定光强为0.5 nW/μm²的三种波长下的尖峰响应的实验观察。当波长为360、405和532 nm时，VISCP的尖峰频率分别为1200、7和0.1 Hz。忆阻器的有效输入取决于基于IGZO的光敏电阻的电阻，该电阻与波长和光强有关，并调制尖峰频率。对于360 nm的波长，当光强从0.5 nW/μm²减小到0.03 nW/μm²时，频率从1200 Hz减小到37 Hz，如图3e所示。综上，VISCP在明亮环境下具有颜色选择性，而在黑暗环境下则无效，这与生物视锥细胞相似。

图3 光照射下的VISCP的尖峰编码行为和颜色选择性

生物视觉系统的颜色感知取决于视锥细胞对红、绿、蓝比例的响应。VISCP尖峰频率随着波长从532 nm（λ1）减小到405 nm（λ2）和360 nm（λ3）而增加。研究人员利用这三种波长作为伪彩色，并进行了混合颜色测试（如图4a所示）。响应红色、橙色、橄榄色和绿色光的尖峰频率呈指数增长，如图4b所示。红光的尖峰频率最低，其值为0.2 Hz，而在绿光照射下，频率达到最高的1200 Hz。相邻颜色之间的尖峰频率差异超过一个数量级，表明VISCP在分辨混合颜色方面具有良好的选择性。一般来说，红绿色盲很难分辨红色和绿色，特别是对于含有红色或绿色的混合颜色，如橙色和橄榄色。如图4c所示，研究人员模拟了正常色觉个体和色盲个体的行为。图4d显示了具有和不具有混合颜色选择性的器件在30个训练周期内的识别精度。虽然处理后的数字比原始MNIST数字更复杂，并且识别精度相对较低，但具有混合颜色选择性的VISCP“眼睛”能够以约83.2%的准确率从包含混合颜色的背景中识别目标数字。然而，不具有混合颜色选择性的“眼睛”显示出很大的困难，仅实现了75.5%的低准确率。这些结果成功地模拟了人类对颜色的感知，包括感知、频率编码和识别。

图4 混合颜色图像识别

综上所述，在这项工作中，垂直集成的尖峰视锥感受器（VISCP）能够将光单片转换为尖峰，代表了人工视觉系统中的一大进步，具有高生物相似性。更重要的是，与三种波长的光相对应的大响应范围使分辨“颜色”成为可能。在可见光的响应中，实现了每个尖峰的超低功耗≤400 pW。作为概念验证，这些器件被用于模拟颜色感知。与没有此类选择性的器件相比，具有混合颜色选择性的器件对色盲测试MNIST手写数字显示出更高的识别精度。这些结果揭示了提出的器件在构建具有高能效和高生物相似性的人工视觉系统方面的巨大潜力。借助于必要的外围电路，未来的改进可以致力于制造具有处理高分辨率图像甚至视频能力的大规模阵列。通过与尖峰神经网络的进一步集成，能效和准确性可能会得到提高。此外，通过将器件转换为柔性/可拉伸形式，就像视网膜中的生物视锥细胞一样，可以实现更具生物相似性的系统。

这项研究获得了国家重点研发计划（2019YFB2205400、2021YFA1202600）和国家自然科学基金（62074075、61921005、62174082）的资助。

论文信息：https://doi.org/10.1038/s41467-023-39143-8

延伸阅读：

《新兴图像传感器技术及市场-2023版》