新型全硅计算机视觉硬件，助推传感器内视觉处理
2025-06-20 14:22:19   来源：麦姆斯咨询   评论：0   点击：

传感器内（in-sensor）处理视觉目标的动态和静态信息，可以避免在物理上分离的传感和计算单元之间交换冗余数据，为计算机视觉硬件带来新希望。为此，栅极可调光电探测器如果以高度可扩展的阵列形式制造，将适合大规模传感内视觉处理，因为它们具有批量生产和并行操作的潜力。

据麦姆斯咨询报道，马萨诸塞大学阿默斯特分校的研究人员为推动计算机视觉的发展，开发了一种新型硅基硬件，可以捕捉并处理模拟域的视觉数据。他们的研究成果已经以“Parallelizing analog in-sensor visual processing with arrays of gate-tunable silicon photodetectors”为题发表在Nature Communications期刊上，有望为大规模、对延迟敏感的数据密集型计算机视觉任务提供有力支持。

马萨诸塞大学阿默斯特分校电气与计算机工程系副教授兼生物医学工程系兼职副教授 Guangyu Xu 说：“这是一种非常强大的视网膜仿生硬件。在器件层面融合了传感单元和处理单元，而非将它们物理分离，这种设置与人类眼睛处理视觉世界的方式非常相似。”

现有的计算机视觉系统通常需要在物理上分离的传感和计算单元之间交换冗余数据。

传感器内视觉处理阵列由硅制成，可以在模拟域中同时捕获并处理视觉数据，而这些功能在传统系统中往往是物理分离的。

Guangyu Xu说：“例如，智能手机上的摄像头可以捕捉视野中的每一个像素数据。”

然而，图像中的信息量超出了系统识别物体或其运动所需要的信息量。因此，传输和处理这些额外信息所需要的时间会使理解捕捉到的视觉信息滞后，而这种信息通常具有时间敏感性和数据密集性。

Guangyu Xu说：“我们的技术正试图缩短从感知物理世界到识别捕捉内容之间的时间延迟。”

栅极可调光响应的微型双栅极硅光电探测器

Guangyu Xu及其团队构建了两个集成的栅极可调硅光电探测器阵列，即传感器内视觉处理阵列。它们共享双极模拟输出和低功耗运行，一个阵列可以捕捉动态视觉信息，例如事件驱动（event-driven）的光线变化，另一个阵列可以捕捉静态图像中的空间特征，以识别物体是什么。

在复杂环境中识别人体运动是计算机视觉的一项经典挑战，研究人员开发的模拟技术能够以90%的准确率完成任务，优于数字技术。

扩大这些硅阵列为视网膜形态计算和智能传感带来了希望。在动态运动方面，当被要求对复杂环境中的人体运动（行走、拳击、挥手和鼓掌）进行分类时，新的模拟技术的准确率达到了90%，而数字技术的准确率为77.5%至85%。对于静态图像，这种模拟技术对手写数字的分类准确率达到95%，超过了没有传感器内计算能力的方法（90%）。

这些阵列的一个独特之处在于它们由全硅制成，与计算机芯片使用的材料相同，而以前的传感器内视觉处理器大多是由纳米材料制成。因此，这些阵列与现有CMOS工艺更兼容，而 CMOS 是最常用的半导体技术，可用于在计算机和存储芯片等各种电子器件中构建集成电路。这种兼容性使它们特别适合大规模计算机视觉任务，在这类任务中，许多进程同时执行，即高并行性。

Guangyu Xu说：“我们的全硅技术适合CMOS集成、大规模生产和大规模阵列运行，并且变异性低，我们认为这会成为该领域的一大飞跃。”

Guangyu Xu举例说明了这项工作的潜在应用领域。首先是自动驾驶汽车，该应用必须实时处理车辆周围的情况以及它们的移动速度。任何处理时间上的缩短都能提高自动驾驶汽车的安全性。

另一个受益领域是生物成像。目前的技术所获取的数据可能远远超出实际需要。Guangyu Xu表示：“我们可以在压缩数据量的同时，为科学家提供同样的生物学洞察。”

论文链接：https://doi.org/10.1038/s41467-025-60006-x

延伸阅读：

《新兴图像传感器技术及市场-2024版》

《光谱成像市场和趋势-2022版》

《量子传感器技术及市场-2025版》　

《激光雷达（LiDAR）技术及市场-2024版》