单光子事件驱动型成像系统，用于动态三维深度图重建
2026-09-18 17:04:49 来源：麦姆斯咨询 评论：0 点击：
为了充分利用单光子探测的事件驱动特性，研究人员提出一种面向动态三维深度图重建的端到端单光子事件驱动型成像系统。该系统将单像素成像、SPAD探测与脉冲卷积神经网络相结合，利用单个光子的探测事件直接驱动神经网络，使三维深度图可随光子不断到达而持续更新。
实时三维场景感知与分析是汽车自动驾驶、机器人和机器视觉等领域的重要基础。在弱光（低光照）或动态环境中，传统的成像方法往往难以兼顾高速采集、高帧率与实时处理。相比之下，单像素成像（SPI）不仅能够减少数据量，还在处理延迟、光谱范围、探测灵敏度和时间分辨率等方面展现出优势。然而，传统的单像素三维成像通常需要在固定时间窗口内累积光子，形成飞行时间（ToF）直方图后再恢复深度信息，因而难以充分发挥单光子数据天然具有的异步事件特性，也限制了成像系统对动态场景的实时响应能力。
据麦姆斯咨询报道，为了充分利用单光子探测的事件驱动特性，英国斯特拉斯克莱德大学、格拉斯哥大学等的研究人员提出一种面向动态三维深度图重建的端到端单光子事件驱动型成像（SPEDI）系统。该系统将单像素成像、单光子雪崩二极管（SPAD）探测与脉冲卷积神经网络（SCNN）相结合，利用单个光子的探测事件直接驱动神经网络，使三维深度图能够随着光子不断到达而持续更新。相关研究成果以“Single photon event-driven 3D imaging”为题，发表在Communications Engineering期刊上。
图1 用于动态三维场景重建的单光子事件驱动型成像系统示意图
单光子事件驱动型成像（SPEDI）系统及数据采集
SPEDI系统采用一种单像素成像方案，将三维场景信息完全编码于光子的到达时间中，使每个被探测到的光子都可用于同时更新对所有横向位置的估算。该成像系统由此能够从连续的一维光子ToF事件流中重建三维场景。
研究人员采用搭载Pi Imaging公司SPAD阵列产品SPAD23的商用Flash激光雷达（LiDAR）系统开展实验。SPAD23包含23个SPAD像素，每个像素均集成时间相关单光子计数（TCSPC）电子电路，光子事件时间戳分辨率达到20 ps。数据通过先进先出缓冲区连续输出，使SPAD23具备异步读出能力。在本研究中，所有像素的输出信号被合并为一个单一的异步通道；这不仅提高了系统的整体探测效率，还避免了因单个SPAD死区时间而产生的不利影响。
该商用Flash激光雷达系统采用中心波长为520 nm、脉宽约100 fs、重复频率为80 MHz的脉冲激光器，并通过泛光照明采集场景返回的光子。研究人员同时使用英特尔（Intel）RealSense三维相机采集真值深度图，作为神经网络训练和重建结果评估的参考。
图2 SPI成像系统数据采集过程示意图
单光子事件驱动型成像（SPEDI）系统的脉冲卷积神经网络
SPEDI系统的图像重建采用脉冲卷积神经网络（SCNN），其结合了卷积神经网络（CNN）的特征提取能力、编码器-解码器结构的计算效率，以及脉冲神经网络（SNN）处理异步时序信号的能力。SPEDI首先利用包含脉冲神经元的一维卷积层处理光子到达时间，将其转换为类似直方图的结构化时序表示，用于编码反映场景元素和遮挡关系的时空变化，而无需预先生成固定速率的离散ToF直方图。随后，编码器将上述时序特征映射至紧凑的潜在空间，二维卷积解码器再利用自然图像中的空间相关性，将其恢复为二维深度图。
SPEDI采用泄漏积分发放（LIF）神经元。光子事件输入网络后，相关信息会累积在神经元的膜电位中；只有当膜电位达到设定阈值时，神经元才会发放脉冲并向后传播信息。与每次均执行完整稠密计算的传统神经网络不同，这种选择性传播机制能够利用输入数据和神经活动的稀疏性，降低潜在的计算负担和处理延迟。
四种三维图像重建方法的性能对比
研究人员共设置了四种重建方法：事件驱动型SCNN（SPEDI SCNN）、传统非脉冲CNN、速率转换型SCNN（C-SCNN），以及用于验证模型泛化能力的最近邻基线法。评估以真值深度图为基准，采用均方误差（MSE）、平均绝对误差（MAE）量化重建精度。实验结果表明，三种神经网络方法的重建误差均低于最近邻基线，说明模型具备一定的泛化能力，而非单纯记忆训练数据。在定量指标方面，传统CNN取得了最低的均方误差和平均绝对误差；但图像结果显示，两种SCNN同样能够有效重建深度图，并捕捉多种场景中的前景和背景深度细节。
图3 不同重建方法及其输入数据、处理方式与输出格式
SPEDI系统所采用SCNN的主要优势并非提高最终图像精度，而是改变了三维图像的生成方式。传统CNN需要等待光子累积完成后再执行一次完整的前向推理，而SCNN可以将输入作为异步事件流进行处理，随着新光子的持续到达，动态输出并更新深度图。
图4 SPEDI SCNN重建结果对比
单光子事件驱动型成像（SPEDI）系统的优势
SPEDI SCNN并不是逐帧生成相互独立的深度图，而是对场景深度进行连续估算与更新。初始状态下，深度图为空白；随着更多单光子事件进入网络，人物轮廓、背景结构和深度细节逐渐显现。网络内部的脉冲传播能够持续触发深度图像素更新，从而动态反映场景的变化过程。
图5 SPEDI输出深度图的动态变化过程
在计算方面，如果未来将SPEDI SCNN部署到专用神经形态硬件上，有望利用异步处理和稀疏通信特性，进一步降低计算负担、处理延迟和系统功耗。
综上所述，单光子事件驱动型成像（SPEDI）技术改变了传统成像依赖静态、固定时间间隔采集数据的工作模式，使成像系统能够持续与动态环境交互。这对于需要即时响应环境变化的应用具有重要意义，例如自动驾驶导航和先进监控系统等。该技术的主要贡献并非直接提高最终图像精度，而是在减少所需数据量的同时降低处理延迟，使系统能够更及时地响应动态场景变化。
论文链接：https://doi.org/10.1038/s44172-025-00555-7
延伸阅读：
上一篇：颠覆现有音频技术，集成40个MEMS扬声器的便携式音箱亮相
下一篇：基于SPAD传感器的原生彩色激光雷达革新自动驾驶应用