综述：基于深度学习的单光子单像素成像技术及应用
2026-09-13 09:21:37 来源：麦姆斯咨询 评论：0 点击：
本文系统梳理了单光子单像素成像（SP-SPI）的基本原理及重建算法演进历程，重点分析了用于图像重建的三种深度学习范式（数据驱动、物理驱动和混合驱动），总结了基于深度学习的单光子单像素成像在光子匮乏成像、三维成像、遥感等领域的典型应用。
单像素成像（SPI）是一种利用空间光调制图案照射目标，通过单像素探测器采集总光强，再通过相关运算重建图像的技术，适用于弱光、非可见光等特殊成像场景，但在光子极度匮乏的环境下，传统的单像素成像方案通常面临重建质量下降、采样效率受限等问题。将传统的单像素探测器替换为单光子探测器（SPD），并结合时间相关单光子计数（TCSPC）技术，可实现单光子级灵敏度与皮秒级时间分辨率，不仅能突破弱光成像的性能瓶颈，还能利用光子飞行时间（ToF）将成像从二维强度拓展到三维深度感知。与此同时，深度学习（DL）凭借强大的非线性拟合和特征学习能力，正成为提升该技术重建质量与计算效率的重要驱动力。
据麦姆斯咨询报道，针对上述领域研究，上海大学、北京长城计量测试技术研究所、北京航空航天大学的联合团队在Optics & Laser Technology期刊上发表了题为“Deep learning-based single-photon single-pixel imaging: a review”的综述文章，系统梳理了单光子单像素成像（SP-SPI）的基本原理及重建算法演进历程，重点分析了用于图像重建的三种深度学习范式（数据驱动、物理驱动和混合驱动），总结了基于深度学习的单光子单像素成像在光子匮乏成像、三维成像、遥感、散射介质成像、非可见波段成像和全息成像等领域的典型应用，并讨论了该技术当前面临的挑战与未来的发展方向。
图1 本综述的图文摘要
单光子单像素成像基本原理
单像素成像起源于量子鬼成像（GI），核心原理是计算两条光路光强之间的二阶相关，后续发展出计算鬼成像（CGI）与单像素成像两种经典架构。与传统的逐像素成像不同，单像素成像无需面阵探测器，仅通过单像素探测器采集的总光强信号，结合已知的空间调制图案做关联运算，即可重建出目标图像，这种成像机制在光子匮乏场景下具备天然优势。但传统方案受奈奎斯特（Nyquist）采样定理约束，欠采样条件下重建质量会急剧下降。
图2 伪热鬼成像装置示意图
单光子探测器为光子极度匮乏条件下的成像提供了硬件基础，结合时间相关单光子计数技术，单光子探测器可精确记录每个光子的到达时间，生成光子计数直方图，目前已实现皮秒级时间分辨率。单光子探测器主要包括光电倍增管（PMT）、雪崩光电二极管（APD）和超导纳米线单光子探测器（SNSPD）等。其中，单光子雪崩二极管（SPAD）具有灵敏度高、成本相对较低且与标准硅CMOS工艺兼容等优势，是实现大规模单光子探测阵列的重要技术方案。SPAD阵列可进一步分为线阵、面阵和三维堆叠阵列。
图3 线阵SPAD与面阵SPAD的对比
单光子单像素成像重建算法演进
（1）传统的单像素成像算法
传统的单像素成像算法主要分为线性非迭代算法和非线性迭代算法。线性非迭代算法以光场相关法、矩阵变换法为代表，包括差分鬼成像（DGI）、归一化鬼成像（NGI）、伪逆鬼成像（PGI）等，计算速度相对较快，但在欠采样和强噪声条件下容易产生伪影。非线性迭代算法以压缩感知（CS）为代表，利用图像在变换域的稀疏先验，将重建转化为带约束的优化问题，突破了奈奎斯特采样定理的限制，但迭代计算耗时较长，并且成像质量提升幅度有限。
（2）基于单光子探测的单像素成像算法
单光子探测的引入，从根本上改变了单像素成像的测量方式，将测量信号从连续光强变为服从泊松分布的离散光子计数或ToF信息，而传统的线性非迭代算法和标准压缩感知方法往往难以获得最优解。针对该问题，研究人员提出了面向光子计数和ToF数据的优化压缩感知算法及统计重建方法：优化压缩感知算法通过调整压缩感知模型，使其能够直接处理光子计数或ToF信息；统计算法则基于光子探测的物理统计特性构建重建模型，以提高算法的鲁棒性和准确性。
（3）基于深度学习的单像素成像算法
深度学习重建算法是当前单光子单像素成像的核心研究方向，根据训练方法和设计理念可分为数据驱动、物理驱动和混合驱动三种主要范式。
数据驱动范式通过海量训练数据学习测量值到图像的非线性映射关系，通常分为两类策略：图像到图像（I2I）和测量值到图像（M2I）。该范式具有较强的非线性映射能力，训练完成后的推理速度较快，但存在训练耗时长、跨场景泛化能力较弱等问题。此外，其“黑箱”特性也会导致可解释性不足，在数据极度稀疏时可能产生结构性幻觉，即生成视觉上合理，但与前向物理模型和真实测量数据不一致的图像特征。
图4 单像素成像中典型的数据驱动深度学习方法
物理驱动范式将成像的前向物理模型嵌入神经网络框架，以测量值的物理一致性作为约束优化网络，这类方法通常能够减少对大规模预训练数据的依赖，并具有更好的物理可解释性和测量一致性。对于单光子单像素成像，该范式可将光的量子统计特性精准融入目标函数，有效区分真实光子信号与环境噪声、探测器时间抖动。但物理驱动神经网络通常需要较长的迭代收敛时间，并且较为依赖专业的物理建模，难以直接应用于实时复杂任务。
图5 单像素成像中典型的物理驱动深度学习方法
混合驱动范式旨在克服纯数据驱动与纯物理驱动方法各自的局限，通过融合二者的优势，提高神经网络的泛化能力和可解释性，同时缩短计算时间，是当前单像素成像深度学习重建的重要发展方向。代表性研究包括融合数据驱动扩散网络与任务特定物理先验的交替优化框架（APD-Net），以及将条件扩散模型与自编码器联合优化的扩散单像素成像模型（DSPIM）等。
图6 单像素成像中典型的混合驱动深度学习方法
基于深度学习的单光子单像素成像应用
基于深度学习的单光子单像素成像技术正逐步从实验室研究走向实际应用，在应对极端条件（尤其是光子计数体制）下的成像挑战方面展现出巨大应用潜力。
（1）光子匮乏成像
在恶劣天气、大视场探测等光子匮乏环境中，目标回波往往会衰减至单光子水平。单光子单像素成像能够通过散斑调制提高信噪比，加上深度学习可从稀疏光子事件中提取目标结构特征，并结合物理模型抑制噪声，为光子匮乏条件下的图像重建提供新的解决方案。代表性研究包括基于优化生成模型的压缩重建网络（OGTM）、快速首光子鬼成像（FFPGI）、光子高效分块压缩感知成像（PE-BCSI）等。
图7 光子高效分块压缩感知成像（PE-BCSI）
（2）三维成像
单光子探测技术的引入使得单光子单像素成像能够利用ToF数据确定物体的深度信息，从而实现三维成像。深度学习可从带时间维度的光子计数序列中提取深度分布，抑制多回波干扰，提升三维重建的质量与效率。例如掩码注意力网络（MANet）利用空间掩码注意力和通道掩码注意力增强特征提取能力，可在小视场内恢复目标的精细空间结构，并进一步重建对应的三维形貌。
图8 掩码注意力网络（MANet）
（3）遥感
遥感应用通常面临信号衰减和大气湍流等问题，随着探测距离增加，光束几何扩散会使回波能量迅速下降，甚至衰减至单光子水平。单像素成像对空间扰动具有天然鲁棒性，结合深度学习和计算自适应光学方法，可在一定程度上降低系统对复杂光学硬件的依赖，并提高远距离成像的重建质量和鲁棒性。例如基于深度学习的单像素望远镜系统，可同时完成可见光与近红外双波段成像，有效抵抗大气相位扰动。
图9 基于深度学习的单像素望远镜系统
（4）透过散射介质成像
透过散射介质成像在生物医学、遥感和水下工程等领域具有重要应用价值，但复杂介质中的悬浮颗粒会引起散射、折射和吸收，使光子传播路径随机化并扰乱空间信息，造成严重的信号衰减。单光子单像素成像将基于深度学习的单像素成像所具有的空间抗扰能力与单光子计数的极限探测灵敏度相结合，为突破复杂散射环境造成的可见度限制提供了一种有效的成像范式。
图10 透过散射介质成像
（5）非可见波段成像
中红外和太赫兹等非可见波段的光子成像通常面临显著的硬件限制。常用的高灵敏度焦平面阵列不仅制造工艺复杂、成本较高，而且通常存在暗噪声较大和空间分辨率有限等问题。相比之下，单光子单像素成像可采用高灵敏度单点探测器代替昂贵的焦平面阵列，为非可见波段成像提供更具成本效益的技术方案。
图11 中红外单光子压缩感知成像
（6）全息成像
全息成像具有获取相位信息的能力，广泛应用于生物医学成像和数字显微成像等领域。传统全息成像通常受到光谱响应范围较窄和散射串扰等问题的制约，单像素成像采用非空间分辨探测器，在复杂介质中具有较强的相位鲁棒性，为解决该问题提供了新的技术路径。例如基于深度Q学习网络（DQN）的自适应采样方法，可在低采样率下保持较高的图像重建保真度。
图12 基于DQN的全息单像素成像采样方法示意图
研究展望
综上所述，深度学习技术的发展，极大推动了单光子单像素成像范式的转变，但该技术在迈向大规模实际应用的过程中仍面临诸多挑战。在系统层面，算法设计不可避免地受到硬件性能的限制。在算法层面，现有深度学习模型，尤其是以数据驱动为主的深度学习网络，其跨场景泛化能力仍有待提高。未来，基于深度学习的单光子单像素成像算法需要进一步转变设计范式。目前的前沿研究主要采用两条技术路径：一是通过无监督训练，利用测量信号沿时间轴的时空一致性约束完成图像重建；二是采用域自适应方法，在神经网络的潜在空间中实现不同场景特征分布的自适应对齐。
展望未来，单光子单像素成像将朝着软硬件协同设计以及与物理模型深度融合的方向发展。未来的研究不仅将更加侧重于算法与硬件的协同优化，还将整合精确的噪声建模与更精细的物理先验信息，从而提升模型的可解释性与泛化能力。随着跨学科技术的融合发展，单光子单像素成像将有望不断开拓计算光学成像的新前沿，在更多极端成像场景中发挥重要价值。
论文信息：DOI: 10.1016/j.optlastec.2026.115894
延伸阅读：
上一篇：定制化ASIC助力MEMS传感器应对极端环境下的挑战
下一篇：最后一页