综述：面向光子高效成像的深度学习技术
2026-09-27 20:07:51 来源：麦姆斯咨询 评论：0 点击：
研究人员已开发出多种光子高效成像技术，包括主动单光子成像和主动非视距（NLOS）成像。单光子成像可从微弱回波中提取丰富的深度信息，实现弱光场景理解与三维重建。非视距成像通过捕捉和分析多次散射光来重建隐藏场景，在机器人、交通和搜救等领域展现出应用潜力。
近年来，得益于图像传感器和算法的进步，计算成像技术取得了飞速进步。研究人员已开发出多种光子高效成像技术，包括主动单光子成像和主动非视距（NLOS）成像。单光子成像可从微弱回波中提取丰富的深度信息，实现弱光场景理解与三维重建，并在自动驾驶、遥感和医学成像等领域得到应用。非视距成像通过捕捉和分析多次散射光来重建隐藏场景，在机器人、交通和搜救等领域展现出应用潜力。
图1 光子高效成像的分类
然而，主动单光子成像和主动非视距成像领域均面临光子采集效率低、噪声显著等共同挑战，使得重建过程具有较大的不确定性和较高的求解难度。传统的重建方法依赖人工设计的物理建模，通常具有设计复杂、计算效率低以及普适性有限等问题。
图2 利用深度学习进行光子高效成像数据处理的流程
为克服上述局限，基于深度学习的方法可通过多层网络架构从测量数据中逐步提取高维特征，从而实现对数据的更有效利用。借助梯度下降等优化技术，网络可自动调整权重以最小化损失函数，进而学习从测量数据到场景几何的映射关系，实现高质量重建。此外，基于深度学习的方法通常展现出比传统方法更强的普适能力。在单光子成像和非视距成像领域，这些方法能够利用覆盖多样场景的大规模外部数据集，并融入接近真实场景的噪声模拟，使网络能够学习到更具普适性的特征表示，从而泛化至未见过的场景。
据麦姆斯咨询报道，中国科学技术大学在Advanced Imaging期刊发表了一篇题为“Deep learning for photon-efficient imaging: a review and perspective”的综述性论文。该文对基于深度学习的光子高效成像方法进行了系统性总结与分析，并将其划分为两大主要类别：（1）面向重建的方法；（2）面向应用的方法。面向重建的方法，聚焦于从光子计数直方图中恢复成像输出，例如深度图和强度图像；而面向应用的方法，则强调直接从原始测量数据中推断非几何场景属性，例如高阶语义信息和生物物理参数，这类方法通常无需显式的图像重建步骤。
光子高效成像
首先，研究人员介绍了光子高效成像系统的关键组件，并分别讨论了单光子成像和非视距成像的正向模型。
图3 单光子雪崩二极管（SPAD）及相关商用产品示意图
光子高效成像系统利用脉冲激光器对场景进行照明，并通过高灵敏度单光子探测器捕获从目标反射的光子。典型的单光子探测器包括光电倍增管（PMT）和单光子雪崩二极管（SPAD）。在这些器件中，单光子雪崩二极管凭借高灵敏度、紧凑的尺寸、低电压工作特性以及与现有电子系统的高兼容性，已成为应用最广泛的选择之一。
图4 光子高效成像系统概览。（a）主动单光子成像；（b）非共焦主动非视距成像；（c）共焦主动非视距成像。
本文介绍的大多数研究都采用了将单光子雪崩二极管（SPAD）与时间相关单光子计数（TCSPC）相结合的时间分辨光子检测配置。
单光子成像
研究人员综述了基于深度学习的单光子成像方法，并根据其网络架构对这些方法进行了分类。随后，论文梳理了一系列面向应用的研究，这些研究凸显了基于深度学习的方法在下游任务中的优势。
单光子成像的重建方法主要致力于解决在低光子通量和低信背比（SBR）条件下恢复高质量三维场景的难题，而长成像距离和多回波信号往往会进一步加剧这一挑战。基于深度学习的重建方法充分利用深度网络强大的表征能力。通过在相关数据集上进行监督或无监督训练，这些方法能够学习从测量数据到深度图或强度图的映射关系。根据网络架构的不同，基于深度学习的重建方法可分为三类：基于卷积的模型、基于注意力机制的模型以及基于神经辐射场（NeRF）的模型。
图5 用于单光子成像的深度学习重建方法示意图
单光子成像凭借其强大的弱光成像能力和高时间分辨率，已被广泛应用于众多下游任务，包括活动与姿态估计、目标识别以及荧光寿命成像（FLIM）等。深度学习的融合进一步推动了这些应用的发展，它能直接从光子计数数据中学习高阶信息，无需进行显式重建。
非视距成像
非视距成像旨在通过分析间接散射光来重建隐藏在视线背后的场景。深度学习已经成为该领域日益强大的工具，提供数据驱动的解决方案，补充和扩展基于物理的模型。研究人员首先介绍了非视距成像中具有代表性的深度学习方法。随后，展示了相关研究来介绍深度学习如何促进下游的实际应用，使非视距成像能够超越纯粹的重建，走向高级感知任务。
基于深度学习的非视距成像方法经历了几个发展阶段，从早期的基于卷积的端到端回归模型到基于注意力机制的模型，再到基于神经辐射场的模型，以及最近的基于扩散的模型。
图6 用于主动非视距成像的深度学习重建方法示意图
借助深度学习强大的场景理解和特征提取能力，越来越多的研究将非视距成像应用于下游任务。这些方法不再进行显式重建，而是直接推断高阶信息，同时减少由不完美重建带来的误差累积，并简化整体流程。现有基于深度学习的非视距应用方法主要分为三类：活动与姿态估计、目标识别以及目标定位。研究人员在论文中对每一类的代表性研究进行了详细综述。
图7 人员识别系统设置及示例
结论及展望
该综述系统梳理了基于深度学习的光子高效成像面向重建和面向应用的方法，重点阐述了深度学习在提升重建质量与下游任务性能方面的作用。此外，该综述还分析了基于深度学习的光子高效成像方法所面临的挑战，并探讨了未来研究的潜在方向。
展望未来，光子高效成像领域基于深度学习的方法存在多个潜在研究方向：（1）从数据仿真的角度来看，一个具有潜力的研究方向是开发更加精确的噪声仿真工具，以支持高保真合成数据的生成。从算法设计的角度来看，先进的网络架构能够有效提升重建性能。未来研究可以进一步扩大训练数据规模并结合先进网络架构，不断增强深度学习模型从瞬态测量数据中捕获先验信息的能力，从而进一步提升模型的跨域普适性。（2）为光子高效成像开发一种原生稀疏且异步的事件驱动计算框架。未来的架构不应强行将测量数据构造成密集张量，而应完全接纳光子数据固有的时间稀疏性。（3）开发用于光子高效成像的端到端硬件-算法协同优化框架。通过联合优化成像系统的硬件参数和深度学习模型，此类框架能够实现可学习的照明模式和自适应的单光子雪崩二极管选通窗口，从而提升光子利用率并增强重建质量。
论文链接：https://doi.org/10.3788/AI.2026.20001
延伸阅读：
上一篇：单光子雪崩二极管（SPAD）技术格局解析
下一篇：最后一页