SpectraTrack高光谱成像：百万像素、百帧/秒、千通道
2024-11-10 10:56:45 来源：麦姆斯咨询 评论：0 点击：
计算高光谱成像方案SpectraTrack在可见光到近红外（VIS-NIR）光谱范围内同时实现了高空间分辨率、高时间分辨率和高光谱分辨率。研究人员深入分析了高光谱成像视频中固有的时空光谱复用原理。
高光谱成像（HSI）因其在物理和化学特性的内在识别方面具有显著的光学特征，而在各个领域得到了广泛应用。然而，由于带宽有限，它在平衡空间分辨率、时间分辨率和光谱分辨率方面面临着固有挑战。
据麦姆斯咨询报道，近日，北京理工大学边丽蘅副研究员团队提出了一种计算高光谱成像方案：SpectraTrack，在可见光到近红外（VIS-NIR）光谱范围内同时实现了高空间分辨率、高时间分辨率和高光谱分辨率。研究人员深入分析了高光谱成像视频中固有的时空光谱复用原理。基于这一理论基础，SpectraTrack系统使用了两个相机，包括用于时间复用高光谱数据的线扫描成像光谱仪和用于捕获运动流的辅助RGB相机。运动流通过将扫描光谱重新整合到4D视频中来指导高光谱重建。SpectraTrack系统可以在1200个光谱通道下以100 fps实现约百万像素的HSI，显示了其从基于无人机的抗振动视频速率高光谱成像到高通量非合作反欺骗的巨大应用潜力。相关研究成果以“SpectraTrack: megapixel, hundred-fps, and thousand-channel hyperspectral imaging”为题发表在Nature Communications期刊上。
该SpectraTrack系统原型包括一个高速RGB相机和一个线扫描成像光谱仪，二者并排放置。研究人员目前实现的高通量高光谱成像具有960 × 960像素的分辨率、100 fps的帧率、1200个光谱通道，且光谱范围为400至1000 nm。所报道的SpectraTrack技术与现有的空间扫描、光谱扫描和编码孔径系统不同，因为它利用了时空维度中的固有信息复用。
SpectraTrack原理
传统的高光谱成像技术与SpectraTrack技术的比较
为了展示该系统先进的动态高分辨率高光谱成像能力，研究人员构建了一个具有多个移动对象的场景。实验结果表明，该系统实现了高时空光谱分辨率，具有很大的应用潜力。
动态场景的成像结果
研究人员通过实验证明了SpectraTrack的实际应用潜力，从基于无人机的视频速率高光谱成像到高通量反欺骗，与传统的高光谱成像系统相比，SpectraTrack在精度和光谱范围方面表现出色。
基于无人机的抗振动视频速率高光谱成像
高通量非合作反欺骗
SpectaTrack技术基于三个关键前提：（1）光照恒定；（2）目标的光谱特性不变；（3）能够捕获目标的运动和光谱数据。在实践中，这些条件一般都能满足。然而，在少数情况下，如果不满足条件（1）和（2），成像光谱仪在扫描每条线时，只能记录扫描时刻的光照和光谱信息，导致重建的高光谱图像中的亮度或光谱信息不正确。此外，光照条件或目标颜色的变化可能会降低提取光流的准确性。如果不满足条件（3），无论是由于遮挡还是由于目标移动过快，都会导致线扫描成像光谱仪丢失目标的光谱信息，或者RGB相机无法获取目标的运动信息，从而导致重建失败。
不同物体运动方向和速度下的信息保留率和重建结果
总而言之，研究人员提出了一种高光谱成像框架——SpectraTrack，实现了大约百万像素、百帧每秒以及上千通道的高光谱成像。通过充分利用集成空间扫描高光谱成像仪和传统RGB摄像机的优势，SpectraTrack为未来超高精度视频速率高光谱成像提供了一种创新的方案。与直接扫描场景的传统高光谱成像方法不同，所提出的SpectraTrack方法利用线扫描成像光谱仪的时间复用特性，通过计算解耦来重建高光谱成像视频。研究人员将SpectraTrack技术应用于开创性任务，包括基于无人机的抗振动视频速率高光谱成像和高通量非合作反欺骗，展示了其在扩展高光谱成像的能力和应用方面的潜力。
论文信息：https://www.nature.com/articles/s41467-024-53747-8
延伸阅读：
上一篇：具有高时空分辨率的宽带高光谱图像传感器，大大提高光能利用率
下一篇：提升片上计算光谱仪性能和可靠性的创新逆向设计方法