高通牵手神经拟态视觉传感器公司Prophesee，专家怎么看？
2023-03-06 20:16:21   来源：麦姆斯咨询   评论：0   点击：

据麦姆斯咨询此前报道，全球领先的神经拟态视觉传感公司Prophesee与高通（Qualcomm）一周前宣布达成长期合作，双方将携手优化Prophesee Metavision神经拟态事件视觉传感技术（包括传感器和软件）与骁龙移动平台的深度融合。相关开发套件将由Prophesee于今年内推出。

Prophesee的事件视觉传感器灵感源自人眼视觉，通过在给定时间内只检测亮度水平变化的像素来从本质上压缩数据。这意味着传感器可以在非常高的有效帧速率下工作，对于大部分任务来说，其功耗和带宽非常低。该技术已经在自动化和检测应用中获得常规使用，以测量振动、计数和跟踪物体。

事件视觉传感器提供的数据，可用于增强传统基于帧的相机的图像：在高速移动的动态场景（例如运动场景）以及低光照环境下去除模糊。这对于集光能力较弱的小型相机尤为重要。

智能手机相机、屏幕以及其他消费电子产品测试全球领导者DXOMARK首席执行官兼首席技术官Frédéric Guichard评价称，上述条件下的去模糊能力，将为相机带来明显优势。

Guichard指出了两个潜在的优势：“减少运动模糊（而不增加噪声）相当于实际上提高了相机的灵敏度。对于相同的灵敏度，可以选择减小传感器的尺寸，从而缩小相机的厚度。或者，可以维持传感器尺寸不变，在不增加运动模糊的前提下使用更长的曝光时间。”

通过结合Prophesee Metavision传感技术（包括传感器和算法）与高通骁龙平台，在高速运动场景中初步去模糊的效果

高通负责摄像头、计算机视觉和视频产品管理的副总裁Judd Heape表示，通过运行额外的图像传感器和执行处理可能会使功耗提高20-30%，进而实现图像增强。

Heape补充道：“处理过程可以在离线状态下缓慢完成，因为用户实际上并不关心需要多长时间才能完成。”

更丰富的功能

事件/帧传感器双摄相机概念图

当然，事件传感器还可以实现其它功能。

瑞士苏黎世神经信息学研究所（Institute of Neuroinformatics）教授、Prophesee竞争对手IniVation的创始人Tobi Delbruck声称，三星公司的一支团队此前一直在尝试将一种类似DVS（基于事件的相机）的东西集成到智能手机中，并且，他们成功展示了手势识别等一系列很酷的功能。

Delbruck解释称，当时，技术还无法支持在手机上运行事件相机所需要的信号处理，但现在，随着神经加速器在移动平台上变得越来越强大且高效（如高通公司的骁龙处理器），这将不再是障碍。

高通公司的Heape表示，他也早就意识到，并对这些其他可能的功能很感兴趣。

“我们有很多低功耗的用例。”Heape说，“把手机拿起并唤醒它便是一个例子。但在驾车过程中，用手势操控汽车就是另一回事了。基于事件的传感器在这些用例中的效率更高，因为它们可以通过编程，以极低的功耗轻松检测运动（例如手势）。当场景中没有移动或变化时，传感器不工作，这时它们基本上不耗电。所以，这对我们来说真的很有吸引力。”

Heape补充道，眼动追踪也非常有用，因为高通也在为增强现实和虚拟现实（AR/VR）应用打造产品。他说：“利用图像传感器跟踪人眼、手臂、手、腿部运动等非常有效。在这些用例需要考量功耗，当然也与帧速率有关。我们需要以每秒900帧的速度跟踪人眼，而使用标准图像传感器很难做到这一点。”

走向大规模生产

Heape解释了双方的合作将如何进行：高通的手机客户——原始设备制造商（OEM），如Oppo、Vivo、小米、一加、荣耀和三星等，可以从高通采购芯片组和软件，从Prophesee采购图像传感器和软件，但这些产品都会经过我们的预测试。

然而，产品线并未整合。他说：“我们正在一起努力，在这些器件被纳入终端产品之前对它们进行预集成。”

这突出了与高通合作的另一个优势，Delbruck指出：它使Prophesee能够与移动产业处理接口（MIPI）集成，从而使公司能够进入这些移动应用。这项技术的许可费用非常高昂，因此是很多厂商希望进入移动市场的壁垒之一。

Prophesee首席执行官Luca Verre表示，Prophesee即将与一家OEM合作推出首款移动应用产品，目标在明年开始大规模生产。

不过，Delbruck也提出，知识产权之争可能会成为阻碍，因为人们长期以来一直在争论Prophesee相机是否与早期设计过于相似，尤其是那些在苏黎世神经信息学研究所发明的相机设计。

他说：“现在这些不是问题，因为还没有任何产品在大规模生产，但这有可能会在未来成为他们的软肋，就像加州理工学院关于有源像素传感器（APS）的基础专利纠纷。”

原文摘自EE Times，麦姆斯咨询编译

延伸阅读：

《新兴图像传感器技术及市场-2023版》