先是工业视觉，再到消费类应用，神经形态传感离我们越来越近
2022-07-27 08:31:25   来源：麦姆斯咨询   评论：0   点击：

原文摘自EE Times，麦姆斯咨询编译

如今我们探讨的“神经形态传感”到底是指什么？

Prophesee首席执行官Luca Verre表示：“我们会从10个不同的人那里得到10个不同的答案。随着业界厂商逐渐从‘我们认为’走向‘我们如何才能使之成为现实’，神经形态的含义正在发生变化。”

他说，大多数从事神经形态传感和计算开发的厂商都有类似的愿景，但战略和实践会因不同的产品、市场以及投资约束而有差异。

Prophesee首席执行官Luca Verre

Verre说：“这些厂商之所以大举投入神经形态技术的研究，是因为它们深信，生物模型相比传统模型更具优越性。尽管业界对产品、系统集成、商业机遇提出了不同的假设和实践，但从本质上来讲，它们的理念是一致的。”

在Verre看来，神经形态技术可以使技术更接近人类，最终实现更沉浸式的体验，从而加速自动驾驶和增强现实等应用的落地。

他说：“人们了解到它背后的技术更接近我们人类自身的工作方式，一种更自然的方式，这为应用提供了很强的说服力。”

首先是工业视觉，然后是消费类应用

近年来，Prophesee已经利用其专有的动态视觉传感技术，将基于事件的相机商业化。Prophesee与影像行业领导者索尼（Sony）建立合作，打造了一款紧凑、高分辨率的事件相机模块IMX636。在该模块中，光电二极管层使用索尼的3D堆叠工艺直接堆叠在CMOS逻辑层的顶部。

据Verre称，这项技术最接近商业应用的领域是工业机器视觉。

他说：“工业领域目前处于应用领先地位，我们将Prophesee的第三代相机推向了这一领域，它具有更大的传感器，更适合这种类型的应用。工业领域，历来是非常活跃的机器视觉应用领域。事实上，它可能是最早开始应用CCD和CMOS图像传感器技术的领域之一，绝对是一个关键市场。”

Prophesee和索尼合作打造的IMX636是第四代产品。Prophesee表示，未来几代产品将缩小像素间距，简化与传统计算平台的集成

由索尼3D堆叠工艺实现的紧凑尺寸驱动，IMX636的第二个关键市场是消费类应用，包括物联网摄像头、监控摄像头、动作相机、无人机、消费类机器人，甚至智能手机。基于事件的相机可以检测运动，在许多情况下，与全帧相机一起使用，可以应用图像处理捕捉更高质量的图像，即使面对运动中的物体。

“原因很简单：基于事件的相机非常适于理解和捕捉运动。”他说，“这就是它们存在的目的。基于帧的相机更适合捕捉静态信息。如果你想在有物体移动的场景中捕捉图片或视频，那么基于事件的相机的动态信息可以完美补充基于帧的相机的静态信息。”

事件数据可以与全帧图像相结合，校正帧上出现的模糊，尤其是对于动作相机和监控摄像头。

Verre说：“我们清楚地了解该领域的吸引力，这当然是非常有前景的，因为与工业视觉相比，消费类应用在体量方面相当可观。”

Prophesee还在与一家客户合作开发汽车驾驶员监控解决方案，Verre表示，基于事件的相机在低光性能、灵敏度和快速检测方面具有优势。这方面的应用包括眨眼检测、眼动跟踪，或人脸跟踪以及微表情检测等。

商业化途径

Prophesee推出的EV4评估套件

Prophesee一直在努力推动事件相机的商业化。该公司最近为IMX636发布了一款新的评估套件（EVK4）。这款套件为具有坚固外壳的工业视觉应用而设计的，当然也适用于所有其他应用（Verre称已经销售了数百套）。该公司用于事件视觉的Metavision SDK最近也已开源，以减少事件技术在应用时的磨合。Metavision社区目前已有约5000名注册会员。

Verre说：“这款SDK是进一步推动和推广这项技术的绝佳工具，它具有非常典型的外形尺寸。这款SDK可以帮助每一位工程师或研究人员在测试、探索新技术时应对可能遇到的复杂问题。试想一下那些在原领域耕耘数十年的工程师一下子转向事件成像，他们肯定不希望在自己的舒适区外太过挣扎。”

Metavision SDK的新功能包括一个模拟器，用于将完整帧转换为事件，以帮助设计人员在他们当前的工作方式和事件域之间进行转换。Verre指出，模拟器旨在向他们展示事件没有那么神秘。

他说：“事件，只是从场景中捕捉信息的一种方式，与图像相比，它包含的时间精度要高得多，而且实际上更具相关性，因为通常情况下它只会捕捉正在变化的信息。”

Prophesee基于事件的相机工作原理

该模拟器还可以从事件数据中重建完整的图像帧。

“大多数客户已经不再认为这是一种挑战，因为他们知道需要从不同的角度来看问题，就像他们使用飞行时间（ToF）或超声波等技术一样。”他说，“挑战在于有些客户认为这是另一种图像传感器。对于这类客户，我们制作了这个工具，可以向他们展示如何逐步过渡到这种新的传感模式。这是一种思维转变，可能需要一些时间，但终究会适应。”

Prophesee开发者社区已经实现的应用包括：恢复盲人一定的视力、检测和分类医学样本中的污染物、研究中的粒子跟踪、机器人触摸传感器，以及跟踪空间碎片等。

硬件发展路线图

对于公司路线图，Prophesee计划继续开发硬件和软件，以及新的评估套件、开发套件以及参考设计。这可能包括将Prohpesee传感器与专门开发的处理器相结合的系统级参考设计。

例如，Prohpesee的合作伙伴iCatch开发了一种人工智能视觉处理器SoC，与IMX636原生接口，并具有片上事件解码器。Verre介绍称，日本人工智能核心供应商DMP也在与Prophesee合作，开发基于FPGA的系统，此外，还有更多的合作伙伴正在合作进行中。

他说：“我们注意到，生态系统合作伙伴在SoC层面以及软件层面的兴趣越来越大，他们对基于Prophesee的事件技术构建新解决方案非常感兴趣。这些产品对社区发展很重要，因为这是迈向完整解决方案的又一步，他们可以获得传感器、相机、计算平台和软件，进而开发整体解决方案。”

Prophesee基于事件的视觉传感器的发展迭代

基于事件的传感器硬件将如何发展？Verre列举了这项技术的两个关键方向。第一个是进一步减小像素尺寸（像素间距），缩小传感器整体尺寸，使其适用于可穿戴设备等紧凑型消费类应用；第二个是推动基于事件的传感与传统SoC平台的集成。

与计算厂商合作对于确保下一代传感器原生嵌入计算平台接口至关重要，这将简化系统级任务，在传感器层级增加智能，带来更智能的传感器。

Verre说：“我们认为事件具有重要价值，应该在传感器内部实现更多的预处理，因为离信息获取越近，在效率和低延迟方面效果就越好。此外，还可以避免对数据进行编码和传输。因此，这是我们正在追求的目标。”

随着代工厂在3D堆叠工艺方面不断取得进展，利用最先进的CMOS工艺进行两层甚至三层堆叠，有助于将更多智能功能放到像素层下方。

像素端的智能化

Verre说，像素端的智能化水平，取决于增加的硅成本，和确保媲美传统计算平台之间的折衷。

“传感器通常不使用最先进的工艺节点，最多28 nm或22 nm。”他说，“主流SoC使用12 nm、7 nm、5 nm及以下工艺节点，因此它们处于足以压缩这些数字组件的技术节点之上。尺寸与成本的权衡意味着在某一点上，可以更高效、更经济的将智能嵌入SoC。”

Prophesee事件相机的各种应用

将基于事件的传感器结合神经形态计算架构也有一定的协同作用。

“神经形态技术的最终目标，是同时兼具传感和处理神经形态或事件，但就这类解决方案的成熟度而言，我们还没有达到这一目标。”他说，“在这一领域，我们正非常积极地为未来做准备。我们正在与英特尔（Intel）、SynSense以及其他合作伙伴展开合作。但是短期内，主流市场仍将被传统SoC平台主导。”

Prophesee的方案是很务实的。Verre表示，该公司的目标是尽量减少任何妥协，以提供优于传统解决方案的优势。

“最终，我们认为事件应该自然地异步流传输到同样异步的计算架构，以便在延迟和功耗方面充分受益。”他说，“但我们需要务实并推动这一发展，充分利用现有平台，与这一领域愿意投入软硬件开发，并针对各个市场优化解决方案的重要合作伙伴一起努力。”

延伸阅读：

《新兴图像传感器技术、应用及市场-2021版》