基于事件驱动的AI视觉开源库，加速机器视觉应用开发
2021-04-03 11:11:51   来源：麦姆斯咨询   评论：0   点击：

Prophesee为其事件驱动的人工智能（AI）视觉开发生态系统新增开源模块和训练数据资源库。

开源模块和训练数据资源库

据麦姆斯咨询报道，法国AI视觉开发商Prophesee面向光流和目标探测等AI视觉应用，发布了一套关键的开源软件模块和一组事件驱动的机器学习工具。

Metavision Intelligence套件

作为Metavision Intelligence套件的一部分，Prophesee向开发者提供了业界最大的高清事件驱动数据集OpenEB（免费下载）。这有助于开发人员使用事件驱动的方法来进行机器学习，这种方法由场景的变化而不是神经网络框架触发。

和人眼视觉原理类似，Prohesee开发的传感器只有在感知到场景变化时才会进行记录，不同于传统图像传感器以固定的帧时钟记录图像信息。即仅在场景发生变化时，这种基于事件的视觉传感器上的像素才做出反应，场景中静态的部分都不会被捕捉。

这种基于事件的视觉感知设计，主要有三大优势：产生数据量更少；反应速度更快；以及实现更高的动态范围（>120 dB）。这些优势对于当代机器视觉而言极具价值，尤其在减少数据量的问题上，对于有限的通信、存储与计算资源都显得相当友好。

传统基于帧和Prophesee基于事件的视觉传感器成像对比

Prophesee联合创始人兼首席执行官Luca Verre解释称：“所谓‘事件’，是指一个像素激活自身并发送事件检测到发生的X、Y坐标和时间戳。传感器上每个像素独立接收光子，光电二极管因此产生电流，进行累加之后，像素再持续地将电流的实时电荷电压与参考值做比较。在电压增减达到一定程度时，该像素就会发出一个事件。整个过程是μs级别的速度。”

首款事件驱动AI相机已出货

日本CenturyArk推出的SilkyEvCam人工智能相机，采用了Prophesee的事件驱动图像传感器和软件

日本CenturyArk在2020年末面向广泛的工业机器视觉应用推出了超小型USB摄像头SilkyEvCam。SilkyEvCam采用了Prophesee的Metavision视觉传感器以及Metavision Intelligence套件。为采用事件驱动方案的机器视觉开发人员，提供了更快的上市时间。

相比传统基于帧的视觉传感技术，这款相机采用了基于时间的Metavision视觉传感器，将场景中收集的数据量减少了1000倍，显著提高了性能。这种事件驱动方案能够以等效10000 fps以上的时间分辨率进行高速视觉，并支持超过120 dB的宽动态范围，使其适合在苛刻的照明条件下进行高效运行。

在此基础上，这款相机率先提供了对Metavision Intelligence套件的全面支持，这是业界最全面的一套开发工具，用于加速机器视觉系统中对基于事件的视觉技术的探索和实现过程。该套件包含62种算法、54个代码示例和11个现成的应用程序。它为用户提供了C++和Python API以及大量的文档和示例，通过增加难度来逐步引入基于事件的机器视觉的基本概念。

Prophesee最新发布的Metavision Intelligence版本增加了一套扩展的开发工具和软件，用于设计具有事件驱动机器学习的工业视觉系统。该套件现在包括近100种算法、67个代码样本以及11个特定用例的应用模块，可以加速用户的开发过程。

OpenEB的开源模块可以通过Github获取，它允许设计人员构建自定义插件，并兼容用于开发事件驱动系统的Metavision Intelligence套件。它为开发者提供了一个跨机器视觉生态系统共享软件组件的平台。

“我们希望在机器视觉生态系统中建立一个开放的技术标准，实现易得性和互操作性的新高度。”Luca Verre说，“我们的方案为基于事件的技术提供了持续增长的生态系统，具有丰富的开放基础和强大的开发框架。它包括了我们多年来收集的广泛而可靠的数据，以及利用我们在各种用例中积累的专业知识，加速客户特定系统开发的应用模块。”

OpenEB数据库为相机制造商及其客户提供了标准的基于事件的数据格式。Metavision Intelligence套件的开源模块，可以兼容相机制造商及其客户的生态系统。Prophesee开源许可提供关键模块，可以加速定制插件的创建，同时确保兼容相机制造商提供的底层硬件。

从Prophesee过去四年来创建的实际序列数据集开始，其开发环境为机器学习应用的快速发展提供了一个完整平台。开发人员可以利用各种工具指导神经网络模型的开发，对基于事件的数据进行推理，以进行用于目标探测的监督训练和用于光流的自监督训练，均为基于事件的视觉应用进行了优化。

此外，开发人员可以利用提供的基于事件的模拟器轻松创建自己的模型，或利用其现有的基于帧的数据集和模型，并使用基于事件的视觉对其进行改进。

Metavision Intelligence套件添加了新的即用型应用，并可以通过基于事件的视觉进行增强，其中包括：

- 粒度监测：在生产线上以极高的速度（高达50000像素/秒），对通过视场的物体进行计数和测量，计数精度高达99.9%，从而确保更好地控制过程。

- 喷射监测：实时监测液体分配的速度和质量。对高速喷射进行检测和计数，支持高达500 Hz的喷射分配，并在分配器出现错误时自动生成警报。

- 轮廓特征跟踪：利用基于事件的传感器提供的低数据率和稀疏信息，以较低的算力实现超稳健的3D目标实时跟踪。

延伸阅读：

《传感器技术和市场趋势-2020版》

《飞行时间（ToF）传感器技术及应用-2020版》