业界最小像素尺寸,索尼发布堆叠式基于事件的视觉传感器
2021-09-12 07:38:54   来源:麦姆斯咨询   评论:0   点击:

通过和法国神经拟态视觉解决方案创新厂商普诺飞思(Prophesee)合作,索尼将领先的CMOS图像传感器技术与Prophesee独特的基于事件的视觉传感技术相结合,打造了这两款新型基于事件的视觉传感器,可以实现高速、高精度的数据采集,有助于提高工业设备的生产效率。

业界最小像素尺寸,索尼发布堆叠式基于事件的视觉传感器

据麦姆斯咨询报道,索尼半导体解决方案公司(Sony Semiconductor Solutions Corporation,以下简称“索尼”)近日宣布,即将发布两款堆叠式基于事件(Event-based)的视觉传感器(EVS)。这两款专为工业设备设计的传感器实现了业界最小(相比其它堆叠式基于事件的视觉传感器)的4.86 μm像素尺寸,并且只有在感知到场景变化时才会进行捕捉记录。

基于事件的视觉传感器(EVS)模拟了人眼感知光线的方式

基于事件的视觉传感器(EVS)模拟了人眼感知光线的方式

基于事件的视觉传感器异步检测每个像素的亮度变化,并仅输出变化的数据,结合像素位置(X和Y坐标)及时间信息,从而实现高速、低延迟的数据输出。

这两款基于事件的视觉传感器采用堆叠技术,利用索尼专有的铜-铜(Cu-Cu)连接实现了业界最小的4.86 μm像素尺寸。除了能够以低功耗提供高速、低延迟、高时间分辨率的数据输出外,新款基于事件的视觉传感器还以紧凑的尺寸提供了惊人的高分辨率。结合上述所有优势,可确保在不同的环境和情景下立即检测到移动的物体。

通过和法国神经拟态视觉解决方案创新厂商普诺飞思(Prophesee)合作,索尼将领先的CMOS图像传感器技术与Prophesee独特的基于事件的视觉传感技术相结合,打造了这两款新型基于事件的视觉传感器,可以实现高速、高精度的数据采集,有助于提高工业设备的生产效率。

索尼新款堆叠式基于事件的视觉传感器(左:IMX636,右:IMX637)

索尼新款堆叠式基于事件的视觉传感器(左:IMX636,右:IMX637)

随着工业设备业务的日益复杂和需求的多样化,利用传感技术通过摄像头捕捉必要信息的情况不断增加,对数据采集的效率提出了更高的要求。

传统的传感器像素对比索尼新款堆叠式基于事件的视觉传感器

传统的传感器像素对比索尼新款堆叠式基于事件的视觉传感器,利用Cu-Cu连接实现像素芯片和逻辑芯片之间的电信号传递,实现了业界最小的4.86 μm像素尺寸

目前常用的基于帧的成像方法,是以帧速率确定的特定间隔输出整个图像。然而,索尼新款基于事件的视觉传感器异步检测像素亮度变化,并输出包含像素位置(X和Y坐标)及时间信息的数据。这两款传感器采用索尼专有的堆叠结构,利用Cu-Cu连接实现像素芯片和逻辑芯片之间的电信号传递,并且逻辑芯片集成了用于检测每个像素亮度变化的信号处理电路。

基于事件的视觉传感器输出包含像素位置(X和Y坐标)及时间信息的数据

基于事件的视觉传感器输出包含像素位置(X和Y坐标)及时间信息的数据

其设计使得传感器只有检测到场景中亮度变化的像素才会输出数据,从而能够以低功耗工作的同时,瞬时以高速、低延迟、高时间分辨率检测亮度变化。同时,该设计拥有业界最小的像素尺寸,是一款非常紧凑的高分辨率传感器。

基于事件的视觉传感器的潜在应用

基于事件的视觉传感器可以应用于工业、无人机和机器人、安防监控、医疗和科研测量以及游戏等领域,具有广泛的潜在用例

基于事件的视觉传感器可以应用于工业、无人机和机器人、安防监控、医疗和科研测量以及游戏等领域,具有广泛的潜在用例

索尼这两款基于事件的视觉传感器具有广泛的应用前景,它们可以感知振动的细微变化,从而能够用于设备预测性维护的异常情况检测;还可以感知焊接和金属切割过程中产生的火花变化,利用这些信息可以告知工人更换工具的最佳时间,以及其它可能的情况。类似地,它们有助于改善传统基于帧的图像传感器面临挑战的各种生产应用,支持其它依赖人员经验的工作流。

成像样张:振动检测(左:传统基于帧的图像传感器,右:基于事件的视觉传感器)

成像样张:振动检测(左:传统基于帧的图像传感器,右:基于事件的视觉传感器)

成像样张:金属切割过程中的火花检测(左:传统基于帧的图像传感器,右:基于事件的视觉传感器)

成像样张:金属切割过程中的火花检测(左:传统基于帧的图像传感器,右:基于事件的视觉传感器)

成像样张:流体检测(左:传统基于帧的图像传感器,右:基于事件的视觉传感器)

成像样张:流体检测(左:传统基于帧的图像传感器,右:基于事件的视觉传感器)

成像样张:人体跟踪(左:传统基于帧的图像传感器,中:基于事件的视觉传感器,右:机器学习识别后的应用输出)

成像样张:人体跟踪(左:传统基于帧的图像传感器,中:基于事件的视觉传感器,右:机器学习识别后的应用输出)

成像样张:3D测量(左:测试环境,中:基于事件的视觉传感器,右:应用输出)

成像样张:3D测量(左:测试环境,中:基于事件的视觉传感器,右:应用输出)

主要特性:

■ 业界最小的像素尺寸,实现高分辨率的紧凑设计

新款基于事件的视觉传感器采用索尼专有的堆叠结构,利用Cu-Cu连接实现像素芯片和逻辑芯片之间的电信号传递,逻辑芯片集成了用于检测每个像素亮度变化的信号处理电路。其独特的结构实现了业界最小的4.86 μm像素尺寸,同时保持了像素单元的高开口率。这种设计同时确保了紧凑的设计和高分辨率,能够提供高精度的识别性能。

■ 低功耗运行的同时,提供高速、低延迟、高时间分辨率的事件数据捕捉

基于专有的堆叠式结构,索尼选择了一种基于事件的传感方案,异步检测像素亮度变化,并输出带有像素位置(X和Y坐标)及时间信息的数据。和传统基于帧的方案不同,这使得传感器能够仅读取所需要的数据,因而能够降低功耗,但是,仍具有微秒级的高速和低延迟性能,可以实现高时间分辨率的输出。

■ 事件过滤功能,可简化信息采集

这两款基于事件的视觉传感器配备了Prophesee开发的事件过滤功能,用于去除不必要的事件数据,并已经为各种应用做好了准备。利用上述过滤功能可以识别并去除实际应用中不必要的事件,例如,以特定频率出现的LED闪烁(防闪烁),以及可能性极低的运动事件(事件过滤)。事件过滤功能还可以在必要时调整数据量,以确保数据量低于下游系统的事件处理能力(事件率控制)。

左:事件过滤功能关闭,右:事件过滤功能开启。事件过滤功能开启后,数据量减少约92%

左:事件过滤功能关闭,右:事件过滤功能开启。事件过滤功能开启后,数据量减少约92%

作为索尼和Prophesee产品合作的一部分,Prophesee提供了Metavision® Intelligence Suite,这是一款针对传感器性能进行优化的事件信号处理软件。该软件结合索尼基于事件的视觉传感器,可以支持客户实现高效的应用开发,为各种用例提供解决方案。

关键参数:

业界最小像素尺寸,索尼发布堆叠式基于事件的视觉传感器

延伸阅读:

《新兴图像传感器技术、应用及市场-2021版》

《传感应用的VCSEL技术及市场-2021版》

《激光雷达产业及核心元器件-2020版》

《飞行时间(ToF)传感器技术及应用-2020版》 

相关热词搜索:基于事件的视觉传感器 视觉传感器

上一篇:胶体量子点激光器最近研究进展
下一篇:最后一页