基于事件的图像传感器,能否为索尼打开AI感知的潘多拉魔盒?
2020-02-27 20:08:26   来源:麦姆斯咨询   评论:0   点击:

索尼深信“CMOS图像传感器将不再仅限于成像,未来将延伸至智能感知”。

基于事件的图像传感器,能否为索尼打开AI感知的潘多拉魔盒?

据麦姆斯咨询介绍,总部位于法国巴黎的创业公司Prophesee,是神经形态视觉系统领域的开拓者。全球图像传感器领导者索尼(Sony)和Prophesee近日在美国旧金山举行的国际固态电路会议(International Solid-State Circuits Conference)上联合宣布,双方合作开发出了一种基于事件的堆叠式图像传感器。

这种新型图像传感器基于Prophesee的事件驱动技术设计,结合了索尼先进的堆叠式CMOS图像传感器技术。

成像芯片(左)和逻辑芯片(右)

成像芯片(左)和逻辑芯片(右)

Prophesee声称,这款基于事件驱动的图像传感器,提供了业界最小的像素尺寸和业界最高的高动态范围(HDR)。这款受人类大脑启发的图像传感器,能够帮助工业机器设备、机器人以及自动驾驶汽车更好地“观察”并感知周围的环境。

双方的合作伙伴关系或将预示着一个全新的时代,即人工智能(AI,包括AI感知和AI处理)即便现在还没有直接嵌入生成数据的传感器本体,也可以在非常靠近传感器的位置进行处理。

天作之合

索尼是全球领先的CMOS图像传感器供应商。双方的合作关系,直接为Prophesee的新型传感技术提供了可靠的商业背书。Prophesee首席执行官Luca Verre期待双方的合作,能够为Prophesee基于事件的相机技术打开通往大众市场的大门。

传统图像传感器(左)和基于事件的图像传感器(右)的成像对比

传统图像传感器(左)和基于事件的图像传感器(右)的成像对比

Verre表示:“我们的技术本身也应用大量的晶体管、电子电路和光电二极管,因此,与索尼的合作始终是我们的首选。”两家公司在2017年就开始了合作。Verre承诺,首批基于事件的堆叠式图像传感器将在2020年送样。

与Prophesee的合作关系可能会给索尼带来突破性发展,使这家日本巨头有机会拓展事件驱动型视觉应用。

潘多拉魔盒

Yole首席分析师Pierre Cambou认为,Prophesee和索尼的合作伙伴关系相当于“打开了潘多拉魔盒”。

在Prophesee开发的神经形态相机中,“每个像素,实质上都是一个神经元,”Cambou指出。Cambou称目前的芯片堆叠技术开发“仍处于早期阶段”,他预测到一定的阶段,神经元、存储和处理可以全部堆叠在一起。当前,产业对于将更多智能引入“边缘”或“端点”的热情,预示着未来某天会在传感器内部感知并处理AI。

“索尼将能够开发一种集成AI的图像传感器,可以‘实时增强图像’,或者打造一种可以直接提供‘事件驱动感知’的图像传感器。”Cambou解释说。

事实上,已经有人将神经网络应用于著名的早期电影“火车到站(Arrival of a Train at La Ciotat)”(现代电影先驱卢米埃尔兄弟在1896年拍摄),以填补丢失的像素。通过现代技术可以将这部已有124年历史的老电影修复并升级到每秒60帧的4K视频。这类用现代技术升级的视频在互联网上风靡一时,Cambou解释说,AI的强大已经在影像领域得到了充分证明。

AI仿生方案是冯·诺依曼(von Neumann)计算架构的进化。Cambou说:“随着AI的进一步普及,它的重要性将不断提高。”

基于事件的堆叠式图像传感器构建模块

在这款全新设计的事件驱动型图像传感器中,成像芯片(顶部)和逻辑芯片(底部)堆叠在一起。该逻辑芯片并入了信号处理电路,旨在基于异步增量调制方法检测每个像素的亮度变化。这两颗芯片的每个像素使用铜-铜(Cu-Cu)互连以堆叠形式实现电气连接。

传统传感器(左)与堆叠式传感器(右)

传统传感器(左)与堆叠式传感器(右)

由此,这款新型图像传感器实现了业界最小的(4.86μm)像素尺寸。它还通过精细的40nm逻辑工艺实现高密度集成,提供1/2型1280 x 720 HD分辨率。

新款事件驱动型图像传感器的另一个特点是能够提供Prophesee声称的业内最高的HDR性能:124dB(或更高)。通过在成像芯片(顶部)上集成背照式像素和一部分N型MOS晶体管,从而使孔径比提高77%,能够实现124dB的HDR性能。索尼经过多年的CMOS图像传感器研发投入,已经开发出高灵敏度和低噪声技术,能够在微光条件下(40mlx)进行事件检测。

协同合作

Prophesee首席执行官Verre指出,索尼在合作关系中扮演的角色可不仅是代工厂。凭借扎实的知识和基于事件技术的专有IP组合,Verre称:“我们在合作之初对于如何设计像素就有了明确的想法。”结合索尼先进的制造工艺,两家公司的共同努力使新的事件驱动型图像传感器设计(从模拟芯片、逻辑芯片到功耗)成为可能。

Verre指出,这种伙伴关系也不只是纯粹的研发合作,而是旨在保持长期的合作关系,在开发应用时一起将技术商业化推向大众市场。

这对索尼意味着什么?

CMOS图像传感器的全球供应商很多。Cambou注意到,索尼深信“CMOS图像传感器将不再仅限于成像,未来将延伸至智能感知”,这恰是Cambou一直在宣传的预判。

还记得索尼在2015年收购比利时SoftKinetic公司吗?SoftKinetic是一家3D传感计算视觉技术开发商。Cambou评价称,通过此次收购,使索尼得以在不断增长的飞行时间(ToF)传感器市场抢占一席之地,而安卓智能手机厂商在去年开始突然对ToF传感器提出了需求。Cambou说,如果当时不涉足深度传感技术,索尼可能就会错失这波机遇。

在Cambou看来,索尼与Prophesee的伙伴关系没有什么不同。当汽车和工业机器视觉市场的厂商开始寻找更丰富的传感数据来增强他们的运营时,他们更有可能引入一种新的传感技术,而不是简单地再投入另一台相同的相机。

简而言之,Prophesee或将成为一家补强索尼使之进入事件驱动型图像传感器市场的合作伙伴,就像SoftKinetic使索尼得以开发“深度感知(DepthSense)”解决方案,并将其引入智能手机市场一样。

现在,借助DepthSense技术,索尼正在为许多安卓智能手机OEM厂商供应ToF图像传感器。显然,这进一步增强了索尼在CMOS图像传感器领域的市场领导地位,而索尼已经在智能手机的前后摄像头中占据了大部分的市场份额。

延伸阅读:

《3D成像和传感-2020版》

《雷达技术及市场趋势-2019版》

《激光雷达技术及核心元器件-2019版》

《汽车和工业应用的激光雷达-2019版》

《激光雷达(LiDAR)技术及市场趋势-2019版》

《汽车雷达和无线通信-2019版》

《汽车成像-2019版》 

相关热词搜索:图像传感器 智能传感器

上一篇:福建物构所二维杂化双钙钛矿偏振光电研究获进展
下一篇:LED凉凉,MOCVD厂商的出路在何方?