欧洲TULIPP项目实现无处不在的低功耗图像处理
2019-09-16 21:20:26 来源:麦姆斯咨询 评论:0 点击:
据麦姆斯咨询报道,欧洲研发联盟开展的TULIPP(Towards Ubiquitous Low-power Image Processing Platforms,简称“TULIPP”)项目致力于开发更高能效、更低成本的嵌入式图像处理系统,用于无人机、汽车、医疗等领域。
配有立体摄像头的无人机,其小白框内装有嵌入式系统
无论是汽车还是无人机,为其开发用于图像处理软件的嵌入式系统都非常耗时,因此成本非常昂贵。
现在,新开发的TULIPP平台使得开发更快、更便宜、更高效能的嵌入式图像处理系统成为可能。德国弗劳恩霍夫协会光电、系统技术及图像处理研究所(IOSB)是欧洲研发团队的重要成员,他们简化了系统开发的过程。
乍一看,无人机、驾驶辅助系统和移动医疗诊断设备似乎没有太多共同之处,但实际上这些应用都越来越多地使用图像处理技术,例如用于检测行人和障碍物。图像处理也可以与移动X射线设备一起使用,以确保在降低的辐射水平下获得清晰的图像质量,从而大大减少放射性照射。
这些应用需要小型、轻便、高效且能够实时处理的图像处理器。这就是为什么通常多采用现场可编程门阵列的嵌入式系统的原因。
现场可编程门阵列(FPGA)是一种逻辑器件,其电路结构可以用VHDL等语言进行编程配置。但是,IOSB表示,大多数图像处理应用程序都是用C/C++等高级编程语言编写,将它们迁移到嵌入式系统非常复杂。
入门套件
德国弗劳恩霍夫IOSB团队主管Tchouchenkov博士介绍:“TULIPP联盟由来自六个国家的八个合作伙伴组成,大家共同创建了开发平台,包括设计指南、可配置的硬件平台和支持多核处理器的实时操作系统,以及编程工具链。”
“我们TULIPP的合作伙伴为市场推出了入门套件,可提供额外的支持。入门套件可以更快,更轻松地开发此类应用程序。这意味着通常开发人员需要花几个月的工作时间将C++程序导入FPGA,而使用TULIPP入门套件在短短几周内就可处理完毕。”
也就是说,基于C++编程的软件,开发人员首先必须考虑将哪些代码元素分配给哪些硬件组件,以及哪些程序步骤可以优化或并行处理。现在制定的设计指南可以帮助完成这项任务。
下面就是入门套件大显身手的时候了。它包含可连接必要传感器和输出设备的可配置硬件,支持多处理器的实时操作系统,以及STHEM工具链。
工具链中的应用程序可以优化C++程序,使其能够尽可能容易和快速地移植到FPGA。Tchouchenkov说道:“工具链重点聚焦于能耗优化:毕竟,设计图像处理系统的主要目标,就是尽可能使用小的供电电池,工具链可以单独显示和优化每个代码功能的能耗。”
安装在无人机上的立体摄像头和嵌入式系统
立体摄像头
欧洲研究联盟通过三个具体的用例来开发和测试TULIPP平台:IOSB研究团队解决了无人机基于立体摄像头的障碍物检测问题,而其他项目的合作伙伴则致力于汽车周围的行人检测,以及外科手术时移动C型臂拍摄X射线图像的实时质量增强。
在TULIPP平台中,他们将相应的图像处理软件从C++移植到FPGA。
开发团队表示,结果“令人印象深刻”。最初,在高端个人电脑(PC)上,分析单张图像需要几秒钟时间,现在可以在无人机上实时运行,因此现在每秒大约可分析30张图像。
“行人检测算法的速度可以提高100倍:相比之前每7秒钟分析一张图像,现在系统可以每秒分析14张图像,”Tchouchenkov补充道。
通过图像滤波器为图像去噪以增强X射线图像质量,使得在外科手术期间辐射强度降低到原来水平的四分之一。同时,三种应用的能耗都有显著降低。
延伸阅读:
经典文章回顾
- 惯性传感器厂商mCube更名为Movella,挖掘运动数据价值
- 长沙高新区建成79GHz毫米波雷达生产线,雷达应用遍地开花
- OCT+近红外光谱,SpectraWAVE血管内成像平台获得FDA上市前批准
- 敏芯股份李刚:专注实现MEMS芯片中国造
- 国产MEMS产业正崛起,士兰微凭何立足MEMS IDM之林?
- 硅光子传感技术领先厂商Rockley Photonics申请破产保护
- 安防监控CMOS图像传感器龙头思特威携手合肥晶合布局12寸CIS产线
- Aeva全球首款4D激光雷达芯片模组,交由光电子制造领导者Fabrinet量产
- 新加坡A*STAR助力MetaOptics引领全球超构透镜的创新和制造
- 全球光电行业“奥斯卡”,2022年“棱镜奖”入围名单出炉