打造最优化的增强现实（AR）解决方案
2017-06-20 00:10:42 来源：微迷 评论：0 点击：
许多增强现实应用都离不开侦探佩戴的智能眼镜。这些智能眼镜能提高制造环境内的效率，例如便于更换操作手册、向用户展示如何组装零件等。在医疗领域，智能眼镜有助于分享医疗记录以及创伤和损伤的详细状况，能为现场急救人员和后续急诊室人员提供治疗资讯。
研究显示人类通过视觉与世界互动时，处理图像的速度比处理书面文本等其他不同形式的数据要快许多倍。“增强现实”（AR）类似于其近亲“虚拟现实”（VR），能让用户增强对周边环境的洞察力。它们之间的主要的区别是：AR 借由文本或其他可视物件等虚拟物件丰富或增强自然界。这样能让AR系统的使用者更安全、更高效地与其环境互动。
这与使用者沉浸在人工创建环境的虚拟现实不同。增强现实和虚拟现实的结合，经常被描述成为用户呈现混合现实（MR）。我们之中有许多人在日常生活中已经不知不觉地采用了AR，例如我们的移动设备在进行道路导航时，或是玩《宠物小精灵》（Pokemon GO）等虚拟游戏时。
当提及“增强现实”（AR）及其应用时，首先想到的事情之一是抬头显示器（HUD）。它们被用于航空和汽车应用中，让用户无需低头看仪表盘就能看到相关的飞行器/汽车资讯。抬头显示器是较简单的AR应用之一。拥有可穿戴技术等更高端功能的先进AR应用，往往被称为智能增强现实；根据Tractica预测，其市场规模到2020年将达到23亿美元。
增强现实应用
AR正进军众多应用领域，涵盖工业、军事、制造、医疗、社交和商业等不同产业，大量的案例推动其被广泛采用。在商业领域，AR主要侧重于社交媒体提供应用，例如能够辨识交谈的物件并添加履历信息。AR还能让消费者看到有时难以参观到的产品或地点，例如汽车、游艇、建筑物等。
许多AR应用都离不开侦探佩戴的智能眼镜。这些智能眼镜能提高制造环境内的效率，例如便于更换操作手册、向用户展示如何组装零件等。在医疗领域，智能眼镜有助于分享医疗记录以及创伤和损伤的详细状况，能为现场急救人员和后续急诊室人员提供治疗资讯。
AR眼镜在工业环境的应用
一个典型的例子是一家大型仓储物流公司。这家公司目前使用AR智能眼镜阅读出货标签上的条码。在条码扫描完毕后，智能眼镜就能通过Wi-Fi无线网络基础架构与公司的服务器通讯，判定包裹的最终目的地。在已知目的地后，智能眼镜还能向用户提示包裹的堆放处，以便继续出货。
就算不考虑应用和案例，设计一款AR系统也会面临多重相互矛盾的要求，包括性能、安全、功耗和未来的相容性。如果设计人员要为AR系统提供理想的解决方案，就必须全面考虑上述问题。
实现AR系统
这些复杂的AR系统必须能够连接多个图像传感器，并处理来自这些传感器的数据，从而让系统了解周围环境。这些传感器还可能在电磁频谱的不同频段上操作，例如红外线或近红外线等。此外，这些传感器可能提供电磁频谱之外的数据，从而为检测移动和转动提供输入，例如微机电系统（MEMS）加速度计和陀螺仪，以及全球导航卫星系统（GNSS）提供的位置数据等。融合来自多种不同类型传感器数据的嵌入式视觉系统一般也称为异质传感器融合系统。AR系统也要求较高的画面更新率（frame rate），以及展开即时分析、逐格获取以及处理每格画面所含数据的能力。提供满足这些要求的处理能力成为元件选择的决定性因素。
AR系统架构
例如，All Programmable Zynq-7000 SoC或Zynq UltraScale+ MPSoC可用于实现AR系统的处理核心。这些元件本身属于异质处理系统，可将ARM处理器和高性能的可编程逻辑完美结合在一起。Zynq UltraScale+ MPSoC属于新一代Zynq-7000 SoC，额外提供了一个ARM Mali-400 GPU。该系列中的某些成员还包含支持H.265和HVEC标准的视频编解码器。
这些元件能让设计人员使用处理器理想地细分系统架构，实现即时分析功能并传递给生态系统中的传统处理器任务。该可编程逻辑可用于实现传感器接口和处理，从而带来多重好处，具体包括： （1）根据应用要求，平行实现N个图像处理流水线； （2）任意连接，能定义和连接任意传感器、通讯协议或显示标准，提供灵活性和未来升级路径。
要实现图像处理流水线和图像传感器融合算法，我们可充份运用Vivado HLS和SDSoC等工具中提供的高层次综合功能。这些工具拥有包括支持OpenCV等各种专家级库。为缩短AR系统的上市时间，还可以利用广泛的协力厂商IP。这些IP专为AR、嵌入式系统和专用的技术开发。这些IP模组的供应商中包括Xylon。Xylon提供能在Vivado设计环境中迅速整合的LogiBRICKS系列IP核心，同时提供便于系统快速启动和运行的拖放功能。另一IP模组供应商是Omnitek，提供一系列针对AR要求的关键IP模组，例如即时折叠模组和3D处理模组。
设计人员还必须考虑AR系统的独特性。它们不仅需要连接至观察使用者周边环境的摄影机和传感器，还必须执行应用和用例所需的算法。同时，它们还必须能够追踪用户的眼睛，判断它们的视线，从而确定他们所注视的地方。这一般是通过增加观察用户脸部的摄影机和执行眼睛追踪算法而实现的。在实现后，该算法能让AR系统追踪使用者视线并确定要发送到AR显示器上的内容，从而高效利用频宽和满足处理要求。但是执行检测和追踪本身就是高运算强度的工作。
大多数AR系统属于可携式的无线系统，而且很多时候是和智能眼镜一样的穿戴式系统。因此，如果在供电受限的环境中实现这样的处理功能，就会面临特有的难题。Zynq SoC和Zynq UltraScale+ MPSoC系列元件都能提供最出色的单位功耗性能，透过实现多重选项之一，进一步降低运作功耗。在极端条件下，这些处理器能够进入可被任意一种来源唤醒的待机模式，从而关断佔元件一半资源的可编程逻辑。一旦AR系统检测到自己被闲置，这些选项都能实现，从而延长了电池使用寿命。
在AR系统工作过程中，当前未被使用的处理器单元可以通过时脉闸控来降低功耗。在可编程逻辑单元内，经由遵循简单的设计规则，如高效使用硬巨集、精心规划控制信号和在目前不需要的元件区域考虑使用智慧时脉闸控，也能实现极高的用电效率。
有几种AR应用，例如病患医疗记录或生产资料共享，要求在资讯保障（IA）和威胁防范（TP）领域提供高安全等级，尤其是在AR系统具有高度移动性、可能被放错地方的情况下。数据保障要求我们能够信赖储存在系统里的资讯以及系统发送和接收的数据。这样对于综合人工智慧（AI）领域而言，我们需要使用Zynq的安全引导功能来实现加密，并使用AES解密、HMAC和RSA验证来进行验证。只要设备正确配置和运行，开发人员就能够使用ARM Trust Zone和管理程式实现安全的、外人无法存取的环境。
在威胁防范方面，这些元件能使用系统内置的XADC来监测供电电压、电流和温度，以发现任何试图篡改AR系统的企图。如果发生这样的情况，Zynq元件可提供多种选择，包括记录该企图、擦除安全资料，防止AR系统再次连接到支持性基础设施。
结语
AR系统在商业、工业、军事等几大产业的应用正日趋普及。这些设备也为它们带来了高性能、系统级安全性和高能效等一系列自相矛盾的难题。通过Zynq SoC或Zynq UltraScale+ MPSoC等异质处理系统，可望让实现AR系统的种种难题迎刃而解。
延伸阅读：
《意法半导体飞行时间（ToF）测距传感器 - 苹果iPhone 7 Plus》