中文

亮亮视野AI研究所：在AR眼镜改变世界之前，需要先改变AI

AR眼镜被认为是将取代手机的下一代移动终端，也许人与世界的交互方式将因此发生翻天覆地的变革。但是，在AR技术改变世界之前，我们需要先改变AI在眼镜端的能力。作为AR眼镜的大脑，AI赋予了AR更大的想象空间，但它能在眼镜端自由驰骋的前提是跨过低功耗这道门槛。

为了打破这道业界公认的门槛，亮亮视野从 2016 年初就开始布局 AI 领域的技术研发，成为全球首家把主打视觉处理的VPU 芯片应用在AR眼镜终端设备上的公司，并且开创性地对VPU进行了从算法到加速引擎的底层改造，实现了计算能效比的大幅飞跃。作为这一领域的拓荒者，其产品也是目前屈指可数的真正实现AI在眼镜端独立运算、拥有全栈AI能力的产品。

01行业命门

AI一思考，眼镜就发烫？

近年来大展拳脚的AI技术用于 AR眼镜这个终端后，被低功耗束住了手脚。

在电池技术取得突破性进展之前，可穿戴设备的续航和体验很多时候是一对矛盾体。AR眼镜要实现人与外界的完美交互，就必须实现轻量化。当然产品的功能是不能舍弃的，于是降低功耗成为必然选择——当工程师们在以0.1克为单位缩减器件重量时，你不能容忍产品还带着一块热得发烫的笨重电池。严苛的条件限制了AR眼镜必须使用低功耗的AI系统。

一组数据可以直观地说明移动端AI与云端AI设备的功耗悬殊：一般运行云端AI的设备功耗可达10W以上，算力可达10TFLOPs级，穿戴式AI的设备功耗一般在100毫瓦级，硬件算力仅有0.1T-1TFLOPs。而且前者一般允许1秒的延迟，后者由于实时交互的需要，一般只允许100毫秒级延迟。

图片来源于SOOGIF

虽然功耗低，但是AR眼镜需要的计算量并不低，一款完美的AR眼镜需要用到对话式人工智能、计算机视觉和其他复杂系统的组合，需要产生海量的计算。

AI一思考，眼镜就发烫，这给AI工程师提出了一个新的课题：在一个体积小巧紧凑的AR眼镜内部，如何以低功耗的模式实现高效的运算？这就需要AI芯片、计算引擎和算法全栈技术整合，极致提高AR眼镜的计算能效比，从而能够在低功耗的AR眼镜上完美地运行AI算法。

02亮亮视野独家AI秘笈

VPU芯片镇场+Laffe引擎加速

因为要与人互动，AR眼镜的AI系统通常要能实时运行神经网络模型，而运行神经网络模型绕不开密集的计算。传统的CPU芯片不是为了解决计算密集问题设计的，计算能效比很低。为了解决这一问题，为AR设备选择一款计算能效比出色的端AI芯片就显得十分重要。

主打视觉处理加速的VPU平台的出现为AR眼镜上的神经网络计算提供了硬件基础。亮亮视野成为第一个吃螃蟹的人，率先将Movidius Myriad 2芯片应用于智能AR眼镜终端，这颗只有9.5mm*8mm的VPU拥有相对传统CPU架构5倍的计算能效比。目前这颗VPU已升级到Movidius Myriad X ，可提供每秒万亿次的计算性能，功耗不到1W。

但仅靠VPU硬件提升计算能效比还不够。尽管Movidius VPU硬件相对成熟，但其工具软件链不成熟，一些关键算子的运算效率较低。亮亮视野团队基于Movidius VPU硬件自主研发了Laffe引擎，对关键算子进行汇编级优化，部分算子比Intel官方实现速度快了2-10倍不等。采用VPU硬件和Laffe引擎软件加速，亮亮视野获得了相对于CPU的15倍计算能效比提升。

03亮亮视野独家AI秘笈

深度学习算法优化，极致提升计算能效比

数据、算法和算力，是促成AI觉醒的三大基础条件。为了让AI高效运转，除了提升算力以外，追求高效率算法模型是解决问题的关键。

近年来深度学习在计算机视觉领域的应用极为成功，已经成为AR眼镜产品的标配。随着深度学习算法的性能提升，主流深度神经网络的规模也变得越来越大。但从计算能效比的角度来看，单纯依靠增大神经网络规模获取算法性能提升很不划算，往往算法模型计算量提升10倍只能获取用户感知不明显的不足1个百分点的性能提升。对深度学习的研究表明，较大的深度神经网络模型一般存在较大冗余，可以对冗余的算法模型进行压缩而基本不降低算法的性能，从而可以在算法层面提升计算能效比。

亮亮视野团队采用剪枝、蒸馏等技术对冗余的算法模型进行压缩。依托VPU和Laffe框架，利用神经网络压缩技术，再对具体算法loss函数辅以针对性改进，亮亮视野团队实现了AR眼镜上计算能效比的大幅提升。以人脸识别算法体系为例，亮亮视野团队一共约取得了相对CPU计算基准的50倍计算能效比的提升，从而在低功耗的AR眼镜上实现了AI算法实时运行。

04低功耗、眼镜端独立运算、全栈AI

亮亮视野诞生杀手级AR+AI智能眼镜

正如Facebook AI研究院首席AI科学家Yann LeCun所说：AR眼镜有望成为机器学习（低功耗）从业者的理想挑战目标，因为它涉及许多尚未解决的问题。在低功耗的AR眼镜里实现高效的AI运算，颇有些螺狮壳里做道场的意味。亮亮视野已经成为这一领域的第一个拓荒者。

得益于出色的AI能力和光学设计，亮亮视野的AR设备完美实现了低功耗环境下的高效运行。如上文所述，AI计算获得了相对CPU的50倍计算能效比的提升，而使用L-PAT光波导技术的AR设备的续航时间是其他光学显示方案的6-10倍。以GLXSS ME在智能手机上的实际测试数据为例，手机+眼镜的续航时间与手机原生续航时间之间的差距非常小。