吴文俊人工智能科技进步奖企业技术创新工程项目提名公示内容 (2020年度)

1.项目名称

基于薄膜阵列光波导的LEION PRO双目智能眼镜

2.提名者及提名意见

1提名专家:唐杰,清华大学计算机专业教授

2)提名意见:

该项目围绕新一代光波导技术进行攻关,在阵列薄膜光波导显示、光波导模组透过率等方面取得重要突破,研发了基于薄膜阵列光波导的LEION PRO双目智能眼镜。采用基于OLED的阵列薄膜光波导显示技术,通过杂散光分析优化设计有效降低由于OLED发光角大导致的鬼像等问题,将消除鬼影、重影,降低条纹感80%;自研光波导模组透过率高达85%,真实还原7μm像素细节;全反射的光学方案,不漏光,提升了产品的安全隐私性能;Movidius芯片结合自主研发的神经网络推理框架使计算效能达到传统CPU框架性能的一百多倍;采用先进的生产工艺与佩戴方式将目前双目AR眼镜的重量由100克左右降到90克。

项目获授权发明专利1项,实用新型专利2项,外观设计专利2项,软件著作权2项。项目具备完备的硬件能力和丰富的软件生态,在工业、安防等多个行业落地应用,是国内唯一实现规模化、商业化的智能眼镜产品应用,2020年新增经济效益1500万。

3.企业主要技术创新成果

1理论突破:

全球范围内率先采用新一代MyriadX深度学习专用VPU,自主开发Laffe2.0异步计算架构,将深度学习算法识别前移,实现更强的端智能主打视觉处理加速的VPU平台为AR眼镜上的神经网络计算提供了硬件基础。亮亮视野率先将Movidius Myriad 2芯片应用于智能AR眼镜终端,只有9.5mm*8mmVPU拥有相对传统CPU架构5倍的计算能效比。目前亮亮视野已将VPU升级到Movidius Myriad X ,可提供每秒万亿次的计算性能,功耗不到1W
但仅靠VPU硬件提升计算能效比还不够。尽管Movidius VPU硬件相对成熟,但其工具软件链不成熟,一些关键算子的运算效率较低。亮亮视野团队基于Movidius VPU硬件自主研发了Laffe引擎,对关键算子进行汇编级优化,部分算子比Intel官方实现速度快了2-10倍不等。采用VPU硬件和Laffe引擎软件加速,亮亮视野获得了相对于CPU15倍计算能效比提升。

开创性使用极低功耗的OLED作为像源,通过专利技术提高薄膜阵列波导的光利用率,解决入眼亮度低的问题AR眼镜作为穿戴式设备,相对于传统的手机、平板等智能设备需要更长时间的佩戴,对于体积、重量、功耗等有着几近苛刻的要求。亮亮视野开创性地使用极低功耗的OLED作为像源,将其与高透过率的光波导技术相结合。由于OLED为自主发光,DLPLCOS系统来说亮度低、发光角度较大,较其他光波导模组存在严重的鬼像问题和图像亮度不足的问题。亮亮自2014年起针对鬼像、重影、条纹、不均匀等核心问题,进行从理论设计到实际工艺的细分定位验证。基于OLED的薄膜光波导显示功耗仅为150mw,相较HOLOLENSThink reality的显示模组功耗降低到1/5,对比度从1001提高到1000001,完全消除屏幕边界感,实现无边框的叠加显示。在此基础上,通过自主研发的镀膜和光学结构,显示模组漏光比低于1%远超同行业的30%以上,因此不会对外界暴露屏幕显示的内容,不论对隐蔽性要求极高的军用头盔还是消费娱乐的AR眼镜,该特性都至关重要。基于OLED的薄膜光波导模组经过严苛的可靠性实验,将传统光波导显示模组的工作范围由0~55℃扩展到-20~70℃,可以满足室内外的全天候应用。

开创性地使用密度极低的镁锂合金作为主支撑体,极大减轻整机重量,提高佩戴舒适度;独创镜架与智能部分分离技术,符合人体工学,不同头型佩戴更舒适。微软的hololens 一代重量为579克,二代重量为566克,重量大,不适合长时间佩戴;Realmax HMT-1重量为380g,同样重量大,佩戴稳定性不好;爱普生Epson BT-350眼镜重量为119g,主机重量为179g佩戴稳定性不好,框型不舒适Daqri Smart Glasses眼镜重量为335g,主机重量为496g重量大,后脑位置发热严重。可见,目前市场上常见的AR智能眼镜平均重量约为200-500克,并不适合长时间佩戴,而且会导致眩晕感,用户体验效果不佳。亮亮视野Leion Pro 智能眼镜是一款为行业用户量身打造的AR眼镜,通过使用世界上最轻的金属结构材料镁锂合金将眼镜的重量降低到90g,并将独创镜架与智能部分分离,极大地提高了佩戴舒适性。

采用前端图像压缩技术,开创性地将4k超清图像与高刷新率双目显示内容同步在USB中传输,连接线缆纤细柔软佩戴舒适;Google Glass Enterprise Edition相机分辨率为500万像素,支持720P视频远程传输;Vuzix M300相机分辨率为1000万像素,支持1080P视频远程传输;Epson BT-350相机分辨率为500万像素,支持720P视频远程传输。Leion Pro 智能眼镜相机分辨率可达1300万,支持4K超清视频流远程传输,满足高画质随时随地观看的场景需求,带来更佳的沉浸式观感。

2知识产权:亮亮视野拥有行业最完整核心专利布局,公司产品在光学、底层算法和云端平台三个核心部分已申请专利130余项。光波导领域专利涵盖光波导的光学结构和设计加工、波导膜系设计加工和检测方法、决定波导核心指标性能的工艺方法、布局未来波导光学技术、虹膜识别、眼动控制交互、AR/VR双模式显示、光场显示等,其中在光波导核心技术方面,申请光波导国内核心专利19篇(发明专利13篇,实用新型6 3PCT国际专利。

1

平板波导

发明

2

宽带宽、高均匀性的级联分光膜阵列波导及其应用

发明

3

多模式头戴式可视设备

发明

4

级联薄膜基片粘结体制作工装及光学器件制作方法

发明

5

头戴式可视设备HMD波导光学系统

发明

6

平板波导

发明

7

光导显示系统

发明

8

平板波导

发明

9

平板波导

发明

10

头戴式用户虹膜信息采集设备

发明

11

可以采集用户虹膜信息的头戴式可视设备

发明

12

真三维全息显示头戴式可视设备

发明

13

多模式头戴式可视设备

发明

14

头戴式用户虹膜信息采集设备

实用新型

15

可以采集用户虹膜信息的头戴式可视设备

实用新型

16

真三维全息显示头戴式可视设备

实用新型

17

可以进行视网膜投影的头戴式可视设备

实用新型

18

多模式头戴式可视设备

实用新型

19

头戴式可视设备HMD波导光学系统

实用新型

3)创新技术产品:

基于薄膜阵列光波导的LEION PRO双目智能眼镜,其核心光学部件采用基于OLED的薄膜阵列光波导显示技术,具有完全自主知识产权,具有超高的对比度实现无背景的隔空显示,通过杂散光分析优化设计有效解决了由于OLED发光角大导致的鬼像等问题。光波导模组透过率高达85%,不会干扰现实世界;全反射的光学方案,不漏光,真正做到了安全使用、保护隐私。此外,全新4K广角摄像头、Movidius Myriad X低功耗视觉计算芯片、优化设计的Laffe AI引擎及仅90g的重量,使产品在具备超强感知、万物识别能力的同时,续航可达同类产品2-5倍,实现了长久舒适的佩戴体验。

4支撑平台:

Laffe引擎软件

Laffe引擎是一个第一视角计算的基础库。亮亮视野团队基于Movidius VPU硬件自主研发了Laffe引擎,对关键算子进行汇编级优化,部分算子比Intel官方实现速度快了2-10倍不等。采用VPU硬件和Laffe引擎软件加速,亮亮视野获得了相对于CPU15倍计算能效比提升,可以支持各种主流深度学习框架如Caffe/Mxnet/TensorFlow训练的模型在智能眼镜上快速部署。目前这一研发成果已经在实际生产中得到验证。

亮亮视野企业服务平台ARISE 2.0平台

亮亮视野企业服务平台ARISE 2.0平台基于智能眼镜、通讯平台、边缘智能,提供一系列的SDK、微服务或完整系统的解决方案。具备基础的即时通讯功能,保证会话中的消息的发送、接受、转发;具有文档的收发、缓存功能;可以自动保存各种消息、会话中的音视频;同时能够满足基本的群组管理功能。

完整系统:包括远程指导、过程记录、智能识别、后台的管理、存储的完整解决方案;

微服务:可以将完整系统中的各项功能按需求进行集成和部署;

SDK:提供底层的 SDK,方便进行深度集成和定制化开发

2.0.jpg(亮亮视野企业服务平台ARISE 2.0平台)