1.项目名称
基于薄膜阵列光波导的LEION PRO双目智能眼镜
2.提名者及提名意见
(1)提名专家:唐杰,清华大学计算机专业教授
(2)提名意见:
该项目围绕新一代光波导技术进行攻关,在阵列薄膜光波导显示、光波导模组透过率等方面取得重要突破,研发了基于薄膜阵列光波导的LEION PRO双目智能眼镜。采用基于OLED的阵列薄膜光波导显示技术,通过杂散光分析优化设计有效降低由于OLED发光角大导致的鬼像等问题,将消除鬼影、重影,降低条纹感80%;自研光波导模组透过率高达85%,真实还原7μm像素细节;全反射的光学方案,不漏光,提升了产品的安全隐私性能;Movidius芯片结合自主研发的神经网络推理框架使计算效能达到传统CPU框架性能的一百多倍;采用先进的生产工艺与佩戴方式将目前双目AR眼镜的重量由100克左右降到90克。
项目获授权发明专利1项,实用新型专利2项,外观设计专利2项,软件著作权2项。项目具备完备的硬件能力和丰富的软件生态,在工业、安防等多个行业落地应用,是国内唯一实现规模化、商业化的智能眼镜产品应用,2020年新增经济效益1500万。
3.企业主要技术创新成果
(1)理论突破:
①全球范围内率先采用新一代MyriadX深度学习专用VPU,自主开发Laffe2.0异步计算架构,将深度学习算法识别前移,实现更强的端智能。主打视觉处理加速的VPU平台为AR眼镜上的神经网络计算提供了硬件基础。亮亮视野率先将Movidius Myriad 2芯片应用于智能AR眼镜终端,只有9.5mm*8mm的VPU拥有相对传统CPU架构5倍的计算能效比。目前亮亮视野已将VPU升级到Movidius Myriad X ,可提供每秒万亿次的计算性能,功耗不到1W。
但仅靠VPU硬件提升计算能效比还不够。尽管Movidius VPU硬件相对成熟,但其工具软件链不成熟,一些关键算子的运算效率较低。亮亮视野团队基于Movidius VPU硬件自主研发了Laffe引擎,对关键算子进行汇编级优化,部分算子比Intel官方实现速度快了2-10倍不等。采用VPU硬件和Laffe引擎软件加速,亮亮视野获得了相对于CPU的15倍计算能效比提升。
②开创性地使用极低功耗的OLED作为像源,通过专利技术提高薄膜阵列波导的光利用率,解决入眼亮度低的问题。AR眼镜作为穿戴式设备,相对于传统的手机、平板等智能设备需要更长时间的佩戴,对于体积、重量、功耗等有着几近苛刻的要求。亮亮视野开创性地使用极低功耗的OLED作为像源,将其与高透过率的光波导技术相结合。由于OLED为自主发光,DLP、LCOS系统来说亮度低、发光角度较大,较其他光波导模组存在严重的鬼像问题和图像亮度不足的问题。亮亮自2014年起针对鬼像、重影、条纹、不均匀等核心问题,进行从理论设计到实际工艺的细分定位验证。基于OLED的薄膜光波导显示功耗仅为150mw,相较HOLOLENS、Think reality的显示模组功耗降低到1/5,对比度从100:1提高到100000:1,完全消除屏幕边界感,实现无边框的叠加显示。在此基础上,通过自主研发的镀膜和光学结构,显示模组漏光比低于1%远超同行业的30%以上,因此不会对外界暴露屏幕显示的内容,不论对隐蔽性要求极高的军用头盔还是消费娱乐的AR眼镜,该特性都至关重要。基于OLED的薄膜光波导模组经过严苛的可靠性实验,将传统光波导显示模组的工作范围由0~55℃扩展到-20℃~70℃,可以满足室内外的全天候应用。
③开创性地使用密度极低的镁锂合金作为主支撑体,极大减轻整机重量,提高佩戴舒适度;独创镜架与智能部分分离技术,符合人体工学,不同头型佩戴更舒适。微软的hololens 一代重量为579克,二代重量为566克,重量大,不适合长时间佩戴;Realmax HMT-1重量为380g,同样重量大,佩戴稳定性不好;爱普生Epson BT-350眼镜重量为119g,主机重量为179g,佩戴稳定性不好,框型不舒适,Daqri Smart Glasses眼镜重量为335g,主机重量为496g,重量大,且后脑位置发热严重。可见,目前市场上常见的AR智能眼镜平均重量约为200-500克,并不适合长时间佩戴,而且会导致眩晕感,用户体验效果不佳。亮亮视野Leion Pro 智能眼镜是一款为行业用户量身打造的AR眼镜,通过使用世界上最轻的金属结构材料镁锂合金将眼镜的重量降低到90g,并将独创镜架与智能部分分离,极大地提高了佩戴舒适性。
④采用前端图像压缩技术,开创性地将4k超清图像与高刷新率双目显示内容同步在USB中传输,连接线缆纤细柔软佩戴舒适;Google Glass Enterprise Edition相机分辨率为500万像素,支持720P视频远程传输;Vuzix M300相机分辨率为1000万像素,支持1080P视频远程传输;Epson BT-350相机分辨率为500万像素,支持720P视频远程传输。Leion Pro 智能眼镜相机分辨率可达1300万,支持4K超清视频流远程传输,满足高画质随时随地观看的场景需求,带来更佳的沉浸式观感。
(2)知识产权:亮亮视野拥有行业最完整核心专利布局,公司产品在光学、底层算法和云端平台三个核心部分已申请专利130余项。光波导领域专利涵盖光波导的光学结构和设计加工、波导膜系设计加工和检测方法、决定波导核心指标性能的工艺方法、布局未来波导光学技术、虹膜识别、眼动控制交互、AR/VR双模式显示、光场显示等,其中在光波导核心技术方面,申请光波导国内核心专利19篇(发明专利13篇,实用新型6篇 )3篇PCT国际专利。
1 | 平板波导 | 发明 |
2 | 宽带宽、高均匀性的级联分光膜阵列波导及其应用 | 发明 |
3 | 多模式头戴式可视设备 | 发明 |
4 | 级联薄膜基片粘结体制作工装及光学器件制作方法 | 发明 |
5 | 头戴式可视设备HMD波导光学系统 | 发明 |
6 | 平板波导 | 发明 |
7 | 光导显示系统 | 发明 |
8 | 平板波导 | 发明 |
9 | 平板波导 | 发明 |
10 | 头戴式用户虹膜信息采集设备 | 发明 |
11 | 可以采集用户虹膜信息的头戴式可视设备 | 发明 |
12 | 真三维全息显示头戴式可视设备 | 发明 |
13 | 多模式头戴式可视设备 | 发明 |
14 | 头戴式用户虹膜信息采集设备 | 实用新型 |
15 | 可以采集用户虹膜信息的头戴式可视设备 | 实用新型 |
16 | 真三维全息显示头戴式可视设备 | 实用新型 |
17 | 可以进行视网膜投影的头戴式可视设备 | 实用新型 |
18 | 多模式头戴式可视设备 | 实用新型 |
19 | 头戴式可视设备HMD波导光学系统 | 实用新型 |
基于薄膜阵列光波导的LEION PRO双目智能眼镜,其核心光学部件采用基于OLED的薄膜阵列光波导显示技术,具有完全自主知识产权,具有超高的对比度实现无背景的隔空显示,通过杂散光分析优化设计有效解决了由于OLED发光角大导致的鬼像等问题。光波导模组透过率高达85%,不会干扰现实世界;全反射的光学方案,不漏光,真正做到了安全使用、保护隐私。此外,全新4K广角摄像头、Movidius Myriad X低功耗视觉计算芯片、优化设计的Laffe AI引擎及仅90g的重量,使产品在具备超强感知、万物识别能力的同时,续航可达同类产品2-5倍,实现了长久舒适的佩戴体验。
(4)支撑平台:
①Laffe引擎软件
Laffe引擎是一个第一视角计算的基础库。亮亮视野团队基于Movidius VPU硬件自主研发了Laffe引擎,对关键算子进行汇编级优化,部分算子比Intel官方实现速度快了2-10倍不等。采用VPU硬件和Laffe引擎软件加速,亮亮视野获得了相对于CPU的15倍计算能效比提升,可以支持各种主流深度学习框架如Caffe/Mxnet/TensorFlow训练的模型在智能眼镜上快速部署。目前这一研发成果已经在实际生产中得到验证。
②亮亮视野企业服务平台ARISE 2.0平台
亮亮视野企业服务平台ARISE 2.0平台基于智能眼镜、通讯平台、边缘智能,提供一系列的SDK、微服务或完整系统的解决方案。具备基础的即时通讯功能,保证会话中的消息的发送、接受、转发;具有文档的收发、缓存功能;可以自动保存各种消息、会话中的音视频;同时能够满足基本的群组管理功能。
完整系统:包括远程指导、过程记录、智能识别、后台的管理、存储的完整解决方案;
微服务:可以将完整系统中的各项功能按需求进行集成和部署;
SDK:提供底层的 SDK,方便进行深度集成和定制化开发。
(亮亮视野企业服务平台ARISE 2.0平台)