近日,Meta在Meta Connect开发者大会上正式发布了混合现实(MR)头显Quest 3和Ray-Ban智能眼镜新品,分别搭载高通第二代骁龙XR2、第一代骁龙AR1。
高通技术公司副总裁兼XR业务总经理司宏国(Hugo Swart)表示,高通深耕XR领域已超过十年,过去的几年中,陆续推出了多款XR专用平台,赋能Meta、联想、Pico等行业中领军企业,也为初创企业提供支持。截至目前,高通XR芯片合作伙伴已经发布超过80款设备。如今为了进一步推动XR行业发展,高通推出第二代骁龙XR2、第一代骁龙AR1,前者性能大幅度提升,将改变未来的VR和MR体验,后者是专门为下一代智能眼镜而打造的。
第二代骁龙XR2三大能力升级 提升VR/MR沉浸体验
与上一代产品相比,第二代骁龙XR2在交互、视频透视能力以及视觉、图形、多媒体等方面获得大幅度提升,使VR/MR设备无须外置电池组,能够助力OEM厂商打造高性能且价格合理的设备,让用户能享受到逼真的沉浸式VR/MR体验。
视觉、图形和多媒体技术的突破是提高VR/MR设备沉浸体验的关键。为了提升VR/MR设备的沉浸感,高通对第二代骁龙XR2整体架构进行了优化,其GPU性能提升2.5倍,GPU能效提升50%,支持3K×3K分辨率、空间扭曲、游戏超级分辨率和视觉聚焦渲染等,使VR/MR一体机头显设备无须外接电池组。特别是GPU升级之后,第二代骁龙XR2能够赋能VR/MR设备惊艳的图形效果和出色的色彩和细节,提升应用和游戏的视觉保真度,使VR/MR设备在同样的视觉效果下节省50%的功耗。
除了视觉、图形之外,流畅交互也是让虚拟世界和物理世界完美融合的核心。第二代骁龙XR2支持绝佳的并发感知技术,对用户和环境拥有更好的理解。例如,要真正实现数字和物理空间的融合,用户需要对地板和墙壁的位置、房间有哪些物品等有精准地理解。司宏国表示:“我们也需要对用户有充分的理解,以更好地进行头部追踪、眼球追踪、手势追踪、以及对全身的动作追踪等。这些技术运行需要消耗大量算力,所以第二代骁龙XR2的终端侧AI能力比第一代骁龙XR2提升8倍。”
AI能力的提升对于XR体验至关重要。高通第二代骁龙XR2支持INT8,并优化了不同AI模块之间的连接,以实现紧密的协同处理,并扩展终端侧的内存,使其AI引擎能力获得大幅提升。与此同时,高通第二代骁龙XR2将六自由度(6DoF)头部追踪功能放在芯片硬件视觉分析引擎(Engine for Visual Analytics)中,从而实现了性能提升,并降低了功耗和时延。
为了实现无缝交互,进一步提升VR/MR设备沉浸感,高通第二代骁龙XR2升级了Wi-Fi技术。司宏国指出,第二代骁龙XR2支持Wi-Fi 7和Wi-Fi 6E连接,以及面向XR的高通FastConnect软件套件,能够实现25%的功耗降低,峰值速度达到5.8Gbps,并且时延降低80%。
提升视频的透视能力有助于改善混合现实体验。为了在MR体验中增加现实世界的存在感,现实世界将通过外置摄像头实时流传输到头显屏幕上,并且需要视频透视时延保持极低的水平,从而实现出色用户体验。高通对整个视频透视线程进行全面优化,使第二代骁龙XR2可以实现低至12ms的视频透视时延。同时,高通还通过几何校正、降噪、动态亮度调整等技术,提升视频透视的图像质量。
专为智能眼镜打造第一代骁龙AR1,变革拍照、摄像方式
伴随着混合现实头显快速发展,智能眼镜也在不断迭代升级。司宏国认为,智能眼镜品类的发展潜力巨大,其外形可以像传统的墨镜一样轻巧时尚,可以全天佩戴,而且支持许多便捷功能,例如,实时拍摄照片和视频,不需要再从口袋中掏出手机。
为了加速下一代智能眼镜发展,高通推出第一代骁龙AR1。据介绍,第一代骁龙AR1采用14-bit双ISP,支持即时拍摄体验,并结合智能手机上的自动曝光、自动人脸检测、计算HDR和人像模式等功能,将变革智能眼镜拍摄照片、视频的方式,解放人们的双手。
AI对于智能眼镜拍摄照片、视频至关重要,它能够帮助提高照片和视频的拍摄质量,通过降噪实现更清晰的通话,通过计算机视觉实现更清晰的视频拍摄,甚至进行视觉搜索。司宏国指出,高通赋予第一代骁龙AR1 AI能力,让搭载该芯片的智能眼镜可以为正在运动的用户提供实用的情境信息和指令,为正在逛街或者线下购物的用户提供更为丰富的信息、进行实时翻译、货物拣选以及导航等。如果用户在滑板、骑自行车、做饭时,也可以用语音指令与智能眼镜交互,无需双手。
此外,第一代骁龙AR1还配备最先进的连接解决方案,即高通FastConnect软件套件,能够实现实时视频直播以及音乐串流,并且解放双手,甚至能够把自己的所见所感和亲友即时分享。
司宏国强调,第一代骁龙AR1是一款可扩展平台,旨在通过支持多种不同配置,为OEM厂商提供灵活性,包括具备出色摄像头和音乐功能、以图像拍摄为核心的智能眼镜;支持单目显示、完美支持提醒通知和导航应用的智能眼镜;以及支持双目显示、具备更丰富视觉效果的更强大的智能眼镜。
评论
文明上网理性发言,请遵守新闻评论服务协议
登录参与评论
0/1000