Latest Post

Meta 和 MOFAD 让您在增强现实中参观 Ebony 测试厨房 虚拟现实技术知识点总结

公司宣布正式推出第一代骁龙AR1平台和第二代骁龙XR2平台,前者专门为下一代智能眼镜产品打造,而后者则用于支持下一代VR(

此举着眼于当下VR和MR行业的强劲发展势头。技术公司副总裁兼XR业务总经理司宏国(Hugo Swart)认为,在该领域,游戏、健身、娱乐等C端应用不断发展,培训、教育和医疗等企业级场景也有不错前景。

“我们与苹果(Vision Pro搭载的R1芯片方案)的策略不同,他们的产品价格比较昂贵,需要采用多个芯片和外置电池支持。”司宏国表示,这种架构很难让用户负担得起终端价格。而第二代骁龙XR2平台是一个单芯片解决方案,不需要外置芯片组,更适合OEM厂商制造高性能和价格门槛低的硬件产品。

新平台还支持3K x 3K显示,司宏国称这是目前VR和MR设备最理想的显示方案,市场上存在的4K方案虽然显示效果更好,但价格过于昂贵,不具备规模化扩展的供应能力。

高通还为此针对GPU进行了大幅升级,支持空间扭曲和视觉聚焦渲染等最新技术。与初代产品相比,新平台的GPU性能提升了2.5倍,在同样的视觉效果下功耗降低了一半。

在AI技术应用上,新平台支持INT8,对不同AI模块的连接进行了优化,并升级了计算机视觉模块。

针对VR和MR头显设备上始终开启的六自由度(6DoF)头部追踪所需要的巨大算力消耗,初代XR2平台采用软件方案支持,而第二代平台将该功能放到了芯片硬件视觉分析引擎(Engine for Visual Analytics)中,从而提升了性能,并降低了功耗和时延。

第二代骁龙XR2平台还支持并发感知技术,能够对用户所处的环境(比如地板和墙壁位置、房间内有哪些物品等)进行精确理解,同时能对用户进行头部追踪、眼球追踪、手势以及全身动作追踪等。

司宏国表示,这些新技术在运行过程中都需要消耗大量算力,所以新平台的终端侧AI算力较前代产品提升了8倍。高通进入XR领域已经超过十年时间,期间推出过多个XR专用平台,包括第一代骁龙AR2、骁龙XR2+、骁龙XR和骁龙XR1平台,并且与Meta、联想和PICO等头部公司进行合作,发布了超过80款硬件设备。

VR/MR设备通常支持10-15瓦功率的散热要求,所以相较手机有更强大的散热能力,同时它们能与PC相连接,依靠更好的散热能力和专用显卡来接入。

所以XR设备与智能设备的互联非常重要,也更需要Wi-Fi 7等新一代连接技术。第二代骁龙XR2平台支持Wi-Fi 7和Wi-Fi 6E连接,功耗降低了25%,时延降低了80%。在MR体验的视频透视时延方面,新平台将其降低至了12ms。

Meta(前Facebook)公司的Quest 3成为全球首个搭载第二代骁龙XR2平台的硬件产品,在9月28日当天同期发布。

该平台采用14-bit双ISP,支持即时拍摄,同时结合了智能手机上的部分前沿技术,比如自动曝光、自动人脸检测、计算HDR和人像模式。

高通预测,未来智能眼镜将可以全天佩戴,外形类似于传统墨镜,支持实时拍摄照片和视频,用户不再需要从口袋中掏出手机进行操作。

第一代骁龙AR1平台搭载了运动健康传感器和视觉搜索,用户能够使用语音指令跟智能眼镜交互,从而彻底解放双手。

司宏国表示,该平台支持的功能相对简单,所有的处理都能在眼镜端完成,不需要借助于手机处理。智能眼镜中的虚拟助手回应用户指令后,可以在用户眼前提供情景信息,比如在购物场所通过视觉搜索为用户提供产品信息、实时翻译、货物挑选和导航等。

骁龙AR1还是一款可扩展平台,支持多种不同配置,更适合OEM厂商进行定制,可生产仅采用摄像头的款式,或者支持单目、双目显示的款式。

此外,平台还支持实时视频直播以及音乐串流。Ray-Ban(雷朋眼镜) Meta系列将在该平台首发。

对于具备更高沉浸感和大显示屏幕的AR(增强现实)眼镜,它们需要在手机侧完成处理工作,研发起来更加复杂。司宏国表示高通会持续投入,在未来的平台中解决这个问题。