Latest Post

YVR于WAIC 2023展示首款手势识别应用 VR虚拟现实技术将在汽车领域取得哪些成果
据外媒ROAD TOVR所报导,Meta Reality Labs的研究人员近日研制出了一款虚拟现实头戴设备的原型机,该设备借助于定制的加速器芯片能对人工智能的处理及渲染技术得到良好的支持。 

重新审视“Codec Avatars项目”,这项计划强调实现虚拟现实身份的“完美一致性”,早在Facebook公司将自身重新命名为Meta前,就有一批技术专家在该项目上投入了大量精力。 该系统的实现依托于人工智能技术的处理、眼动轨迹、口部的运动轨迹等传感器设备的整合,力求将使用者的身体特征以尽可能真实的方式栩栩如生地呈现在虚拟世界中。

早期版本的Codec Avatar项目曾经得到英伟达公司的支持,并且也得到了各界的广泛关注与参与。

一位泰坦X显卡具备强大算力的支持,然而在Meta Reality Labs最新推出的Quest 2一体机等设备上,这种算力发挥的并不够充分。

 

因此,Meta Reality Labs已经在尝试探究如何在低功率一体机上实现Codec Avatars这个项目的功能。

在上个月举办的IEEE CICC会议上,Meta Reality Labs透露,团队正在设计一款采用7nm工艺的专用芯片,该芯片将成为Codec Avatars项目的加速器。

实际上,Meta Reality Labs的芯片设计计划始于2018年。在那一年的4月份,Facebook公司聘请Shahriar Rabii为副总裁兼芯片负责人。Rabii曾任职于Google公司,并参与过Pixel手机Visual Core等芯片开发的核心工作。

研究人员透露,芯片从论文转化为现实还需要经过一段相当漫长的道路。

在芯片设计的过程中,设计人员充分考虑到Codec Avatars的生成过程。

有一项新的技术正在Meta Reality Labs进行研究,这项技术可以加速Codec Avatars模型的生成过程。研究人员已经设计出一款采用7nm工艺的专用芯片,该芯片拥有神经网络加速器,由1024个乘法累加阵列、2MB片上SRAM和32位RISC-V CPU构成。

同时,为了适应这种芯片的特定架构,设计人员重构了Codec Avatars AI模型的一部分。

设计人员重新构建了基于卷积神经网络的眼睛注视模型,并根据硬件定制。这样,模型更加适合芯片,并能够降低片外内存访问的能耗和延迟。

加速芯片可以提高Codec Avatars工作负载较重的部分的运行速度,同时降低功率和发热。芯片定制的优势使得该芯片在功率和体积方面更具优势,与通用CPU相比更出色。

据研究人员透露,该芯片已经能够实现在每秒30帧的情况下运行Codec Avatars模型。而且芯片功耗低、外形小巧。

有了专用芯片的加速,Meta的Codec Avatars可以在一体机上运行。不过,我们目前还不知道虚拟化身的视觉渲染效果如何。在非一体机上运行时,该模型将建立用户的精神势能。对于Codec Avatars的使用,还需要进一步的研究。

模型的扫描非常细致,然而这种细致可能过于复杂,不能在Quest2等一体机上得到完整的呈现。Codec Avatars的逼真画面,在客观条件的限制下呈现的效果尚不可知。

我们可以推断,一系列XR特定的功能可以通过这种专门设计的加速芯片来实现。例如,空间音频是XR玩家需要的,这可以增强沉浸感。但高保真的声音模拟不仅会增加成本,还会耗费设备能量。

另外,位置跟踪和手势跟踪也是XR体验的关键部分,设计者可以将硬件和算法相结合,实现机器性能和功率效率的大幅提升。