Latest Post

YVR于WAIC 2023展示首款手势识别应用 VR虚拟现实技术将在汽车领域取得哪些成果

对于未来科技的安全研究,零日可能会迟到,但从不会缺席。今天我们就来谈谈最近大家热烈讨论的XR科技。

不过,此XR并非彼XR,我们要谈的不是苹果iPhone XR的安全问题,而是扩展现实(XR – Extended Reality),一种被称为属于未来的新鲜技术。

作为科技安全圈的老司机们,想必大家已经有过VR或AR接触史,甚至不少发烧友花大价钱自购了VR/AR设备,但MR和XR又是什么新品种?别着急,零日先来大致说一下VR/AR/MR/XR四者之间的区别。

先上一张图。一目了然,扩展现实(XR)就是VR/AR/MR三者的集合,所以也有人根据扩展现实(XR)是“由计算机图形和可穿戴设备生成的所有真实和虚拟环境”的定义,将XR中的“ X”理解成一个变量。

也就是说,现在有AR/VR/MR,未来还可能有BR(迷惑现实-Baffle Reality)、CR(影像现实-Cinematic Reality)、DR(蒙蔽现实-Deceive Reality)等等“R”字辈科技。(当然这都是零日随口一说,能不能实现还得技术大佬们说了算的)

首先,VR又叫虚拟现实(Virtual Reality),说白了就是假现实。具体指的是利用电脑模拟三维空间,通过感官模拟一种沉浸感和临场感,就像把人带到一个虚拟的仿真世界。

不过,要是单纯的影像内容,就和看普通3D电影没什么差别;所以虚拟现实VR内容和传统3D影像的区别在于人与影像内容的互动感。

(这就跟《盗梦空间》差不多,游走在90°折叠的城市,能骗过眼睛五感和大脑,全程高能又科幻,但一切都是假的!)

至于AR增强现实(Augmented Reality),则是现实世界的Pro版。说简单点,就是在真实空间里植入虚假内容,把虚拟信息(物体、图片、视频、声音等)映射在现实环境中。很明显,VR是带你精神穿越,AR则是高楼林立的现实中,再现海市蜃楼。

最后,MR,混合现实(MediatedReality),倒可以直接看作是VR/AR结合体,因为它指的是合并现实和虚拟世界后产生的新可视化环境。举个简单的例子,下班回家的你,戴上MR设备看暴力美剧,施瓦辛格会跳出传统屏幕,在你眼前吹胡子瞪眼,甭管你移动到哪,他都只对着你演。

虚实融合娱乐至死,催生了AR游戏畅快淋漓的极致体验,也促成了AR游戏火爆全球。从技术上来说,脱胎于增强现实技术的AR游戏,在多动态Marker、HDR反射、遮挡碰撞及GPS技术的加码下,最终突破了虚实界限。

2016年,任天堂与Niantic联合开发的《Pokémon Go》风靡各国,进一步加速了AR在游戏领域的发展,哈利波特等经典IP纷纷开始AR游戏化。

游戏之外,镜头之下,同样有AR的天地。2019年,字节跳动下属实验室AI Lab研发了一项名为Landmark的技术,透过3D视觉技术并针对室外场景进行检测、运算,在最快的时间内来呈现出这种AR特效。

现如今,这款技术已应用在抖音App中,在拍摄城市地标建筑时,就能体验到这种AR特效,除了一些方向的AR相机研究,不得不说字节跳动将AR相机技术带进了新一代的短视频创作领域。

传统导航已不新鲜,AR导航正预谋取而代之。2019年,Google推出了GoogleMaps AR导航,视野正前方的AR景象,带来了“平视”导航新体验,开启了逆转“低头族”新趋势。

Google Maps AR之外,AR City、Moovit等“AR导航”破土而出,甚至汽车也开始研发AR导航应用。公交应用程序开发商Moovit也将AR引入其移动应用程序,帮助使用者通过视觉寻找车站。从而使用户可以更轻松地在视觉上找到站点和车站。

在游戏、相机等娱乐休闲类民用开发之外,AR技术逐渐渗透至军事领域。早在2018年,美国陆军曾一次性采购10万台HoloLensAR眼镜,用于战斗任务和士兵训练。

自此,AR技术逐渐发展出了一个军用向市场,并迅速出现了北美、欧洲、亚太、中东、非洲和南美等六个AR军用市场。其中,仅北美AR军用市场就齐聚了Google LLC、Applied Research Association Inc.等一大批公司。

从游戏到工具,从民用到军用,“R”科技能干的事儿远比看到的多。仔细研究还会发现,技术应用都跟扩展现实XR带来的复兴感官体验密不可分。

说到技术带来的感官体检,扩展现实XR及VR/AR/MR三种技术,最突出的就是视觉,其次则是听觉、触觉、嗅觉、味觉和“ 第六感 ”,共计六种体验。

眼睛最直观也最难骗,而扩展现实XR带来的视觉体验,也根据VR/AR/MR的区别,呈现上有所差别。

首先,VR看见的影像,是全虚拟且无法看到现实环境的,所以就有了体验者与旁观者两种视角。在亲身体验者视角,戴上设备自己就是这个世界的勇者,就像这样。

至于AR技术的视觉体验,是看到现实环境中出现虚拟内容,有点类似在现实世界环境打网络CS,比如这样。

到了MR这,视觉体验上就既有AR又有VR。虚拟的内容可以映射在现实环境里,还能用过设备处理虚拟影像。

音乐发烧友都知道杜比音效、无损音质,XR技术下的听觉体验,带来的则是3D版沉浸式音频体验。说简单点就是声音来自四面八方,分分钟站在舞台中心听音乐。

所谓触感,指的是因为接触而引起的反应,XR技术的触感体验,就是模拟人接触时的感觉。比如,你戴上装备,手中明明空无一物,却感觉在拆桌子。

在XR技术领域,模拟气味虽然比较新颖,但研发机构也不在少数。原理解释起来也不复杂,就是通过变换气味的装备,根据你看到的摸到的东西,反馈最贴近的味道。

听起来嗅觉体验好像没什么,但要是放在实际体验上就不一样了。你“看见”有人递过来一束花,伸手接了过来并真实地触摸到了花的重量,接着你就闻到了花的香味。

先别惊讶,XR技术模拟味觉的确真实存在, 至于怎么实现?就要先从味觉感知上来说,都知道味觉来自舌头,其实视觉、听觉、嗅觉甚至记忆的作用下,也能模拟味觉体验。

吃东西的味觉来说了,最直观呈现味道的是舌头,但想复制味觉体验,却可以从眼睛、耳朵甚至记忆上下手。

聪明的研究人员们,就在气味、颜色、形状等因素上下功夫,从而实现增强味觉的体验。詹姆斯·比尔德基金会(James Beard Foundation)近期推出的Aerobanquets RMX中就通过XR体验,仿造了味觉的感知。

别慌,零日要说的真的正常感知意外,意识上的“第六感”。不过“第六感”体验的实现,就要通过机器学习、人工智能在XR技术实现。

解释有点复杂,不过可以举例说明。比如,医生做手术前,先用XR技术模拟操作,这时机器学习和人工智能则会提供咨询服务,以此提高手术的成功性。

其实不用零日说,大家也都懂技术利弊双存的道理。XR的内核既然是模拟人的感官,其安全隐患,或者说威胁最终的受害者就是人本身了。接下来,零日就从安全角度,说说XR在数据安全和漏洞攻击两个方面对人的威胁:

相比于已经让我们深陷信息泄露旋涡的常规电子设备和应用程序,XR设备不仅收集常规数据,还会大量收集使用者的声音、习惯、交互、样貌、注意力等详尽的隐私数据。这些更为个人的数据一旦被有心人窃取,稍加分析就能生物图像,进行精准打击。

老粉都知道,零日一直说漏洞无处不在并非危言耸听,这个老问题放在XR技术上同样存在。而随着XR技术被广泛应用在游戏、购物、建筑、医疗、教育等专业领域,黑客顺“洞”而来,最先破坏就是视觉画面,可能是显示错误的数据,也可能是篡改的画面,威胁层级恐怕跟当前的网络攻击持平。

零日一直强调,技术发展安全先行,XR技术普及纵然还有很长的路要走,但并不妨碍现在就开始夯实安全基础,不然等大楼建成了,再去研究怎么抵御攻击,成本和难度可就是现在的倍数了。