Latest Post

YVR于WAIC 2023展示首款手势识别应用 VR虚拟现实技术将在汽车领域取得哪些成果

Apple Vision Pro 6 月 6 日正式发布。Apple Vision Pro 是一款性的空间计算设备,可实现数字化内容与真实世界的无缝融合,让用户在沉浸于当下的同时还能与他人沟通交流。在 Apple Vision Pro 中,各种 app 将突破传统显示器的束缚限制,拥有一幅无边的画布。此外,Apple Vision Pro 还推出了一个全三维用户界面,而控制这个界面,仅需要用户的眼睛、双手和语音——最自然、最直观的输入工具。Apple Vision Pro 搭载了全球首个空间操作系统 visionOS,让用户能够以一种绝妙的方式与数字化内容互动,如同它们真的存在于现实世界之中。Apple Vision Pro 采用了突破性设计:在显示方面,采用超高分辨率显示屏系统,两块显示屏的总像素为 2300 万;在性能方面,采用独特的双芯片设计并搭载定制的 Apple 芯片,确保每一刻的体验都真实无比,让人沉浸当下。

十年磨一剑,Apple Vision Pro 是多年技术积累的结晶。苹果早在 2010 年开始储备 MR 领域技术,先后通过并购和自研获取面部识别、3D 运动捕捉、增强现实场景创建、表情分析管理、眼动追踪等一系列核心技术,2021 年苹果公司布局的 MR 领域相关专利已经突破 5000 项。苹果专利布局超过十年,厚积薄发,Apple Vision Pro 设备是多年技术积累的结晶。

Vision Pro 通过 VST(video see through)实现 MR(数字与现实的混合)。Vision Pro 通过传感器实时感知现实环境,将数字化的现实运算后发给显示屏幕,通过光机系统真实的发送给佩戴者。通过调节 Vision Pro 旋钮,用户可获得不同的沉浸度体验。该设备强调自然的交互,用户与设备的交互通过眼睛、手势和声音;用户与环境的交互通过 EyeSight 技术,用户在完全沉浸时,走近的同伴也会出现在视野中。Vision Pro 是一款真正意义上实现了虚拟和显示融合的性设备。

Vision Pro 强调与现实世界的交流和融合,而非隔绝;将在方方面面改变人们的生活与生产。在 To C 端,可应用于 3D 拍摄、电影、游戏、无限屏等生活场景;在 To B 端,可应用于无限屏办公、3D 建模、教育、医疗等生产场景;AI 提供数字的生成,Vision Pro 提供数字的具现,未来的应用场景无限开阔。

消除数字与现实的鸿沟,开启空间运算新时代。Vision Pro 真正意义上实现了数字与现实的连接转化,从“将数字世界融入现实世界”将过渡至“运算现实世界”。Vision Pro 具备三个核心能力:“真实的具现”、“全新的交互”、“对数字化现实的运算”。每一项能力都是多年技术打磨以及供应链培养后的结晶;每一项能力都将开创全新的用户需求和使用场景;每一项能力都具有极高壁垒,组合后壁垒更高。

Vision Pro 可实现“真实的具现”,以满足人眼的视觉体验需求。真实感是从人类角度出发的主观感受,设备将“环境的现实—数字化转化—成像给人眼”三步转化后,画面容易出现不清晰、延时高、畸变、色彩失真等问题,“不真实感”是 VST 透视设备的第一大门槛,也是用户眩晕的主要原因之一。 Vision Pro 在屏幕、光路、芯片等方面全新培养供应链,以追求“真实的具现”。在屏幕方面,全新使用 Micro OLED,以达到 2300 万像素和 13ms 延时,高清和低延时的屏幕画面是“真实感”的基础保障。在光路方面,使用三层曲面贴合 Pancake 光学镜头,以最大程度消除成像畸变、色彩失真等问题。在芯片方面,两颗处理芯片 M2+R1,M2 提供强大的算力支持,R1 保障实时图像显示与渲染的低延时,并且均为自研芯片,与系统的优化度高,后续迭代方向明确。Vision Pro 为达到“真实的具现”,在硬件供应链全新培养了供应链,硬件研发周期均超三年。而在对“真实感”的追求上,仍具有较大的提升空间;其对 PPD、FOV、延时等参数的提升,是后续产品硬件迭代的方向。“真实的具现”是拓宽用户群体的第一基础。用户主观感受的“真实感”决定了设备的使用时长和频次。而“真实感”也是在各类场景应用的基础,包括 3D 摄像、游戏、电影、视频、直播、建模等各类应用场景都脱离不开对“真实感”的要求。“真实的具现”也是带给用户三维视觉震撼体验的第一基础。

Vision Pro 开启全新的交互方式,眼睛、手势、声音开启空间交互新模式。人类与数字世界交互方式的创新,伴随着一代设备的创新。Mac 电脑采用鼠标交互,iPhone 采用多点触摸屏交互,而 Vision Pro 开启空间交互。为便于理解,在 Vision Pro 设备中,眼睛注视方向可取代鼠标的移动,手势的操作可取代鼠标的按键,语音可取代键盘的输入。Vision Pro 的交互方式无需手臂大范围移动,手臂可垂放至舒服的位置以手指的捏合动作为主,符合人类的基础使用习惯。Vision Pro 放置十余颗摄像头传感器,以捕捉用户眼球、手势与语音信息。Vision Pro 的传感器一部分是用于设备与环境的交互,一部分是用于设备与用户的交互。设备与用户的交互主要集中至眼球、手势、语音等,眼球追踪精度可精确至字母,手势可垂放至舒适位置。三维的视觉体验与全新的空间交互方式,将进一步打破人与数字交互的界限。人与数字的交互在不断的升级,视觉上屏幕越来越大越来越清晰,但始终是 2D;交互上越来越方便,但仅限于平面。Vision Pro 将开启三维视觉和空间交互的新方式,进一步消除现实与数字的鸿沟。

Vision Pro 对现实的运算,是真正意义上的数字与现实的融合,也是与 AI 的完美结合。Vision Pro 通过机器学习为用户创造了运算后的现实形象 Persona,已经实现了对现实的运算。Vision Pro 对现实的运算体现在方方面面,包括沉浸度的调节、三维实体建模、3D 拍摄等。后续随着计算性能的进一步提升以及 AI 技术的发展,Vision Pro 对现实的运算将更加宏大与便捷,实现真正意义上的数字与现实的融合。算力芯片是对现实进行运算的基础,AI 将无处不在。Vision Pro 对现实的运算由 M2 和 R1 两颗强大的芯片保障算力,开启了空间运算新时代。AI 不是 APP,AI 技术的应用在方方面面,包括对画面的渲染、生成、语音控制、眼动追踪、手势捕捉、虚拟人形象、3D 建模等。AI 无处不在,与 Vision Pro 完美结合。可运算的现实,将跨越时空的限制。Vision Pro 将让用户“看到”跨越时空的现实,包括十年前的珍贵回忆、十年后想象的未来、另一个空间的实时现实、或者平行世界的现实等。现实可运算后,眼见不一定为实,时空的限制进一步突破。

Vision Pro 消除数字与现实的鸿沟,将现实世界实时数字化后真实的展现给用户。其三项核心能力(真实的具现、全新的交互、对数字化现实的运算),将进一步改变人们的生活和生产,开拓全新的应用场景和使用需求。而 AI 不是 APP,AI 技术将融合至 Vision Pro 的方方面面,AI 打造数字世界的内核,Vision 展现数字世界的形貌。

Apple Vision pro 开创了一类崭新的计算设备,能将数字化内容融入真实世界实现增强现实。这是首款让人“不见却可透见”的 Apple 产品。Vision Pro 感觉既熟悉又耳目一新,用户可以看、可以听数字化内容,更可以与之互动,就像他们存在于现实世界一样。控制 vision Pro 只要用人类与生俱来的直观工具:眼镜、双手和语音。戴上 vision Pro 就能摆脱显示器的限制,你周围的空间将变成无边的画布,能把 app 随便放在各处使用并随意调尺寸,能拍摄照片和视频,以全新方式让每个难忘时刻生动再现。能在巨幕上看电影、节目和比赛,超沉浸地打游戏,并有空间音频环绕。还能和其他人如身处同一空间般交流。这些还只是 Vision Pro 将数字化内容融入身边空间的一些实例。如同 Mac 将我们带入个人计算时代,iPhone 将我们带入移动计算时代,Apple Vision Pro 将带我们进入空间计算时代。这是一个伟大历程的起点,一个强大个人化科技的全新维度。

Apple vision Pro 带来自由的空间和全三维互动界面。戴上 Vision Pro,用户能看到所处的空间和里面的一切。主视图会出现在正前方,所有的 app 也都在那里,既让人熟悉又很有开创性。Vision Pro 的体验,完全不受显示框限制,它会自有地填满周围的环境,可以轻松随意缩小放大 app 界面。用户还可以把 app 随意放到空间里的任何地方,感觉就像移动真的物体一样自然。打开新 app 不会挤占之前 app 的空间,他们会以用户为中心出现在新的空间。各个 app 可延展充满整个房间,比如用户在正念训练时,就能创造出一个静谧的私人空间。用户能以这些美丽的风景来收拢心念,扫除房间里的杂乱,或进入一个元气满满的新视野。

Vision Pro 会融合数码和现实世界。无论在家还是在工作,都会有各种神奇的新体验被解锁。 Vision Pro 非常适合在办公场景中使用。Vision pro 有用户每天不离手的 app,这些 app 突破了屏幕的限制,来到用户的空间里。它改变了用户使用备忘录、信息、Keynote、Safari、FaceTime 等 app 的方式,实时与 iPhone、iPad 和 Mac 保持同步,所有的备忘录、信息、照片和文档都通过 iCloud 自动更新。整个世界都变成了各种 app 的画布,用户可以随处摆放他们,调整大小来适合手头的任务。Safari,网页也更宽大,看视频或读文章感觉都顺滑。当用户向下滑动浏览页面时,小字在任何时候都清晰易读。Safari 能展开,让用户看到所有打开的标签页。用户可以整理周围的多款 app,让他们在用户想要的空间呈现,可以将其叠放,也可以放在其他 app 的上下方或旁边。

app 内容也不局限于二维世界。可以在信息 app 里接受 3D 物体,再把它拉出来从各种角度看,就像真的摆在用户的眼前一样。因为戴着 vision Pro 时也能清楚地看到周围,这样就不会与现场脱节,并能与他人保持交流,与用户周围的一切互动非常简单。使用 Apple Vision Pro,可以针对手头工作进行称心的设置,多任务处理也轻而易举。可以在备忘录里查看待办事项,在 Safari 中做旅行攻略。并在信息 app 里与好友讨论计划,一边做各种事、一边听心爱的音乐。Vision Pro 还能顺畅地与用户熟悉的蓝牙配件写作,比如妙控板和妙控键盘,方便写长邮件或处理 Numbers 表格中的图表。用户只需看一眼 Mac 就与 Vision Pro 无线连接,把 Mac 屏幕放在你想放的位置并展开,一块宽大、私密而便携的 4k 显示屏呈现眼前。

Vision Pro 非常适合在家居场景中使用。它将空间计算带入日常家居生活的方方面面,改写了重视珍贵瞬间的方式——为照片和视频增加一个新维度。Vision Pro 是 apple 的首台 3D 相机,它能让用户用 3D 和空间音频来捕捉并重温你的回忆,这种妙趣在二维屏幕上不可能完全领略。想象一下可以重温女儿生日的特别时光,空间视频具有出色的纵深感,让用户感觉能闪现那一段回忆。拍摄空间照片或视频可以用 Vision Pro 直接拍摄,EyeSight 会在拍摄时让周围的人能清楚知道。用户可以用空间视频捕捉有趣的亲子时刻,然后与家人分享,或是在多年以后再来重温。有了空间照片和视频,珍惜的瞬间和关心的人都离用户更近。

Vision Pro 提供全新的娱乐体验。空间电影可以把屏幕放大到超过房间的大小,感觉就像 100 英尺宽屏。任何房间都能变成用户的私人影院。用户在飞机上也可以体验。

Apple Vision Pro 将庞大的存量 Apple 生态进行了 3D 移植,在产品发售初期,将拥有海量生态,并可以与电脑、手机等协同工作。Apple Vision Pro 将二维的存量内容进行三维显示,并与现实融合,结合全新的交互方式,将带来开创性的空间体验,拓宽无限应用场景。

苹果的 visionOS 基于 macOS、iOS 和 iPadOS 多年的技术积累,又做了诸多改进以适应空间计算的低延迟需求。例如全新的实时执行引擎能够执行高性能需求的任务;动态注视点渲染管线,能够确保每一帧眼睛注视的地方都有最优的图像质量;多应用 3D 引擎能够让多个应用同时运行。现有应用系统框架也为原生 MR 空间体验做了改进,VisionOS 是苹果首款专门为空间计算打造的操作系统,是整个新平台的起点。

Complete HeartX 创建了互动式 3D 跳动的心脏,JigSpace 辅助设计师审阅概念图纸等,PTC 允许经营者在产线投产前做检查。Vision Pro 也可以用于提升日常办公效率,Microsoft Office、Zoom 等软件可以利用Vision Pro 的宽广画幅和清晰渲染获得更佳办公和协作体验。

开发者可以继续使用熟悉的开发工具进行应用开发,如 SwiftUI、XCode、RealityKit 和 ARKit。Reality Composer Pro 可以轻松整合带有逼真物体的复杂场景,以此简化 3D 开发工作流。VisionOS 使用了与 iPadOS 和 iOS 相同的架构,意味着基于后者开发的成千上万应用也可以在 Vision Pro 上使用。苹果与 Unity 合作,Unity 的游戏和应用可以原生地使用 Vision Pro 的各个功能,包括透视、高分辨率渲染以及手势控制。Vision Pro 也会拥有全新的App Store,其中包含专门为 Vision Pro 设备开发的应用,以及其他可以在 iPhone 和 iPad 上使用的应用。

Vision Pro 与 AI 结合生成 Persona 虚拟现实形象。Vision Pro 采用机器学习技术,通过前置传感器和神经网络生成用户专属形象,并动态模仿用户的手部和面部动作,创建具有立体感的人物形象 Persona,以此实现更沉浸的 FaceTime 通话。

AI 不是 app,AI 技术将融合至 Vision Pro 的方方面面。AI 不是简单的以 app 形式出现,而是技术融合至 Vision Pro 的各个方面,包括对画面的渲染、生成、语音控制、眼动追踪、手势捕捉、虚拟人形象、3D 建模等。AI 无处不在,与 Vision Pro 完美结合。

Vision Pro 与 AI 天然绝配,生成的数字人类将彻底改变生活与生产,进而改变整个世界。数字人类:根据主人意志诞生,能够按照主人指定规则进行思考和逻辑推理,在现实中生产或生活的某个方面,完成相应工作的虚拟实体。第一步,人类和机器的互动:人类的意志赋予机器,产生一个有趣的灵魂。AIGC 技术是互联网时代之后最大的科技变革,她使得根据人类意志产生一个虚拟灵魂成为可能,ChatGPT 只是第一步,人类和 ChatGPT 交流,类比互联网时代,就像你使用一台 MS-DOS 电脑;但是我们的目标是 Windows PC、智能手机,所以继音频之后,图像和视频的智能互动是更高级的交流;音、图、视综合交流唯一工具是 Vision Pro,产生灵魂的工具是大算力的运算中心和运算模型;人类将意志赋予机器,进而产生一个数字人类,根据具体场景,可以是汽车人、元宇宙虚拟人、工业人等等。第二步,机器与现实的互动:跨越数字与现实的鸿沟,改变生产生活。Vision Pro 的底层技术,是将现实世界实时数字化,进而进行处理,只有数字能够直接运算。能够“实时运算现实,跨越现实与数字的鸿沟”是 Vision Pro 设备真正的、唯一的意义。正因如此,她也是可以承载数字人类的唯一工具。云边融合,边缘 Vision Pro 负责交流现实,云端AI处理大数据。AI 打造数字世界的内核,对“可运算的数字化现实”进行再定义,Vision 展现数字世界的形貌。

硬件配置远超当前市场主流产品,赋能其“空间计算”、“可运算的现实”能力。芯片方面,Vision pro 搭载了苹果自研的 M2 和 R1 双芯片;光学方面,整台设备配备了两块索尼 4K Micro OLED 屏幕、3P Pancake 光学镜片。此外,整台设备还拥有 12 颗摄像头、5 个传感器、6 个麦克风,可以实现包括但不局限于以下各类功能:

超高清人眼显示:其搭载的两块 Micro-OLED,能够达到 8K 超高解析度,每个像素 7.5 微米宽,两块面板合计拥有 2300 万个像素,据 LatePost,苹果 vision pro 的 PPD 已经达到了 40,远超当前市场主流 VR 产品。

手、眼、语音交互:苹果自上世纪 90 年代以来,一直在人机交互方式上引领着市场。90 年代发布的鼠标及图形操作界面至今仍为电脑的主要操作方式;iPhone 的发布更是引领着智能手机的发展;Airpod 使用手势、动作等取代了实体按键;Vision pro 在交互上更进一步,所有操作只需使用手、眼、语音等进行实现,无需手柄等其他外界设备。

瞳距自动调节:通过无级自动瞳距调节系统可以匹配每个人瞳距的差异,结合 120°的视场角及屏幕超高的分辨率,进一步解决了因为佩戴时间过长而产生的晕眩等问题。

Eyesight:Eyesight 通过 VST 的方式让使用者可以在使用设备时并非出于一个密闭的空间,走出 VR 世界,实现虚拟与现实场景的深度融合。

3D 拍照,眼动追踪、虹膜识别:通过其搭载的雷达以及景深摄像头等,vision pro 可以实现 3D 拍照,是苹果发布的首台 3D 相机设备。另外,苹果通过设备面部内置的红外摄像头以及 LED 矩阵,可以实现虹膜识别以及眼动追踪等功能。

M2+R1 双芯片方案,为空间计算打下坚实底座。苹果 vision pro 采用了双芯片设计,即 M2+R1。其中 M2 芯片主要用于提供强大的计算性能,控制设备的温度和噪音等,为苹果在 2022 年 WWDC 大会上推出,基于ARM 平台开发构建,采用台积电 5nm 工艺,8 核 CPU,10 核 GPU,24G 的内存;R1 为苹果专门为处理实时传感数据而设计的芯片,能够处理 12 颗摄像头、5 个传感器和 6 个麦克风采集的数据。

M2 提供超强的运算能力,R1 降低设备的延时。R1 芯片能够在 12 毫秒内将新图像传输到显示屏,速度比眨眼还要快 8 倍。据 Latepost,在低运动状态下,时延高于 20 毫秒时就会产生眩晕感。而 R1 和 M2 的强大之处还在于,将外界的图形数字化,经过处理和渲染后,能够在 12 毫秒将处理完的虚拟与现实融合的图像传输到人眼前。当前市场主流的 AR/VR 芯片解决方案为高通的 XR,高通 XR 是基于其 8 系列为 AR/VR 领域专门打造的芯片。我们选取了 M2 以及高通 8+ 系列在 Geekbench5(一款专业的跨平台跑分软件)上的表现来对比二者 CPU 以及 GPU 的性能。在 CPU 性能方面,M2 在无论是单核还是多核方面,都强于骁龙 8+,尤其是在多核方面,分数接近 8+ 的 2 倍,运行起来比 8+ 更加的流畅和快速;在 GPU 跑分方面,无论是在曼哈顿 3.0 还是 3.1 帧率下,M2 的都比骁龙 8+ 要高出不少,这意味着在处理一些高帧率或者高清图形时,M2 要更加的流畅。

更强的 M2 芯片已经推出,芯片制程也有望迎来升级。值得一提的是,苹果在 2023 年 WWDC 上又推出了 M2 Ultra,是目前苹果 M 系列处理器规格最高的芯片,采用台积电第二代 5nm 制程,其具备 24 核 CPU,速度比 M1 Ultra 快 20%;最高 76 核 GPU,速度比 M1 Ultra 快 30%;显示引擎支持高达 6 个 Pro display XDR,驱动超过 1 亿像素。此外,台积电的 3nm 制程也已经实现量产,若下一代苹果的头显设备搭载更高规格或者制程更为先进的 M 系列芯片,其计算和传输性能有望再上一个台阶。

传感器数量及种类配置拉满,为应用和交互端提供无限可能。Vision pro 整台设备共搭载了 12 颗摄像头、6 个麦克风、5 个传感器,细分来看,12 颗摄像头分别为 2 颗主摄 RGB 摄像头、4 颗下侧视角摄像头、2 颗外侧视角摄像头、4 颗眼球追踪红外摄像头(设备内侧);5 个传感器部分包括 1 个激光雷达、2 颗景深摄像头、2 个红外传感器。同时设备内侧还配置了一圈 LED。依托于强大的硬件配置以及软件能力,vision pro 成为了集手势识别、3D 成像、眼动追踪、环境感知、虹膜识别等各项功能于一体的大成之作。

超高清摄像头+强大的运算能力,VST 实现无边界的虚拟与现实融合。Vision pro 的 VST 透视通过设备前部的 RGB 主摄以及各类传感器实时捕获画面,叠加上需要的虚拟图像,传导到人眼前的显示屏上。Vision pro 由于其 R1 和 M2 的强大处理能力和传输速率,解决了 VST 方案延迟较高而导致的眩晕感,同时由于 OST 方案会受到外部光源的影响,其基本呈现半透明状态且不可调节,而苹果的 vision pro 可以通过其设备上方的旋钮来调解虚拟与现实的融合程度,让模拟世界的信号以数字化的方式呈现在用户眼前,真正实现“可调节的现实”。

侧面视角、下侧视角摄像头及红外发射器实现精准的手部和头部追踪。Vision pro 配置了四颗下方视角摄像头、2 颗侧面视角摄像头以及两个红外泛光照明器来实现更为精准的头部和手部追踪,红外泛光照明器可以保证在黑暗环境下精准识别双手。传统 VR 的设备的手部追踪均需要手柄等设备,裸手的追踪相对较为困难,vision pro 将这一功能变为现实,通过多颗传感器让手部摆脱了手柄的限制,通过视觉、红外传感器以及软件算法能力真正实现了裸手交互。

Vision pro 是苹果首个搭载 3D 相机的设备。通过配置的雷达以及景深摄像头,vision pro 支持空间照片以及空间视频,用户只需按一下设备左上角的案件就能拍照或者录像。在生活方面,通过 3D 拍摄可以记录生活中的点点滴滴,回味时就好像发生在自己眼前;用户不仅可以在家就可以观看《阿凡达:水之道》的 3D 版本,仿佛置身于 100 英寸的影院屏幕;还可以身临其境的感受篮球、足球等体育赛事。

雷达与景深摄像头能更精准的测量深度信息,将 2D 图像转换为带有深度信息的 3D 图像。雷达通过 dToF 的方法,通过向目标发射一个脉冲信号,通过测量光子从出发到返回所用的时间来测算出与目标物体的距离。2020 年苹果在 iPad Pro 上就已经配备了雷达扫描功能,在 2020 年发布的 iPhone 12 Pro 和 iPhone 12 Pro Max 同样也配置了激光雷达扫描仪。在 Vision pro 中,景深摄像头通过点阵投影发射出不可见光斑,制作出一张精确的外界环境的深度图,但适用距离较近,雷达弥补了这个问题,雷达的光斑较大且稀疏,适合对整体环境进行扫描和建立模型。雷达+景深摄像头的组合,对外界环境有着精准的感知,结合苹果自身的软件算法优势,让 3D 成像更加线.内侧红外摄像头和 LED 矩阵可以实现眼动追踪及 Optic ID 功能

红外摄像头+LED 矩阵实时追踪眼球位置,实现眼球即鼠标。Vision pro 在眼睛内侧部署了一套高性能眼动追踪系统,可用于实时捕获眼球的移动。通过高速摄像头和 LED 将不可见光图案投射到用户的眼睛上,来实现眼球的追踪,依靠眼镜视线的移动选定想要的应用,用手势来进行相应操作。

Vision pro 使用 Optic ID 虹膜解锁,可用于 Apple Pay 等其他功能。Vision Pro 在不可见的 LED 光照射下分析用户的虹膜,将其与由 SecureEnclave 保护的已注册的 Optic ID 数据进行比较,比较完成后解锁设备。相关的数据经过加密且均存储在设备上,保证了用户的数据安全。此外,Optic ID 也可以用于 Apple Pay 的支付功能等其他场景。

Vision pro 搭载了目前苹果最先进的空间音频系统,让用户更加身临其境。Vision pro 的扬声器位于眼镜与头戴部分之间,采用双单元,并未入耳。空间音频系统通过定向传声技术可以将声音从四面八方发出,让使用者更有沉浸感,同时 Vision pro 还会分析周围环境的声学特性,匹配环境所需的音频效果,尤其是在使用 Facetime 通话时,声音仿佛就是从头像窗口处发出。

声学测算+动态追踪,带来绝佳的音频体验。据我爱音频网的推测,AppleVision Pro 不仅搭载了来自 HomePod 的声学测算技术,也内置了来自 AirPods 的空间音频和头部追踪技术。声学测算利用麦克风来侦测声音的反射,通过反射来感知设备在所处空间中的位置,并以此为基础进行自动调音。同时 Vision pro 通过精准定位,实现对头部动态的追踪,带来更具沉浸感的音频体验。

苹果新一代 MR 产品使用了 3P Pancake 光学方案,为当前 VR 设备的顶尖配置。3P Pancake 光学解决方案提供了极高的清晰度和通透度,能够以 4K 清晰度渲染和播放视频,拥有广色域和高动态范围。该方案让文字从各个角度都清晰可阅读,改善用户看网页、读信息的体验。苹果 Vision pro 达到了 120°的视场角,远大于目前主流厂家最新旗舰产品能够提供的视场角范围。

目前,绝大部分采用 Pancake 方案的厂商均使用两片式折返方案,该方案使用的透镜数量较少,成本相对较低,量产工艺简单。苹果 MR 所采用的三片式 3P Pancake 通过透镜组合,减少了传统菲涅尔透镜边缘的畸变、暗角问题,成像质量更高,并提高视场角的大小。尽管技术路线仍然存在光学设计复杂、光效较低、易产生伪影、量产方案 FOV 较小、成本高等一系列问题,但是 Pancake 技术路线仍存在继续改进的空间。以 FOV 和可支持的面板分辨率为例,Pancake 可支持的理论 FOV 上限为 200°,面板分辨率无上限,目前技术仍有较大发展和降本空间,具有充足想象力。

硅基 OLED 性能突出,自发光、产品轻薄、响应速度快等一系列优势,将改善用户体验。根据 TOPWAY 和 OLED industry 的数据,硅基 OLED 的自发光特性使得产品无需背光源,且功耗仅为 LCD 的 30-40%,提升续航能力,也为电池减重提供了空间。硅基 OLED 的体积仅为传统现实器材的 1/10,有效提升像素密度且重量减少 50% 以上,且拥有纳秒级的响应速度,远远快于毫秒级的 LCD 和微秒级的 OLED,增强MR设备使用的交互沉浸感,改良使用体验。

Vision pro 在设备外部加了一块弧形 OLED 屏幕,做出双向透视的效果。除了在设备内侧的两块 Micro OLED 显示屏之外,vision pro 在设备的外部加了一块 OLED 显示屏,用来显示传感器收集到的用户眼部画面,做出透视的效果。当有人靠近佩戴 Vision pro 的用户时,设备的视区会变透明,让用户看到走近的人,同时走近的人也可以看到用户的眼睛,当用户专注于使用设备时,EyeSight 也会让外界的人知道你注意不到他们。

Vision pro 配置了两组独立的瞳距调节装置,可以大幅减轻甚至消除晕眩的情况。正常人左右眼看到的画面是有区别的,经过大脑加工后,才形成了完整的 3D 画面。由于每个人的瞳距、个体左右眼瞳距的不同,在使用 VR 设备时,若不进行瞳距调节,就会产生重影等现象,头晕恶心感也会因此而产生。Vision pro 可以通过眼睛内侧的眼动追踪系统,实时捕获眼球的位置,并进行瞳距的调节,可以大幅降低甚至消除因辐辏调节冲突而产生的晕眩感。

电动无级瞳距调节已成为高端 MR/VR 设备基础配置。现有的瞳距调节可以分为独立的单目 IPD 调节和双目一体的 IPD 调节,其中独立的单目 IPD 调节需要两套微传统装置。据映维网的报道,vision pro 的自动瞳距调节会比 Meta quest pro 更快、更无缝,无需手动拨盘或者通过滑块来进行设置,提高了用户的体验感,让用户能够更方便的上手使用。

当前苹果针对近视用户在设备上设置了一个磁吸镜片接口,未来屈光度调节有望导入。屈光度数是眼睛屈光系统折射外部物体图像形成焦点的深度程度。当前苹果 vision pro 针对近视用户的优化设计是在头显的眼睛位置设置了一个磁吸镜片接口,在该接口吸附矫正镜片。彭博社的报道,一副 vision pro 和蔡司合作的眼镜夹片的售价在 300-600 美金左右,如此高昂的价格也为屈光度调节创造了条件。而 Pancake 光学方案具有屈光调节的空间,可以通过调整其中一片透镜,以实现屈光调节,改善近视用户的 VR 使用体验。

模块化设计,让整机看起来更具美感。除以上所提及的硬件配置外,Apple vision pro 还配置了以下结构及功能件。(1)头显正面是一块三维构造的层压玻璃,表面进行光学抛光,其不仅可以用于 EyeSight 的镜片,也可用于一系列环境感知摄像头和传感器的镜片。(2)外框上有两个物理按钮,一个用于拍照和录像,一个用于调用主页面和调整沉浸度。(3)外框采用特定的铝合金材料,让产品整体成型,是 vision pro 的主要架构,固定并保护内部的各类元器件。(4)轻质眼罩有不同尺寸和形状可供选择,贴合用户面部,边框延伸出来的柔韧边带,紧贴头部,确保音频组件贴近双耳。(5)3D 编织头带透气性、延展性俱佳,并且可以枕靠,连接方式简单而又可靠,用户可以更换不用尺寸及不同款式,旋转按钮可以调节头带的松紧程度,让用户体验更加舒适。(6)在插电时设备可以全天候使用,外置高性能电池最长可使用 2 小时。

MR 产业链基本定型,长期投入的厂商或享受到产业爆发红利,供应链上游将受益。苹果初代产品立项已经超过 5 年,期间持续投入积累技术和价格优势的供应商将有望获得更多供应份额,具有更强渗透确定性。随着果链企业加速备货,MR 供应链上游相关零组件、生产/检测设备、整机组装公司将直接受益于苹果新品的发布和出货量的增加。

Vison Pro 将数字世界融入真实世界,开创了混合现实(MR)的新时代。有望替代传统智能设备,重塑个人生活办公场景。本部分首先分析了 Vision Pro 主要应用场景对应的传统市场,考虑到部分功能的重合性,可作为对 Vision Pro 产品的未来销量预期。VR/AR 设备的销售量级为 1000 万左右,家用游戏设备的销售量级为 2000 万左右,智能穿戴设备的销售量级在 4000 万左右,便携智能设备的销售量级在 3000 万左右。其次,我们对 Vision Pro 的技术卓越性进行分析,下游可拓展新应用场景众多,市场空间巨大,有望复制 iPhone 当年的成长路径。综合以上,我们判断,Vision Pro 是划时代产品,性能卓越,初代解决“好用想用”的问题,未来产品解决“便宜想买”的问题。初代产品的价格不影响 Vision Pro 的划时代意义,初期出货量也许不多,但随着产品迭代与成本下降,未来爆发力十足,考虑到产品在 to B、to C 市场的颠覆性创新,有望重现“iPhone 时刻”。

Vision Pro 的应用场景所对应的传统市场主要包含四个方面:VR/AR 设备、体感游戏设备、智能穿戴设备、便携智能设备。其中 VR/AR 设备以 Meta Quest 2、PICO Neo 3 为代表;家用游戏机以索尼的 PS5、微软的Xbox Series X、任天堂的 Switch 为代表;智能穿戴设备以苹果的 iWatch、AirPods 为代表;便携智能设备以苹果 iPhone、Macbook、ipad 为代表。本部分我们将分析传统存量市场中这四类产品的销量表现,以作为 Vision Pro 产品的市场判断参考。代表性产品的历史市场数据如下表所示。可以看到,VR/AR 设备的销售量级为 1000 万左右,家用游戏设备的销售量级为 2000 万左右,智能穿戴设备的销售量级在 4000 万左右,便携智能设备的销售量级在 3000 万左右。

VR/AR 设备是一种沉浸式技术,全球市场规模在不断扩大,IDC 预计 2024 年将超过 121 亿美元。VR/AR  设备的代表产品 Quest 2 年销量约 1000 万台,PICO Neo 3 的年销量约 50 万台。而 Vision Pro 产品能给用户更加真实、丰富的 VR/AR 体验,预计未来销量具有可比性。1、Quest 2 是一款由 Meta Platforms 旗下的Reality Labs 开发的虚拟现实(VR)头显。它是一款全自主的 VR 设备,不需要连接电脑或手机,也不需要外部传感器。它拥有高清分辨率的显示屏,快速的处理器,轻便的机身,以及丰富的 VR 应用和游戏。Quest 2 还可以与其他 Quest 用户共享 VR 空间,进行语音聊天、视频通话、游戏互动等社交功能。Quest 2 于 2020 年 10 月发布,售价 299 美元,自从 2021 年发布以来,IDC 数据显示,2021 年全球销售额约 1000 万台,截至 2022 年 6 月,Quest 2 的全球销量已经达到 1480 万台。

2、PICO Neo 3 是一款由字节跳动子公司 PICO 推出的 VR 一体机。PICO Neo 3 于 2021 年 5 月 10 日上市,采用 4K 级高清 LCD 液晶屏,支持最高 120Hz 刷新率,实现了更低的刷新延迟。拥有全新自研的 6DoF 追踪方案,包括基于四广角镜头的空间定位和全新的 6DoF 光学手柄追踪。PICO Neo 3 发布价格 2699 元起,约合 385 美元。据IDC数据显示,PICO Neo 3,2022 年全年全年出货量为 50.5 万台,预计销售额 13.6 亿元,是PICO 最受欢迎的产品。

家用游戏设备的鲜明特点是它们专为运行电子游戏而设计,拥有高性能的硬件配置、丰富的游戏资源、独特的交互方式和沉浸式的体验。它们通常提供家庭娱乐的功能,有时也可以用于教育、健身、社交等。目前主流的家用游戏设备厂商有三家:索尼-PlayStation 5 系列,、微软-XboxSeries 系列、任天堂-Switch 系列。此类产品的销售量级约在 1000 万台/年。1、PS5 是索尼的第五代家用游戏机。搭载了超高速 SSD、支持触觉反馈和自适应扳机的 DualSense 无线Hz 刷新率的显示输出、支持光线D 音效技术,能够带来更快速、更沉浸、更精彩的游戏体验。PS5 于 2020 年 11 月 12 日发布,分为光驱版和数字版两种型号。发行价格方面,带光驱版为 499 美元,无光驱版为 399 美元。根据索尼的预测,PS5 在 2022 财年(截至 2022 年 3 月 31 日)的全球出货量将达到 1700 万台。

2、Xbox Series X 是微软推出的次世代家用游戏机,拥有 12TFLOPS 的 GPU,支持 4K 分辨率和 120FPS 的游戏画面,最高可实现 8KHDR 的视频输出。Xbox Series X 还具备快速加载、快速恢复、智能分发、光线追踪、空间音效等特性,可以畅玩跨四个世代的数千款游戏。Xbox Series X 于 2020 年 11 月 10 日发售,发售价格为499 美元,XboxSeries X/S 在 2020 年全球销量约为 350 万台,在 2021 年的全球出货量为 900 万台,是微软历史上销售最快的游戏机。

3、Switch 游戏机是一款由任天堂开发和发行的家用游戏机,具有可拆卸的手柄和可分离的屏幕,可以在电视模式、手持模式和便携模式之间自由切换。Switch 游戏机支持多种周边设备和在线服务,提供丰富多样的游戏体验。Switch 游戏机于 2017 年 3 月 3 日在全球同步发售。Switch 游戏机在中国的官方建议零售价为 2099 元人民币,在美国的官方建议零售价为 299.99 美元。根据任天堂的报告,Switch 在 2021 财年(截至 2021 年 3 月 31 日)根据任天堂的报告,2021 财年 Switch 游戏机销量为 2306 万台。

智能穿戴设备是指可以佩戴在身体上或嵌入衣服中的连接式电子设备,如智能手表、蓝牙耳机等,具有小型、智能的特点。代表产品有 iWatch、AirPods,其市场销售规模约 4000 万/年。1、iWatch series 6 是苹果公司于 2020 年 9 月 16 日发布的手表产品。它具有血氧传感器和血氧 app、移动心电图房颤提示软件、心率过高或过低时的预警提示、经期跟踪等健康功能。它还搭载了 watchOS7,提供了更多定制化表盘和功能。Watch series 6 的起售价为 USD399,约合 RMB 2600。根据市场调查机构 Business of Apps 公布的数据 iWatch 系列 2021 年全球出货量 4610 万个。

2、AirPods 是苹果公司于 2016 年 9 月推出的一款真无线蓝牙耳机,是 AirPods 系列的第一款产品。AirPods 具有简单易用、智能连接、高质量音频和长达 24 小时的续航能力。它采用了定制的 W1 芯片,能实现快速配对和稳定传输。它还支持双击触控和语音唤醒 Siri 的功能。售价 159 美元。根据 Business of Apps 的报告,根据 Business of Apps 的报告,AirPods 第一代自发布以来,2017 年 AirPods 的总出货量大约在 1500 万左右,2018 年是 3500 万。

便携智能设备为用户提供便捷的智能终端入口,其应用场景覆盖用户生活、办公场景。既是用户的生产力设备,亦是用户的生活娱乐设备。代表产品有 iPad、iPhone、Mac 产品。该类产品的销售量级约 3000 万/年。

Vison Pro 凭借其 Micro OLED 的出色显示技术、3D 传感技术、眼动追踪和手势追踪交互技术、强大的芯片算力加持,可以实现传统存量市场高端应用领域的替代,赢得市场竞争优势。更重要的在于,Vision Pro 将重塑 to B、to C 的场景与体验,3D 摄影这一颠覆性创新,可实现差异化竞争优势。

Vision Pro 是一款集成了 AR 和 VR 功能的头戴式设备,可以为办公场景提供多样化的应用,有望重塑沉浸式办公、更便捷的团队协作等 to B 场景。对标便携智能设备市场规模,Vision 有望实现千万市场规模。Vision Pro 利用先进的传感器、摄像头和显示器,将虚拟元素与真实环境相结合,创造出沉浸式的视觉体验。用户可以通过语音、手势、眼球等方式与 Vision Pro 进行交互,享受无缝的操作感,更大的操作面积,将带来更高的效率与更好的个验。

Vision Pro 的虚拟现实功能,为个人生活娱乐提供了更多、更为便捷的选择。有望替代 VR/AR 及家用游戏机设备,实现千万级市场规模。Vision Pro 是一款能够将数字内容与物理世界无缝融合的空间计算机,让用户在保持与他人联系的同时,享受沉浸式的娱乐体验。Vision Pro 拥有两个超高分辨率的显示系统,可以在用户眼前呈现出令人惊叹的视觉效果。用户可以通过眼球、手势和语音等方式与 Vision Pro 进行交互,感受最自然和直观的输入方式。Vision Pro 为个人和团体提供了更加丰富和多元的娱乐选择。Vision Pro 可以让用户在任何空间中变身为个人影院,观看电影和电视节目,或者体验令人震撼的三维电影。Vision Pro 还可以让用户进入虚拟世界,参与互动游戏,探索不同的文化和地点。Vision Pro 不仅适用于个人娱乐,也可以支持多人共享和社交。

得益于 3D 传感器的加入,苹果 Vision Pro 支持拍摄 3D 照片、录制 3D 视频(充分融合深度信息),并且融合空间音频,让用户在拍摄和回忆照片和视频时,享受全新的视觉体验。这一颠覆性创新,有望重新“iPhone 时刻”。Vision Pro 可以让用户在虚拟空间中重温自己的回忆,将照片和视频变成立体的小景,或者在全景的背景中观看。Vision Pro 有望取代传统的相机、手机、相框等摄影设备,提供更加丰富和多元的摄影选择。这是前所未有的用户体验,这一颠覆性创新,将成为市场的新引爆点。

Vision Pro 对 to B、to C 场景的重塑,颠覆性的3D摄影技术,将点燃 MR 赛道,亲民款 AR/VR 产品或将成为未来爆点。Vision Pro 初代产品打磨软件生态,教育消费者市场,未来平价产品有望重现“iPhone 时刻”。iPhone 在过去凭借卓越的性能、颠覆性的设计理念和可接受的价格范围,缔造“iPhone 时刻”神话。我们认为,苹果第一款 MR 产品或引领全新技术标准,完善量产能力打磨软件生态,教育消费者市场。而未来发布第二款 MR 产品,通过更低的价格、更完整的内容生态和更稳定的硬件表现,将会为供应链带来更多机会,有望重现“iPhone 时刻”。

iPhone 的发展主要经历了 4 个阶段:第一阶段:2007-2010 年,iPhone 的创新与突破阶段。iPhone 的每一代都带来了新的技术和功能,如触摸屏、App Store、Siri、Retina 显示屏等,引领了智能手机的发展趋势。iPhone 在这个阶段的销量从 610 万台增长到 5071 万台。第二阶段:2011 年至 2016 年,iPhone 的多样化与扩张阶段。iPhone 发布了多个产品型号,满足了不同消费者的需求和偏好,销量大幅增长。第三阶段:2017 年至 2020 年,iPhone 的转型与挑战阶段。苹果公司在这个阶段面临了市场饱和、竞争加剧和疫情冲击等挑战,导致了销量波动和下滑。第四阶段:2021 年至今,iPhone 的复兴与飞跃。苹果公司在这个阶段受益于 5G 升级需求、产品创新优势和品牌忠诚度等因素。实现了销量和收入的大幅增长。我们预计,Vision Pro 产品发展的第一阶段,将类似 iPhone 上市初期的创新与突破过程。Vision Pro 发布初期,将经历技术普及、消费者教育阶段,逐渐建设丰富的 MR 生态,创造颠覆性的消费者体验,培养消费者习惯,将有望引领 MR 行业的发展。

Vision Pro 作为苹果的划时代产品,价格不是影响产品成败的关键。从苹果过往发布的代表产品:iPhone 3GS、AirPods 1、iWatch 1 与当前主流产品相比,价格都超出数倍,然而由于苹果产品的划时代竞争优势,未来均实现了迅猛的增长。因此,价格并不是影响 Vision Pro 销售的关键因素,其划时代意义,将在未来得以体现。

当前 Vision Pro 产品的主要成本在于显示内屏、结构件、ODM/OEM 部分,随着未来良率上升,产能提升的规模化效应,有望实现价格下降。OLED 的技术成熟有望降低 Vision Pro 硬件成本。1.3 寸硅基 OLED 内屏是 Vision Pro 成本占比最大的部分。OLED 是一种自发光的显示技术,可以提供高对比度、宽色域、低功耗和可弯曲等优点。OLED 主要应用于智能手机、电视、平板电脑等显示设备,以及照明和可穿戴等领域。OLED 的成本下降,有工艺升级为喷墨法和实现规模量产两种途径。目前,OLED 的制造工艺主要有两种:蒸发法和喷墨法。蒸发法是目前最常用的工艺,但是存在材料利用率低、设备复杂、生产效率低等问题;喷墨法则是一种新兴的工艺,可以通过打印方式将有机材料沉积在基板上,从而提高材料利用率、降低设备成本、提高生产效率等。因此,推广喷墨法可能是降低 OLED 成本的一个有效途径。

OLED 的成本也受到其市场需求和竞争力的影响。随着消费者对高品质显示设备的需求增加,以及新型显示技术如微型 LED 和量子点等的崛起,OLED 面临着更大的市场挑战和竞争压力。因此,提高 OLED 的性能、创新 OLED 的应用场景、扩大 OLED 的市场份额等也是降低 OLED 成本的一个重要方面。而结构件、ODM/OEM 部分成本,随着苹果公司与长盈精密、立讯精密等合作的深入,实现规模化生产、提高产品良率、改善供应链状况等,有望实现成本降低。 苹果率先发布高端产品,将有利于打磨量产能力,随着产品量产,Vision Pro 产品单价有望降低。当前,市场上诸如 Micro OLED 等产品缺乏量产经验,良率有待提高,存在产线磨合的需求。我们认为,此次苹果率先发布高端产品,或是为了积累生产经验,打磨一系列最新技术解决方案的量产落地能力,确定各零部件合格品的规格,为后续其他产品放量做好准备。MR 是划时代产品,初代解决“好用想用”的问题,二代解决“便宜想买”的问题。随着产品的技术的成熟、产品生态的完善、生产良率上升、供应链的稳定,苹果未来的 MR 产品有望价格下降,实现出货量的爆发,迎来“iPhone 时刻”。