聊一聊VR3D显示舒适度的问题（下）辐辏调节冲突和下一代显示

我们在”聊一聊困扰VR 3D显示舒适度的问题（上）：景深形成的原理“

https://bbs.picovr.com/post/7124003881155035167

中提到，人体对景深环境的重构依赖于单眼景深线索和双目景深线索的综合构建，单眼和双目景深线索来自两个大的方面，

- 生理性的：眼球的肌肉反馈建立的反射：聚焦（accommodation）和辐辏（vergence）

- 心理性的：经过大脑的复杂处理，包括几何，双目视差，运动视差等建立景深概念

要创造沉浸式的VR场景体验，VR或者AR 头显需要综合利用生理和心理的深度线索的配合帮助欺骗大脑形成相应的三维空间的信息重构，但是目前的广泛商用头显技术还没有办法完全解决生理性的心理性的统一，从而在头显的3D景深还原过程中可能造成消费者的不适反应。

现在我们具体讲讲这种不适反应是如何形成的以及目前的科技树是不是有相应的解决方案（希望在Neo4中可以应用）：

******

在实际场景复原中，人眼和人脑，通过单眼深度信息和双目深度信息的融合来重构整个3D场域，形成我们的立体知觉；这一系列的融合动作在人的幼年时期就通过脑眼配合“固化”到大脑中，使得我们可以非常迅速形成立体视觉；

这个固化的过程当中，2个最主要的生理性线索Accommodation （聚焦调节）和Vergence（辐辏）被眼被固化联系在一起 ；也就是人眼会把双眼反转和晶状体的屈光度变化融合起来，通过辐辏和调焦的同步协作，我们就能够正确判断物体的距离、大小、位置以及方向，进而构建我们与客观世界和环境物体之间的位置关系。

所以聚焦的物体具体位置和相应的辐辏角度是被固化在每个人的大脑里面的，大脑已经习惯了视线和焦点总是会处于同一位置的这种规律。当聚焦位置和辐辏角度的经验匹配不一致的时候就会发生辐辏调节冲突（Vergence-Accommodation Conflict），这是影响3D舒适度的一大问题。

我们在观看3D影片时，屏幕的位置是我们双眼聚焦位置，同时电影通过双目视差形成了深度信息。但是在整个观影过程中，观众与屏幕之间的距离是不变的，所以睫状肌对晶状体调焦功能无法像日常那样，跟随辐辏功能在相同距离上进行对焦。进而打破了存在已久的规律，使辐辏和调焦的位置发生了分离，产生辐辏调节冲突。大脑必须去被迫合成视线和焦点不在同一位置的信息，因此会使大脑发生混乱，眼球辐辏在这种混乱下面也会反复试图形成视轴辐合，这样长时间会出现视疲劳、眩晕、眼压升高、头痛等不良反应。

如下图，蓝色为聚焦，橙色为辏辐，在景深与焦距平面不一致的情况下产生辏辐调节冲突

减小辐辏调节冲突是现在VR头显需要解决的很重要的舒适性问题也是减轻晕眩的重要因素。那么目前辐辏调节冲突在我们日常使用VR头显的过程中有多大影响？未来是不是可以彻底解决呢？

1.辐辏调节冲突在目前VR头显内容呈现上影响有多大？

目前的VR头显是通过凸透镜在离开人眼2-3米左右形成虚像；在虚像的成像面上，人眼实现聚焦；这个聚焦位置合距离是比较合适的，人眼晶状体处于比较放松状态；同时我们前文在视轴辐合中提到，肌肉的视轴辐合信息只在10英尺/3m内有效，更远的物体，因为角度差太小，肌肉无法分辨；也就是在VR中，用户看3米外的物体不会产生辐辏调节冲突。但是对于用户观看非常近的物体，近到明视距离之内，辐辏调节冲突会越来越明显。 这也是很多人发现现在看PICO的直播的时候眼睛会相对比较酸的原因，因为主播为了营造立体感，通常离开VR直播设备距离特别近，使得用户辐辏调节冲突感知加强。容易造成眼睛疲劳。

反之，在很多游戏场景中(比如射击和音乐)，因为注意力大部分在2-3米以外的舒适区，不会产生感知的辐辏调节冲突；双眼在这种情况下睫状肌处于比较放松状态，辐辏也在放松状态（不需要眼睛内翻），整体舒适度是比较高的，眼睛也相对不太容易疲劳

这其实对于现阶段PICO的内容制作提出一些要求，在VR 3D全景和直播内容里面尽量使得用户注意力焦点在2-3米之外会更好打造舒适度。

2．未来是不是可以彻底解决辐辏调节冲突的方案？

解决辐辏调节冲突需要解决固定焦点/焦平面的问题，目前业界有两大技术方向：光场技术和，焦点可变技术

快速焦点可变技术：

Lemnis?Technologies开发了一种硬件+软件解决方案的变焦原型Verifocal。结合了眼动追踪、自适应光学元件和自定义渲染管道，可以支持头显设备根据用户注视点动态地调整焦距镜。Verifocal的焦点调节原理采用了基于Alvarez透镜设计的光学元件，结合了两个可调节透镜，可以提供各种焦平面。

图片来源：Nature Photonics, 2020

Verifocal原型可以提供25厘米到无限远的焦距，同时通过眼动追踪器输出和用户视力参数来估计最佳焦点驱动自适应光学系统相应地调整焦点并同步校正失真。

这套系统也能够集成屈光度调整，为屈光度不正用户提供不需要眼镜的更舒适的体验。

2020年末，Facebook收购了 Lemnis?Technologies，将在未来的oculus 设备上使用这一技术解决辐辏调节冲突，希望在下个版本的OC3 上能有有机会装备

光场技术：

解决立体显示的终极技术，记录4维光场信息，对每个点记录光的强度信息和角度信息，并向视网膜投放从而实现真实世界光信息重构，通过光场投放看到的物体和真实的物体是没有区别的，在AR中应用可以达到无法区分虚拟物体和现实物体，从而实现混合现实的显示效果。

光场相机是光场技术现在最成熟的应用领域，光场相机通过摄取各个方向的四维光线，从而达到先拍摄后对焦的效果，第一款量产的消费级光场相机Lytro 在2011年就发布了，这台相机通过改变传感器前面的滤镜，使得成像点并分布在100余个平面上。每拍一张照片，光场相机大概会记录着100个物距的成像信息，考虑到这台相机的传感器本身尺寸和光圈大小，这100多个部分照片已经可以涵盖所有的景深情况。后期把这些照片所具备的距离信息整理一下，再加上焦点算法，就可以形成完整的光场照片了

图片来源：太平洋电脑网

苹果近期的专利也显示苹果将在手机上搭载光场技术，使得手机可以成为AR/VR 的创作拍摄工具，苹果在其新专利中说道："在光场摄影中，光场相机可以捕捉到场景中光线的颜色强度，也可以捕捉到光线在空间中的移动方向"。这将赋予用户通过6DoF来与内容互动的能力。从本质上讲，苹果希望制造出能捕捉到图像和视频的相机，然后将其转化为虚拟现实内容。

图片来源：苹果专利

光场显示可以认为是光场相机所拍摄的光线空间投射再现的逆过程， 光场显示是立体显示的终极技术，可以从根本上解决辐辏调节冲突，光场的直接投射也省去了笨重的透镜，使得头显可以进一步轻量化。

但是这个还原过程比记录更加复杂，美国创业公司Magic leap 是这个领域最大的投资和初创企业，2016年发表的愿景曾经使得大家对于光场技术的MR应用充满期待；，

图片来源：magic leap 宣传视频

但是目前这个技术实现难道和价格都非常高，主要通过一种叫做光纤扫描的波导技术对空间光场复原。magic leap 1售价超过2000美元，今年9月即将发布的2代产品售价更是超过4000美元，但是从目前发布的最终形态来看，是极其轻量的显示解决方案，已经非常接近普通佩戴的眼镜了。magic leap 2宣称可以提供37cm以上的光场深度信息，37cm （虚拟物体出现在37cm以外）对于magic leap 2作为AR为主要应用的领域已经足够了 ，非常其他9月份发布以后的实际表现和测评。

图片来源：magicleap 官网

综合来说从工业化成本角度而言，快速焦距调节技术可能更早在消费级产品中得到应用，我们也希望国内企业迅速赶上可以在下一代的Pico产品中得到应用，非常期待下一次大更新，带来更高的显示质量和更为舒适的深度场域体验

****

参考资料

1. Depth Cues in the Human Visual System by Marko Teittinen, Washington university Human Interface Technology Lab (HITLab)

2. Relative contributions to vergence eye movements of two binocular cues for motion-in-depth, Nature.com

3. Virtual perception, University of California, Irvine;

4. Bruce Goldstein’s Sensation and Perception, Palmer’s Vision Science and DeValois and DeValois’s Spatial Vision

5. Effects of cortical damage on binocular depth perception by Holly Bridge, National Library of Medicine

6. Variable optical elements for fast focus control by Craig B. Arnold, Nature Photonics

7. VR all online时代新技术和体验研究，华为技术

8. 黑科技被冷落？谈为什么光场相机不受见，太平洋电脑网