聊一聊困扰VR 3D显示舒适度的问题（上）：景深形成的原理

VR或者3D显示设备与平面显示设备给用户视觉带来最大的区别是增加了深度信息，而深度信息是人感知距离和立体感的重要维度。

而正是这一景深问题造成困扰VR显示舒适度的最重要的问题之一

 在我们讨论景深的舒适度之前，让我们先来看下人眼和人脑是如何配合来构建具有深度的3D“场”的。

人眼是获取和处理深度信息主要通过各种空间深度线索的融合；一般而言，深度线索的感知大致来源于2个不同的方面- 单眼（monocular）深度线索，双目（binocular）深度线索。

1 单眼深度线索：

单眼深度线索通常可以通过几个方面来给大脑以深度反馈：a，焦距调整（accommodation）b，几何光影视差；c 运动视差（motion parallax）

1a：焦距调整 （accommodation）

 这个是单眼直观获得距离和深度信息的方式，通过晶状体调节焦平面来获得物体的相对位置；晶状体对于深度的信息反馈在人类大脑中建立了经验公式，从而即便你只用一只眼睛，在观察近距离和远距离物体时由于焦点平面变化，晶状体改变和睫状肌的肌肉记忆帮助大脑构建相对的深度信息；正常人眼睛在看6米以内物体时开始进入“调焦”状态，也就是睫状肌能够产生反应的极限景深是6米。

人眼聚焦深度除了肌肉记忆意外，聚焦形成的影像清晰和模糊也会同时给大脑以深度线索，从而帮助构建相对深度。

但是实际情况下这个深度信息可以提供的深度范围是有限的，通常作用距离在2-3米的观测距离之内比较有效，而且需要辅助其他深度信息参与决策。

这些清晰度信息在我们现在平面显示中也可以帮助“欺骗”大脑而在平面显示的时候产生深度错觉，比如下图近处栈道清晰，远处远景模糊塑造出立体层次感

1b: 几何透视光影视差

这个也是人眼感知深度信息最直接的方式，所谓近大远小，近疏远密；同时通过光影和遮挡配合，给大脑以立体的视觉线索

比如下图，左边第一张是遮挡和几何透视一致大脑会判断花瓶在两个杯子中间；中间那张大脑会产生视觉矛盾，遮挡提示花瓶应该在最前面，而透视位置高速我们花瓶似乎在杯子中间；最右边那张加入阴影以后，就解决了视觉矛盾，原来杯子是悬空的；

图片来源：Virtual perception: PERCEIVING DEPTH AND SIZE, University of California, Irvine

这种视差构建深度信息在我们的绘画作品中已经普及应用，比如下图

图片来源：素描自学网

比如艺术家 Stefan Pabst， 将3D蜘蛛画放在孩子的视线范围内， 女儿以为是真

图片来源： Stefan Pabst 社交媒体上传

在真实的3D世界中，人眼和大脑通过聚焦变化和几何视差一起来完成静态场景的深度信息解析，如下图所示，肌肉张弛，以及球的近大远小和阴影呈现帮助人脑构建单目视觉里的深度“场”

Jarod Davis Provided by: University of Minnesota.

1C：运动视差

运动视差原理其实也是结合一部分几何光影视差，人体在运动时（比如左右或者上下），所观测到不同位置的物体的移动速度时不一样的，离开眼睛越近，运动速度越快，离开眼睛越远，运动越满。通过解析这些快慢，可以将场景深度在单目情况下在人脑中还原。

例如做火车看车窗外，近处电线杆飞速移动，远处人相对慢速移动，再远的山几乎不移动。

运动视差也是大脑构建深度线索最直接的方式，目前一些2D转3D照片的技术就是利用运动视差来实现，比如下面google 展示的Cinematic照片处理原理，将近处人像和背景分离以后，在缩放的时候，构建不同的缩放和移动速度，来达到展现景深的效果

Google Cinematic照片原理 from Google

2 双目深度线索

2a. 双眼视差(Retinal Disparity)

因为人眼的轴距效应，两只眼睛位置不同导致的视网膜上成像差异，这是非常重要的3D还原理论基础；目前3D电影就是通过给双眼投射不同的视差影像来还原3D效果。

离开双眼越近的物体在双眼中视差越大，越远视差越小。

 3D电影利用的就是双眼视差原理，用2台摄像机从2个不同角度进行拍摄，然后再同时放映到屏幕上。通过3D眼镜的分光或者滤波作用，观众的双眼会分别看到2台摄像机拍摄的画面，通过视差合成，展现景深

图片来源：Pennstate University

2b. 视轴辐合(Convergence)

当两只眼睛注视一个物体时，双眼会在某种程度上像内侧转动,将每只眼睛的视图重叠成一个对齐图像,这种动作也被成为辐辏(vergence)。当物体非常接近时，例如在你面前几厘米，眼睛必须相向转动很多以保证成像。大脑利用眼部肌肉反转的信息来判断深度。肌肉的视轴辐合信息只在10英尺/3m内有效，更远的物体，因为角度差太小，肌肉无法分辨，人们就很难准确判断它距离。

图片来源：roadtoVR

现实情况是离开眼睛越近肌肉就越紧张，眼睛也就越累；通常在人眼的明视距离25cm之内人会明显感觉到convergence带来的眼睛酸痛；在3米之外基本就属于放松状态。近距离会呈现“斗鸡”眼的状态

图片来源：Washington university

总结：

人体对景深环境的重构依赖于单眼景深线索和双目景深线索的综合构建，单眼和双目景深线索来自两个大的方面，

- 生理性的：眼球的肌肉反馈建立的反射：聚焦（accommodation）和辏辐（vergence）

- 心理性的：经过大脑的复杂处理，包括几何，双目视差，运动视差等建立景深概念

要创造沉浸式的VR场景体验，VR或者AR 头显需要综合利用生理和心理的深度线索的配合帮助欺骗大脑形成相应的三维空间的信息重构，但是目前的广泛商用头显技术还没有办法完全解决生理性的心理性的统一，从而在头显的3D景深还原过程中可能造成消费者的不适反应，我们在下一节内容 ”聊一聊困扰VR 3D显示舒适度的问题（下）：辐辏调节冲突和下一代显示解决方案“ 

https://bbs.picovr.com/post/7111200168115961870

中将详细讲一下不适反应的成因，对消费者舒适度的影响以及科技树的发展趋势

******

参考资料

1. Depth Cues in the Human Visual System by Marko Teittinen, Washington university Human Interface Technology Lab (HITLab)

2. Relative contributions to vergence eye movements of two binocular cues for motion-in-depth, Nature.com

3. Virtual perception, University of California, Irvine;

4. Bruce Goldstein’s Sensation and Perception, Palmer’s Vision Science and DeValois and DeValois’s Spatial Vision

5. Effects of cortical damage on binocular depth perception by Holly Bridge, National Library of Medicine

6. Variable optical elements for fast focus control by Craig B. Arnold, Nature Photonics

7. VR all online时代新技术和体验研究，华为技术