【墨谈】浅聊XR设备无手柄操控方式

____Apple Vision Pro发布了，其基于R1芯片、12个摄像头、5个传感器等硬件体系打造的无手柄输入控制系统格外抢眼，其采用手势、眼追结合，声控补充的方案，方便自然、高自由度和空前精准迅捷的操控体验为其赢得了大量好评，然带来的高成本、高耗电也是一般消费级XR设备不会采用的。（注：M2芯片算力主要用于确保内容处理，操控输入的算力主要由R1芯片提供）

____嫌手柄麻烦或不自然，那除了苹果的这套方案，有别的无手柄输入的控制互动的办法么？

____答案是必然的。

一、头显定位按键方案

____比如PICO neo 3上用的用头显中心定位，头侧按键控制的方案，此方案便捷度好用，尤其适合在系统界面、视频观看、网页浏览、以及部分对手部无追踪需求的应用/游戏里使用（比如《激燃一刻》里跟着私教学太极，《梦境世界》里用头显开飞机等）。虽然比较挑应用，但就以上这类应用里基本够用了，特别是一些用户主要用来观影的。且可以再添加声控，以补充其功能和提升便捷性（特别是文字输入）。但这方面就PICO里目前做得还不到位，只能支持系统界面环境下的应用使用，一旦进入独立应用，比如PICO视频，就不能用此方案了，希望予以改进。毕竟，很多时候只是想躺下来看个片罢了。

二、低配版“手眼声”方案

____扎克伯格评价Apple Vision Pro“没有神奇的解决方案”，是有道理的，其控制输入方案本质是叠硬件，以更大算力和电力消耗为代价，提升操控性能。其方案本身是可复制的，只不过离开文首堪称奢华的硬件群支持，效果会打点折扣。Supernova Technologies 公司公开了一段演示视频，展示了在 Quest Pro 头显上实现苹果 Vision Pro 运行效果及眼神凝视和手势交互体验的过程。但鉴于其没有下方摄像头，且采用的还是和骁龙XR2算力差不多的XR2+Gen1芯片，把手放在大腿上平视操控是别指望了，且上应用负载时算力必然没有苹果Vision Pro充裕。而PICO Pro系列等一些其他品牌XR也有手追、眼追、语音输入等功能，如果能够有效的结合起来，配合新机提升下硬件，必然也能一定程度复刻苹果Vision Pro式的体验。

三、穿戴微设备方案

____当前使用智能手表/手环这类穿戴设备的人越来越多了，轻便随身的性质，天然就具备一定的无线连接输入功能，同时一般都具备传感器，可以一定程度代替手柄实现XR设备输入互动功能，具体就看其设计能力了。比如下面这款Port6团队发布的智能手表，可作为 AR/VR设备的控制器。该团队通过Quest2展示了在没有光学手势追踪的情况下，借助智能手表进行稳健和低延迟的微手势操作，把智能手表作为触觉的输入设备。Port 6认为：手势追踪知道你手的位置和姿势，但你需要把你的手放在视野中，并做出清晰可见的动作，这些方法都不能提供真正直观和自然的输入体验；眼动追踪作为光标的作用很好，但缺少点击和滚动；语音识别知道你说什么，但你不会想用它来控制你的UI。其智能手表则可以在XR设备视野之外，通过点划表面及对微手势感应（比如食指拇指搭扣），实现精准输入控制。

____此外，在更微小化的穿戴设备方面，比如智能戒指，也在探索作为XR设备的控制输入。这方面中国的NOLO抢先一步，发布了全球首款戒指型VR控制器，兼顾AR/VR、大屏和智慧车交互，不过能实现的功能还比较简单，类似一个遥控器；此外苹果这种大鳄自然也不会落下，获得了一项智慧戒指的设计专利（懂专利的人都懂，期待值别太高），传说集齐苹果系戒指、手表、手机、Pad、MR，能激活套装效果，在示意图中也的确能看到iWatch的身影。

四、XR手套类方案

____XR手套允许用户在虚拟环境中体验抓取、推动、触摸、连接和挤压数字对象等多种方式进行交互，也是头号玩家里手部输入的主要方式，具有最仿真的沉浸感。大致可以分为4类：分别为手部跟踪手套、振动触觉反馈手套、力反馈手套和接触反馈手套，其中手部跟踪是基础功能，后三者表象区别在于反馈模式及精细程度不同。有网购60美刀零件DIY的拉线款LucidGloves，有专业XR手套开发商SenseGloves发布的Nova系列手套，也有还在Meta实验室中的微流体手套，功能、外形、配置、体验不一而论，目前还缺乏统一的标准，给广泛适配应用带来了难度。

五、脑机接口方案

____最后聊个未来科技。还记得曾火爆一时的现象级电影《黑客帝国》么？里面往椅子上一趟，后脑勺一搭，就能进入另一个数码世界，即使放在现在看也是那样的神奇，类似的还有后面的《阿凡达》等诸多作品，脑机接口的概念实际已经深入人心。即，在人或动物脑（或者脑细胞的培养物）与外部设备间创建的用于信息交换的连接通路。

____这类方案又分3类，一是“侵入式”方案，是指通过手术等方式直接将电极植入到大脑皮层，这样可以获得高质量的神经信号，但是却存在着较高的安全风险和成本；二是“非侵入式”方案，是指无需通过侵入大脑，只需通过附着在头皮上的穿戴设备来对大脑信息进行记录和解读；三是“半侵入式”方案，即将脑机接口植入到颅腔内，但是在大脑皮层之外，主要基于皮层脑电图（ECoG）进行信息分析。目前，主流的消费级脑机接口研究主要运用非侵入式的脑电技术，已可识别实现一些简单的大脑指令并用于控制机械设备。尽管相对而言，侵入式技术容易获得分辨率更高的信号，但风险和成本依然很高。而当前的脑机接口技术依旧还不够成熟，存在信号识别精度低、信号处理和信息转换速度慢、信号采集处理干扰多、自适应性较差、对大脑的直接反馈（信号输入）上进展相对较慢。