本文来自微信公众号:极客公园(ID:geekpark),作者:沈知涵,题图来自:Facebook Reality Labs


这是不是你向往的生活?


假设你正准备出门,到星巴克当气氛组。你的语音助理会问你,要不要给你播最近听的播客最新一集。你的手指轻轻一动,“点击”播放。走进咖啡馆之后,助理又问,还是老样子点美式吗?你再次挥挥手指,“点击”了否。


坐在角落里,不是掏出来笔记本电脑,而是戴好一副手环,一个虚拟屏幕和键盘出现了,你开始在上面编辑文档。但是咖啡馆的噪音让你很难集中注意力,这时候助手开启了入耳监听系统(IEMs)和主动降噪来弱化背景噪音。



服务员走过来问你需不需要“续杯”,为了不影响你们交谈,助理利用声束技术把他的声音加强。接着助理发来提醒:该去接孩子放学了,通过路段正好拥堵,得提前二十分钟出发。


不过不管是不是你向往的生活,这是 Facebook 为你畅想的,准确的说是人机交互体验(HCI)。 


而且想要实现上述并不难,Facebook 说了,一副 AR 眼镜搭配手环就能实现。虽然 Facebook 在做 AR 是人尽皆知的了,近日 Facebook 长篇大论了一番,一个轻巧的手环如何有望变革人机交互体验。


戴上好像拥有了“超能力”


简单来说,手环先是一个传感器,再是一个交互界面,让佩戴者与 AR 眼镜投射的虚拟物体和世界互动。



肌肉收缩时会产生微弱电流,在皮肤适当位置附着电极可以测定肌肉电流。就像心电图一样,肌电图(electromyogram,EMG)电子仪器记录肌肉在静止或收缩时的电信号。Facebook 采用的就是这种技术,捕捉到通过手腕传递到手部的神经信号,将其转化为数字指令。


从手腕发出的电信号非常清晰,EMG 可以感知到哪怕一毫米的手指运动。


为什么要选手环这样一个交互设备,Facebook 是这样解释的:


  • 首先手是我们与外界交互的主要“工具”,手环可以利用手部丰富的控制能力,就跟手表一样,佩戴者不会因此感到不适应;

  • 手环这种可穿戴设备可以作为计算平台,同时支持一大堆传感器;

  • 虽然声音也可以用来输入信号,但是会被背景噪音干扰,在公共场合不够私密;一个独立的设备,比如手机,会让我们和增强现实环境之间多了一层摩擦。不像利用肌电图技术,动动手指,就真的抓取了一个虚拟物体一样;

  • 况且扎克伯格说,就像埃隆·马斯克那种侵入式脑机接口方法用在医学治疗上就可以了,短期内很难用在消费级产品上。


然后就是如何丰富输入方式了。最初手环只能实现简单的“单击”操作,通过拇指和食指的捏放动作。在 Facebook 的一段 demo 视频中,用户能够交互的动作将会逐渐丰富,触摸和控制虚拟物品。未来甚至戴上两只手环,可以在 AR 眼镜投射的虚拟键盘上打字。



对比实体键盘,虚拟键盘有个好处,通过适应个人的打字速度和技巧,做相应的调整,也就是每个人都有自己的个性化键盘。



从键盘、鼠标到触摸屏,如何定义新一代计算平台与人们的互动方式有很大关系。Thomas Reardon(FRL Neuromotor Interface 主管)说,神经接口(neural interface)让交互变得更加人性化,让人类对于机器的控制高于机器对人类的控制,这是对以往人机交互方式的变革。


输入和输出 


Facebook 称上述基于 EMG 技术的交互为“超低摩擦输入”(ultra-low-friction input),但是人们如何体会到虚拟物体的真实感,Facebook 称这还是一个有“触觉”的手环。


举个例子。当你收到一封紧急的电子邮件,手环通过震动提醒你。用户甚至可以定制触觉反馈,以便知道电话是谁打来的。或者你在游戏里拉弓,手环上的压力会让你觉得真的在拉弓一样。



Facebook 做了很多原型研究,从易到难测试虚拟按钮的硬度,到不同物体表面纹理,再到移动虚拟对象时的手感。为了戴上 AR 眼镜后的体验与在现实生活中无异。


另外,面向未来的人机交互还需要搭载一套底层 AI。你出去跑步时,可能习惯先打开“跑步音乐”列表。但是未来 AR 眼镜和手环当检测到你穿上跑鞋,就会主动询问你,要不要打开播放列表,你只用单击是或不是。


系统会分析周围环境,基于过去行为预测用户意图,你每一次的信息输入,都会使系统对你的行为更加了解,从而做出相应更改。Facebook 说,你不要以为每次节省下来的几秒钟可有可无,它的目标是让用户感受不到身边“计算平台”的存在。


也就是说,系统在跟你交互式会对你做最少的干扰,这才是“以人为中心”的人机交互。


今年 Facebook 会和雷朋联合推出首款智能眼镜,但是并不是 Facebook 畅想终极的 AR 眼镜。那 AR 眼镜什么时候会来?扎克伯格自己也说还得好多年。


五分之一 FB 员工做 VR/AR


虽然和苹果不太对付,但在 AR 愿景上,两家还是出奇的相似。相比 VR,Facebook 和苹果更看好 AR。


近日扎克伯格接受 The Information 的采访,他没有指名道姓地批评了苹果,说有些应用商店规则非常严格,能在桌面浏览器上构建的游戏平台,没法带到手机上。就像安卓之于谷歌一样,我们也要造自己的下一代计算平台的生态系统。



概括来说,VR/AR 的操作系统,芯片,开发者生态,都是 Facebook 现在着手做的。


扎克伯格认为 VR 将成为构建 AR 的重要组成部分,并且表示这是收购 Oculus 时就在思考的。当 AR 技术瓶颈还未解决时,先通过开发难度较低的 VR 头显完成内容生态构建和教育消费者的工作。从技术积累上,也会从 VR 逐渐过渡到消费级 AR,比如扎克伯格透露,Quest 3 将会增加眼球追踪和面部追踪功能,让你在虚拟世界的“数字替身”更加逼真。


根据内部组织数据,Facebook 现有 1 万名员工从事虚拟现实和增强现实设备的工作,占据全球员工的五分之一。而在 2017 年这一比例差不多是 5%,当时 Oculus VR 部门人数 1000 人,Facebook 员工总数为 18770。


这关乎 Facebook 的未来。什么叫社交?扎克伯格说,最好的社交体验是让双方都有“临场感”,比如你一定幻想过,戴上 AR 眼镜,你远在东北老家的朋友就被“传送”在你家沙发上,然后你们一起聊天。


VR/AR 可以构建下一代社交体验,而 Facebook 必须抓住社交的未来。扎克伯格说,这些畅想将在未来十年陆续出现,达到全面爆发。还有能确定的一点是,扎克伯格说一定会让消费级 AR 设备尽量“普惠”。“除了更佳的设备,我非常关注如何把价格压到 300 美元,而不是 1000 美元。”扎克伯格说。


那这话又是影射谁呢?


本文来自微信公众号:极客公园(ID:geekpark),作者:沈知涵