Leap Motion:如何为VR-AR设计手部“快捷键”

2018-07-23

(映维网 2018年06月09日)如果新计算技术要实现完整的潜能,它们需要全新的用户界面。虚拟空间中重要的交互都是基于直接的物理操作,比如说抓和捏。但从手臂平视显示器到数字可穿戴设备,再到包含按钮、滑块,甚至3D追踪球和颜色选择器等可部署的小部件,Leap Motion的团队同时探索了一系列令人感到兴奋的的界面范例。

Barrett Fox和Martin Schubert分别是Leap Motion的首席VR交互工程师和首席VR设计师。两人日前分享了一篇关于如何为VR和AR设计单手快捷方式的文章,以下是映维网的具体整理:

随着我们从休闲VR应用转向更有深度,时间更长的体验,设计的优先级自然而然地变成了工作效率和人体工学。交互设计重要的领域之一就是模式切换和快捷方式。

今天我们常常都在使用键盘快捷键,难想象在没有它们的情况下操作电脑。Ctrl+Z,Ctrl+C和Ctrl+V是键盘和鼠标输入效率的基础,而我们大部分人都已经形成了这样的肌肉记忆。

我们在VR中已经看到,通过将命令重新映射至按钮、扳机键、触控板和类比摇杆,控制器输入能够相对容易地采用这种快捷方式范例。如果要增大或缩小Tilt Brush中的笔刷,你只需向右或向左滑动笔刷控制器的触控板即可。

但假如是为裸手输入设计的单手快速选择呢?这需要我们采取不同的思维方式,因为裸手输入没有按钮或其他机械输入。在之前的研究中,我们已经将这种类型的命令映射至世界空间用户界面(如控制面板),或者是映射至采用调色板范例的可穿戴界面,其中一只手充当选项集合,另一只手则充当选择器。

然而,如果我们可以用一只手切换或修改当前的激活工具,而不是说用两只手,这时速度和舒适度将能随着时间的推移而增加。我们甚至可以设计一个具现化的空间快捷方式系统,无需看向双手即可完成操作,这样就能释放我们的眼睛并且进一步提高工作效率。

1. 直接操作与抽象手势

单手激活快捷方式的一种方法是,将抽象手势定义为一个扳机键。基本上,这是一个手势或手部的移动。Leap Motion通常赞成将虚拟对象的直接物理操作视为交互范例,而非抽象的手势,所以这是我们一般通则的例外。原因有几个:

抽象手势往往会模棱两可:我们应如何定义在三维空间中“向上滑动”这样的抽象手势呢?何时和何处开始滑动开始或结束呢?持续时间要多久呢?必须涉及多少只手指呢?

较少的抽象交互可以降低用户的学习成本:我们一般在现实世界中都是直接操纵物理对象。试图教会用户特定的动作,并且可靠地执行命令是一个重大挑战。

快捷方式需要能够快速方便地进行访问,而且难以意外地触发:这些设计目标似乎存在矛盾。易用性意味着扩大有效姿势/动作的范围,但这样我们将更有可能在无意中触发快捷方式。

为了避开上述问题,我们决定不采用单个手势来触发快捷方式,而是将动作分成两个顺序阶段。

2. 靠前扇门:手心朝上

我们的交互设计理念总是以现有的惯例和隐喻作为基础。我们在探索数字可穿戴设备时设定了一个主要的先例:通过翻转手掌并对准用户来触发菜单。

根据手掌朝向来分割交互的效果很好。手背对准你意味着与外部世界的交互;手心对准你则意味着在近场内与内部用户界面进行交互。手掌方向似乎是合适的靠前个条件,可以充当正常手部运动和用户打开快捷方式之间的靠前扇门。

3. 第二扇门:捏合(食指与拇指)

如果说手心对准你是靠前扇门,我们接下来需要寻找一个容易触发,明确和刻意的第二动作。“捏”满足所有的条件:

省力:只要移动你的食指和拇指。

易于辨认理解:两只手指接触时,你自身将获得相应的触觉反馈,而随着食指指尖和拇指指尖之间之间达到小距离,追踪系统可以定义和表示这一动作。

这是刻意行为:一般情况下你是不会心不在焉地翻过手掌,然后用食指和拇指作出“捏合”这个动作。

一个接一个地执行这两个动作既快速又简单,而且一般难以无意识地执行。这个序列似乎是我们探索单手快捷方式的坚实基础。接下来的挑战是如何令这个动作可见呢。

回想直接操作与抽象手势的优劣势,我们想知道是否可以混合这两种范例。通过使用虚拟对象来引导用户完成交互,我们是否可以令用户觉得自己正在直接操纵某些东西,但实际上是却是在执行一个更接近抽象手势的动作呢?

4. 强力球

我们的解决方案是创建一个附着在手背上的对象,它可以充当交互过程中的视觉指示,以及作为捏合目标。如果手掌朝向,这个对象将保持锁定在手背上。随着你旋转手掌,对象将相应地向上移动直至滑动到拇指和食指的中间位置。

一旦掌心完全朝向你,而且对象位于终点位置,捏合对象将触发快捷方式。我们将这个对象称之为“强力球”。经过一定的实验后,我们将它制作成夹点(一个不断更新的位置,定义为食指和拇指尖之间的中点)。

这融合了图形可见性,伪直接操作,手势动作和具现动作,而结果证明学习起来十分简单,并且具备扩展的潜力。接下来,我们需要看看什么快捷接口系统符合人体工学原理,并且可以对这种掌心向上-手指捏合进行可靠的追踪。

5. 空间界面选择

我们很快意识到,简单的系统是捏合和释放强力球。这可以让你执行单个快捷命令,在两种模式之间切换,或者甚至可以通过连续捏合来在两种以上的模式之间循环。但是,快捷系统的实际效用来自于直接快速访问一系列的选项。因此,我们探索了可以显示多个快捷方式,并且将涉及的手指移动到预定位置以选择一个选项的系统。

我们的靠前步是调查舒适的运动范围。我们发现了一些可以轻松重复的运动模式。