本篇文章4195字，读完约10分钟
自从人类发明了工具，就有必要以一种方式与工具建立联系，而用手握住工具的手柄就是其中之一。进入电子技术时代，交互的重要性越来越突出，就像遥控器对空键，键盘和鼠标对电脑，游戏控制器对视频游戏等。没有简单有效的互动，工具就失去了对人类的意义。
随着虚拟现实的兴起，如何找到合适的交互技术已经成为从业者的当务之急。
1.为什么我们需要找到一种新的互动形式来满足虚拟现实的需求？
与其他科技产品不同，虚拟体验强调沉浸感，沉浸感的来源是与外界隔绝，尤其是视觉和听觉的隔绝，这使得大脑受到欺骗，产生与现实世界隔绝的虚拟沉浸感。这就产生了一个新的问题:我看不到自己的身体，尤其是人类交互感知中最重要的手和脚，也无法与虚拟环境互动，所以我成为了虚拟世界的旁观者。
在虚拟现实兴起之初，当新鲜感迸发时，用户关注的焦点是虚拟现实能否创造出身临其境的场景，而对交互的需求相对不那么强烈。人类的主观能动性带来了麻烦，所以他希望操纵和控制虚拟世界，以便找到更多的存在感。随着行业的不断发展，虚拟现实对用户的新奇感正在下降，用户开始把寻找虚拟世界的存在放在首位，并开始追求更深的沉浸感，希望与虚拟现实世界互动。
不幸的是，输出设备的高科技含量是大工厂的优先考虑，更多的技术和能量被投入到头部显示器中。交互的研究和开发相对滞后，导致交互手段的缺乏。例如，oculus rift只能选择xbox手柄来组成数字。
通过手柄等传统电子设备的交互方式，虽然暂时解决了交互问题，但用户被带出虚拟世界，沉浸感大大降低。例如，成熟度相对较高的三星gear vr耳机具有良好的视觉体验，但控制模式是设置在耳机右侧的触摸板，这意味着用户需要随时举起右手进行操作，无形中破坏了沉浸感。
在二维屏幕交互中，几乎所有的控制命令都可以抽象为关键动作。然而，在虚拟现实中，用户想要自然的交互，也就是人类在现实世界中如何与外界交互。在虚拟世界中，我们也想以同样的方式互动，拥有更高的沉浸感、更高的效率和更低的学习成本。
因此，寻找一种新的、合适的虚拟现实交互形式是非常必要的。
第二，为什么手部动作识别在已知的交互形式中最受欢迎？
到目前为止，虚拟现实领域还没有成熟的、通用的交互手段。边肖大概列举了目前业界在理论上提倡的几种互动形式:眼睛跟踪、动作捕捉、肌电图、触觉反馈、声音、手势跟踪、传感器等等。
到目前为止，这些互动形式各有优势，但也存在一些缺陷。例如，眼睛跟踪，虽然许多公司都在研究眼睛跟踪技术，但几乎没有一个解决方案是令人满意的，并且不能提供准确和实时的反馈。或者，就像动作捕捉一样，市场上的动作捕捉设备只能在特定的极端场景下使用，用户需要很长时间才能佩戴和校准它们。此外，这种方法的一个主要难点是没有反馈，用户很难感觉到他们的操作是有效的。
另一个例子是触觉反馈，它不能适应更广泛的应用场景。虽然三大虚拟现实耳机oculus、Sony和htc vive都采用虚拟现实手柄作为标准交互模式，但这仅适用于一些高度专业化的游戏应用或轻度消费应用，但这是商家退而求其次的折衷策略，因为虚拟现实耳机的早期消费者基本上都是游戏玩家。另一个例子是语音交互。首先，机器对人类语言的理解是一个大问题。简单的声音很好，但复杂的声音不行。理解之后，机器是否能准确执行指令是另一个大问题。
对人类来说，两种最自然、最有效的互动方式是行动，因为即使你不知道如何说话，你仍然可以通过行动的手势与他人交流。在虚拟现实中，肢体和手势可以在大多数交互场景中使用，尤其是在固定场景中有轻微交互或者移动场景中有大量交互，并且手势的优势非常突出。
因此，手部动作识别已经成为已知交互形式中最流行的形式。
3.手部动作识别仅仅是3d手势识别吗？
说到手部动作识别，跳跃动作应该是每个人都熟悉的。然而，事实上，leap motion并不是唯一一家拥有手部动作识别解决方案的公司，其技术原理也不仅限于此。只是由于oculus对跳跃运动的强烈支持和oculus裂痕的高度暴露，使得oculus的3d手势识别为公众所熟知。
3d手势识别并不是虚拟现实交互领域中唯一的手部动作识别方案。事实上，它可以分为三种类型:2D手势识别、2D手势识别和3D手势识别。
二维手势识别
二维手势识别，也称为静态二维手势识别，可以识别最简单的手势。这种技术可以在获得二维信息输入后识别出几个静态手势，如握紧拳头或张开五指。其代表公司是一年前被谷歌收购的飘动公司。在使用他的软件后，用户可以用几只手控制播放器。
“静态”是这种二维手势识别技术的一个重要特征，它只能识别手势的“状态”，而不能感知手势的“连续变化”。例如，如果这种技术用于猜拳，它可以识别石头、剪刀和布的手势状态。但它对其他手势一无所知。因此，这种技术归根结底是一种模式匹配技术。通过计算机视觉算法对图像进行分析，并与预设的图像模式进行比较，从而理解这个手势的含义。
该技术的缺点很明显:只能识别预设状态，扩展性差，控制感弱，用户只能实现最基本的人机交互功能。
二维手势识别
二维手势识别比二维手势识别困难一点，但它仍然不包含深度信息，停留在二维水平。这项技术不仅可以识别手的形状，还可以识别一些简单的二维手势，比如对着摄像机挥手。其代表公司是来自以色列的抢点公司、视力公司和极端公司。
二维手势识别具有动态特性，可以跟踪手势的运动，进而识别手势和手部运动相结合的复杂动作。这样，我们真正将手势识别的范围扩展到了二维平面。我们不仅可以通过手势控制电脑播放/暂停，还可以实现向前/向后/翻页/向下滚动等复杂操作，这些操作需要二维坐标的变化信息。
虽然这种技术和2D手识别在硬件要求上没有区别，但是由于更先进的计算机视觉算法，它可以获得更丰富的人机交互内容。在使用体验上，也提高到了一个更高的层次，从单纯的状态控制到丰富的平面控制。
三维手势识别
3D手势识别所需的输入是包含深度的信息，可以识别各种手的类型、手势和动作。与前两种2D手势识别技术相比，3D手势识别不再只能使用单个普通摄像头，因为单个普通摄像头无法提供深度信息。需要特殊的硬件来获取深度信息。目前，世界上主要有三种硬件实现，三维手势识别可以用新的先进的计算机视觉软件算法来实现。
1.结构灯(结构灯)
结构光的典型应用产品是素数感的动态生成。
这项技术的基本原理是装载一台激光投影仪，在激光投影仪外面放置一个刻有特定图案的光栅。当激光通过光栅投射和成像时，它将被折射，因此激光将最终移动物体表面上的着陆点。
当物体靠近激光投影仪时，折射引起的位移很小；当物体远离时，折射引起的位移将相应增加。此时，照相机被用来检测和收集投射在物体表面上的图案。通过模式的位移变化，该算法可以计算出物体的位置和深度信息，进而恢复整个三维空房间。
就kinect生成结构光技术而言，由于它依赖于激光折射引起的落点位移，距离太近折射引起的位移不明显，使用该技术无法准确计算深度信息，因此1米至4米是其最佳应用范围。
2.飞行时间
飞行时间是softkinetic采用的技术，它为英特尔提供了具有手势识别功能的3D相机。同时，这种硬件技术也被微软的新一代kinect所使用。
这项技术的基本原理是装载一个发光元件，发光元件发出的光子在撞击物体表面后会反射回来。使用一种特殊的cmos传感器来捕获这些由发光元件发射并从物体表面反射的光子，我们可以得到光子的飞行时间。根据光子飞行时间，可以计算出光子飞行的距离，从而获得物体的深度信息。在计算方面，光飞行时间是3D手势识别中最简单的，不需要任何计算机视觉计算。
3.多摄像机成像
这项技术的代表产品是leap motion的同名产品和usens的fingo。
这项技术的基本原理是使用两个或更多的相机同时捕捉图像，就像人类用双眼和昆虫用多只眼睛观察世界一样。通过比较这些不同摄像机同时获得的图像的差异，利用该算法计算深度信息，从而进行多角度三维成像。
在这里，我们将通过使用两台摄像机成像来简要解释:
双摄像机测距根据几何原理计算深度信息。用两台摄像机拍摄当前环境，我们从不同的角度针对同一环境拍摄两张照片，这实际上模拟了人眼的工作原理。由于两个摄像机的参数及其相对位置之间的关系是已知的，只要我们找出同一物体(枫叶)在不同图片中的位置，就可以通过算法计算出物体(枫叶)离摄像机的深度。
多角度成像是三维手势识别技术中最低的硬件要求，但也是最难实现的。多角度成像不需要任何额外的特殊设备，完全依靠计算机视觉算法来匹配两幅图像中的同一目标。与结构光或光的飞行时间具有高成本和高功耗的缺点相比，多角度成像可以提供“价廉物美”的三维手势识别效果。
第四，我们应该如何选择虚拟现实中的互动，而不是用刀杀鸡？
温和的互动
一般来说，移动端的虚拟现实设备不能运行有大量体验的虚拟现实内容，对交互的需求基本上保持在轻量级。在温和的虚拟现实交互中使用3d手势识别实际上有点像杀人。在日常生活中，大多数人最常触摸2d触摸屏，大多数UIS也是2d设计的。3d手势识别增加的深度信息对大多数人来说太超前了，而且大多数人的手臂跨度不超过1米，所以这里的深度信息不能反映与2d平面的差异。
因此，基于普通单摄像机边缘识别的简单手势交互系统可以满足目前大多数虚拟现实场景的交互需求，降低手势交互的门槛，从而快速推广手势交互的概念。如果还能配合语音交互功能，可以在短期内快速满足虚拟现实应用的交互需求。
激烈的相互作用
Pc端的虚拟现实设备成本高，技术含量高，可以运行经验丰富的虚拟现实内容，因此交互需求也很大。3d手势识别对于繁重的虚拟现实交互非常有用。它可以满足用户繁重的交互需求，并提供更好的反馈和沉浸感。用户不可能在没有深度信息的情况下与3D场景中的对象进行交互。
目前，oculus和htc vive都使用手柄解决方案，但3d手势交互实际上是一种更自然、更舒适的方式。对于复杂的3d场景，3d手势交互是必不可少的，而更逼真和沉浸式的3d场景体验是虚拟现实内容的未来。在繁重的vr体验内容中，空之间的深度信息更加复杂，应用场景的变化更加多样化。只有三维手势识别才能更好地满足准确性、延时性和沉浸感的要求。
至于未来如何发展，历史总是由人民书写的，消费者的选择就是技术方向的选择。
