本篇文章5155字，读完约13分钟
手势交互正成为虚拟现实交互领域的一个热点方向。国外有著名的跳跃运动和使用，中国有微动和手动团队。用手直接在虚拟世界中操作似乎很自然。然而，当你在现实生活中体验它时，你会发现当你清楚地看到你的手握着什么东西时，你会觉得你握着很多空气。正因为如此，你可以在与手势互动的同时感受虚拟世界，这已经成为一个努力的方向。德克斯塔机器人公司是最著名的初创公司之一。Dexta robotics是一家致力于发明下一代vr/mr交互设备的公司。他们的主要产品dexmo是一副可穿戴的手外骨骼，可以帮助用户在虚拟现实交互中感受虚拟物体的体积、形状、硬度和力量的反馈。在这个努力工作的公开课上，我们邀请了dexta的创始人兼首席执行官阿勒古。顾小池，一个狂热的机器人爱好者，在剑桥大学学习机械控制工程，在那里他是一名硕士，然后辍学。dexta机器人公司的创始人兼首席执行官顾小池(音)下面是这个公开课的最后一个内容:雷锋。com: dexmo自2013年开始开发。你觉得开发这样的产品怎么样？为什么花了这么长时间？在此期间需要克服的主要困难是什么？顾小池:早期，dexmo的主要功能是检测手部动作。当时，主要设想了几个场景，包括虚拟现实和我们的老路线，智能机械手的控制，以实现远程机器人引爆，为远程呈现提供沉浸感和更精确的控制。后来，随着2014年虚拟现实的兴起，我注意到越来越多的人开始关注头戴式显示器。所以我们着眼长远:两年后市场需要什么样的技术？(雷锋。搜索“雷锋”。注:“网真”，网真，是一种新技术，通过结合高清晰度视频、音频和交互式组件，在网络上创造独特的“面对面”体验。)结论是互动。在采访了圈子里的许多朋友后，我们了解到将触摸带入虚拟现实是一个巨大的需求，但是由于实施上的困难，有些人已经真正解决了这个问题。市场上现有的方案大多已经过时，显然跟不上虚拟现实的发展趋势。也因为技术从业者独特的自信，我们相信我们可以用自己的团队能力来啃这块硬骨头。然后我们尝试在现有运动检测设备的基础上安装不同的力反馈方案。两年后，我们也做了同样的事情。dexmo产品最早概念设计图纸的难点:整个设备的设计过程中有很多难点，因为没有一个是现成的。无论是硬件还是软件，通常都需要从头开始制造车轮，因为市场上现有的车轮不够好。如拇指运动检测模块的结构设计、设备与上位机部件双向通讯速率的优化、力反馈模块的紧凑设计、软件端手抓取的交互逻辑等。具体来说，硬件的最大挑战是使整个力反馈单元非常紧凑，同时确保其功能。首先，外壳、齿轮、电机驱动电路和嵌入式程序都从0开始。尺寸、重量、成本、扭矩和形状需要平衡。在这里，成本函数的优化涉及到太多的方面，这使得选择起来相对比较困难。有些困难不是技术性的。硬件公司已经经历过，在小批量生产中，由于订单数量的限制，制造商很难全力协助您。我非常感谢东莞伟创模特公司的陈伟杰先生对我的大力帮助。在dexmo力反馈转向器的设计验证中，他们给予了我们很多无私的帮助。软件的主要困难在于，没有合适的硬件，许多东西是无法调试的。当没有硬件进行测试时，许多问题根本不会出现，这间接延长了前端。软件工程师的许多工作依赖于硬件设备的稳定性，这甚至可以说是一个管理协调的问题。例如，我们的3d对象交互引擎将对象从左手转移到右手。这个看似简单的动作实际上是为了实现多点碰撞和手的对齐。一旦涉及到物理效应，它们相互作用的复杂性也会急剧上升。然而，在硬件设备稳定工作之前，我们的软件工程师不能参与调试，所以即使我们知道这一块是困难的，我们也只能先把它放到技术管道中。雷锋。德克斯莫如何让用户感受虚拟世界？顾小池:操作机制简单描述下:dexmo本身有两个系统，运动检测系统和力反馈系统。困难在于如何协调这两个部分，以便它们能够无缝地工作。运动检测系统以11个自由度检测人体的手部运动。拇指有3个自由度，其余四个手指各有2个自由度。收集到这些信息后，通过nrf将其发送回计算机。在pc部分，我们将用户的手模型映射到虚拟角色的手，并开始碰撞检测和物体交互的物理状态判断。在计算出实际应该产生的力的矢量方向和大小后，我们将这些数据发送回dexmo，并通过主机将它们传输到五个力反馈模块来模拟该力。当一个人抓住一个物体时，他的手不能穿过它，他的手的形状将适合这个物体的形状。通过与虚拟视觉内容的呼应，人们会有抓住物体的错觉。雷锋。dexmo让用户能够感受虚拟物体的大小、形状和硬度。只有硬度是力反馈。尺寸和形状是如何实现的？物体的重量，表面的纹理，这些也是非常重要的触感，你能模拟它吗？顾小池:硬度是通过控制力和输出间隔来实现的。通过匹配外骨骼的几何形状和3d虚拟内容的形状来模拟尺寸。例如，手正在抓取一个虚拟的罐子，手指的移动仅限于罐子的表面，就像我们在现实世界中抓取罐子一样。通过视觉反馈和大脑的协调，指尖的几个接触点提供的力反馈使我们感觉到形状和大小。20世纪90年代能产生重量的设备，我个人认为非常有趣的是，这种产品很难成为进入千家万户的消费品的重量。中学物理告诉我们作用力=反作用力。为了模拟真实重量，你可能需要连接一个固定在墙上的力反馈机器人手臂。这种方法不为消费者所接受，所以模拟体重仍然是一个难题。我们可能需要制造幻觉来模拟体重。我们曾尝试设计dexmo之前尝试过的力反馈机械手，但由于用户的运动范围受到严重限制，这是阻止力反馈机械手发展的另一个问题。由于篇幅有限，我只想说一件事:大多数时候，没有开发的不是技术本身，而是目前的成本和规模限制。即使它被制成产品，高昂的成本也会吓退消费者。雷锋。力反馈是如何机械实现的？使用哪种控制器？如何解决机械延迟？顾小池:力反馈不是一个机械问题，而是一个控制问题。简单地说，我们的电机控制算法可以使电机更接近于一个可变硬度的弹簧，并且通过上位机的指令可以非常快速地调整硬度和响应间隔。控制器是一个微处理器，可以在任何地方获得。根据需求选择最低成本没什么好说的。机械延迟是一个问题，但目前我们的实际方案是电机直接由齿轮驱动，所以在齿轮质量合格的前提下，响应速度已经是电机本身的响应速度。雷锋。如何解决手指穿过物体的问题？这将发生在诸如跳跃运动的手势交互方案中。顾小池:我会从两个方面来描述:真实物理和图像。物理效应的限制来自力反馈模块提供的反向扭矩，虚拟内容触发反向扭矩。在这里，需要满足两个条件:触发虚拟内容和物理硬件来产生这种力量。虚拟世界中的碰撞检测器知道碰撞后，会触发力反馈模块的动作。这个特定的机制实际上可以指q2。在图像方面，我们有自己的互动引擎来限制虚拟3d物体和手之间的互动。两者的结合可以真正提高沉浸感。Leap motion最新的交互式引擎实际上试图解决一些渗透问题。它们只限制图像，也就是说，当手抓住一个物体时，它会弯曲到某个点，这限制了图像中的手的运动，并且模型停止跟随手的运动。但是由于没有硬件，现实世界中的人是不受控制的。这也是其他手部动作捕捉方案的常见问题。这里我想指出振动马达和力反馈不能等同。振动马达在技术上很容易实现，这也是众多“互动手套”企业家愚弄公众和投资者的最爱...将力反馈、触觉反馈和重量反馈混合成一个球，然后模拟模糊性，表明振动马达可以提供这些反馈中的一些。这都是不准确的。雷锋。德克斯莫使用的手部动作捕捉技术是什么，精确度和延迟是什么？如何与空定位系统合作？顾小池:采用角度传感器，理论精度刻度为0.06度。然而，作为一个可佩戴的设备，理论精度没有参考值，因为佩戴误差可能已经超过0.5度。一般来说，与绝对精度相比，虚拟现实的交互需要遵循一定的程度。所谓的后续，例如，我们的设备可以检查拇指运动的3个自由度，而人们在现实世界中的运动将毫无损失地映射到虚拟世界中；与oculus touch基于电容感应的手指运动猜测或其他一些低端手套方案相比，dexmo将赋予人们对虚拟角色更高的控制感。dexmo的延迟为25毫秒，但用户所经历的总延迟并不是简单地添加到头盔延迟中，而是应该考虑整个管道的操作模式。例如，当显示片段被渲染时，力反馈命令只是从pc发送到dexmo，因此一些延迟发生在相同的时间段。触摸的手运动检测是开/关的，所以它给了人们对他们虚拟角色的低控制度。许多基于弯曲传感器的动作捕捉手套对拇指不太注意，有时它们被取消了一个自由度。当然，许多手套方案在输入后停滞不前，使用拇指和食指作为vivecontroller上的触发器自然会节省很多东西...但问题是它没有用。总之，跟随比准确更重要。空之间的追踪已经是一个解决了的问题，不值得花费我们自己的工程力量从头再来。我们去了阀门的总部，和他们的工程师讨论将灯塔跟踪器集成到dexmo中。实施起来没有技术上的困难。当然，空之间还有很多其他的跟踪方案，我们都保持开放的态度。雷锋。如何将力反馈和手势互动结合起来？顾小池:手势互动本身是一种相对自然的互动方式。例如，微软的全息镜头，用于输出菜单的布鲁姆手势(五个手指向上张开和闭合)，用于确认的轻敲手势(伸出食指勾住)，等等。在此基础上，通过力反馈增加物理角度限制，可以将交互的复杂性提高到一个更高的水平。例如，在虚拟现实中，我们可以在人们的手臂和胸部设计旋钮和开关。在此之前，这些硬件开关只能放置在控制器本身上，而许多硬件开关可以通过带有力反馈的软件来实现，这是一个很大的进步。就像触摸屏和振动反馈一样，我们慢慢地从物理按钮中分离出来。有了力反馈，我们可以生成无数的按钮、旋钮、开关等。在虚拟世界中。很有可能我们将来不需要这么多物理按钮。在这段视频中，德克斯莫的互动有一些创新。雷锋:为什么选择无线射频作为无线传输方案？顾小池:dexmo作为一种双向交互设备，既提供输入又提供输出，这就需要更高的数据带宽。许多现有的硬件和通信协议不能满足我们对通信速度和稳定性的要求。在这个比较中，蓝牙和wifi不再被考虑，所以我们只能选择nrf。当然，我们在早期也尝试过蓝牙和无线网络，但是它们并不理想。雷锋:介绍dexmo sdk，开发者如何开发和支持它，以及如何吸引更多的开发者。顾小池:德克斯莫很容易开发。我们制作了一套类似vive的插件。只要使用我们的sdk，开放的统一，你就可以看到一双手和你的头。手的交互、碰撞检测和力的产生都是由我们的算法为开发者处理的。开发人员只需要为对象设置碰撞检测器和硬度。为了吸引开发商，我们目前的做法是积极寻求与国外一线虚拟现实制造商的合作。我们相信这项技术本身具有巨大的潜在价值。但是只有把它放到一个合适的生态系统中，它的价值才能最大化。一旦得到巨人的认可，开发者将会更愿意使用更先进的硬件。雷锋。除了vr/ar/mr，dexmo的使用场景是什么？顾小池:机器人控制绝对是一个现实需求。对于爆炸物处理机器人来说，用手力反馈和盲目操作，完全是两个级别的精度。在过去的研发中，我们收到了一些来自nasa和美国军方的邀请，希望将这项技术应用于空航空航天。太空机械臂控制、火星车抓取等。这些相互作用将通过力反馈得到质的改善。除了vr/mr游戏，还有许多应用场景在许多垂直领域，如绘画、教育、培训等。不是每个学徒都有机会直接操作真正的机器。这里我们可以用虚拟现实来代替。同样，如果你只使用vive控制器移动，你缺乏沉浸感。如果你能使用德克斯莫，它会更真实。观众:dexta于2013年众筹，但后来因为当时的计划不成熟而被撤回？顾小池:(引用他在去vr的路上的一次采访)我们当时在kickstarter上展示的只是一个概念。当我们看到人们的反应时，我们觉得自己被捧得太高了。我们意识到他们期望实现的比我们能实现的要高得多。大多数支持者需要的是一个最终的解决方案，它可以开箱即用，并得到所有平台的支持。当时，虚拟现实硬件不是这样的。我们非常清楚，如果用户不能独立建立跟踪系统，他们可能不会使用我们的产品。因此，为了满足人们的期望，研究和生产产品，我们需要200多万美元。当时，我们面临着这样的选择:要么我们接受了这笔钱，假装不存在这些问题，不告诉我们的支持者实际情况，最后拿出一个没人会满意的垃圾产品，要么我们对支持者负责，向他们坦白所有问题，然后回去继续做研发。作为一名工程师，我不能说大话。我认为产品可以证明一切。我希望人们能感受到我们所有的精力和努力都凝聚在这个产品中。我们很难做出选择，但我很高兴我们做出了正确的决定。现在，我们的产品终于可以满足我过去的所有期望了。观众:价格是多少？顾小池:会明显低于主流，具体价格目前没有参考意义。进一步进入生产后，根据数量，我们可以与供应商进一步讨论，同时，我们可以做很多生产优化。
