本篇文章1738字,读完约4分钟
启信益威创始人兼首席执行官黄
对于虚拟现实来说,交互是一个重要的创新,而gpu的性能是一个重要的瓶颈。对于虚拟现实,仍有许多初创公司发布新的互动系统,而对于虚拟现实,图形处理器巨头NVIDIA需要努力工作。
9月13日,在NVIDIA举办的gpu技术大会(gtc china 2016)上,拥有眼动跟踪技术的国内初创企业奇鑫益威发布了首款用于htc vive的眼动控制外设,并将该技术应用于虚拟现实。
作为世界上第一个虚拟现实眼睛配件,该产品给虚拟现实带来了两个主要功能:眼睛控制交互和凝视点渲染。前者给虚拟现实带来了新的交互,而后者通过新的渲染方法提高了图形处理器的渲染效率。
眼睛控制:陀螺仪的升级版?最早的纸板在相互作用方面非常简单。用户转动头部来移动图片,并移动光标来选择对象,这是通过使用移动电话的内置陀螺仪来实现的。随着眼睛跟踪的增加,这种互动已经升级。除了转动头部,当头部静止时,用户可以通过观察视野中的不同物体来进行选择。
启新一伟颜孔vr零件
为了跟踪用户的眼球运动,奇鑫益威在htc vive中引入了这一配件,这是一款叠加在头盔镜片上的产品。每对设备上都有一个传感器(摄像头),设计如下:镜头周围是一圈红外补光,因为虚拟现实头盔是完全封闭的;此外,它还有一个用于供电和数据传输的usb型接口。据启新艺威首席执行官黄介绍,之所以把相机设计在底部,是因为考虑到了带菲涅尔透镜的头盔,其同心圆纹理会产生干扰,所以是在底部完成的。
在跟踪方面,本产品支持全视场跟踪,可以覆盖整个虚拟现实显示屏;渲染频率220赫兹,延时低;同时,它支持近视镜片的叠加,使用户不用戴眼镜就可以玩,避免近视眼镜对眼球跟踪的影响。
为了提高眼睛跟踪的可用性,公司在算法中引入了深度学习技术。据黄介绍,
在深入学习之前,传统的机器学习方法,如支持向量机,不能达到良好的效果,因为许多特征是人为设置的,并且有许多情况可能不是这样。深度学习的优点是机器可以自动学习无限特征,这样基于大量样本的训练就可以得到一个令人敬畏的模型,用于眼睛跟踪。
以前的技术可以识别出人眼的利用率为95%,10,000人中有500人不能使用它,因此它不能用于消费者层面,而是用于特殊行业。如果你想在消费者层面使用眼睛跟踪,你必须达到更高的可用性。深度学习可以将可用性从95%提高到99.9%,甚至更高。
开发人员更加关注固定点渲染。虽然眼球互动听起来很酷,但在实际使用中并不像+空之间的定位那么自然。如上所述,它更像是陀螺仪的升级版本。事实上,开发人员期望从眼睛跟踪技术中得到更多的关注点渲染。黄表示,开发商对其系统功能的关注顺序是:注视点渲染、交互和眼球运动分析。
关注点渲染(也称为焦点渲染)通过近红外传感器跟踪人的眼球,判断人眼的关注点,只对关注点区域进行高清渲染,该区域会随着关注点的变化而变化。该技术基于NVIDIA mrs(多分辨率着色)技术,进一步缩小了渲染范围,从而大大提高了渲染效率。
定点渲染的效果
黄表示,使用该系统后,vr house开发商的指挥家“原本需要一个1080显卡来运行场景,而眼动跟踪也许可以用980来运行,这一方面大大降低了他们的硬件成本,同时提高了他们的视觉效果,并可以应用各种特殊效果,如复杂的灯光效果。”当然,实际效果取决于开发商的不同情况。
降低gpu性能需求的是移动虚拟现实,而移动虚拟现实需要考虑功耗和性能之间的平衡。黄说,“就移动vr而言,原理是相似的,结构需要改变。移动虚拟现实的功耗性能是有限的,因此这一块通常会适当降低帧速率。事实上,它也可以运行全帧,但移动vr本身的帧速率较低,因此没有必要运行全帧。”
据报道,该产品的单眼跟踪功耗小于500mw,如果在省电模式下工作,功耗会更低。另一方面,黄表示,高通公司的Snapdragon 820是支持的,“主流是好的”。
不过,这款产品不会以单一消费版本出售,预计将于10月登陆京东众筹,价格约为3000元,主要面向开发商。面向消费者的产品将以与头盔制造商合作的形式推出,并融入到后者的产品中。具体的产品上市时间尚未确定,但据报道,高通公司的一体机解决方案将专注于这项技术,而国内的老友记和3眼镜也非常活跃。