180度手势识别 高通VR一体机上手体验
高通已经展示了新版本的VR头显参考设计,搭载厉动全新的180度视场手部追踪。新头显和厉动的追踪模块已于GDC 2017大会进行了亮相。
高通的VR头显参考设计已经升级至新骁龙835移动平台。被称为VRDK(虚拟现实开发包)的头显旨在为高通设备合作伙伴提供参考设计,作为开发基于高通移动计算硬件的VR头显的基础。
VRDK本身是一台令人印象深刻的移动头显,2560×1440 AMOLED显示屏;内置传感器和一对1280×800前置摄像头提供的inside-out定位追踪。我们在今年早些时候体验了设备的定位追踪,并发现其性能相当优异。
现在,高通最新的VRDK通过厉动带来了手部追踪。厉动自2010年以来便一直致力于手部追踪技术,而近年来已将其重点转向VR输入技术。该公司最初的手部追踪设备(最初用作台式机外设)主要通过把设备绑在头显前部进行使用,但有限的视场意味着,用户不得不把摆双手在头显前面,以实现手部追踪。
但是当涉及到移动VR,其目标是实现单一独立的单元,不依赖于外部追踪传感器或信标,厉动可能找到了一个完美的解决方案。手部追踪比Daydream和其他(如最新的Gear VR)设备额上有限的旋转控制更具沉浸感。一体化设计也意味着可以减少更多的设备,有助于保持移动VR的便携性和易用性。
为此,厉动一直在摸索新的解决方案,希望可以解决因设备安装在头显前部而导致的视场问题。该公司在2016年年底正式推出了移动专用VR模块,而现在我们看到模块已经集成至高通最新的VRDK中。
虽然新的厉动移动模块在技术上仍然算是高通VRDK的附件,但厉动表示,它可以直接集成到基于VRDK的移动VR头显中,为用户带来手部追踪功能。
我在GDC 2017上体验了新移动模块,其与骁龙835 VRDK紧密相连,并且十分适合该设备。借助两个广角镜头,厉动表示,该模块提供了180度视场的手部追踪。事实上,我可以感觉到新模块和旧模块之间的重要区别。我可以抓住对象,让它们超出我自己的视场之外。当我往下看时,我可以看到自己有仍然抓住对象。
增加的追踪视场由智能调整手部追踪软件支持。这样,如果我拿着一个对象,然后转动头部(使对象真正离开追踪模块的视场),软件就会记住,我是一直拿着该对象(和哪只手),一旦它回到视场,并且通常在它回到头显自己的视场之前,就可以识别出我的手正拿着的对象。原来的桌面模块虽然引人注目但又令人沮丧,而新模块则大大优化了体验。
移动模块不仅具有更宽的视场,而且还具有高功率效率,因此添加到移动VR头显十分有意义。厉动表示,该模块可以在显著降低功耗的情况下,以原始设备10倍的速度运行。另外,其体积也非常小。
移动手部追踪模块运行厉动手部追踪引擎的“Orion”部分,当用于VR时可带来追踪性能的重大改进。
对于高通VRDK,我尝试了熟悉的《Blocks》demo,这个demo可允许我通过双手制作不同大小的方块,且可以堆叠、抛出或打碎。但不同的是,此次demo搭配了高通VRDK的inside-out追踪,允许我在虚拟空间自由走动,并抓住原本“触不可及”的方块。我发现手部的追踪性能十分出色,除了能制作方块外,我还可以翻转手掌,然后一个浮动的界面会出现在那只手上,这时我可以使用指针手指点击影响体验的各种图标。
我对这种基于手写界面的直观性和功能印象深刻,通过双手去控制VR体验感觉十分简便和自然,大概是因为用户界面就在我的“掌控”之中,并能通过人类最简单的手势:点/戳,来发起行动。这种感觉很好,我希望这种做法能够普及开来,尤其是相当粗糙的用户界面的移动头显。
这种“手上用户界面”并不是新概念,我们在使用VR控制器的体验中已经看过类似的东西。但是,与激光指示器相比,甚至是与Toucu的二值化手指感应实施(可允许你实现“指点”的动作)相比,不使用任何控制器而是通过真实的双手实现,这感觉更为自然,也更令人满意。
令人印象深刻的技术,但这种手部追踪技术仍存在难以解决的一系列限制。物理按钮和指针仍然是重要的输入方法,通过使用触发器来抓住VR中的对象,而不是通过抓捏手指形成一个“假的”抓住手势,我仍然可以得到一种自然和身临其境的感觉。增加的视场肯定有帮助,但偶尔你的手部仍会脱离手部追踪的视场。
尽管还面临这些挑战,但在移动VR领域,厉动全新的移动追踪模组是一个诱人的补充。另外,如果价格合适,相信购买这款设备是一个显而易见的选择。它有潜能让移动VR体验更接近高端VR头显,毕竟,与当前移动VR头显使用的旋转追踪控制器相比,它能自然直观地触摸虚拟世界,且更具沉浸感。这意味着相比于旋转控制器,以及我们在Gear VR和其他头显中看到的侧置头戴式触摸板,配备手部追踪的移动VR头显能够大大减少学习成本。
高通表示,首款基于VRDK的VR头显将于2017年亮相,但其是否会集成厉动的移动手部追踪技术仍然是个未知之数。