虚拟现实头显的未来 注视点渲染技术
注视点渲染技术(Foveated Rendering)是目前虚拟现实领域经常被讨论的话题,代表了虚拟现实头显的未来。在这篇来自RoadtoVR的文章中,德国眼球追踪技术公司SensoMotoric Instruments的Tom Sengelaub阐述了该技术的前景。Tom Sengelaub在2008年加入SMI公司,现在是公司负责解决方案交付的经理。
相比光鲜的规格表,当在具体应用程序的驱动下,科技创新能达到影响力最大化。这家拥有25年历史的眼球追踪技术公司,让我们明白感知是全沉浸式体验的重要元素之一。
注视点渲染技术允许我们利用人类感知知识来节省大量的计算工作。当我们看一个全渲染的场景,大部分计算工作是浪费了的,因为我们的眼睛只能接纳我们注视点中心的细节。通过了解用户准确的观察区域,我们只需要全分辨率渲染该区域。
当渲染大量图形场景时,注视点渲染技术能充分利用人类的视觉系统。在我们广阔的视野中,只有一小部分被高度集中观察了。任何超出了我们注视区中心5度以上的东西都会逐渐降低清晰度,这缘于负责观察色彩和细节的视网膜上的视锥细胞的浓度不同。
拥有高密度视锥细胞的区域叫中央凹,跟我们视野中注视点相对应。我们的眼球运动非常快,能达到1000度/秒,要求技术能 高速有效地解读用户的注视点。我们快速、精准、低延时的眼球追踪技术能几乎瞬间把用户的目光提供给渲染管道,所以注视点中心总能匹配渲染中的全分辨率区域,而从中央凹往视周边缘的视敏度会逐渐降低,相应的分辨率上的下降与光栅化游戏引擎在目前无法匹配对应。
因此,我们采用渲染区,并给它们分配不同的分辨率比例,匹配用户视野中的不同视敏度。当在头戴设备(HMD)中渲染一个高清场景时,我们发现为我们视野的近周和远周区域采用3个相对用户注视点分别是100%分辨率、60%分辨率和20%分辨率的渲染区是最佳的。
当你戴上头显时,采用注视点渲染技术的场景中的分辨率的下降非常明显。如果所有的参数都是正确设置,注视点渲染与全分辨率渲染的差别几乎感觉不到,但好处就是降低了数倍的运算成本,高清屏2~4倍,未来4K、8K、16K屏则更多。
当前估计显示屏的分辨率达到单眼16K时,人眼无法区分显示屏与真实世界。在这个数上,相对要生成大量高速刷新的像素的巨大渲染吞吐量来说是非常有益的,甚至非常需要注视点渲染技术这样的解决方案来降低GPU的负载。只渲染眼睛所要看的,节省了计算机运算资源(似乎是未来移动虚拟现实的发展方向)以及耗电,这也几乎是必然的需求。