脸书通过神经4×4超级采样提升VR渲染质量

发布时间:2020-07-02 15:21:22 【来源:

为最新的高分辨率显示器渲染3D图形从来都不是一件容易的事,而具有高刷新率的双显示器的VR头显的挑战水平则要增加很多倍–Oculus的母公司Facebook非常了解这一点。今天,Facebook研究人员揭示了一种对实时渲染的3D内容进行升采样的新技术,该技术使用机器学习立即将低分辨率,计算上更容易的图像转换为非常接近的高分辨率参考资料。

了解Facebook创新的最简单方法是,将《蒙娜丽莎》想象成只有16个彩色正方形,例如4×4网格。看着网格的人会看到一张无法原谅的锯齿状的方形图像,也许可以识别蒙娜丽莎的著名轮廓,但是受过训练的计算机可以立即识别出网格并将其替换为原始艺术品。利用三层卷积神经网络,Facebook的研究人员开发了一种技术,该技术不仅适用于平面图像,而且适用于3D渲染场景,可将“高度混叠的输入”转换为“实时的高保真度和时间稳定的结果”,并赋予色彩,深度和时间运动矢量。

从计算的角度来看,研究表明,与原始《毁灭战士》游戏相似的3D环境可以通过预先培训而升级为类似于Quake的VR体验。这并不意味着任何开发人员都可以将原始的3D引擎转换为丰富的VR体验,而是该技术可以帮助功耗受限的VR设备-Oculus Quest认为-在内部渲染较少的像素(请参见照片中的“输入”)在显示漂亮的输出时(上图中的“我们的”),同时使用机器学习作为捷径来获得接近参考的质量结果。

尽管机器培训的细节很复杂,但最终的结果是,网络是使用从给定3D场景的100个视频中捕获的图像进行训练的,因为真实的用户可能会从各种角度来体验它。这些图像可实现全分辨率参考场景,该场景将需要140.6毫秒才能在1600 x 900像素下进行渲染,而在400 x 225像素下以26.4毫秒进行渲染,然后在17.68毫秒内对4×4上采样,总计44.08毫秒-在非常接近原始图像的情况下,渲染时间节省了近3.2倍。这样,Quest VR头戴式耳机的佩戴者将受益于已经在功能更强大的计算机上进行了全面探索的场景。

研究人员说,他们的系统通过提供更高的重建精度,大大优于最新的虚幻引擎的时间抗锯齿缩放技术,如上图所示。他们指出,Nvidia的深度学习超级采样(DLSS)最接近其解决方案,但是DLSS依赖专有的软件和/或硬件,这些软件和/或硬件可能无法在所有平台上都可用。Facebook建议其解决方案不需要特殊的硬件或软件,并且可以轻松地集成到现代3D引擎中,利用它们的现有输入来提供4×4超级采样,而普通解决方案最多只能使用2×2上采样。

与新系统一样积极,但并不完美。尽管对生成的图像进行了所有高级培训并在时间上保持了平稳性,但是在复制过程中可能会丢失一些细微的细节,因此,如果文本不存在,便笺簿上的文本可能无法读取(如上所示)。 t在低分辨率渲染的最后几帧内正确标记。对于“高分辨率显示应用程序”的实现成本,仍然存在一些疑问,尽管人们期望有更多的功能,更好的优化和专业的工程技术来改善系统的性能。

基础研究论文今天以“实时渲染的神经超级采样”发表,归因于Facebook Reality Labs的Lei Xiao,Salah Nouri,Matt Chapman,Alexander Fix,Douglas Lanman和Anton Kaplanyan。它将于7月中旬在Siggraph 2020上展示。

新鲜又齐全,说的就是地利生鲜
“千万美丽计划”亮相双十一 JUNPING携手植观、可思美让你美丽一整年
用科大讯飞英语通学英语想不得高分都难,家长一致推荐
术兑APP强势上线,开启“加油省钱”新时代
打造国民品牌·佳歌集成灶与LKK洛可可正式签约战略合作
快来央视频,pick你心中的“中国好音乐”
丽家宝贝与爱儿可牵手迪士尼联名款湿巾惊艳亮相!
​首汽约车荣获“全国交通运输系统抗疫先进集体”再次斩获行业第一

[ 最新资讯 ]

始祖鸟之家双面派对,设计师系列惊艳亮相

  11月24日,被誉为户外爱马仕的始祖鸟(ARC’TERYX)全新概念店——始祖鸟之家在全国顶级商圈北京国贸开业了。现场门店实拍图片   ...

曝小米显示器34寸本月最后一单出货后将暂停供应 因三星无屏供应原因

  本月初,视讯堂消息称小米的 34 寸带鱼屏显示器型号,之后可能无法再保持 1999 元的价格进行销售。今天,视讯堂发布最新消息,称小 ...

微星Stealth 15M超轻游戏本纯净白即将上架 屏幕为15.6英寸

  根据微星笔记本官方的消息,微星 Stealth 15M (纯净白)即将上架预约,这款笔记本是首款采用 11 代低压酷睿 + RTX 2060 配置的 ...

EG7今天宣布收购《机甲战士5》开发商Piranha Games 增加其游戏公司种类

  Enad Global 7(EG7)今天(11 27)宣布收购《机甲战士5》开发商Piranha Games,增加了其游戏公司的种类。  EG7已同意以2410万美元的 ...

华米将推出GTS 2 mini手表:将于12月1日发布 外观更轻薄更精致

  根据华米创始人黄汪的消息,华米将推出 GTS 2 mini 手表,外观更轻薄更精致。    根据华米微博的消息, GTS 2 mini 手表将 ...

冬季必看的小黑裤穿搭指南|九牧王男裤专家

  伴随着秋冬而来的除了购物欲还有穿搭热情,但如果你正苦于衣服少、缺乏穿搭灵感,那么,一条百搭、舒适的九牧王小黑裤,或许可以帮到你,只 ...