皮克斯如何使用AI和GAN来创建高分辨率内容

发布时间:2020-07-20 16:59:44 【来源:

随着数字动画制作人员不断突破技术和创造力的界限,支持它们的技术团队正在转向人工智能和机器学习,以提供所需的工具。皮克斯(Pixar)就是这种情况,该公司在机器学习方面取得了新的突破,希望能够提高质量并降低成本。

皮克斯动画工作室(Pixar Animation Studios)技术总监Vaibhav Vavilala在认真研究了最近的科学文献并监视了母公司迪士尼的研发实验室的工作之后,一直在领导其中的一些工作。Vavilala说,这些进展有可能在生产的某些阶段将Pixar的数据中心占地面积减少一半。

Vavilala在VentureBeat的Transform 2020会议上的演讲中发表了自己的看法。

近年来,Vavilala曾在可可,超人特工队2和玩具总动员4等皮克斯电影的照明和渲染优化团队中工作。但是几年前,他开始关注“深度学习超分辨率”这一概念。Vavilala和皮克斯(Pixar)的合作者Mark Meyer发表了一篇技术论文,详细介绍了他们的工作。

Vavilala在演讲中解释说,数字动画行业面临的主要挑战是在高分辨率(例如2K或4K)下渲染动画的时间和成本。

他说:“以2K分辨率渲染一帧通常至少需要50个CPU小时,”他说。“对于90分钟的电影,我们每秒渲染24帧,并且随着艺术家的迭代,渲染多次镜头。此外,我们在给定时间放映多部电影。所有这些加在一起导致对渲染场的大量需求,而渲染场是一种有限的资源。如果我们以更高的分辨率(例如4K)进行渲染,那将是像素的四倍,而成本则要高出一倍以上。”

实际上,随着当前系统的发展,动画师和技术团队之间发生了一些猫捉老鼠的游戏,因此解决此问题变得很复杂。

他说:“随着更好的技术使渲染变得更便宜,艺术家通常会试图通过突破更多的灯光,更多的几何形状,更多的雾度和更复杂的照明等创造性界限来吞噬这些收益,”他说。“所有这些通常会导致更长的渲染时间。当然,永久需要更多内容。因此,仍然有创新的空间可以使渲染更便宜。”

这导致Vavilala进入了深度学习的超级分辨率。实际上,该技术将使动画师以较低的分辨率创建其作品,然后机器学习系统会将其“放大”为较高的分辨率。

为了发展这个想法,Vavilala设置了PyTorch开发环境,然后准备了带有Nvidia GPU的Linux实例。然后,他的团队开始使用来自最新皮克斯电影的高分辨率和低分辨率图像来训练系统。

教系统正确地填充诸如光和颜色之类的细节是很棘手的。因此,该团队求助于生成对抗网络(GAN)以帮助改善结果。

GAN是一种机器学习,其中两个神经网络互相作用以产生所需的结果。通常,这包括用于样本的生成器,然后包括鉴别器,该鉴别器识别差异以最终使两个图像协调一致。

在Pixar的情况下,将高分辨率渲染从其渲染场转移到其单独的放大系统上会产生有趣的效率提升。

Vavilala表示,最新模型表明,当以1K渲染图像,然后转移到第二个系统放大到2K时,工作室可以节省渲染场处理空间的50%至75%。他希望这项技术可以在未来的产品中使用。

他说:“要想达到接近生产就绪的水平,就需要进行大量的试验和迭代。”

最后,瓦维拉拉说,皮克斯在这一领域的实验为其他行业的公司提供了一些教训。

“促进冒险在你的组织文化,”他说。“我在皮克斯(Pixar)的观察之一是,人们在电影制作的早期就​​对新技术和实验持开放态度。但是一旦进入生产阶段,我们就会专注于稳定性,并尝试避免技术中断。如果您可以在冒险和经过实践检验的流程之间找到平衡,那么您就可以成功地进行创新,并且可以避免混乱。”

现代和起亚今年前10个月出口逾9万辆电动汽车 同比增长71.3%
中芯国际称产能接近满载 14nm量产良率已达业界量产水准
OPPO和vivo申请绿厂蓝厂商标 引发网友关注
华为申请“HICAR SMART COCKPIT”等商标 国际分类为“科学仪器”
NASA为登月任务组装火箭 预计在2024年将第一位女性送上月球
特斯拉申请召回美国9136辆Model X及401辆Model Y
OPPO Reno5 Pro入网工信部:双曲面屏设计 矩阵式相机模组
特斯拉在欧洲涨价,下一批Model S在德国贵了4万

[ 最新资讯 ]

始祖鸟之家双面派对,设计师系列惊艳亮相

  11月24日,被誉为户外爱马仕的始祖鸟(ARC’TERYX)全新概念店——始祖鸟之家在全国顶级商圈北京国贸开业了。现场门店实拍图片   ...

曝小米显示器34寸本月最后一单出货后将暂停供应 因三星无屏供应原因

  本月初,视讯堂消息称小米的 34 寸带鱼屏显示器型号,之后可能无法再保持 1999 元的价格进行销售。今天,视讯堂发布最新消息,称小 ...

微星Stealth 15M超轻游戏本纯净白即将上架 屏幕为15.6英寸

  根据微星笔记本官方的消息,微星 Stealth 15M (纯净白)即将上架预约,这款笔记本是首款采用 11 代低压酷睿 + RTX 2060 配置的 ...

EG7今天宣布收购《机甲战士5》开发商Piranha Games 增加其游戏公司种类

  Enad Global 7(EG7)今天(11 27)宣布收购《机甲战士5》开发商Piranha Games,增加了其游戏公司的种类。  EG7已同意以2410万美元的 ...

华米将推出GTS 2 mini手表:将于12月1日发布 外观更轻薄更精致

  根据华米创始人黄汪的消息,华米将推出 GTS 2 mini 手表,外观更轻薄更精致。    根据华米微博的消息, GTS 2 mini 手表将 ...

冬季必看的小黑裤穿搭指南|九牧王男裤专家

  伴随着秋冬而来的除了购物欲还有穿搭热情,但如果你正苦于衣服少、缺乏穿搭灵感,那么,一条百搭、舒适的九牧王小黑裤,或许可以帮到你,只 ...