研究人员训练AI将人的面部动作映射到任何目标上

发布时间:2019-12-09 12:01:38 【来源:

如果您可以使用网络摄像头和插图或摄影静态图像,而仅是现实而令人信服地操纵历史人物,政客或首席执行官的面部特征怎么办?总部位于首尔的Hyperconnect研究人员最近开发了一种名为MarioNETte的工具,可以实现这一目标,这在一定程度上要归功于尖端的机器学习技术。研究人员声称,即使在要操纵的脸部和进行操纵的人之间存在“明显的”不匹配的情况下,其性能也优于所有基线。

从技术上来说,MarioNETte是一种面部重现工具,其目的是在保留面部(目标)外观的同时,合成通过人(“驾驶员”)的移动而动画化的重现面部。这不是一个新主意,但是以前的方法(1)需要几分钟的训练数据并且只能重新制定预定的目标,或者(2)在处理大姿势时会扭曲目标的特征。

MarioNETte通过合并三个新颖的组件来提高技术水平:图像关注块,目标特征对齐和界标转换器。注意块允许模型关注已映射物理特征的相关位置,而目标特征对齐可减轻伪影,翘曲和变形。至于标志性的变压器位,与需要人工标注示例的方法相比,它无需标记数据即可使驾驶员的姿势几何形状适应目标的几何形状。

研究人员使用VoxCeleb1和CelebV(两种名人照片和视频的开源语料库)对MarioNETte进行了培训和测试。使用来自VoxCeleb1的1,251个不同名人对模型和基线进行了训练,并通过从100个随机选择的VoxCeleb1视频中抽取2,083个图像集(加上CelebV中每个名人的2,000个图像集)采样,对一组模型进行了测试。

结果?根据经验,在多达八张目标图像上,MarioNETte超越了所有其他模型,仅保存一张(PSNR)。在另一项用户研究中,任务100名志愿者根据质量和真实性从不同模型生成的两幅图像中选择一张,MarioNETte的输出排名高于所有基准。

深圳罗湖打造“一个中枢五个中心” 建成中国黄金钻石交易中枢体系
广西黄金珠宝产业园优化全产业链发展 目前为止已入驻企业37家
国内知名珠宝企业齐亮相首届消博会 展现民族品牌新形象
吉尔吉斯斯坦或将取消珠宝产品生产设备进口的增值税 包括精矿砂、合金等
潍坊昌乐“中国宝石城”化身“潍坊市电商小镇 珠宝商变身为“直播网红”
广州发布全国首份围绕新发展格局支持钻石产业专项政策 培育壮大产业集聚带
未来5年 深圳罗湖构建全球竞争力和国际影响力的黄金钻石金融中心
中国珠宝成为首届中国国际消费品博览会唯一指定进口代理商

[ 最新资讯 ]

L Brands在第一季度的强劲销售提振

  这家零售公司宣布计划分拆 本月初的《维多利亚的秘密》,该公司公布 了截至5月1日的季度收入为30亿美元,比 去年疫情期间的16 5亿美 ...

L Brands在第一季度的强劲销售提振

  这家零售公司宣布计划分拆 本月初的《维多利亚的秘密》,该公司公布 了截至5月1日的季度收入为30亿美元,比 去年疫情期间的16 5亿美 ...

Shopee第一季度亏损4.22亿美元

  新加坡的海集团,旗下拥有电子零售商Shopee,今天报告说,其截至3月的三个月净亏损从去年的281亿$扩大至4 22亿$,日经亚洲写道。  这 ...

阿雷佐公司的第一季度利润增长了310%

  巴西鞋类和配饰集团在2021年第一季度的调整后净收入为2960万巴西雷亚尔(560万美元),比去年同期的720万雷亚尔(135万美元)增长了310 7% ...

专业调谐器称Apple TV的自动校准器无法提供

  苹果在四月推出了带有新Apple TV 4K的电视校准功能。颜色平衡选项使用带有Face ID的iPhone上的前置传感器来优化Apple流媒体盒(包括2 ...

华纳传媒与Discovery宣布合并 美国媒体行业其他公司不得不采取应对措施

  据报道,由于 AT&T 已经决定分拆华纳传媒并将其与 Discovery 合并,美国媒体行业的其他公司,尤其是规模较小的公司将面临新的压力 ...