智能手机视频可产生高度逼真的3D人脸重建
发布时间:2020-04-28 12:46:54 【来源:】
通常,需要昂贵的设备和专业知识才能对某人的脸进行逼真的3D重建,并且看上去并不令人毛骨悚然。现在,卡内基梅隆大学的研究人员已经使用普通智能手机上录制的视频完成了这一壮举。
使用智能手机拍摄脸部正面和侧面的连续视频会生成密集的数据云。由CMU机器人研究所开发的两步过程在深度学习算法的帮助下使用该数据来构建人脸的数字重建。该小组的实验表明,他们的方法可以达到亚毫米级的精度,优于其他基于相机的过程。
数字人脸可用于构建用于游戏或虚拟现实或增强现实的化身,也可用于动画,生物特征识别甚至医疗程序中。面部的准确3D渲染在构建定制的手术口罩或呼吸器时也可能很有用。
机器人研究所副研究员西蒙·卢西(Simon Lucey)表示:“构建面部3D重建一直是计算机视觉和图形学中的开放问题,因为人们对面部特征的外观非常敏感。”“即使重建过程中出现微小的异常,也可能使最终结果看起来不切实际。”
激光扫描仪,结构光和多相机工作室设置可以产生高度准确的面部扫描,但是这些专用传感器对于大多数应用而言价格昂贵。但是,CMU的新开发方法仅需要智能手机。
该方法由Lucey与硕士生Shubham Agrawal和Anuj Pahuja开发,于3月初在科罗拉多州斯诺马斯举行的IEEE冬季计算机视觉应用大会(WACV)上提出。首先拍摄15-20秒的视频。在这种情况下,研究人员在慢动作设置中使用了iPhoneX。
Lucey说:“高帧速慢动作是我们方法的关键之一,因为它会生成密集的点云。”
然后,研究人员采用了一种常用的技术,称为视觉同时定位和制图(SLAM)。Visual SLAM对曲面上的点进行三角剖分以计算其形状,同时使用该信息来确定相机的位置。这将创建人脸的初始几何形状,但是缺少的数据会在模型中留下空白。
在此过程的第二步中,研究人员首先通过使用深度学习算法来填补这些空白。但是,深度学习的使用方式受到限制:它可以识别人的轮廓和地标,例如耳朵,眼睛和鼻子。然后使用经典的计算机视觉技术来填补空白。
“深度学习是我们每天使用的强大工具,” Lucey说。“但是,深度学习倾向于记住解决方案,”这与包括区分面部细节的努力背道而驰。“如果仅使用这些算法来查找地标,则可以使用经典方法更轻松地填补空白。”
该方法不一定很快。花费了30-40分钟的处理时间。但是整个过程可以在智能手机上执行。
Lucey说,除了面部重建外,CMU小组的方法还可以用于捕获几乎所有物体的几何形状。然后可以将这些对象的数字重建内容合并到动画中,或者可以通过Internet传输到可以使用3D打印机复制对象的站点。
始祖鸟之家双面派对,设计师系列惊艳亮相
11月24日,被誉为户外爱马仕的始祖鸟(ARC’TERYX)全新概念店——始祖鸟之家在全国顶级商圈北京国贸开业了。现场门店实拍图片 ...
曝小米显示器34寸本月最后一单出货后将暂停供应 因三星无屏供应原因
本月初,视讯堂消息称小米的 34 寸带鱼屏显示器型号,之后可能无法再保持 1999 元的价格进行销售。今天,视讯堂发布最新消息,称小 ...
微星Stealth 15M超轻游戏本纯净白即将上架 屏幕为15.6英寸
根据微星笔记本官方的消息,微星 Stealth 15M (纯净白)即将上架预约,这款笔记本是首款采用 11 代低压酷睿 + RTX 2060 配置的 ...
EG7今天宣布收购《机甲战士5》开发商Piranha Games 增加其游戏公司种类
Enad Global 7(EG7)今天(11 27)宣布收购《机甲战士5》开发商Piranha Games,增加了其游戏公司的种类。 EG7已同意以2410万美元的 ...
华米将推出GTS 2 mini手表:将于12月1日发布 外观更轻薄更精致
根据华米创始人黄汪的消息,华米将推出 GTS 2 mini 手表,外观更轻薄更精致。 根据华米微博的消息, GTS 2 mini 手表将 ...
冬季必看的小黑裤穿搭指南|九牧王男裤专家
伴随着秋冬而来的除了购物欲还有穿搭热情,但如果你正苦于衣服少、缺乏穿搭灵感,那么,一条百搭、舒适的九牧王小黑裤,或许可以帮到你,只 ...
- Copyright © 2013-2020 All rights reserved
- 联系我们 QQ: 3 38 52 5 5 3 9 0