资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

一张图生成3D人脸模型,可直接做带皱纹面部动画?!

原创 2021-05-08

本文来源于:CG世界

前几天我们介绍了几款捏超写实人物角色的软件。有的同学说,啥时候能用一张图片生成,那才叫厉害!哎?今天它来了!!

其实之前有介绍过单张图片重建三维模型的方法,但是存在一些局限性,只不过有的生成的人脸由于复杂的皱纹而无法制作动画,而有的方法基于高质量的人脸扫描,不能很好地处理单个图像。

 

今天介绍的这篇新论文讨论了一种重塑3D人脸形状和可制作动画细节的方法,这些细节是特定于一个人的,可随着表情的变化而变化。据说,这种称为DECA(Detailed expression Capture and Animation)的模型,可以从低维度的潜在表情中生成UV置换贴图,具有特定个人的细节参数和通用表情参数。回归矩阵(数学专有词)可以从单个图像预测细节,形状,反照率,表情,姿势和照明参数。

上面提到的DECA是一种从单一图片重建人脸的全新方法,下面就带大家来简单了解一下。

给一张头像的图片,根据这篇论文的描述就能估算出一个精细的3D模型,而且有着皱纹,还能做动画和自然的皱纹变形。

捕捉精细的表情和动画,之前的方法是能够提取皱纹这样的细节的,但是不能给模型做动画,也不能让皱纹随着表情而变化。 

这种方法是从野生(白话解释:不是那种特意准备的,而是随意在各种外界素材库找到的)的大量资料库中学习了3D的形状和细节,从这些野生图片学习的过程中提供了极限测试的结果,专业术语就是鲁棒性,根据鲁棒性研发团队提出了一种新Loss函数(损失是机器学习、深度学习回归任务中最常用的一种损失函数,也称为 L2 Loss),这就让学习细节表达式条件成为了可能性。

在给出一个人的头像图片和一个单独的3d面部动画,可以使用随表情而变化写实几何细节来对输入面部进行动画处理,研究过程中发现精细的面部细节是因个人长相而变化的,但是它们在图像中的却由于表情而改变的。无论头部、姿势和表情是怎样的,同一个人的多个图像应该有着同样的3D头部形状,以及同样的潜在细节代码。

来看看原视频解析,看不懂没关系大致了解下。

DECA在Now Challenge中获得了最先进的成果,Now Challenge是一个关于从单一图像重建3D人脸的挑战,在这个挑战中他们测试了3D形状的准确性,下面将为大家展示DECA的成果与其他近期重建方法之间的比较。

可以看出,DECA的方法不仅可以得到良好的轨迹形状,还可以得到更多的几何细节,而其他的方法尽管对一些高质量的图像进行了细节重现,但在有遮挡或者动作表情比较大的时候出来的效果就不太好了。

还有一些方法虽然可以通过正确的形状恢复或者获得完整的细节,但是最终出来的模型是做不了动画的,而DECA的方法则可以适应各种各样的情况使用。

不过,尽管DECA具有稳定性,但是在极端的姿势或者照明条件下,还是有一定失败几率的。在使用大型训练数据库时,虽然DECA可获取更多的人类种族的数据,但是对于深色皮肤,特别是嘴唇部分仍有可能会失败,因此得需要更多样化的训练数据和更好的模型才行。

下面是部分内容,详细代码可看文末链接:

好了,以上就是关于DECA的全部内容,通过一张图片就可以生成可动画的头像模型,不得不感叹技术真的是在不断地发展,最后特别提醒,DECA的模型和代码都是公开可用的。

参考链接:

https://80.lv/articles/generating-animatable-detailed-3d-face-models-from-single-images/

https://deca.is.tue.mpg.de/


—全文完—

阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本文内容由数艺网收录采集自微信公众号CG世界 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。

3D人脸模型 DECA

38260 举报
  0
登录| 注册 后参与评论