- 0
- 0
- 0
分享
- 一张图生成3D人脸模型,可直接做带皱纹面部动画?!
-
原创 2021-05-08
本文来源于:CG世界
前几天我们介绍了几款捏超写实人物角色的软件。有的同学说,啥时候能用一张图片生成,那才叫厉害!哎?今天它来了!!
其实之前有介绍过单张图片重建三维模型的方法,但是存在一些局限性,只不过有的生成的人脸由于复杂的皱纹而无法制作动画,而有的方法基于高质量的人脸扫描,不能很好地处理单个图像。
今天介绍的这篇新论文讨论了一种重塑3D人脸形状和可制作动画细节的方法,这些细节是特定于一个人的,可随着表情的变化而变化。据说,这种称为DECA(Detailed expression Capture and Animation)的模型,可以从低维度的潜在表情中生成UV置换贴图,具有特定个人的细节参数和通用表情参数。回归矩阵(数学专有词)可以从单个图像预测细节,形状,反照率,表情,姿势和照明参数。
上面提到的DECA是一种从单一图片重建人脸的全新方法,下面就带大家来简单了解一下。
给一张头像的图片,根据这篇论文的描述就能估算出一个精细的3D模型,而且有着皱纹,还能做动画和自然的皱纹变形。
捕捉精细的表情和动画,之前的方法是能够提取皱纹这样的细节的,但是不能给模型做动画,也不能让皱纹随着表情而变化。
这种方法是从野生(白话解释:不是那种特意准备的,而是随意在各种外界素材库找到的)的大量资料库中学习了3D的形状和细节,从这些野生图片学习的过程中提供了极限测试的结果,专业术语就是鲁棒性,根据鲁棒性研发团队提出了一种新Loss函数(损失是机器学习、深度学习回归任务中最常用的一种损失函数,也称为 L2 Loss),这就让学习细节表达式条件成为了可能性。
在给出一个人的头像图片和一个单独的3d面部动画,可以使用随表情而变化写实几何细节来对输入面部进行动画处理,研究过程中发现精细的面部细节是因个人长相而变化的,但是它们在图像中的却由于表情而改变的。无论头部、姿势和表情是怎样的,同一个人的多个图像应该有着同样的3D头部形状,以及同样的潜在细节代码。
来看看原视频解析,看不懂没关系大致了解下。
DECA在Now Challenge中获得了最先进的成果,Now Challenge是一个关于从单一图像重建3D人脸的挑战,在这个挑战中他们测试了3D形状的准确性,下面将为大家展示DECA的成果与其他近期重建方法之间的比较。
可以看出,DECA的方法不仅可以得到良好的轨迹形状,还可以得到更多的几何细节,而其他的方法尽管对一些高质量的图像进行了细节重现,但在有遮挡或者动作表情比较大的时候出来的效果就不太好了。
还有一些方法虽然可以通过正确的形状恢复或者获得完整的细节,但是最终出来的模型是做不了动画的,而DECA的方法则可以适应各种各样的情况使用。
不过,尽管DECA具有稳定性,但是在极端的姿势或者照明条件下,还是有一定失败几率的。在使用大型训练数据库时,虽然DECA可获取更多的人类种族的数据,但是对于深色皮肤,特别是嘴唇部分仍有可能会失败,因此得需要更多样化的训练数据和更好的模型才行。
下面是部分内容,详细代码可看文末链接:
好了,以上就是关于DECA的全部内容,通过一张图片就可以生成可动画的头像模型,不得不感叹技术真的是在不断地发展,最后特别提醒,DECA的模型和代码都是公开可用的。
参考链接:
https://80.lv/articles/generating-animatable-detailed-3d-face-models-from-single-images/
https://deca.is.tue.mpg.de/
—全文完—
-
阅读原文
* 文章为作者独立观点,不代表数艺网立场转载须知
- 本文内容由数艺网收录采集自微信公众号CG世界 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。