“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”

根据《2022年中国虚拟人行业发展研究报告》所预测，2022年虚拟人所带动的市场规模产值与核心产值将分别达到1866.1亿元和120.8亿元，2022年已然是虚拟人喷薄而出的 “元年”。

但就目前而言，我们看到的数字人在真实感上依然欠缺：他们虽然有着精致的美术与建模，但仍然难以达到“真假难辨”的程度。我们不禁要问：什么技术才是突破虚拟人“恐怖谷”的飞跃技术？要跨越虚拟感与真实感的界限，我们依靠的是跨越尺度的超级精细建模吗？

影眸科技为我们交出了一份可能的答卷，突破虚拟感与真实感的界限，也许恰恰是我们“看不见的内容”。影眸在毛孔级PBR材质扫描的基础上，在皮肤微结构技术上做到了突破，而这也许就是目前“超写实虚拟人”向前迈进一步的解决方案。

图：皮肤微结构能够展现更细腻的皮肤高光质感

‍什么是皮肤微结构‍

人体皮肤的特性可以从宏观、中观和微观三个方面来划分。在一张脸中，宏观特性决定了脸部的总体轮廓，比如下巴、鼻子和眉毛。中尺度的特点大约在毫米数量级上（大约0.1 mm)，包含一些特点，例如毛孔和微小的皱纹。微观特征小于毛孔和细小皱纹（大约10微米），它描绘出了微小的毛孔和皱纹。

图：置换贴图下的不同层级皮肤特征层级

皮肤微结构指的便是面部的微尺度特征，出色的微结构往往可以在中近景别的角色面部特写尤其出彩，在好莱坞电影工业的数字替身流程里得到了广泛的应用。近年来随着UE/Unity等实时引擎的不断发展，原先只有离线渲染流程中出现的皮肤微结构技术，已经能够被使用到实时项目中，这也将进一步提升超写实数字人的真实感。然而，优质皮肤微结构素材的生成仍然面临着许多问题。

微结构的技术难题

一般情况下，皮肤微结构贴图往往包含着上一层级置换贴图的皮肤细节特征，像这样的无规律纹路以手动的方式完成绘制，需要极有经验的艺术家（更何况皮肤微结构贴图往往需要16K乃至32K的分辨率，工作量巨大）。

对一些对真实度要求不高、预算有限的项目，往往会采用手工绘制的Detail Map平铺来替代，但这样一来也就丢失了与上一层级细节的连贯性——远远不能满足艺术家对“超写实”的追求。

图：使用绘制的Detail Map平铺来充当微结构

如果结合特殊的相机镜头、仅仅只是对一个表面进行重建，使用光度立体法（也就是穹顶光场的底层原理）是可以对微结构进行建模的。著名的高品质皮肤贴图网站Texturing XYZ就提供了大量可供购买的扫描得到的皮肤微结构素材，但这在更多时候仅仅只是为艺术家提供了更好的Detail Map素材，想要做出应用于全脸的皮肤、符合角色面部宏观、中观细节特征的微结构依然难度巨大。

图：Texturing.XYZ售卖大量素材，

以降低全脸的皮肤微结构制作难度

在国内，市面上最主流的高精度人脸扫描方案是基于摄影制图法的相机阵列，其原理是利用图片间的特征点进行配准，采用MVS、SFM等方法进行重建。这套解决方案较为成熟，但受限于多视图下稀疏特征配准的精度，大多数情况下只能达到宏观尺度的级别。

与之不同的是，由影眸科技自主研发的穹顶光场扫描方案，通过采集面部在不同角度、不同梯度、偏振态分布的光源下所呈现出来的状态，逐像素解算出面部细节。但受限于相机的物理约束，原生状态下也只能到达中尺寸级的毛孔级细节，距离微结构还有不小差距。

图：影眸科技的穹顶光场技术能够扫描出毛孔级的PBR材质与几何

真的需要皮肤微结构？

可能有人会问：我做个数字人，大家又不怼着它的毛孔看，真的需要这么细？

与穹顶光场毛孔级扫描一样：我们希望有微结构级（毛孔级）的皮肤材质，并不是为了放大到微结构（毛孔）尺度去看皮肤，而是为了在远看、近看的时候，让我们的数字人都能有真人皮肤的质感。

在粗糙表面反射的理论中，一个表面是由被称为 “微面”的微观面组成的，这些微观面被认为表现得像完美的微弱的镜子。我们的扫描，在低于10微米的分辨率下捕获，仍然比真正的微面大一个数量级。但是它对表面反射率有明显的影响。当从远处看到它时，例如在肖像中，它打破了镜面的亮点，在表面上出现了高频的闪光。

图：皮肤的微结构效应

在渲染流程中，我们常常使用表面粗糙度（Roughness）来模拟这种微观层面的效应，但这种方法只能从宏观上去逼近上述皮肤特性，一旦到了中近景别就会露出破绽——这时候就需要皮肤微结构来进一步模拟。

换句话说，如果你不希望你的数字人皮肤在被光线照射时，表现的像个光溜溜的皮球，即使你不需要展示很夸张的皮肤细节，你也需要精细到毛孔的皮肤材质（最好还是扫描的）——因为正是它们让你在远看皮肤时，让你的皮肤看起来像是皮肤、有真实世界皮肤的质感。

图：使用OLAT素材对皮肤微结构进行LookDev，测试皮肤质感

在此之前，微结构的缺失可能也正是现在数字人容易在特写镜头陷入恐怖谷效应的原因，而特写镜头是最负责传达人物思想和情感的镜头——尤其重要。

影眸全脸皮肤微结构算法

影眸科技致力于数字人底层技术的研究，希望能够打造元宇宙时代的数字身份系统。

在此之前，已经自研完成了穹顶光场毛孔级PBR材质扫描、ML Rigging自动表情拆分、动态贴图、自动面部组件添加等底层算法，推出了“3天孪生数字人资产”服务包。在克服了众多技术难题后，我们终于也具备了全脸皮肤微结构生成的能力。

通过改良版本的穹顶光场，我们首先采集了大量皮肤微表面结构素材，涵盖了不同性别、年龄段、民族，以及五大面部区域。基于这些真实采集的微结构，提取细观置换纹理，并训练微结构生成网络。训练完成后，基于微结构素材库，使用微结构推断的方法，将微观置换迁移至纹理，并在处理时多层级分离，构造逼真微结构，进一步强化皮肤细节，达到超真实渲染效果。

图：影眸科技皮肤微结构生成技术

随着实时渲染技术的发展，原先只能在Maya Arnold、Blender Cycles等离线引擎中得以展现的皮肤微结构技术，现在已经可以在Unity3d、Unreal Engine等实时引擎中应用，让你的实时数字人也用能够拥有人类皮肤的质感，挑战恐怖谷效应！

图：皮肤微结构技术在离线引擎中的渲染结果

图：皮肤微结构技术在实时引擎中的渲染结果

目前，已经有众多合作伙伴将这项技术使用在了最新的项目中。无论是实时流程还是影视级的离线流程，皮肤微结构技术都可以极大限度地提升超写实数字人在中近景别的真实度。

图：影眸科技与本壹数娱、凌迪（Style3D）等

的合作项目Sarah中也使用了皮肤微结构技术

未来，我们还将向市场推广更多更酷更有意思的技术，欢迎联系hello@deemos.com与我们交流技术与业务，也希望更多志同道合的小伙伴加入我们。

敬请期待…

图：更多技术、产品，敬请期待

全文完