资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

2700亿元市场规模,他们在这样探索数字虚拟人技术……

2022-04-20

▲墨子原创数字人影片《duplex》

▲墨子团队:数字人面部实时驱动


虚拟数字人浪潮席卷,企业纷纷布局数字人赛道据媒体量子位发布的《虚拟数字人深度产业报告》中预测,虚拟数字人的市场规模将持续升温,到 2030年将达到2700亿元,身份型虚拟数字人约1750亿,服务型虚拟数字人总规模超过950亿,由此刺激了数字人行业的兴起和发展。


来源:量子位
目前虚拟人市场仍处于前期培育,阶段多元的数字人角色,追求制作上的高仿真度是目前的主流。数字人身份的多元化,也促使创作者们更追求角色“拟人”的精度,追求从面部到肢体,从静帧到动态,都更为真实的形象。


▲八点八数字出品的虚拟人“九黎”



数字人技术现状


○ 静态数字人逐渐失去商业活力
市面上大多数静态数字人都可实现“高仿真”的制作精度,但直至今日,其局限也逐渐明显。社交平台上的数字人账号热度纷纷缩减,评价也逐渐从最初的新奇感叹转向内容乏味的质疑。

○ 动态数字人:影视短片vs实时直播
这两种渠道并不兼容。影视短片中的数字人颜值精美,可谓是与真实世界完美融合的“高仿真”,但TA从未在实时直播中呈现过;实时直播里的数字人,大多带有二维或动画风格,其真实程度从未达到影视短片中的精良程度。

以上现象背后,指向数字人创作的一个技术难点:

面部表情技术。



突破技术难点

FACEGOOD x MOTSE墨子联合实验


○ FACEGOOD发布面部捕捉技术Seattle Pro
近年来国内技术团队在数字人领域多有着力,其中最值得提及的是极客团队 FACEGOOD,作为国内唯一扛起面部捕捉技术大旗的团队,他们一直死磕着这个技术难题。


FACEGOOD去年底发布了高精度实时面部捕捉技术Seattle Pro


去年底,FACEGOOD发布了高精度实时面部捕捉技术:Seattle Pro,当即公布了论文,同时面向全球创作者招募Beta测试。最终选择了对技术效果呈现最为“挑剔”的艺术家团队MOTSE墨子。


 MOTSE墨子研制自动绑定流程并完美落地
MOTSE墨子团队很荣幸成为FACEGOOD最终选择的合作伙伴,作为国家高新技术企业,团队提供数字艺术相关全案解决服务。

数字人面部实时驱动

通过一个月的技术磨合与测试过程、技术开发与艺术审美匹配,研制了自动绑定流程并跑通Seattle Pro,进行完美的落地验证



FACEGOOD团队采访:


○ 高精度实时表情捕捉,100%还原
年初我们在高精度实时表情捕捉上有很大突破。
✔ 流程、美术上完全可控
✔ 对于任意的表情姿势、动画风格可以定义
例如:舌头的捕捉是极其复杂的,但Seattle Pro在呈现上可以做到百分百还原。视频中可以看到,舌头多数情况下被口腔遮挡了,但中之人在讲话的时候,数字人的舌头有伴随运动,这样的效果在业界是绝无仅有的。


▲实时驱动精细测试,口腔。

▲实时驱动精细测试,嘴唇


○ 墨子落地场景:实时直播与番剧动画
Beta测试启动后我们收到了非常多厂家的申请,墨子是第一批测试用户,测试结果超出我们双方的预期。
在墨子的落地主要有两个场景:
✔ 首先,在高精度的数字人应用中用来做一些直播内容。
✔ 其次,在番剧生产中用实时捕捉来制作动画。
由FACEGOOD技术输出的动画数据不需要手工优化可以直接进入制片,产能提升巨大。 

▲墨子原创数字人影片《duplex》



MOTSE墨子团队采访:


○ Seattle Pro:完整生动的解决方案
在与FACEGOOD接触之前,我们尝试了包括苹果的Arkit Faceware在内,多种不同的实时面部捕捉方案,但都只能带动几十个Blend Shape,在面部细节的还原程度上和表现效果上都不尽如人意。我们一直在寻找”完美”的,更为“生动”的解决方法。

后续虚拟人研发过程中,FACEGOOD为我们提供了最新的Seattle Pro面部捕捉技术。相比起手机端民用级别的方案,Seattle Pro可以完整驱动 Metahuman 规范下的上百根骨点、600+修型Blend Shape与材质节点,在数量级上提升了10倍。我们基于该技术,对虚拟偶像的落地进行了全流程的匹配。


面部整体测试效果


○ 研发自动绑定流程,同步生产环境
✔  外观设定
我们设计出虚拟人的外貌体态进行高精度模型贴图的制作,并在Unreal Engine5中实现皮肤质感和外形毛发等的细化。


▲外观设定过程


✔  自动绑定
在Maya中配合Seattle Pro算法的绑定需求,基于Metahuman的绑定结构,我们研制出了自动绑定的流程。这套流程可以自动匹配不同布线和外形轮廓的模型,无须再进行手工拓扑与绑定,极大的缩短了数字人的开发流程。


▲Maya自动绑定流程


✔ 同步生产环境
Seattle Pro面部捕捉技术获得的实时数据,不仅可以推送进Maya成为离线的动画数据,满足传统制片流程;还可以直接通过livelink推流到Unreal Engine中。由于绑定和数据的流通,在Maya和Unreal Engine的生产环境中是完全同步的,这样就能自动化、程序化地满足虚拟人在商业应用里的不同需求。


▲同步UE生产环境



数字人的未来


○ 技术突破,商业应用场景延展
无论是传统商业升级还是元宇宙构想,商业的未来场景一定离不开虚拟体验。而虚拟人作为虚拟体验的重要载体,在技术壁垒已然突破的现今,必然有多样的商业应用延展可能。

我们认知和创作的数字人一定是可实时交互的、高仿真的,只有这样的数字人才能在即将到来的虚拟世界中进行体验,才是元宇宙定义下的虚拟数字人。

○ 合作持续:技术突破 x 艺术赋能
艺术是为了激发想象的能力,科技是实现想象的能力。无论是新媒体艺术还是数字视觉艺术都是建立在科技的基础之上,只有科技的发展才能推动更多更好的创作。

从技术上的互补,到艺术+技术的互融,MOTSE墨子和FACEGOOD将在未来继续从技术实现,产能提升,商业落地等各个方向,挑战数字人效果呈现的最优方式。


关于MOTSE墨子


MOTSE墨子是一支由艺术家、科学家组成的新媒体艺术团队,在公共空间与商业场景中,以视觉沟通、交互体验、艺术语言、数字技术连接公众,致力于将转瞬即逝的体验变为永恒的回忆。

本文章由MOTSE墨子供稿,部分图片来自于网络


-END-

阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本文内容由数艺网收录采集自微信公众号全球新媒体数码艺术动态 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。

数字虚拟人 数字媒体艺术 新媒体艺术 科技艺术

18132 举报
  0
登录| 注册 后参与评论