资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

国内团队研发实现【高精度实时面部捕捉】技术;英伟达Instant NeRF技术可快速将2D照片重建为3D场景……

2022-04-16


 国内团队研发实现高精度实时面部捕捉技术


 英伟达Instant NeRF技术可快速将2D照片重建为3D场景


 Mozilla与工业光魔联合开发完成火狐浏览器色彩管理组件


                   

【点睛】

影视制作中,写实类虚拟角色的面部表情制作一直是一项耗费时间与人力的工作,面部捕捉技术在实时性和精度方面仍有改进空间。近日我国团队研发出高精度实时面部捕捉技术,实时产生数据后可直接进入后续精修阶段。


伴随进军元宇宙的浪潮,虚拟角色的内容呈现已不局限于影视作品,开始探索虚拟直播、虚拟演唱会等更多实时应用场景,结合VR/AR等多元化沉浸式体验方式,可为虚拟IP扩展应用场景、丰富商业模式奠定基础。


国内团队研发实现

高精度实时面部捕捉技术



长期以来,影视行业持续探索高精度实时表情捕捉。2021年11月,深圳研发团队FACEGOOD(量子动力)发表论文《基于单目摄像头的高精度实时面部捕捉(High-Quality Real Time Facial Capture Based on Single Camera)》,并随之发布高精度实时面部捕捉技术Seattle Pro。近日,该团队与数字艺术解决方案供应商MOTSE墨子联合开展测试,跑通了Seattle Pro,在效果和流程上进行落地验证。


Seattle Pro


FACEGOOD团队提出一个基于视频的高精度实时表情捕捉框架蒸馏面部捕捉网络(Distill Facial Capture Network, DFCN),利用大量视频数据来训练模型,最终产生高质量的连续变形体(Blendshape)权值输出,用于驱动完整的Metahuman绑定,约600余个变形体,实时表情捕捉效果与离线效果相近,可实现高精度捕捉。


FACEGOOD团队实验结果证明,这一技术在眼睛和嘴唇等挑战性较大的部位展现了较高的捕捉仿真效果,尤其在语速较快的场景中人脸微表情重建表现上佳,并且能够捕捉到舌头随着口型同步运动,面向不同绑定系统也具备较好适配性。


舌头随口型同步运动


MOTSE墨子团队基于Seattle Pro对数字人落地进行了全流程匹配测试。团队首先在MAYA中设计出虚拟角色的外貌体态,并进行高精度模型贴图制作,配合Seattle Pro算法的绑定需求基于Metahuman的绑定结构研制出自动绑定流程,同时在虚幻引擎(UE)中实现皮肤质感和外形毛发等的细化,最后利用实时捕捉数据驱动精细测试。


未来虚拟人的发展方向是高仿真度、实时交互、强体验感,并具有商业应用延展性。可真正在虚拟世界中进行体验、可交互的仿真数字人,才是未来元宇宙定义下的虚拟体验。


英伟达Instant NeRF技术

可快速将2D照片重建为3D场景

                


近日英伟达(NVIDIA)利用人工智能算法,融合神经网络训练和快速渲染模型,可在几秒钟内对从不同角度拍摄的2D照片重建3D场景。


英伟达优化了神经辐射场(Neural Radiance Fields, NeRF)技术形成Instant NeRF技术,在部分情况下渲染速度提高1000倍以上。该模型仅需几秒钟即可训练数十张静态照片,结合相机拍摄的不同角度数据,可在几十毫秒内渲染出最终3D场景。


Instant NeRF


使用传统方法制作一个3D场景,根据模型复杂性和精度通过需要数小时或更长时间。引入人工智能后可加快速度,早期的单NeRF模型可在几分钟内渲染出没有伪影的清晰场景,但仍需要数小时来训练。


Instant NeRF将渲染时间缩短了几个数量级,主要依赖于英伟达开发的一种称为多分辨率哈希网格编码的技术,该技术经过优化后可以在英伟达GPU上高效运行。


如果多边形网格等传统3D描述类似于矢量图像,那么NeRF就类似于位图,可密集地捕捉物体或场景中光线的投射方式。



Instant NeRF应用场景包括:用于训练机器人和自动驾驶汽车,通过拍摄2D图像或视频片段来了解现实世界物体的大小和形状;为虚拟世界创建副本或场景,以3D形式展现视频会议参与者及其环境;在建筑领域和娱乐产业中,快速生成创作者可修改和构建的真实环境数字资产。


Mozilla与工业光魔

联合开发完成火狐浏览器色彩管理组件

      


谋智公司(Mozilla)近日与工业光魔(ILM)联合为火狐浏览器(Firefox)开发了扩展色彩管理扩展组件“扩展色彩管理(Extended Color Management)”,用于解决不同显示设备上色彩显示不一致的问题,方便VFX工作室及其他制作团队远程工作。


通常情况下,火狐浏览器使用操作系统的颜色管理功能对浏览器中呈现的颜色和图像进行优化和渲染,以增强用户的浏览体验。使用扩展颜色管理组件可禁用系统颜色管理功能,重新启动浏览器后,图形和视频的颜色即可与原始颜色保持一致,即使在不同显示设备中也可保证浏览器中显示颜色与像素实际颜色值持续保持对应关系,便于制作人员在审片或协同制作时对画面颜色做出正确判断。


火狐浏览器


通常,不同显示器、操作系统和浏览器的颜色输出各不相同,为确保每个工作站图像和视频颜色输出一致,颜色管理应用程序需要按照相同规格进行校准,这是一项非常繁琐的工作。虽然Photoshop等制作软件允许用户禁用颜色管理,但大多数浏览器并不具备这一选项,因此颜色管理扩展组件对于需要通过浏览器在远程显示设备上查看素材的团队来说非常有用。


工业光魔的部分影视制作项目流程采用火狐浏览器审看样片,因此联合谋智公司针对浏览器的色彩管理功能进行了优化,方便创作者在全球新冠疫情期间远程或居家开展制作。

(本期图片均来自互联网)本文转载自微信公众号:电影科技动态

编辑撰写丨张雪

校对王薇娜

审核王萃

终审刘达




推 荐
阅 读


数艺之友俱乐部-会员机构 
大华股份  |  大丰数艺科技  |  金螳螂文化 |  中衡设计  |  创捷传媒  |  水秀文化  金照明  |  SEEEKLAB   智在云天  |  时间造影   美创数字  |  梵企光电  |  爱普生中国  |  科视 Christie  |  黑火石科技  |  中泉建设  |  妙果数码  |  向正科技  |  赢秀科技  |  灵熙自动化   明基BenQ   L+PARTNERS  |  正映影视  |  励维展示  |  小鱼数字科技  |  三川田文化科技   阿拉丁照明网  |  悦派科技  |  摩拓为科技  |  探世途凌   智汀国际   新起典文旅科技  |  赢康股份  |  汉合天辰   地标马克  |  图迈信息   乐拓多媒体  |  爱道电子  |  韧取多媒体  | 幻鲨文化SGK+  |  广传集团  |  中关村科技会展  |  易普趣  |   InitiFuture北京元点  |  西安灵境   重庆吟游  |  未石互动   联承影像  |  拼格PINGIC  |  宙宇创意艺术   三瑞智建   3788 亚洲之光   蓝硕科技LINSOLED  |  哲浩启程   曼汉集团  |  EI FORCE(祐辰实业)   科通数艺  | 沐梵照明  | 创展云图 乐劲会展

★「数艺之友咖啡馆-全国巡回沙龙」
2018-苏州站  |   2018-上海站   2018-深圳站
2019-北京站  |  2019-杭州站  |  2019-成都站
2020-西安站  |  2020-广州  |  2021-南京(城市合伙人)
2021-苏州  |  2021-上海  |  2021-北京(城市合伙人)

★「“合伙人”计划」


限 时
推 广






点击下方“阅读原文”,预约加入【16群

  

阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本文内容由数艺网收录采集自微信公众号数艺网 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。

数字媒体艺术 面部捕捉技术 数字人 新媒体艺术 科技艺术

22977 举报
  0
登录| 注册 后参与评论