资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

文本、摄像机、开拍:用虚幻5创作AI音乐录影带

原创 2022-09-02

如果只使用文字,就能创作出一部以《阿基拉》为灵感的赛博朋克影片,那会怎么样?对于艺术家团体Sagans来说,这是一个值得开拓的未来。最近,他们使用虚幻引擎的MetaHuman技术,同时配合AI算法,仅凭文本描述就为其首部音乐录影带《Coherence》生成了大部分镜头。


在最终成品所描绘的后现代图景中,一位女性正在新城市中寻找着属于自己的位置,画面采用素描风格,镜头伴随着音乐不断移动,从明亮的樱花树转场至纽约地铁。Sagans的艺术家们共同展示了,AI不一定预示着我们的工作(甚至整个世界)将被它接管的可怕前景。相反,它可能会成为释放我们全新创作潜力的关键。


颠覆音乐行业


根据Sagans的3D专家Aurelien的说法,《Coherence》准确地代表了这个团体所要实现的目标。“我们感觉,音乐行业不愿意冒险,除非存在利益驱动因素。”他解释说,“因此靠谱的内容开始减少,这正是促使我们创办Sagans的最初原因。



Sagans团体由音乐家、美术设计师和研究人员组成,他们在制作第一部音乐录影带之前,并不需要等待歌曲创作完成。这为团队提供了更多的时间和自由,探索如何通过人工智能和实时图形等技术实现愿景。

虚幻引擎5是我们最先决定采用的技术,”Aurelien继续说,“我们首先通过Quixel资产库创建了整个世界,紧接着,我们采用MetaHuman Creator创造了逼真的角色。这为我们改变了一切。突然间,我们就可以在短时间内制作出漂亮的东西了。我们知道,我们已经准备就绪,可以开始制作《Coherence》了。”

视频由Sagans提供

添加AI


起初,团队决定使用大友克洋的经典动画《阿基拉》的风格,为视频的审美奠定基础。下一步就创造视频中的女主角。“在使用虚幻引擎工作之前,我们对3D世界不是很熟悉,”Aurelien说,“乍看之下,创造角色似乎是一项非常复杂的任务。幸运的是,MetaHuman Creator让事情变简单了。”

图片由Sagans提供

为了创造让观众感觉亲切的角色,团队混合了MetaHuman数据库中三张面孔的元素,找到了自己喜欢的结果。接下来,他们使用iOS的Live Link Face应用,为角色制作了面部表情动画。与此同时,Sagans的艺术家们还开始使用Quixel构建视频的虚幻引擎环境,从日本风格的英国街道,到纽约的地铁,应有尽有。

视频由Sagans提供

“创建环境时,Lumen发挥了至关重要的作用,”Aurelien解释说,“有了它,我们能够在不使用大量硬件资源的前提下实时处理光照。再配合使用Niagara创造雨水等粒子,在短短几秒钟内,我们就可以生成与用户界面中完全一致的渲染。”

最后一步是根据场景的需要,通过三套独立的AI算法生成虚幻引擎输出,营造最终的大友克洋风格。第一套算法允许Sagans的艺术家使用文本描述场景风格,然后以视频形式将其表现出来。第二套算法会使用参考图像制作动画视频,而最后一套算法可将实景真人电影转变成风格化的动画影片。

“在大多数镜头中,我们都用到了文本转视频算法。”Aurelien补充说,“为此,我们使用Disco Diffusion 5帮助生成单独的帧,然后通过算法将这些帧转变成视频。我们必须确保文本内容非常详细,不仅能描述出风格,还要填补所有纰漏:如果没有提到天空,机器可能会忘记城市顶部必须有一片天空。在得到不错的第一帧画面之后,我们还要根据运镜的需要,提供足够的描述,生成接下来的帧,然后在第20帧处最后一次检查渲染。”

图片由Sagans提供


虚幻成果


由于使用了独特的实时3D和AI工作流程,从第一个镜头到《Coherence》的最终渲染,整个过程只花了三位Sagans创作者八周时间。“我们想要一种既简单易用又足够快速的解决方案,帮助我们迅速实现愿景,虚幻引擎没有让我们失望。”Aurelien补充说,“只需几次点击,我们就可以轻松创建极其精细的角色和城市环境,在没有动作捕捉服的情况下为女主角制作动画。”

现在,《Coherence》已创作完成,团队计划在未来的音乐录影带项目中继续使用虚幻引擎和AI。“第一次发布内容通常会让人伤脑筋,但《Coherence》取得了出色的反响,”Aurelien总结说,“我们希望人们明白,人工智能的出现是为了协助和激励我们,而不是抢走我们的工作,这个录影带正是我们实现这个目标的第一步。”

扫描下方二维码,关注后点击菜单栏按钮“更多内容”并选择“联系我们”获得更多虚幻引擎的授权合作方式和技术支持

长按屏幕选择“识别二维码”关注虚幻引擎

“虚幻引擎”微信公众账号是Epic Games旗下Unreal Engine的中文官方微信频道,在这里我们与大家一起分享关于虚幻引擎的开发经验与最新活动。

阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本文内容由数艺网收录采集自微信公众号虚幻引擎 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。

数字媒体艺术 新媒体艺术 科技艺术 虚幻5 AI音乐录影带

12522 举报
  0
登录| 注册 后参与评论