资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

炸裂!可提取,控制人物姿势,法线,深度信息等超强AI来了!

原创 2023-02-19


“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”

中国很有影响力影视特效CG动画领域自媒体


最近小伙伴们被AI画图给惊到了吧?小编看了几篇介绍文章,也大受震撼。比如,这种


AI真的也太了解人类审美了,这妹子画的也太吸睛了。本来也想借此机会蹭一波热度,但仔细想想我们“高大尚”的粉丝对这种图一直是嗤之以鼻的,所以还是忍住了,没推送。

但是,昨天朋友大半夜发来一张图,让我坐不住了。

卧槽,这么说有了ControNet的加持,那些AI生成的二次元角色也好,还是上面的这种写实真人也好,都可以改变姿势,让他们动起来了!?
这也太快了吧?!那么,这个ControlNet到底是什么,又是什么工作原理咧?小编本着追本溯源的精神,一一去搜索了下。

ControlNet是2月10日由张吕敏和马内什·阿格瓦拉共同发表的一篇论文。几日后就发布了训练好的模型,目前在GitHub上可下载,短短几天迅速成为AI绘画的又一个热点,成长速度可谓相当快。

https://github.com/lllyasviel/ControlNet

ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。直白的来讲就是通过额外的输入内容控制预训练的大模型,一种端对端的训练,目前比较火的stable diffusion都是通过这种方式来实现的。

但ControlNet的优势在于对于细节的控制能力。它把一些细节的输入关键词进行了单独的训练。这就好比你让AI画一幅画,stable diffusion只能给你画个大概,但ControlNet可能会更精细的考虑构图、线条,深度信息等等都能给你提供。目前根据GitHub上以公布的可控内容有几个方面。


边缘检测


M-LSD直线检测

可以更改更改M-LSD阈值,这个功能对于建筑表现简直不要太实用。


柔和的软边


使用涂鸦


深度信息控制

这个深度信息对于我们CG行业制作尤为重要,有了它可以加任意的景深等等效果。但这个深度信息与Stability的模型不同,ControlNet接收完整的512×512深度图,而不是64×64深度。这意味着ControlNet将在深度图中保留更多的细节。


法线映射
这个对于CG建模来说简直不要太疯狂。


语义分割
这个功能倒不是很新鲜,之前英伟达推出的GauGAN类似。但出现在这里,着实强大了ControlNet的功能。


动画线条控件

为动画线条提取增加的一个功能。目前这个功能尚未添加,正在评估潜在的风险。

可以说满足了目前我们绘制所需情况的大多数的场景需要,甚至满足了一定CG制作流程的需要。

但我们今天的重点不是这些,重点是它其中还有一个对于AI生成图像重要的功能:openpose姿势识别。

它不但能生成单个角色的姿势,甚至可以生成多人的姿势,这是之前的所有文本输入型AI工具几乎无法达到的。

目前已有人通过它做了一些改变AI角色姿势的尝试。

利用stable diffusion生成角色,ControlNet改变视角

如果观察仔细的话,上面这张图里有很多的Bug,比如手关节是无法实现改变,当然了这是早期的一些测试图。根据最新消息,目前已经更新了手指关节姿势。

此外,ControlNet可以从给定的一张图像中提取姿势,然后生成一堆姿势相似的图。

更厉害的是,如果你没有现成的图像,手绘勾了出大致的造型也可以,这简直已经炸裂了。

所以,做CG的小伙伴可能立马会想到,今后的工作可能就变成了,在软件里拉一个人形骨骼,然后摆一个自己想要的姿势,然后,然后,然后剩下的工作就扔给AI直接出图了呀!!!!!!!!

用姿势骨骼用AI直接生成角色姿势图

文章的最后,让我们回头再看看AI生成的那些美图吧,记住,以后这些都可以直接生成骨骼改变动作,做动画了!


全文完


阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本文内容由数艺网收录采集自微信公众号CG世界 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。

数字媒体艺术 新媒体艺术 科技艺术 AI

13923 举报
  0
登录| 注册 后参与评论