- 0
- 0
- 0
分享
- 炸裂!可提取,控制人物姿势,法线,深度信息等超强AI来了!
-
原创 2023-02-19
“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”
中国很有影响力影视特效CG动画领域自媒体
最近小伙伴们被AI画图给惊到了吧?小编看了几篇介绍文章,也大受震撼。比如,这种
AI真的也太了解人类审美了,这妹子画的也太吸睛了。本来也想借此机会蹭一波热度,但仔细想想我们“高大尚”的粉丝对这种图一直是嗤之以鼻的,所以还是忍住了,没推送。
ControlNet是2月10日由张吕敏和马内什·阿格瓦拉共同发表的一篇论文。几日后就发布了训练好的模型,目前在GitHub上可下载,短短几天迅速成为AI绘画的又一个热点,成长速度可谓相当快。
https://github.com/lllyasviel/ControlNet
ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。直白的来讲就是通过额外的输入内容控制预训练的大模型,一种端对端的训练,目前比较火的stable diffusion都是通过这种方式来实现的。
但ControlNet的优势在于对于细节的控制能力。它把一些细节的输入关键词进行了单独的训练。这就好比你让AI画一幅画,stable diffusion只能给你画个大概,但ControlNet可能会更精细的考虑构图、线条,深度信息等等都能给你提供。目前根据GitHub上以公布的可控内容有几个方面。
边缘检测
可以更改更改M-LSD阈值,这个功能对于建筑表现简直不要太实用。
使用涂鸦
深度信息控制
这个深度信息对于我们CG行业制作尤为重要,有了它可以加任意的景深等等效果。但这个深度信息与Stability的模型不同,ControlNet接收完整的512×512深度图,而不是64×64深度。这意味着ControlNet将在深度图中保留更多的细节。
动画线条控件
为动画线条提取增加的一个功能。目前这个功能尚未添加,正在评估潜在的风险。
可以说满足了目前我们绘制所需情况的大多数的场景需要,甚至满足了一定CG制作流程的需要。
但我们今天的重点不是这些,重点是它其中还有一个对于AI生成图像重要的功能:openpose姿势识别。
它不但能生成单个角色的姿势,甚至可以生成多人的姿势,这是之前的所有文本输入型AI工具几乎无法达到的。
目前已有人通过它做了一些改变AI角色姿势的尝试。
利用stable diffusion生成角色,ControlNet改变视角
如果观察仔细的话,上面这张图里有很多的Bug,比如手关节是无法实现改变,当然了这是早期的一些测试图。根据最新消息,目前已经更新了手指关节姿势。
更厉害的是,如果你没有现成的图像,手绘勾了出大致的造型也可以,这简直已经炸裂了。
所以,做CG的小伙伴可能立马会想到,今后的工作可能就变成了,在软件里拉一个人形骨骼,然后摆一个自己想要的姿势,然后,然后,然后剩下的工作就扔给AI直接出图了呀!!!!!!!!
用姿势骨骼用AI直接生成角色姿势图
文章的最后,让我们回头再看看AI生成的那些美图吧,记住,以后这些都可以直接生成骨骼改变动作,做动画了!
-
阅读原文
* 文章为作者独立观点,不代表数艺网立场转载须知
- 本文内容由数艺网收录采集自微信公众号CG世界 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。