资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

AI生成3D模型又进化了?训练数据中不存在的模型或者被遮挡部分也可以生成!

2023-05-19

点击上方蓝字CG世界关注我们

“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”

中国很有影响力影视特效CG动画领域自媒体

目前多数AI生成3D模型,都是基于模型库训练然后生成,模型库没有的或者是给出的图片被遮挡部分都是生成不了的,所以我们很多人怀疑,就是直接调取了模型库现成的模型。不管大家信与不信,但技术每天都在迭代,最近一组研究人员提出生成3D网格模型的一个新方法MeshDiffusion,这个方法进化到可生成训练数据中不存在的全新形状。

与体素和点云等形式的3D模型相比,网格模型在实际应用中更为广泛,因为能够轻松、任意地修改形状,然后进行重打光或者模拟,还有就是它们可以利用现代图形管线对网格进行优化。

以前用于生成网格的可伸缩方法通常依赖于次优化后期处理,并且它们往往会生成过于平滑或杂乱的表面,而没有细粒度的几何细节。为了克服这些缺点,研发团队利用网格的图形结构,使用一种简单但非常有效的生成建模方法来生成三维网格。

这是一种新研究出来的基于分数的生成建模方法,用于生成3D网格。此方法利用网格的图形结构,采用3D扩散模型创建以可变形行进四面体为特征的三维网格,然后在这种直接参数化上训练扩散模型。

MeshDiffusion使用3D扩散模型生成由可变形步进式四面体(DMTets)参数化的3D网格。
研发团队介绍说,MeshDiffusion能够生成各种逼真和多样化的3D网格集,包括训练数据中不存在的全新形状。此外,它甚至可以从单一2.5D视图中,填充被遮挡的区域,然后重建完整的3D网格。

无条件生成

通过标准的DDPM训练和采样,MeshDiffusion可以生成逼真且多样化的3D网格集,其中许多是不在训练集中的新颖形状。


单视图条件式生成

如果在单个2.5D视图上放了不完整的DMTet(可变形步进式四面体),MeshDiffusion可以通过填充遮挡区域来生成完整的3D网格。



插值

通过使用DDIM作为扩散模型采样器,可以对初始噪波进行插值以创建插值形状。


如何加

通过MeshDiffusion生成的网格可以使用TEXTure(是一种用于3D形状纹理的文本引导生成、编辑和传输的新方法)等最先进的方法进行纹理处理。

目前从介绍看生成的模型精度依旧还达不到制作需求,但是在生成式3D模型的技术迭代道路上又前进了一步,起码达到了可生成训练数据中没有的形状或者填充遮挡的部分,这就已经有很大进步了,期待接下来迭代的更好更优,期待能有代码可测试把玩的时刻。
好了,不要再讨论失业不失业的问题了。做好眼前的工作,迎接新技术,未来我们依旧喝西北······错了,重来,是依旧占领建模高地,成为模型大神。
开个玩笑,祝大家工作愉快,明天继续干货,敬请期待。想看原论文介绍?可点击底部蓝字“阅读原文”,See 友 next time!

end



《UE5高级影像》全日制线下班招生简章——油屋 X 广州美院

(▲点击进入详情页▲)


点击图片进入详情页

一滴一滴!又又又又···更新了!Maya和Max发布2024.1


惊艳的!几位大神的3D风格化美女角色作品


AI让大叔变成美女?告诉我!这个世界还有什么是真的?


红猪太帅啦!俄罗斯大神超生猛雕刻作品



阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本文内容由数艺网收录采集自微信公众号CG世界 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。

数字媒体艺术 新媒体艺术 科技艺术

10908 举报
  0
登录| 注册 后参与评论