在 AI 协助下，使用 Unity 进行内容创作将变得更加简单。在 2024 年 11 月 2 日的 Unity User Group 深圳站，中国美术学院教师俞同舟结合他的教学实践与项目经历，为大家分享《如何在 AI 辅助下创作 Unity 的空间计算内容》。以下为演讲实录。

我是一个艺术家，与深圳之缘是来于去年跨年，在深圳光影艺术季我为特别单元福田中心区创作了一个灯光表演作品，在市民中心 43 栋楼的外立面，我做了一个巨大的数字人，关于未来人工智能想象的作品。

我自己也是一个开发者，2014 年是 VR 元年，那时我在中国美术学院做 VR 开发。2019 年从英国回到国内，突然发现 VR 这个市场没有我能做的太多事情了，反而 AR 让我看到了一些契机，当时在英国也做了比较多基于 Unity AR Foundation 的创作。

2019 年回国之后，我就加入了国美新创建的一个专业叫“艺术与科技”的学科建设团队中，我们是研究所制，包括我负责的媒介交互研究所中我也承担了教研和教学的工作。

关于开发，我最开始是和合作，提供深圳索尼半导体解决方案公司AR相关的专家顾问服务。

到此时此刻，也是一个契机，我突然又觉得需要回到 VR，所以自顾自报名了这次会议，也希望做一个分享。

我们研究所不只是关于 AR、VR 的开发，我们研究所一共有三个工作室，涉及到超写实的影片，也有开发相关的课程，另外还有展演类的落地和表演者有关的新媒体艺术。涉及到作者、开发者、艺术家等一系列人员。

今天使用各种各样的软件时面临到的一个问题是，我们今天面向的是各种各样的屏幕，在 200 年的发展过程中一直是矩形的，今天无非是把屏幕越做越大，这个时代也差不多到头了，这是我们研究所主要想攻克的方向。

因此今天想说的是其实是绿色的线，也是我主要进行教学的工作室叫“数字娱乐开发工作室”，培养的也是开发者，蓝色的工作室是面向各种各样的屏幕做内容的研究，红色是面向今天各种各样的场域做沉浸式 IP 展。绿色这条线希望打造一个学生作为艺术家，可以单人完成全栈的开发。

在这项工作中我们遇到一个问题，如果今天一个学生进来只是学习打开 Unity，譬如说怎么安装一个 AR Foundation 的 SDK，一个学期结束之后在桌子上摆上一个白色的豆腐块，他们的学习就结束了。再换一年的学生，下一年的学生又是做一样的事儿。

我们发现这样的教学方式是有问题的，我就拿了一套在英国使用的未来学的策略。中国古话里宋代的郭熙讲过有“三远”，今天的山水画有从山下看山上，从近山看远山，从前山看后山的方式。我就想今天基于什么样的方法可以让学生和创作者能够从今天看到更远的未来，能够作出相应的工作，而不是一个学期里只学习了一个议题，因此组织了一套策略模型做相应的工作，希望能够对大家有所帮助。

回顾到我的工作室做的教学，2019 年回国发现国内 AR 的市场，每个社交平台在开发自己的工具，不管是抖音的像素，或者是 Instagram 的 Spark AR，这款工具明年也不继续更新了。我们发现国内，原来海外的 8th Wall 做的 Unity 的开发回国突然不成立了，因为所有一切都围绕着微信小程序、微信页面去做，所以我们做的网络引擎也开始寻求一些 8thWall 这样的寻找科技公司合作。

在教学里我们相信教授通用引擎对学生更加有帮助，因为它后面代表了一系列 SDK，让学生在拿到设备时都可以作出很多意思的可能性，而不是前面两类对于创作者来说可能性太少了。

基于这些想法就开始在实际的教学里实践了起来，从 2019 年开始我们学生经历了屏幕叠加的 AR，就是 3Dof 的 AR，再到后面可以识别图像的 AR，开始出现 6Dof 识别图像。比如像宜家摆放家居类的 APP，再到后面开始出现越来越多和计算机视觉有关的面部、姿势和手势的识别，一直走到了 VPS，就是大空间增强现实出来之后，突然我们的学生可以商业化了，有很多业务可以接了。这是我们的里程碑，2023 年受黄山的委托，在黄山上做了一个展览，后续相应的工作也越来越多。

在这样的教学中，其实我们在测试各种各样的 SDK，包括 Unity 能够给我们的 AR Foundation，后面也遇到了在 2017 年很喜欢的产品叫 Holokit，它能够给 AR Foundation 增加手势识别和双目渲染，通过 iPhone 插在眼镜盒子上面呈现一个工学透视的 AR，这也是我们使用在教学里很多的方法。

我们也找到了 Beauty AR 是可以检测人的面部是否好看一系列非常有趣的 SDK，包括前面讲了国内我们跟很多 VPS 公司合作，但是学生可能支付不起五到六位数的基础的 VPS 部署。我们找到一家芬兰的公司，被 Pokémon GO 的母公司 Niantic 收购的 Immersal，每个人都可以创建一个地图，都可以做大空间增强现实。

这件事情走着走着 AIGC 出来了。我找了一条脉络，1558 年开始有一个魔术师写了对抗魔法的书籍，告诉别人这些只是幻术，只是骗术，他是怎么做到，里面提到了一个“制造鬼魂”的方法。直到 1863 年戏剧很火的时候就以佩普珥效应实现了“鬼魂效应”，现在在各种舞台上用得也很多。我们更多看到的是在今天，Rokid、Vision Pro 出来之后，突然之间以前各种各样的 AR、VR、XR 和各种词就被归为两类词，叫做 VST 和 OST。

在 OST 里突然发现一件事儿，OST 不能渲染黑色，这件事情以前在各种屏幕的内容创作时从来没有想过会有什么问题，这就代表了你做 PBR 这种超写实的可能性不存在了，因为影子都做不到了。突然发现这件事儿好像回到了之前各种各样的软件都做不到的一些美学，在那段时间把它叫“幽灵戏”，在研究脉络里也在找今天在眼镜里的体验还能够做什么样的事儿。

回归到今天的 AIGC 出现的时间点，在 2014-2015 年之间，PPT 左上角有当时最重要的三篇论文，关于谷歌、斯坦福和微软在研究通过图片生成字幕，直到有一天多伦多大学的研究小组就提了一个很简单的点子：有没有可能把这个事情反过来。2016 年发了论文，他们成功了，而今天的 AIGC 的时代也开始了。今天，我们也在想象一种可能性，是不是连空间计算的内容都可以以此替代。

最近在 Vision Pro 的社区里出现了一个爆款的视频，当然还是一个很想法和概念层面的东西。

这个视频里回顾到我当时在黄山做的项目，当时完成作品之后给市政府汇报，我突然冒出一个点子，今天艺术家做到这件事，看山是山，看山不是山，看山还是山，这是中国人体验世界的三种层面。代表了今天看黄山只是一座山，导游带着你游览黄山的时候突然就变成了一个有故事的，但只有像李白到了黄山的面前才有可能将瀑布看成银河。今天 AIGC、空间计算和 AR/VR 相关的内容给到我们一个可能性，把中国人以前文人体验才能体验到的东西，放到公众的面前。

举个例子，这是 2023 的一款游戏叫 Over beast，它也是类似于 Pokémon GO 这种基于地理的游戏。它给到我一个线索，在 AR 的世界里物体识别也好，场景理解也好是一个一直在发展的技术，包括我和早期 VPS 公司合作时，每个 SDK 里面肯定有一个功能叫“天空分割”，但等到今天天空分割这个功能几乎在所有的 SDK 里都没有了。这不代表这个功能不好用，而是没有人会用。2023 年第一次看到了这个伦敦工作室做的游戏，把天空分割用到了很极致美学的状态，不再你今天举起手机把天空换成银河的样子了。

因此我们现在和很多技术公司合作的方式是通过未来学的方式，不希望侃侃而谈，更多希望同技术和设备商合作时，将一个小小的 Demo 以更可玩的方式呈现出来。因此进入到了下一个阶段，有没有可能让学生更加远观一点呢？让他从现在稍微往前走一点，看到更多的可能性。

那时候我开始做各种各样的开源项目，譬如AR 里最好玩的是传送门的功能的实现。开源这件事情至少让我感觉到今天学生可以跳过从 0 到 1 的学习，直接到 1 到 100 的创作，这是我的研究所里开发者们一直做的工作，做一个作品开源或者是参加比赛开源，让后一代的学生永远有一个基础可以做更远的想象。

那时候开始和日本索尼合作，他们做了一个 ToF 的 SDK，很有意思的一个功能是可以脚部识别，让人和空间实现更多的碰撞，我创作了里面的部分Demo，这是在 App Store 发布的，也是开源的模板项目。

基于里面很多工作就发现创作者可以走得更远，你很难定义他是一个程序员还是艺术家，因为他两件事情都做了，更多是做自己实验性的艺术表达。前面讲的幽灵体验，我们一位大三的学生前段时间做了一个摄影测量法和空间计算有关的项目。

当前面的工作开始越走越远之后，突然间成果就出来，今天来到 UUG 也是一样的，我受益于社区很多，我也发现一些社区的运作在内容创作的可能性上也有可能，所以在 AR 的发展路线中出现了基于位置的娱乐，Pokémon GO、网易的阴阳百鬼物语GO，也出现了多人互动，比如说日本体育类 AR 游戏 HADO，也出现了 Vision Pro 的空间计算。

直接到今天 LBE 突然就出来了，这个项目背后也是一个开源技术，一会儿大家看到有戴着的眼镜就是 HoloKit，我们基于 AR foundation 做了一个观众反求的方式，每个人戴着 AR 眼镜人的位置反求给主机里，可以跟沉浸式的屏幕直接进行基于位置的互动。这是今年年初在苏州博物馆的一个项目。

等到我们开始解决 0 到 1 的工作后，这时候大语言模型出来了，今天开始接触希望能够达到 30 分钟基于 Unity 开发的体验时，学生开始使用大语言模型完成编剧的工作，包括 AIGC 影像结合创作的想法是一样的，一款 LBE 的项目可能三人的小组就可以开始启动去做的，好像也不会受到局限。

前两天我们刚刚搭建好了 LBE 实验室，开始进行相关的创作，我们基于开源的逻辑解决 0 到 1 工作外，有些同学除了使用大语言模型进行编剧，有些同学已经开始使用 AI 的编程工具了。

我突然发现之前基于基础教育的方式即开源逻辑，将 AI 驱动进入创作者集团里，我们可以绕过很多事儿。最早的一个观点是遇到一个问题，按一个按钮这件事情算不算做创作，所有的矛盾都围着这两件事情，人类操作是极缓，慢机器运算是极快速，这两件事情未来一定会越来越加剧矛盾。

今天应该如何看待这个矛盾？今天在 DCC 软件里做一个模型，你是希望直接按一个按钮出来一个正方体，还是希望从八个点里一个点一个点里建出来一个正方体，这是我们遇到的创作中的一个矛盾，该如何去评估。

找到一篇前两年的论文提出了“人类智能比例和机器智能比例”的评估方式。2017 年同济大学发布了设计人工智能报告，当时做了广泛的调研，评估一个工作里比如说平面设计、游戏设计、互联网设计里人的功能和机器功能的比例。给了一个关键词“脑机比”，用人的工作除以机器工作得到的比例。

在开发链路里把这件事情梳理出来，美术里哪些事情可以使用 DCC 软件还是使用 AI 工具，技术层面哪些可以使用 AI 辅助，在技术美术层面也是同样的。

在 2023 年，奔驰委托我做了一个项目，那时候我没有任何的工程师合作者，就我一个创作者。两周的时间要做一个相对比较复杂的 AR 的系统，也具备后台的功能。

当时 ChatGPT 刚好出来了，我试了一下，结果直接可以解决很多的工作，那时候可能就是一个契机，等到我们今天基于 ChatGPT，我会发现一个更新的工具在 Unity 里更好用了，就是 Cursor。我开始在教学里融入 Cursor。

Cursor 和 Copilot 其实区别还是挺大的，一方面是小的导入的问题，今天使用 Cursor 不是代表下载一个软件，用 Cursor 作为 Unity 代码编辑器就可以了，还是要有一个类似于 Vs Code 的 Visual Studio Code Editor 的 Package，有人写了插件让你可以在 Package 里导入 Cursor Editor，可以让 Cursor 完全支持 Unity 的辅助。

第二件事，最核心的功能是可以让各大工具、各大 SDK 和各大软件的开发工程师成为你开发团队的一员。就是 Cursor 很神奇的 Doc 功能，类似于阅读功能，将 Cursor 复制粘贴文档的页面，它会读取所有文档的内容，当跟你对话时只需要 @，比如说给 Unity 的文档取了一个名字叫“Unity2021”，当我给它问问题时只需要 @Unity2021。导出的内容都索引至对应的文档。也有一个很好的功能是在 Cursor 里比较特别的，就可以给它发图片，当然没办法用 Cursor 控制 Unity，但是可以通过截取 Unity 的报错，直接提供给 Cursor 的聊天窗口，帮你解决或者快速实现一些问题。

今天实际体验里面，中国美术学院的所有学生都是艺术生，都是艺考上来的。但我们在课程里一句代码几乎都没有教过，我们一个学期里只有一节课教你怎么使用Cursor，基本上到后面就没有学生过来问工程问题了，都可以自己解决。

我觉得在一个游戏开发的过程中，一个美术生是否愿意自己独立完成一件事情，最大的障碍是没有人帮助我该怎么办，之前是使用 Copilot 现在使用 Cursor。

最后是我做了一个剪辑，我们大三和大四的学生从第一次接触 Unity 第一个学期，大概是 14 周的时间最后完成的作品合集。

这件事情往后越走越远，开始使用 Cursor 和 Unity 结合时，大三的学生也开始参加人机交互大会，一个同学一个学期就能产出了 5 篇会议 Paper，在 CHI Play拿了 AUDIENCE CHOICE AWARD，也是刚才在片子里出现了一个折纸相关的 Unity 作品。

今天我们的学生呈现出来一个面貌是我作为一个老师看不到所有的未来，但是今天 AI 可以帮助学生看到所有的可能性未来。这张图是从中心点投放到未来之后也只是一个点，今天 AI 出现之后发现所有的可能性都在你的手中可以被创作的。今天真正在值得进行探索的是在中心点之外，有没有更多的可能性。

我是第一次参加 UUG，而且是以艺术家的身份可以把我们研究所的想法拿出来。我参加了很多 AWE、AR、VR，今天艺术家跟大家合作的时候，1938 年林风眠先生为中国美术书院立下的四个字“为艺术战”，它不代表了我们今天为一个艺术产业去做任何的工作，而是今天很多艺术家，特别是刚才大家看到的，结合各种各样人工智能增强之后具有开发能力的艺术家，他可以作为艺术家的身份和姿态加入到各种各样的产业过程中。

如果大家未来遇到美院的人，希望大家可以包容他们，拥抱他们，看到更加有意思的可能性，谢谢大家。