第24届冬季奥林匹克运动会（以下简称：北京冬奥会）开幕式节目在国家体育场成功举办。开幕式节目《致敬人民》的第二段中，24位轮滑演员在数百万个粒子形成的动态雪浪效果上滑行，雪浪从演员的脚下自然分开，呈现出真实演员与虚拟视效的精妙互动。《致敬人民》的互动视觉效果并不是只有电视观众才能看到的AR特效，也不需要演员时刻控制自己的滑行节奏与脚下的效果保持同步。借助人工智能与实时渲染技术，演出现场LED地屏上的雪花粒子能够随着演员滑行自动散开，技术手段的运用使演员不再需要长时间的排练来与舞美艺术效果相融合，充分展现了北京冬奥会开幕式科技创新与艺术创意相结合的理念。

文中针对北京冬奥会开幕式节目《致敬人民》的互动视觉效果需求，探讨基于实时渲染技术的互动视觉效果制作方案。

实时渲染（real-time rendering）是计算机图形学领域的概念，其主要研究借助计算机技术进行图像分析与实时制作的方法。视频游戏产业是实时渲染技术的主要应用领域，该产业对画面真实度、复杂度以及游戏开发效率的追求持续推动着实时渲染技术的发展，形成了同时涉及软件与硬件层面的计算机三维图形实时渲染技术框架。

早期的计算机图形技术多用于实现电子设备的图形界面，为用户操作提供及时的视觉反馈，而在复杂的三维图形处理以及大规模粒子处理出现之前，图形界面的构成元素主要是简单的几何图形、图片与视频，常规性能的计算机通常能快速完成图形数据的处理，因而图形运算的实时性并没有成为研究的重点。

三维图形渲染技术的出现大幅提升了借助计算机制作图像的逼真度。传统的二维场景主要由基于像素点表示的光栅图（raster graphics）构成，而三维场景中的图形元素通常由一组代表形状、材质等属性的数据模型来描述。由于一般是通过显示器提供的二维平面来观察这些数据化的三维图形，因此在显示一个三维场景时，需要生成这个场景在特定观察视角下的二维投影图像，如图1所示，这一过程在计算机三维图形领域被称为渲染（rendering）。

三维图形渲染的技术方案并不唯一，在强调影像真实度的影视特效、建筑模型可视化等领域，制作视觉效果通常使用基于光线传播理论的渲染算法，这类算法的核心思路是依据三维模型数据运算出三维场景内的光线在各个模型表面相互作用的结果，因而对于反射、折射、透射等光学现象有着准确的模拟，得到的投射画面也十分真实。基于光线传播的常用渲染算法是光线追踪（ray tracing），但这一算法十分耗时，通常无法在改变场景中元素的位置或其他属性后立刻渲染出效果。使用光线追踪算法制作三维动画时，主流分辨率下的每一帧画面可能需要数秒甚至数百秒的处理时间，因此使用上述方案制作三维动画也被业内称为离线渲染(offline rendering)。

在视频游戏、虚拟现实等领域，带有互动需求的视觉效果制作对渲染算法的执行速度提出了要求。以视频游戏为例，许多游戏容许玩家随时调整三维场景的观察视角，或是改变场景中对象的运动状态，而这意味着三维图形对象的运动轨迹无法预知，计算机只能在玩家做出操作后开始执行渲染，并且尽可能快地向玩家呈现渲染结果。因此，如果希望玩家体验到流畅的画面、及时的操控响应，那么每一帧画面的渲染就要在 1/30 s甚至更短的时间内完成。基于上述需求，相关行业开始关注面向互动领域的实时渲染技术，并提出了光栅化（rasterization）渲染算法。光栅化算法的核心思路是把点、线、面关系描述的网格化三维模型转化为一组片元，这些片元是三维图形投影在二维平面时所覆盖的像素，如图2所示，由于片元能以二维图形方式进行处理，因而计算机以光栅化算法执行渲染的效率相比光线追踪算法大幅提高，让复杂三维场景的实时渲染成为可能。

视频游戏对画面真实度与复杂度的追求推动着基于光栅化的实时渲染技术快速发展，这包括一系列在实时渲染过程中处理颜色、光影以及各类特殊效果的着色器程序（shader）。为了让游戏制作更为高效，计算机图形领域逐渐形成了OpenGL、Direct 3D等几种称为图形应用编程接口（常简称为图形API）的标准化图形处理函数库。软件工程师仅需调用这些图形API提供的接口函数，就能快速实现一些典型的实时渲染处理。同时，图形应用编程接口也让相关领域形成了针对实时渲染的标准化实现流程，这为GPU（Graphics Processing Unit，译为图形处理单元）的发展提供了条件。GPU是一个用于执行图形处理的硬件单元，带有GPU的计算机显卡通常被称为图形加速卡。由于图形API对业内包括实时渲染在内的图形处理方案进行了标准化，GPU得以专为高效执行着色器的一些程序而设计，因而大幅提升了计算机的实时渲染性能，甚至一些基于光线追踪的图形处理也能够被实时完成。

使用图形API构建出完整的实时渲染系统通常需要进行复杂编程，而游戏引擎的出现则让图形API的操作变得简单。游戏引擎的设计初衷是为游戏制作者提供开发视频游戏的一套工具，其核心功能通常是实现游戏画面的实时渲染。简单的说，游戏引擎包含一个带有大量可调参数的实时渲染系统，用户通过设置这些参数来让引擎实现所需效果，这包括向游戏引擎导入各种位图或三维模型数据，通过模型构建出场景，设置场景的光源与观察视角，设置玩家对场景的操控方式等，而游戏引擎则会调用图形API来实现效果的实时渲染。另一方面，一些游戏引擎为用户提供带有图形化界面的引擎编辑器程序，使用编辑器来设置游戏引擎比代码方式更为直观，在降低游戏制作技术门槛的同时也拓展了实时渲染技术的应用范围。

随着图形API的持续发展与GPU性能的不断提高，今天的实时渲染画面正在接近影视特效领域的逼真度，而与传统影视特效制作不同的是，使用实时渲染技术制作视觉效果并不需要长时间的离线渲染环节。同时，游戏引擎的功能日趋丰富，许多主流游戏引擎包含了实时粒子系统、物理模拟系统。实时粒子系统可以控制大量图形对象的形态与运动方式，实时渲染出风雪、火焰、烟雾等特殊效果，而物理模拟系统则让图形对象在发生旋转、下落或碰撞行为时呈现出符合真实物理规律的运动。此外，支持图形化编程的游戏引擎编辑器让效果制作人员无需精通计算机语言，即能运用实时渲染技术制作出复杂的可交互三维场景。实时渲染领域的上述发展为其在演出领域实现高质量的互动视觉效果制作提供了条件。

北京冬奥会开幕式节目《致敬人民》共分三个段落，其中第二段落的轮滑舞蹈表演采用了LED影像视觉效果与演员表演实时互动的方案。该段落表演形式与视觉效果制作需求概括如下。

24个舞蹈演员穿着轮滑鞋，以国家体育场（鸟巢）内铺设的LED地屏为舞台，从舞台南侧各自的起始位置滑行进入舞台，沿预设路线滑行，并在滑行过程中进行一系列舞蹈表演，完成各自路线后从舞台北侧滑出表演区域。

视觉效果通过舞台铺设的LED地屏呈现，其设计方案为：

（1）大量雪花粒子从舞台北侧向南侧移动，覆盖整个舞台区域，呈现出翻滚的雪浪效果，24个舞蹈演员的滑行持续“推开”各自路线上的雪花粒子，形成风雪中砥砺前行的画面；

（2）雪花粒子被演员推开的区域将露出线条状底纹，底纹上带有“更高、更快、更强、更团结”的中英文奥林匹克口号，如图3所示。

演出领域的互动视觉效果制作是一个同时包含内容制作与系统集成的完整解决方案。对于演出中的互动特效环节，一方面，表演者可能是既定演员也可能是任意选出的观众，互动行为可以是表演者的位置、动作，也可能是其表情、甚至着装的颜色；另一方面，视觉效果的呈现可以使用舞台上的LED影像，也可能通过现场观众的手机屏幕。因此，现场演出的互动视觉效果没有标准化的制作平台，制作方通常要根据项目需求选择合适的表演行为捕获技术，并构建一个可由行为数据控制的互动视效呈现系统，而视效内容制作与交互规则编程则应基于所建构视效系统的技术平台。

根据《致敬人民》第二段的表演形式与视觉效果设计，其互动视觉效果的制作可以分为“互动视效平台构建”与“互动视效程序开发”两个部分进行。

互动视效平台可以根据其主要功能分为演员定位、图形处理、视效显示三个子系统进行构建，如图4所示。

根据《致敬人民》的表演形式与演出环境特点，演员定位可基于计算机视觉技术实现。演员定位系统使用高性能工业相机对表演区域进行视频数据采集，借助计算机视觉算法对视频数据进行目标检测与跟踪，分析出轮滑演员在视频画面中的位置，再基于相机标定机制测定的相机画面像素与特效场景像素的映射，得到演员站立位置所对应的特效场景坐标。

图形处理系统主要执行基于实时渲染技术框架的互动视效程序，并将处理结果以视频信号形式输出。由于节目视觉效果复杂且画面分辨率较高，存在使用多台图形工作站同时执行互动视效程序且进行同步渲染的需求，因而图形工作站应配有高性能GPU及配套同步卡。

视效显示由鸟巢舞台区域铺设的LED地屏实现，该系统通过LED拼接服务器输入视频信号。由于完整画面的分辨率高达8K以上，图形处理系统同时使用多路4K视频信号与LED拼接服务器进行数据传输。

为了保证系统可靠性，互动视效平台应设计备份机制，使用多台工作站进行同步备份渲染，并确保多台工作站的输出信号之间可以“无缝切换”，实现系统热备份。

互动视效程序的开发目标是在互动视效平台上实现基于演员位置数据实时渲染出节目所需视觉效果的功能。程序开发过程主要涉及视效场景的制作与互动规则的编写。

根据节目设计，《致敬人民》第二段的视觉效果主要由大规模的雪花状粒子与带有奥林匹克口号文字的线条动画构成，这些效果可以分为“互动效果”与“动画效果”分别处理。

互动效果主要展现伴随24个轮滑演员的滑行，其脚下的雪花状粒子被推开的效果，这可以使用支持物理碰撞模拟的实时粒子系统实现。使用雪花状图形作为粒子，并在画面中放置跟随演员位置移动的粒子碰撞体，雪花粒子在接触碰撞体时将改变运行的速度与方向，呈现出被推开的视觉效果，如图5所示。由于互动效果中的碰撞体位置与演员位置相关，互动视效程序应具有正确解析来自演员定位系统坐标数据的功能，并实现坐标对粒子碰撞体的实时控制。

动画效果主要是带有奥林匹克口号文字的线条状路径动画，其动画的内容与播放时长都是确定的。从降低互动视效程序复杂度的角度出发，可以采用在实时渲染系统中播放预制动画视频文件的方式。为了让粒子与线条动画的叠加更为自然，动画视频的播放画面应该与粒子同样受到场景中光照系统的影响，实现上述效果可以将视频文件中的每一帧画面解码为可以作为纹理的位图，再将纹理显示在场景的一个指定网格上。

线条动画被设计在实时生成的雪花粒子下播放，演员滑过区域的粒子将逐渐消融，且该区域不再被粒子覆盖，即奥林匹克口号文字在演员滑过粒子消除后随之显露。不过，演出中可能出现演员的滑行偏离预设路线的情况，而这将导致动画内容无法完整露出，影响到奥林匹克口号的呈现。为避免上述情况，可以在场景中加入具有改变粒子生命周期的碰撞体，这类碰撞体跟随动画中的线条不断延伸，被其接触到的粒子会逐渐消失，如图6所示，因而即使演员的滑行出现失误，口号文字也会逐渐从粒子中完整的显露出来。在实际演出中，演员通过自身佩戴的耳机跟随滑行开始的口令而动，开始滑行的时间点略早于动画开始播放的时间点，因此行进路线上的雪花粒子会先被演员“推开”，之后被演员身后的线条动画“融解”，最终在演员完成滑行时完整显露出带有奥林匹克口号的画面。

动画效果的视频文件播放状态通过开幕式集控系统的时间码进行控制，同时支持特殊情况下的手动控制。因此，互动视效程序应具有正确解析来自外部系统时间码或者其他控制命令的功能。

《致敬人民》互动视觉效果的完整制作方案包含互动视效平台中演员定位系统、图形处理系统、视效显示系统的构建以及互动视效程序的开发方案。在此针对与实时渲染技术相关的图形处理系统以及互动视效程序的具体方案与技术特性进行说明。

互动视效平台中的图形处理系统主要由4台图形工作站与1台视频信号矩阵构成，如图7所示。4台工作站均配置有RTX A6000图形加速卡以及配套的Quadro Sync II同步卡，图形加速卡支持8K分辨率、60 f/s帧率的视频信号输出，同步卡可基于Genlock信号维持4台设备的信号帧同步。视频信号矩阵选用了16进16出的模块化矩阵设备，通过多个HDMI 2.0接口输出拼接的视频信号。

4台图形工作站通过万兆以太网交换机与演员定位系统进行基于UDP协议的数据通信，以获取演员的位置坐标及其他辅助数据。在实际应用中，由于互动视效程序能够通过演员定位系统获取同步引导信息，在应用层确保渲染同步精度满足设计需求，同时考虑到工作站后端的视频信号矩阵带有帧缓存功能，因此系统仅基于Genlock信号维持4台工作站与视频信号矩阵的视频信号帧同步，而无需使用图形加速卡厂商提供的Framelock技术。

对于现场演出，系统的可靠性极为重要，《致敬人民》的图形处理系统使用视频信号矩阵实现了多系统互为备份的方案。图形处理系统中的4台工作站可以在不同场合同步渲染相同或不同的场景，而视频信号矩阵可在预先设置的输入信号组合之间切换，实现渲染系统的热备份。由于渲染周期控制技术、Genlock信号同步以及矩阵帧缓存技术的使用，输入信号的切换过程不会出现可觉察的画面闪烁或卡顿。此外，视频信号矩阵输出至后端LED拼接服务器的信号也采用了主备双通道设计，当后端的LED地屏在主备系统之间切换时，并不会影响图形处理系统的正常工作。

《致敬人民》的互动视效程序采用业内主流的两款游戏引擎 Unity2021与Unreal Engine 4同步开发，均运行于Windows 10平台。两款引擎内置的实时粒子系统都支持粒子的GPU处理与物理碰撞模拟，能够实现本节目所需的大规模可交互粒子效果。同时，两款引擎均支持以代码方式对粒子系统、视频解码、网络通信与渲染周期进行控制。

在实际应用中，互动视效程序包含一个针对节目需求开发的通信控制模块，以使来自外部系统的信息能够控制粒子碰撞体的位置与视频文件的播放状态。此外，通信控制模块也负责实现互动视效程序与特效操控台之间的通信，实现操控台对视效程序特定功能的操作，以及向操控台界面反馈互动视效程序的运行状态。

两款引擎开发的互动视效程序均采用将视频文件的解码画面以纹理形式在三维网格上实时播放的方式。由于程序的输出分辨率较高，为了降低视频解码系统在CPU与GPU上的资源消耗，程序选择使用HAP编码格式处理视频文件。与H.264、HEVC等其他主流的视频编码格式相比，开源的HAP编码采用DXT图形格式存储帧数据，因而能够更高效地通过GPU完成解码与渲染。不过，HAP的码率较高，对系统读取硬盘数据的带宽有所要求。《致敬人民》的互动视效程序仅存在一条视频文件的播放，且视频播放之外没有其他对硬盘读写有大幅开销的程序，图形工作站配置的NVMe协议高性能固态硬盘经测试能够满足带宽需求。为了减小视频文件体积，项目选择开启了HAP的Snappy压缩机制，这项功能会略微增加解码HAP时的CPU占用率，但能够降低读取视频文件时的硬盘带宽占用，让互动视效程序的执行更为可靠。

两款游戏引擎在获取视频同步信号上的支持并不完善，因而本项目基于演员定位系统发送的辅助信息开发了渲染周期控制程序，以解决不同工作站上实时画面的异步渲染问题。经测试，后端视频信号矩阵在多台工作站之间切换时不会出现可觉察的画面闪烁或卡顿现象，上述设计也避免了视频同步信号异常对互动视效程序渲染机制的影响，减少潜在风险。

在节目彩排中，基于实时渲染技术的互动视效程序能够以舞台LED地屏为参考监视器随时调整效果，包括粒子的形态、流速、色彩，以及画面的空间透视等，如图8所示，这一特性相比基于离线渲染的传统方式显著提升了制作效率，也保证了视觉效果在正式演出中的高质量呈现。

基于计算机视觉与实时渲染技术的互动视效制作方案，在《致敬人民》的彩排与开幕式演出中实现了预期目标，为全世界观众呈现了精彩的互动视觉效果。

游戏引擎与GPU的发展有效提升了使用实时渲染技术制作演出视觉效果的效率与质量。基于实时渲染技术的视效制作没有耗时的离线渲染环节，可以在演出现场对视觉效果进行快速调整，并能结合各种传感与控制技术呈现传统视频系统无法实现的互动视觉效果。相信实时渲染技术的持续发展将为演出领域的视觉效果呈现带来全新的形态。

选自 2022年《演艺科技 冬奥特刊》 韩 柯，马少典《实时渲染技术在演出互动视觉效果制作中的应用研究——以北京冬奥会开幕式节目<致敬人民>为例》。转载请标注：演艺科技传媒。更多详细内容请参阅《演艺科技  冬奥特刊》。

（除原创作品外，本平台所使用的文章、图片、视频及音乐属于原权利人所有，仅用于行业学习交流，并不用于商业用途。文中观点为作者独立观点，因客观原因，或会存在不当使用的情况，如，部分文章或文章部分引用内容未能及时与原作者取得联系，或作者名称及原始出处标注错误等情况，非恶意侵犯原权利人相关权益，敬请相关权利人谅解并与我们联络第一时间处理，共同维护良好的网络创作环境。）

  相关阅读