本文来源于：ITTC

作者：中央电视总台 崔建伟

摘要：

本文介绍了媒体内容创作与生产的重要性，结合典型案例分析了技术发展现状，对中央广播电视总台内容生产技术发展情况进行了说明，并对XR扩展现实存在的问题和挑战进行了探讨。

关键词：

IMR（创意混合现实） XR（扩展现实） Interoperate（互动） Personality（个性化） VFX（视觉特效）

一、媒体内容创作与生产的重要性

从视听市场的走向和行业技术的发展来看，重大的变革正在进行。从下一代的电视标准如ATSC3.0到广播电视总台的“先网后台”，5G+4K/8K+AI的技术路线，都给未来电视提供了巨大拓展空间。但无论是传统电视还是社交（新）媒体，除了构架之外，竞争的焦点恐怕还是内容，或者说“内容为王”是媒体行业永恒的主题。

视觉特效VFX一直是媒体内容创作与生产的高端，把握住VFX等于抓住了媒体内容创造的制高点。伴随着电视标准的不断变化，VFX这几年也发生了突发猛进的变革，并由此给这个相对比较“小众”的行业带来了巨大的发展机遇。

主要体现在几个方面的变化：

◆需求与驱动变化：从标清、高清到超高清，用户驱动（内容视听V+A），他们需要看到更加精彩的节目；终端产业驱动（客户端电视机+商演大屏），需要更丰富的内容推介。

◆传播平台变化：传统电影、电视+社交媒体（手机、Pad、头戴Hamlet）+IPTV网络电视+视频、游戏、电竞等。

◆展现形式及制作工艺发生变化：IP化、Interoperate（互动）、Personality（个性化）和Imersive（沉浸式）。

下一代的视音频标准如ATSC3.0，电视仅是选项之一，还包括大量的社交媒体。所以要IP、要互动、要个性化定制服务，增强影响、黏住受众，最终拉动产业。

Imersive：沉浸式要求身临其境的感觉，对应到虚拟制作是图像仿真。即物理渲染现实，实时光效追踪和阴影。

声音：Channel Based（基于通道的音频）到Object Based（基于对象的音频）再到Scene Based（基于场景的音频）。

有人预期沉浸式有1.5万亿市场。因此在总体构架的基础上，内容的创作生产就非常重要了。

二、从目前技术发展看媒体内容创造与生产的进步

1. 技术不断进步

随着内容制作、创作的需求增加。内容生产的技术不断进步，工具集不断更新提升。

◆拍摄，写实记录，真实还原。从SD-HD到UHD4K/8K；

◆内容创造，从基础的三维动画，到接近现实仿真。如UNITY、Unreal Engine等。本文我们着重谈内容创作生产的部分。

◆AR：虚拟植入到真实现场，即创造的AR物体或元素从虚拟世界到现实世界；

◆VR：虚拟场景仿真，一般是真实物体或人物进入虚拟世界；

◆MR（VR+绿屏）：混合现实主体进入仿真虚拟世界，真实嵌入虚拟世界；

◆XR：AR+VR+MR=虚拟植入+虚拟场景+现实主体+现实场景。

扩展现实（XR）是一种技术，它允许用户在实时生产环境中使用增强现实（AR）和混合现实（MR）将虚拟和物理世界混合在一起，以创建完全沉浸式体验。

直观地说，XR是在MR绿屏拍摄的基础上，实现对大屏内容的现场实时渲染和生物主体的实时拍摄，省去绿屏抠像的过程。电视叫扩展现实，电影叫机内特效。

2. 技术进步的可行性

◆内容创作端（前）：以EPIC UE为例。它具备电影精度、实时渲染、库件结构等特点。有人看不上UE，说它出身游戏。但事实证明其沉浸式渲染+即见即得效率和效果+几乎免费授权，给内容创造提升了巨大的空间和活力，其在虚拟制作中的作用也越来越重要。

◆大屏作为被摄物成品显示端（后）：以自发光LED为例。亮度1500尼特以上，16比特灰阶，HD UHD以上间距点阵。虽然成本有点贵，但已经基本满足UHD内容的显示要求。

3. 产业拉动技术进步

产业的需求是：更高的质量（UHD）、更炫的效果（仿真）、更高的效率（制作周期）、更低的成本以及更好的开放性。

解决方案：通过技术融合、运营融合、协同解决质量和效率问题，在有限的制作周期内、尽可能控制人员成本，系统成本。可以系统和人员复用，多场景的快速切换等。可以在保证质量和效果的前提下多出精品。最重要的是可以更主动地创造。

三、典型案例

1. 电影：IN CAMERA VFX：EPIC Unreal与“曼达洛人”

如今，最复杂的设置将LED墙壁和天花板与摄像机跟踪系统和游戏引擎结合在一起，不仅可以实时播放内容，还可以通过跟踪系统与摄像机视点动态同步播放内容。结果使导演、演员和电影摄影师上演的场景比绿色或蓝色屏幕具有更高的真实感，并且有更多机会根据场景进行现场决策。

LED作为数字背景的使用构成了虚拟生产的重要组成部分，这种技术革命性的套件使导演、电影摄制人员和其他部门可以观看并经常实时操纵与数字图像和生物合成的实体和演员。

最大的变化是功能更强大的GPU与游戏引擎相结合，游戏引擎提供了用于实时渲染和光线追踪的软件。将它们与LED墙或巨型显示器放在一起时，电影人认为他们在现场所做的至少50％可以是成品。制作效率比传统特效电影的制作模式大大提升，并且可以做到场景的任意切换。

为了在2014/2015年度制作“Rogue One”，时代光魔ILM创建了CG动画背景来填充布景周围的LED屏幕。但是，当时的显示器除了用作光源外，还没有保真度用于更大的用途。现在，这项技术已经取得了进步：

一是大屏幕像素间距（从像素中心到相邻像素中心的距离，以毫米为单位）足够窄，可以拍摄图像。此外，面板还具有更高的亮度，更高的对比度和显示10位视频的能力。

二是来自Epic、Unity和Notch的游戏引擎也已经成熟，已经成为主流，变得更加容易，而nVidia和AMD的GPU处理已经以指数级的速度增长，可以实现实时合成。相比较于电视，这种实时渲染+摄影机跟踪拍摄的技术构架就是MR，只不过这次绿屏换成了大屏直接显示渲染内容。

理论上讲是MR的升级版，当然某些需要更多细节层次表现的场景，因为大屏的精度问题，绿屏还是不能完全被替代的。

系统基本构架为摄像机+镜头跟踪系统、仿真场景渲染系统、大屏、大屏管理系统、集控系统、同步时钟系统、合成系统（仍然需要绿屏）。

2. 电视：XR DISGUISE+WorldStage.2019NAB奖

XR Extended Reality在电视业首次展出是在2019年NAB。WorldStage与DISGUISE和ROE视觉合作，进行了扩展现实XR的展示，使制作团队能够在工作室环境中提供增强现实和混合现实。XR被认为是2019年NAB展会上展出创作层面的重要和有前途的新技术之一，荣获2019年NAB年度产品奖。

XR平台可以改善传统影视制作的多个方面，包括人物沉浸、与CG元素的交互、演员和真实对象的真实照明信息，可用于电影/电视和现场活动制作。与上面介绍的电影技术IN CAMERA VFX一样，它的基本构成也是摄像机+镜头跟踪系统、仿真场景渲染系统、大屏、大屏管理系统、集控系统、同步时钟系统、合成系统（仍然需要绿屏）。

XR的基础是MR。混合现实（MR）结合了摄像头跟踪和实时渲染功能，以创建一个身临其境的虚拟环境，可以在场景中实时看到并直接在摄像头中拍摄。通过在空间中使用高分辨率的LED屏幕或投影表面，MR可以使演员沉浸在虚拟环境中。

摄像头跟踪技术使这些屏幕上的内容能够实时生成，并从摄像头的角度进行渲染。使用虚幻引擎等工具，可以立即查看渲染效果并快速调整。这种技术的好处是无需进行任何物理更改即可更改场景的背景或照明，同时XR还可以使制作团队能够在工作室环境中提供AR效果作为将沉浸式技术与制作相结合可以实现的示例。

比较新的应用是Katy Perry“水果姐”。在2020年“偶像大结局”中的出色表现在沉浸式科技领域取得成功。在表演期间，凯蒂从通常的现实偶像中转移到一个卡通般的仙境中，在她周围移动并适应音乐。演出由于COVID-19导致节目切换为虚拟方式，该节目的制片使用增强现实和虚拟制作技术来远程拍摄该节目。

XR（扩展现实）工作流程之类的创新通过开发绿屏技术，允许创建完全身临其境的体验和高级技术机会，从而改变了生产过程。XR的虚拟布景扩展将演讲者或表演者置于比可用工作室环境更大的广阔环境中，从而带来了无限的机会，尤其是在人员和空间受到限制的时代。身临其境的技术还具有吸引观众并使他们瞥见虚拟世界的能力。使用社交媒体上的AR过滤器，可以让粉丝有机会加入节目的虚拟空间。

3. 社交媒体构建CG动画制作的沉浸式工作流

社交媒体构建CG动画制作的沉浸式工作流是另一种XR。

社交媒体的XR包括欧洲加速器项目、面向头戴VR、手机等终端。

（1）需求层面

虽然真人秀内容和故事片的虚拟制作是一个增长领域，但尽管在各种平台和格式上对高质量内容的需求不断增加，但动画部门的产能却不足。

一项2020年IBC加速器挑战旨在评估将扩展现实（XR）工具与实时内容引擎相结合作为动画制作新方法的潜力。

（2）建设目标

挑战将调查四个领域：XR创建工具、工作流、跨媒体制作和融合。其目的是提供一个概念验证（PoC）实时计算机生成的制作模型，使动画内容的创作者和讲故事者能够在任何平台上接触到观众。

一个关键目标将是如何通过展示XR设计技术使创作者能够通过不同的格式（包括短格式广播动画视频、实时社交媒体视频、短格式互动AR故事、冒险游戏和3D打印产品）将故事带入生活，从而促进跨媒体故事讲述。

将新工作流应用于每种格式的可交付成果，例如概念艺术、视觉设计、声音设计、情节提要、动画、照明、表面处理、渲染、交互等等。利用XR和实时技术来促进和增强创作过程的迭代性质，并为已建立的生产模型寻求更强大的解决方案。

新工作流可使用平板用户界面创建三维资源，具有XR原生空间设计和故事讲述工具的沉浸式用户界面，具备优势：通过预演可节约1/2的时间，动画速度提升25%~90%，更加直观并可重塑修改，方便实时协作，可跨媒体发布。

加速器项目还将寻找各种生产工作流之间的协同作用，以确定主资产创建的最佳实践，以及针对不同格式的优化版本的后续生成。

通过构架设计提供从预生产到最终交付的已建立工作流的替代方法，可直接解决孤立方法和线性方法的难题。开发一个统一的资产创建过程，该过程可以跨输出格式进行扩展，展示这种创造优势和商业潜力。这种革命性创新取决于两个关键点，一是实时渲染引擎的支持，二是跨平台的标准化。

Khronos集团已正式宣布OpenXR 1.0规范，这是朝着把虚拟现实（VR）和增强现实（AR）进行交互的各种不同方式整合在一起迈进的激动人心的一步。

对于电脑上可能与Linux游戏相关的内容：Epic Games表示，他们计划在Unreal Engine中支持OpenXR 1.0。

四、中央广播电视总台的技术发展

2018年，中央电视台拟搭建全球首个4K非压缩MR实时数字特效制作环境。命名为IMR原创混合现实。

这种设计、置景、动画、调色、效果、预演、录制现场实时调整与反馈等多工种一体化协同作战，为节目带来了不同以往的沉浸式混合现实的特效效果。

本次整体技术环境包含现场拍摄系统、拍摄控制系统、数字内容制作系统和内容交换管理系统。依托Unreal实时渲染引擎实现影视级特效渲染输出，ACES色彩编码系统进行色彩管理，12Gb视频交换实现4K全流程非压缩拍摄。最终实现4K实时特效镜头的成品级输出，同时达到特效镜头画面的质量和全流程制作效率的整体提升。这种集多项新技术及流程组合工艺在4K高端制作上的应用在国际上也属于首创。

本次技术制作中心组建了以央视数码特效为核心的技术制作实施团队，参与工种仅央视数码特效团队就包括：系统设计搭建、视觉导演、设计组、模型组、动画组、置景组、现场调试演播组、视频组等30人的团队；其他如演播室、置景、灯光、摄影机、摇臂、录音、后期等已完全囊括了整个所有技术工种，是全力支撑4K节目争先创优的一个团结、协同、提高、共赢的盛会。从效果上看，我们用了不到两个月时间完成原来需要8个月以上的工作量。

在基础构架上IMR包括了摄像机+镜头跟踪系统、仿真场景渲染系统、集控系统、同步时钟系统、合成系统等。与XR系统相比仅差大屏、大屏管理系统。这是因为IMR项目启动是在2016年，实际制作是2018年。2019年，我们也看到了大屏显示精度的提升与应用，应该说与国际上是不谋而合。所以总体上看，我们与国际技术发展趋势与应用的方向是一致的，但应用细节需要测试，特别是对于UHD的技术参数要求。

2018《飞向月球》我们解决了UHD 4K和HDR的问题，2020年的春晚我们通过HLG解决了特效实时渲染与现场4K直播拍摄的HDR与SDR兼容匹配的问题。这些实际上在国际案例的应用上可能还存在问题。

五、存在的问题与挑战

第一，创作内容的渲染应该没有问题，只会更好。而显示大屏存在诸多疑点。比如质量（能否满足UHD要求与技术规范）、控制、接口以及延时、光照等。内容实时渲染的高品质、即见即得，库件结构是第一个指标，是保证效率的基础指标。

建议再往下到显示端大屏的应用可以是分级的，从高到低：如电视（HD/UHD）、电影、还是社交媒体？UHD及HDR是第二个指标，包括不同的清晰度、动态范围、色域、帧率等。当然需求就是解决问题的动力。也许不久的将来，随着技术的进步，大屏的仿真显示，满足多维度的UHD要求应该能得到解决，对应HD（SDR）和新媒体端当然也就更容易了。

第二，边界模糊或者称融合。到底电影、电视、游戏还是电竞与社交媒体？大家的创作过程和产品接近，未来可能进入融合。会通过怎样的方式融合？笔者觉得应该包括如下方面：

◆ 创作融合：导演方式变了，创作方式也变了。可以边设计编修改剧本，或者是技术与导演一起编写，创作手段更为丰富；

◆ 技术融合：制作工种边界模糊，后期前置？前期后置？谁是前、谁是后分不清了；

◆ 制作工艺融合：从原来的物理制景到如今的电子制景、更多需要电子美工？好处是创作的群体多了，内容会更加丰富，但怎么分工协作是个问题。

第三，项目组织协调管理：对于这样的创作群体，机构组成与常态生产不一样，运行机制变化，剧组式的项目制、多工种协同合作怎么管理？

第四，要加强建设景库，针对库件结构快速调用和再创造，实现产业化发展。但相关标准与规范尚未建立，关乎成果共享、互联互通和跨平台的愿景实现。

第五，未来在强化本地协同一体化作战、紧耦合的基础上，加入云+5G概念，不仅对应电视，还可对应社交媒体，打通内容汇聚、云渲染、边缘加速传输、远程制作等。

六、小结

XR好处与优势：质量、效率保证，即见即得的效果和修改重塑或即兴创作、主创团队多工种协同，现场一体化制作。不仅后期前置，也可以前期后置，大场景往前，小场景往后。不需用很大空间、很多灯具照明。电子场景可快速循环，不受地域限制可随心所欲地讲故事，提高生产效率。所以从全面提升创作质量、效率、降低成本的目标要求，从AR、VR、MR到XR总体的发展方向是对的。

XR技术为我们提供了更广泛的创作空间，其最核心的支撑是虚拟创作的沉浸式实时渲染。但正如我们文中所说，创作型的工作，系统的建立固然重要，但更重要的是创意，好创意才能讲好故事。希望XR技术能给广大的影视工作者带来更美好的未来。

来源：选自2020年第11期《现代电视技术》