本文来源于：南艺设计数媒

文章编辑：于   西

指导教师：童   芳

Introduction

“音画互动”在当今是一个较为新颖且热门的词汇，它涉及到人的听觉与视觉，两种感官系统的协同工作。人们自古就有展现美的冲动，并且这种展现的方式多种多样。

“大珠小珠落玉盘”即为诗人白居易对琵琶音色与律动的诗意化描述，这是声音之美的文学表现。当然在如今新媒体时代背景下，人们有更多的方式去呈现声音的抽象之美。

通过计算机技术生成的音画图形

笔者出于对音画互动的兴趣，从实验的角度着手进行了许多充满趣味性的创作尝试，因此也积累了一些较为实用的经验希望与读者朋友们分享，本文即从音画互动案例与笔者的音画实验两个角度，为你带来一次音画互动的初步探索之旅。

■ 起源：声音艺术

■ 声音的理性研究

■ 震动的可视化

■ 基于算法的音画互动

■ 如何构建音画互动

■ 音画互动初探·创作实验

在声波震动下变化的数字图形

Colourwave(sound visualization test)-Cpis Keegan

「起源：声音艺术」

  Origin: The Art of Sound

“声音艺术”的概念出现于二十世纪六十年代，在八十年代开始流行，诸多艺术家开始关注到“声音”的形态之美上。虽然声音本身在听感上是抽象的，但是通过艺术家的创作手法，让其与视觉进行关联，就能在欣赏声音的同时，有了视觉的直观感受，通过这样的表现手法，艺术的欣赏活动变成了一种沉浸式的过程。

通过视觉与听觉融合创作，“音画互动”在当今已成为较成熟的艺术创作手法。这种运用到声音与视觉的创作，不但出现在艺术馆、舞台或是现场表演中，还能在设计展示中追寻到它们的身影。

计算机下的音画互动表现

「声音的理性研究」

  Scientific research of sound

最早运用科学的方式研究并呈现声音的实验，可以追溯到1787年克拉得尼的金属板震动实验，从而得到的“克拉得尼图案”。他通过用琴弓震动金属板来使细沙产生不同的图案。

1787年 “克拉得尼图案”

对声音的理性研究在18世纪60年代又出现新的进展，瑞士科学家汉斯·杰尼发现了声音对人体的治疗功效，以及不同的声音对人生理的影响（如舒缓的音乐可以让人心跳速率降低，心情变得平静），外界的声音震动同样也对我们身体的器官、细胞产生作用。

结合克拉得尼的震动实验，科学家们发现在外界的一定频率震动下，随之共振的物体都会达到一种平衡和谐的状态，震动的频率改变，这种动态和谐的状态也会改变。这便是“音流学”，即人们通常所说的“Cymatcis"。

汉斯·杰尼(Hans Jenny)

“Cymatcis”

伴随“音流学“的继续深入研究，科学家们发现介质在震动载体上形成的图案不仅能形成丰富的图案，同时这种图案伴随着震动的频率（声音的音高）还会按照一定的规律变化。下图为钢琴的不同音高触发形成的不同图案。

“Cymatcis”在钢琴不同音高下的表现

「震动的可视化」

  Visualization of vibration

通过物理震动来形成图形，是最早的声音可视化的创作手法。自克拉得尼的金属板实验之后，出现了一系列音画互动类别的艺术创作：当代艺术家Gary Hill通过喇叭震动米粒的作品《冥想（重塑声音）》；韩国留学生Lisa Park的《Eunoia》的脑电波识别交互作品，通过脑电波的活动过程，将其转化为声音，再将声音通过喇叭震动上放的水体，视觉化的呈现出来。

Eunoia-Lisa Park

这样的创作通常需要算法的辅助，如《Eunoia》，但算法在作品中只起到了信号交互的作用，而作品的内容更多的是在表现声音的特征，或是说借助于视觉来放大听觉上感受，就像在《Eunoia》中，脑电波的剧烈活动或触发大音量的声音产生，而音量的“大小”可以通过水面波动的“快慢”来在视觉上直观感受到。

笔者的尝试

以震动作为生成画面的基础，笔者通过喇叭震动水面的方式，用摄像机垂直记录下了水波的动态变化。之后通过软件后期合成，对画面进行后期调色处理，实现了“音画互动”的效果。

摄像机记录下的水面震动

「基于算法的音画互动」

  Audio-visual interaction using algorithms

算法艺术创作如今通常以计算机程序的方式进行，不同于其他的艺术创作的过程，算法运行来构建视觉内容，往往以“遗传系统”的方式进行，例如设定一个原始的规则，及触发条件，来使计算机通过规则往复运行叠加。使内容进行丰富，而这个过程的最终效果往往难以提前被预期。艺术家将声音介入到算法的运行中，通过拟写算法来提取声音的播放参数（响度、音高、midi数值等可被计算机识别的信息），通过将参数代入到程序中，来控制生成视觉图形。

通过算法生成的图形

算法艺术的魅力来自于它的变化无穷，借助算法的艺术创作，总是能够在不经意间生成一些独具审美味道的视觉效果。通过使用算法，实现音画互动的构思方式，更加适用于生成未知效果的创作目的。同样需要艺术家掌握丰富的计算机编程及数学知识。逻辑的构建是这种创作模式的核心，艺术家充当了规则设定者的角色。

笔者的尝试

基于算法的音画互动构建工具有很多，当今流行的编程环境有processing、Touchdesigner、MaxMSP等。笔者习惯于使用Touchdesigner，因为它易上手，且集成了许多程序算法语言，使用者只需要通过节点化的连接操作，便可以完成许多复杂的程序搭建。

 “该内存不能为read"音画互动

"该内存不能为read"是笔者使用计算机算法构建的音画互动作品，程序通过识别音频的低频信号并将其数字化处理，转化为字符与噪波图形的变化。

“多边形"音画互动

"多边形"通过算法提取音频信号，将瞬时音量响度的数值对应到多边形的边数量中。在声音播放的同时，多边形便出现了“舞动”的效果。

「如何构建音画互动」

  How to build audio-visual interactions

互动首先依赖于信息的实时调取，当今主流的可以实现声音信息调用，且广泛应用于艺术学领域中的编程平台，笔者为大家分享三种：

·processing

·Touchdesigner

·MaxMSP

#Processing

当今通过算法构建互动的过程，越来越依赖于计算机的帮助。在计算机平台上的开源编程环境，让程序的创建变得更加便捷高效。Casey Reas与Ben Fry开发了Processing，一种面向电子艺术环境的计算机语言。在Processing中使用者可以通过编写代码的方式来创建静态或动态的计算机图形，并且通过算法的逻辑实现互动。

Processing的工作界面

通过Processing来创建音画互动，还需要安装Processing内的“第三方库”才能进行。用户需要安装minim library并对其调用，即可实现声音文件的播放，并且实现对声音频谱内容的实时调取。之后，便是创作者进行艺术发挥的工作阶段了！被数字化的实时声音信息基本可以对应到Processing的任何图形变量中，这是通过Processing来构建声音可视化的一个基本思路。

Raven Kwok（郭锐文）-Processing音画作品

Raven Kwok（郭锐文）的作品189D3便是基于Processing代码生成的视频，运用了极坐标系中的K-D树结构生成的音画互动。从视频中可以看到代码在运用到动态影像的创作中时，带来的复杂且惊艳的视觉效果。

#TouchDesigner

这是Derivative开发的一款广泛适用于新媒体领域的节点化编程平台。节点化即为将诸多程序语言，由软件工程师在开发前期就将其打包在了程序的模块中，使用者在后期使用中，只需要将其功能模块进行节点化的拼接，即可实现预期的功能。

Touchdesigner的工作界面

节点化的优点在于让工作变得更加简单且高效，设计师或艺术家无需学习大量的程序语言基础，便可以开始进入到艺术的创作过程中来。使用Touchdesigner来创作音画互动的过程会更加方便，因为TD中已经内置了声音模块，可以实现：声音的调用、声音播放及频谱分析等功能。

NOMAD LIVE视听激光装置

NOMAD的激光装置通过TouchDesigner来工作，因为TouchDesigner中内置了丰富的接口可供传感器工作，而且集成性的优势让它受到许多当代新媒体艺术团队的青睐。

#MaxMSP

Max是由Cycling'74开发的节点化可视编程平台。更新至今天，平台内已经具备了成熟的工作系统：Max（信号处理模块）、MSP（声音模块）及Jitter（图像处理模块）三个部分。它们共同工作于Max平台中，来执行不同的功能。

MaxMSP的工作界面

Max同Touchdesigner一样通过节点化的方式进行工作，也同样将大量的基础程序语言集合在了不同的模块“object"中。但是Max相比其他的编程环境，在声音的处理上显得更加专业且强大，因为它具备更加专业的，针对于声音处理的MSP系统。不仅是用来制作音画互动，即使许多声音设计师也会选择使用MaxMSP来进行实验性的工作。

Sem Shimla的MaxMSP音画实验

艺术家Sem Shimla通过MaxMSP进行艺术创作，使用MSP来合成音响，并将音响的特征通过Jitter模块创建三维图形。由此能看到MaxMSP在声音与视觉的创作中，其自身功能的集成性与完整性之高。但同时也决定了其学习的难度性，也处于较高的位置。使用者需要对声学有一定的科学理论基础，才能发挥出Max所具备的功能优势，制作较为完整的作品。

「音画互动初探 · 创作实验」

  Creative Exploration and Creative Experiment

笔者在之前进行了诸多的音画互动创作实验，使用了不同的平台及向诸多新媒体艺术家学习的思路经验，至今转化为自己一些理解，在这里希望与大家一起分享学习。

Step1.首先笔者接触的平台是Processing，因为笔者先前并无计算机语言基础，因此在学习和创作中，语言与计算机逻辑对于笔者是一大难关，但Processing的学习算是一种启蒙的过程，它能够让你理解计算机图形的过程，并且以理性的角度认识计算机的工作方式。

Step2.之后笔者接触到了TouchDesigner与MaxMSP，并且被它们简便直观的使用方式所吸引。加之笔者先前有过音乐创作的经验，很快对音画互动这种创作方式产生兴趣。

下视频为笔者积累的音画互动实验合辑，其中多为TouchDesigner创作完成：

笔者音画互动实验合辑

随着学习的深入，笔者也开始发现并非所有的音画互动艺术都基于计算机的算法来实时工作，如在当今诸多的音画互动Live中，艺术家可能会使用结合“实时渲染+离线渲染”的复合方式来进行创作。如果要说原因，笔者认为“离线渲染”的艺术作品具有更高的可控性，因为“离线渲染“的工作模式是需要创作者直接介入参数的控制中，因此创作者能更加直观的从全局效果来把控视觉的设计。

舞台投影“地下二十三米”

音画实验影像“秩·度”

“地下二十三米”是笔者使用AfterEffect通过“离线渲染“的方式制作的舞台艺术投影，影像并非使用上述三个提及到的编程平台完成，而是通过音画对位的方式，手动绘制结合关键帧的方式完成。而笔者认为：此舞段的配乐优美节奏缓慢，并无表现乐曲节奏点，因此更加适合使用手动控制的方式来构建音画互动。

“秩·度“实验影像中，笔者使用了“离线渲染”与“实时渲染”结合的方式来创作。在视频中间一段，声音开始出现节奏点，并且气氛开始凝聚紧张，因此使用了频谱的提取，来监测低音的音量，将其转化为背景图形的跳动来渲染气氛。

观赏过音画互动艺术的大致面貌后，你的脑海里是否会有一丝新鲜感划过呢？当今新媒体的时代是多可能性的，因此艺术世界也在变得更加自由与创意化。音画互动是一种审美的方式，同时也是指引我们认识抽象声音世界的钥匙。

请用耳朵聆听，用眼睛观看，用心去感受。

 参考资料

[1]感知艺术[M]. 中国人民大学出版社 ,(美)丹尼斯·J·斯波勒著,2014

[2]声音艺术简介[J]. 罗伯特_沃比

[3]声音可视化中“音流学”的研究与探索[D].徐百鸣.中国美术学院 . 2018

[4]声中有形-白噪音可视化研究[D].凌炎.浙江理工大学 . 2019

[5]声音合成与采样技术[M]. 人民邮电出版社,(英) 拉斯著,2010

[6]科技与艺术[M]. 湖北人民出版社,阎平著,2013

[7]新媒体与西方数码艺术理论[M]. 学林出版社,黄鸣奋著, 2009

 扩展阅读 

How Sound Affects You:Cymatics,An Emerging Science: https://i-uv.com/how-sound-affects-you-cymatics-an-emerging-science/

视听共振：声音的视觉演替：https://mp.weixin.qq.com/s/tVD5CXrDylAcywYWZfwAmg

END 

©️ 以上内容版权自

设计师与指导教师。

未经允许，请勿转载，谢谢合作。