Project Echo 背后的设计理念

Project Echo 是由 POSTRED 创始人兼声音艺术家贝索•卡查拉瓦 (Beso Kacharava) 打造的沉浸视听体验项目。这个项目旨在带领来访者踏上一段穿越潜意识的奇幻之旅。在此过程中，Echo 会引导您完成这段体验。Echo 是个形态不定、不可捉摸的伴侣。它或许会让您联想到《双峰》、《湮灭》或《降临》等作品中的超现实遭遇。

事实上，Project Echo 的概念由贝索•卡查拉瓦酝酿了很长时间。他的设想是给来访者提供一个独特的机会，让其可以审视内心深处的自我并与之互动。随着 POSTRED 与联合国教科文组织建立合作关系，然后第比利斯被指定为 2021 世界图书之都，这个构想变得逐渐清晰起来。贝索解释道：“这次机会促使我将这个想法转变成了切实的项目。我希望运用各种艺术媒介来为这一概念注入生命力，着力打造一个让人能够与自我深度互动的沉浸空间。”

Project Echo 采用了一种独特的结构。在其中，来访者将依次体验一系列生成式的轮次。每个轮次都融合了画面和声音元素作为探寻线索。我们精心设计了每个线索，来使其与来访者产生共鸣，以设法激起情绪反应、唤起过往记忆或触动感官体验。

每个轮次之间都会循环回到 Echo's Chamber – 在此，Echo 会向来访者抛出一个谜题。来访者要在平板电脑上选择答案。这个答案会决定后续旅程的走向。系统也会据此引导来访者进入下一轮次。同时，环境会自我重组为全新的场景。

在第八轮出现意想不到的转折，旅程骤然中断，Echo 再次现身。这次蜕变成了一个更黑暗的存在，具象地反映来自内心深处的恐惧。这个幽暗的 Echo 犹如对荣格阴影原型、洛夫克拉夫特式黑暗或斯蒂芬•金悬疑作品的致敬。在回答 Echo 的讯问后，来访者会被带到第九轮。

在到达这最后一站时，来访者将经历一场象征性的重生，最终回到起点。完成整个循环后，旅程重新开始，等待下一位来访者体验。这种循环结构设计鼓励来访者多次到场体验，同时确保每次游览都能带来全新的独特体验。

Project Echo – 为联合国教科文组织 2021 世界图书之都第比利斯准备的宣传片 (Vimeo)

反响

自启动以来，Project Echo 项目获得了来访者的热烈反响。很多人觉得这次体验对自己触动很大，让自己思绪良多。项目非常受欢迎，名额被迅速抢光，整个展览期间的日程安排全部满员。来访者络绎不绝，展览不得不延长一个月以满足大家高涨的体验需求。

每位来访者在设施内的停留时间有很大差异。有的只花了短短十分钟，有的则完全沉浸其中，足足待了四十分钟。令我们惊喜又欣慰的是，几位来访者被深深打动，以至于离开时泪洒当场。

技术执行

我们希望可以让来访者沉浸在设施中追寻存在的意义和目的。不过在开始创作之前，我们要先找到完美的空间场域，以便后续设计声音和画面效果。为此，我们在格鲁吉亚第比利斯 Artarea 画廊的一间展厅里安装了巨大的镜面作为 Echo's Chamber。每位来访者将坐在舒适的沙发上，四周环绕着由 7 个扬声器组成的环形低音炮音响系统。作为画面设计的起点，我们希望通过这些镜面增强来访者对空间纵深和维度的感知。所以，镜子必须严丝合缝地对接在一起。这对施工团队来说绝对是个不小的挑战。

Project Echo 的技术原型是由声音设计师乔治•穆尔古利亚 (George Murghulia) 使用 MaxMSP 制作的。它在技术布局的早期开发中发挥了重要作用。不过，我们最终改用了 Unity 2021 + Wwise 这一组合方案。这为构建更加复杂的视听系统提供了更多可能。

来访者的体验从等待模式开始。声音与画面元素一起同步脉动，为来访者营造出一种沉浸氛围，让其对接下来的体验充满期待。在平板电脑上选择语言之后体验正式启动。它将引导来访者进入 Echo's Chamber，在那里 Echo 会向来访者抛出一个谜题。回答后会将来访者带到与问题对应的轮次。

在 Wwise 中，每个轮次都有一组独特的声音；在 Unity 中，则是与之对应的画面效果；两种元素动态生成并实时交互。轮次之间体验的进展和每个轮次要传递的情感选择都受到了“英雄之旅”叙事框架的启发。

在完成每一轮次的循环并经历重生之后，程序返回等待模式，代表整个体验结束。不过，来访者无需离开房间就可再次体验整个过程。

乔治•穆尔古利亚说：“我们面临的一项挑战是在不同场景之间实现平滑过渡，既不破坏来访者的沉浸感，又可以突出选择的重要性。而且，这些选择不应有对错之分。”稍后，我们会探讨如何通过声音来控制画面。这样可在各轮次之间实现强有力的转场效果。

音频设计

我们使用 Wwise 构建了所有音频系统，充分运用对自定义多声道布局的支持，并针对特定环境和环绕扬声器系统做了适配。

每个声音都要将来访者带入特定场所并与之产生共鸣。设计难点在于制作一系列自动生成、相得益彰的声音和分层。贝索•卡查拉瓦说：“这些声音要足够具体，能唤起来访者对生命中特定声音的记忆，同时又要足够模糊，以充分涵盖不同文化背景的人群。”最终，团队选定了海边、体育场、飞机和地铁等熟悉环境，同时还融入了矿井、未来城等精心设计的罕见场景。

目标是营造一种动态变化且富有表现力的氛围。为此，贝索及其团队采用了与电子游戏的环境音效相同的设计方式。首先构建一个包含 Bed 音轨和上百个分层的声音结构，来反映汽车驶过、鸟儿鸣叫、呼唤、喊叫等特定声音。

除此之外还有一个难题，就是为声音设定适当的周期。团队为此尝试了各种不同的方案，最终决定在 Wwise 中以可控方式生成声音。“聆听真实的雨林声音让我在冥想中汲取灵感”，项目设计者贝索•卡查拉瓦说道：“你会慢慢听出鸟儿啁啾、风声呼啸与雨声滴答的规律；在理解这一概念之后，我们就能突破单纯为声音间隔赋予随机值的局限。在找到‘受控随机性’和恰当声音的完美配比之后，真正的魔力才开始显现 – 我们可以借此让环境与来访者产生共鸣。”不过，在整合声音之前要考虑环境元素在 DAW 之外的运作方式，因为在应用随机化处理的过程中模式关联很容易受到破坏。

下面我们来举个例子简单说明一下狗叫声如何构成村庄的标志性声景。通常，会有一条狗先开始叫，别的狗随后会跟着叫。在 Wwise 中有两种方法再现这一效果：要么将狗群吠叫声序列渲染成文件并导入到 Wwise 中，要么就要拆解狗的社交互动逻辑并重新构建相应行为。两种方法都可以；不过，第二种更具挑战性，但感觉更真实一些。

为此，我们需要创建包含随机狗叫声子容器的 Random Container。虽然子容器中的样本应该包含短片段，但也可包含多个吠叫声以增强真实感。这些样本本身可以是独立的小序列，本质上构成合乎逻辑的简短吠叫声。

在设置好 Random Container 之后，我们为狗叫声构建了不同的序列。记住，总有一条调皮的狗率先引发混乱。比如，在这个组合中，4 个狗叫声之间有触发延迟间隔（随机设置，最长 3 秒），听起来真的跟村庄里的狗在叫一样。

通过反复测试和验证，我们创建了多个作为村庄声景元素随机触发的序列。

鸟叫声也可以这样处理。

其中一个重要考虑因素是各个声源（如狗叫声、鸟叫声或嘎吱声）在发出声音后并不会消失。这样声景听起来会比较自然。 

音乐设计

Project Echo 的配乐由兹维亚德•姆格布里 (Zviad Mgebry) 创作。他致力于创作以音色和情感为核心而不拘泥于特定流派的音乐。兹维亚德说：“自由的概念激发了我的创作灵感；我希望创造一种音乐形式，它既能适配来访者的决策，又能保证调性上自然流畅。”

对于这个项目，我们要创造一种能跟声音和画面完美融合的音乐语言和音色。为此，兹维亚德与 POSTRED 内部音频工具团队合作开发了名为 Echo Toolkit 的虚拟乐器。

我们为音频工具设计了两种类型的乐器：固定型和程序型。 

• 固定型乐器遵循特定规则，并能做富有表现力的演奏。 
• 程序型乐器则相反，其基于算法和可变参数生成声音。 

在开发 Echo Toolkit 时，我们最初使用了 Kontakt 采样器做原型设计。因为其强大的脚本编写和调制功能，我们最终决定一直沿用该采样器。兹维亚德说：“我想把传统乐器做成全新形态，以创造出更多类似木琴的乐器。设想一下不是像打击乐器一样敲击单架太鼓，而是纯粹通过键盘来演奏完整的旋律。”

我最初的构想是利用能够无缝适配来访者选择的算法来生成动态配乐。但要知道，在有更重要的项目紧锣密鼓地推进时，实验性的艺术项目往往会被搁置一旁。最终，我们决定采用一种更稳妥的方案。这样既能达到同样的效果，又能马上就用，风险还小。我们在不同条件下对 Echo Toolkit 的输出做了深度采样并在 Wwise 中模拟了相应功能。

最初，兹维亚德将声音分别定位在了七个扬声器中，但后来改成了通过声场动态呈现声音和乐器。Echo 空间的声学效果已经很不错了，所以我们就没有另外添加混响效果。 

动态画面设计

Echo 形态的研究与实验

卢卡•莱巴尼泽 (Luka Lebanidze) 从自己的角度讲述了整个过程：作为 Project Echo 的技术负责人，我希望在执行过程中实现独特而又自然的体验。从一开始我就知道，要设法将画面和声音元素有机地融合在一起。

音频领域的各位早已见惯能够以程序化方式对音频做出反应的动态图像：曲线、粒子、仪表和波形。作为声音艺术家，我们在很多地方都见到过这种视觉呈现。比如，在音乐应用、插件、硬件甚至电子游戏中。虽然这些元素已经很普遍，但依然还是美得让人着迷。波形这种有机形态就一直让我很着迷；在过去的几年里，我偶然发现了示波器音乐这一流派 – 一种基于声音生成图像的音乐形式。受这个小众领域的艺术家用声音、激光和示波器打造的各种炸裂作品启发，我决定试着把它当作一个硬核爱好。现在我很庆幸自己当初做出了这样的决定。

在捣鼓的过程中，我发现一个至今仍让我很着迷的现象：在通过示波器观察两个信号叠加并做不同的参数调整时，可以直观地看到波形在两者的相互作用下不断变换形状。

有的时候生成的画面很混乱。不过一旦找到契合点，画面就会神奇地律动起来。听到的跟看到的完全合拍。

在下面的视频中，可以看到信号 #1（绘制立方体）的频率被固定在 55 Hz，对应 A 音符；在慢慢调高信号 #2（呈金字塔状）的频率时，方形图像开始破碎并以不同扭曲形态重现。

使用八度和不同的音程可以产生奇妙的画面效果。所以，对于 A 音符，频率的契合点为 55*n Hz。在不同频率之间切换时，图像会在音频听起来和谐悦耳的时候形成美妙的形状。同样，听到的跟看到的完全合拍。在将信号调到毫无关联、听着刺耳的频率时，画面会变得一团糟 – 混乱不堪，毫无章法。

在将信号 #2 调到 440 Hz 时，A 音符会形成更稳定的图形，因为它与 55 Hz 的信号 #1 构成八度关系（后者成为基频）。在将信号 #2 微调到 440.37 Hz 的时候，真正的魔力才开始显现。图像开始脉动，线条形成奇妙的旋转纹理。这在之前是没有的。这些图形最终形成复杂而精美的曼陀罗式图案。 

在我眼中，示波器呈现的图像仿佛揭示了自然界本质的存在形式。我总觉得波与波相互作用的图像似乎蕴含着宇宙的某种基本法则。振动是自然界的一种基本现象，甚至可能适用于世间一切事物。

熟悉硬件示波器的人应该都知道一种叫“利萨如图”的图案。利萨如图是由两条相互垂直的正弦曲线相交形成的图案。对此，我想深入探索利萨如图具体都能做些什么，找到能在 Echo 游戏引擎中应用的实现方案。

（我把之前提到的部分硬核实验的结果作为背景动画发布在了 POSTRED 的 Game Audio 页面上。）

在设法快速使用利萨如图做各种实验的时候，我发现在线的 Desmos 图形计算器非常好用。

通过在 Desmos 图形计算器中尝试设置不同的参数和三角方程，我成功地为 Unity 构建了一套独特的粒子运动逻辑。我把自己的 Desmos 方程转变成了 Unity 的 VFX 图形粒子系统；通过 Wwise 输入的实时参数，我们可以生成令人舒适的动态画面。通过在方程中添加乘数变量（m、n、i、j 等），可调节图形的对称性和扭曲度；这些变量会被指派给从 Echo 声音接收的游戏参数，从而实现粒子图形的变换。

下图举例展示了一个非常复杂的纽结结构。我称之为“精灵图形”。仔细看的话会发现这些图像乱中有序，行为跟我在前面说的示波器图形一样。 

顺便提一下，Desmos 非常适合用来向我们学院声乐专业的学生讲解简单的音频及合成概念。它方便以图形的形式直观地展示不同声音之间如何相互作用，以及在滤波、多普勒变换、加法合成和减法合成等物理过程中会发生什么。

下面举例展示了通过类似方程在 Desmos 中创建的粒子。随后，其将被转变为 Unity 的 VFX 图形粒子运动。

创意在 Wwise 和 Unity 中的执行

接下来，要将图案与音频波形和频率绑定。为此，我们使用了 Wwise Meter 插件将音频电平转换为 Game Parameter。然后，将其与通过 Desmos 设计的方程绑定，并使用 Unity 中的 VFX 图形进行集成。

上图是等待模式声音的简单示例：在体验开始前播放的脉动低音。在音频振幅升高时，粒子开始扭曲。振幅会被转换为 Game Parameter，并作为变量之一输入到粒子方程中。另外，声音设计师乔治•穆尔古利亚还将 Game Parameter 值输出绑定到了 Arduino，并通过控制 LED 亮度来引导来访者在黑暗中找到沙发。

对于更为复杂的声画交互情形，音频频谱中不同频率的振幅会影响画面效果。对此，我们需要通过定制解决方案来从 Wwise 提取音频频谱数据，或者手动拆分频段并创建多条辅助总线。不过，我们无需担心会对这里的音频做怎样的处理，因为这些信号仅用于驱动 Unity 中的着色器和粒子。

让 Echo 形象鲜活起来

Echo 实体形象的灵感源自卡尔•荣格原型理论中的阴影。它代表我们心智中无意识的部分，包含被压抑或被隐藏的人格特质。

我想用非常直观的形状，其概念源于自然的本质。最终，球体这个想法打动了我，因为其所有边缘跟中心的距离都一样。球体是现实当中不存在的理想物体。就像在 Project Echo 项目中，Echo 承载着纯粹的答案，而我们永远无法触及答案的真实本质；所以，最好的做法是让球体表面产生波动，并将球体的形态隐藏在噪声之中。这跟我们在示波器和 Desmos 图形计算器实验中发现的合唱/曼陀罗效应如出一辙。为此，我将噪声注入到了球体的几何构造中，并将波动乘数指派给了 Echo 声音的振幅和频谱。另外，我们还录制了 POSTRED 执行合伙人蒂娜•巴巴基什维利 (Tina Babakishvili) 为 Echo 配的语音。在蒂娜说话的时候，Echo 的几何构造会随之发生变化。

有趣的小插曲：

虽然我们最初充满期待，但在 Echo 开放的第二天，我们就遇到了始料未及的问题。

事实上，由于控制画面的方程使用了游戏引擎的游戏时间来计算运动，程序虽然能正常启动，但会缓慢而持续地加速，在单次体验当中很难察觉。因为在开发测试当中程序最多运行 1 个小时，所以我们并没有发现这一问题。这个关键细节被我们忽略了。最终，在运行 3-9 个小时之后，画面的程序化动画骤然加快，导致给来访者带来了截然不同的体验。这种体验的强度远超最初的预期。

当然，我们不可能让问题一直持续下去。经过一番排查，我们终于找到了导致设施失控的根源。为此，我们为每个体验循环添加了时间参数重置功能。这样应用程序运行时长就不会再影响体验了。所以，如果您是在前两天的晚上来的，可能就体验到了限量版 Project Echo！

最后总结

跟我一起参与开发项目的萨巴•拜多什维利 (Saba Baidoshvili) 说：“当你坐在漆黑的房间里，躺在非常舒适的沙发上，周围环绕着七个扬声器，看到镜子中呈现的绚丽画面，在一片漆黑中产生无尽空间的错觉，你开始思考存在的意义。这种感觉独一无二：在项目上线前每天测试项目是一段难忘的回忆。”

如果条件允许、时间合适，我们很乐意做 Echo II。这次探索让我们深刻了解了如何使用日常工具实现完全不同的效果。