Kid A Mnesia Exhibition은 Radiohead의 앨범 Kid A (2000)와 Amnesiac (2001)을 위해 제작된 음악과 아트워크를 담은 2021년 디지털 전시입니다. 프로젝트를 담당한 오디오 팀과 만나 개발 과정, 협업, Wwise 활용, 도전 과제와 독창적인 솔루션, Spatial Audio 등 다양한 주제에 대해 이야기를 나누었습니다. 흥미롭게 봐주시면 좋겠습니다! 

1. 상호작용 경험 Kid A Mnesia는 어떻게 시작되었나요? 처음부터 제작에 참여하셨나요? 개발 과정의 창의성을 최종 결과물과 연결해 주는 뚜렷한 비전이나 비전을 제시한 사람이 있었나요?

매튜 데이비스(Matthew Davis), 프로듀서 : 이 아이디어는 본래 밴드의 Kid A / Amnesiac 시기에 만들어진 방대한 양의 오디오와 비주얼 아트워크를 선보이는 오프라인 전시 개념에서 시작되었습니다. 팬데믹을 비롯한 여러 제약으로 인해, 이 아이디어를 가상 전시로 구현하려는 움직임이 2020년을 거치며 점차 구체화되었습니다. 밴드, 나이절(Nigel), 프로젝트 디렉터인 션 에반스(Sean Evans)와 몇 차례 회의를 가진 후, 이를 Unreal과 Wwise로 구현하는 것이 이 컨셉을 온전히 펼칠 수 있는 새로운 가능성의 세계를 열어준다는 사실이 분명해졌습니다.

비전은 처음부터 분명했습니다. 션, 나이절, 톰(Thom), 댄(Dan) 모두가 비전을 가지고 있었고, 프로젝트가 올바른 방향으로 가도록 큰 도움을 주었습니다. 션의 말을 인용하자면, “이 전시는 Kid A / Amnesiac 시기에 제작된 결과물을 잊혀진 외계 폐허 속에서 탐험하는 형식이 될 예정이었습니다. 그것은 미로와 바벨의 도서관을 결합한 형태의 박물관이 될 예정이었습니다. 절망적인 분위기 없이 길을 잃은 듯한 느낌을 주고 싶었습니다. 때로는 플레이어가 압도감을 느끼게 하고 싶었습니다. 하나의 정해진 길이 없고, 막다른 길도 없도록 설계되었습니다.

2. Radiohead의 음악을 Kid A Mnesia에서 Spatial Audio로 구현하는 과정은 어떻게 진행되었나요? 누가 이 작업에 참여했나요? 어떤 자료들을 활용했나요? 아이디어는 어떤 방식으로 소통했나요? 아이디어가 실제 경험으로 구현된 후에는 어떤 승인 과정을 거쳤나요?

매튜 데이비스, 프로듀서 : 제가 처음 전달받은 브리핑은 'Exploded Songs'라는 아이디어였습니다. 앨범과 아카이브에 쌓인 자료가 워낙 많아서 모든 자료를 구성 요소별로 분류해 펼치는 작업은 자료의 본질에 부합할 뿐 아니라 경험을 구축하는 데도 필수적이었습니다. 나이절은 이것을 어떻게 구현할지에 대한 매우 구체적인 아이디어를 가지고 있었습니다. 오디오 디자인의 많은 부분에서 강하게 몰아치는 방식 대신 갤러리에서 감상하듯 은은하게 다가가도록 했습니다. 이를 통해 기복, 강약, 흐름이 어우러진 연속적인 경험을 설계할 수 있었습니다. 초기에는 사운드의 공간화와 반사의 활용 방안에 대해 많은 논의를 했습니다. 다이제틱 사운드와 사운드트랙, 공간화된 사운드와 리스너 고정 사운드 사이의 경계는 어떻게 설정했을까요? 이는 제가 가장 좋아하는 대화와 실험 중 하나였습니다. 시청자를 특정한 속성이 반영된 환경에 배치하는 동시에 원본 자료 본래의 무결성과 뉘앙스를 유지하는 경계를 넘나드는 작업이었으니까요.

팬데믹 기간 동안 모든 업무가 원격이었기 때문에, 우리는 Zoom 회의를 통해 크리에이티브 디렉션을 논의했습니다. 이후 저는 Ableton에서 최신 프로젝트 영상과 나이절이 전시용으로 준비한 원본 앨범 스템을 활용해 다양한 편곡과 믹스를 모의로 제작했습니다. 나이절은 리믹스, 재편곡, 새로운 버전 제작 등 엄청난 작업들을 했습니다. 그 덕분에 음악이 더욱 특별해졌습니다. 레이아웃, 루프 및 트리거 로직, 러프 믹스, 분위기 등을 조율하기 위해 대략적인 음악을 입힌 영상을 제작했습니다. 그리고 나서 Wwise/Unreal에 적용했습니다. 

3. 특별한 해결책이 필요했던 기술적 한계에 직면한 적이 있었나요?

브래거 무어(Braeger Moore), 시니어 사운드 디자이너 & 시스템 엔지니어 : 직면했던 대부분의 '제약'은 Wwise의 여러 기능을 조합해 서로 보완하는 방식으로 쉽게 해결할 수 있었습니다. 고도 기반의 비대칭 감쇠 곡선, 회절 경로 제어하기 위한 이미터의 전략적 배치와 토글, 룸 진행 기반의 믹싱과 트리거 등 다양한 기법을 적용했지만... 결국 극복해야 했던 '실질적인' 제약은 두 가지였습니다.

당시 사용한 Wwise 버전은 UE Media Audio를 Wwise로 전송할 수 있는 믹서 플러그인 출시 이전 버전이었기 때문에, 시어터 룸에서는 몇 시간 분량의 오디오와 비디오를 수동으로 동기화해야 했습니다. 이를 위해 GetSourcePlaybackPosition 콜백을 활용해 비디오에서 시간 정보를 가져오고 이를 비교해 오디오의 피치를 조정하여 동기화를 정확히 맞췄습니다.

비록 출시 버전에는 적용되지 않았지만, 또 다른 우회 방법으로는 음악과 동기화해 UE에서 액션을 실행할 수 있는 시스템을 개발했습니다. 기존 Stinger 시스템을 활용해 특정 SFX를 Stinger로 복제하고, Python 스크립트로 모든 Work Unit을 파싱해 타이밍 데이터와 파일 정보를 추출한 뒤 UE의 Data Table에 입력하는 방식으로 구현했습니다. 결과적으로 문이 열리고 닫히는 타이밍을 원하는 대로 조정하여 효과음의 피크가 의도한 구간에 정확히 일치하도록 구현할 수 있었습니다.

4. Kid A Mnesia에서 플레이어가 탐색하는 비선형적 공간에서, 불확정적인 진행, 스피드런(speed-running), 기타 상호작용적인 게임 구조를 수용하기 위해 어떤 선택들을 하셨나요?

브래거 무어, 시니어 사운드 디자이너 & 시스템 엔지니어 : 이 부분에서는 특별한 무언가를 시도하지는 않았습니다. 단지 룸 상태를 관리하고 다양한 방식으로 믹싱하는데 많은 노력을 기울였습니다. 임시방편으로 해결한 적이 많았죠... 특히 CRT 룸에서요!

5. 바이노럴 오디오 처리, 앰비소닉, Audio Object, 서라운드 포맷 등 다양한 Spatial Audio 기법들을 어떻게 활용하셨나요?

클레이 슈미트(Clay Schmitt), 시니어 사운드 디자이너 : 아름다운 노래로 더 극적인 효과를 주기 위해 전환 구간에서는 사용자가 최대한 현실에 있는 듯 느끼게 하고, 주요 공간에 들어가면 음악에 몰입하면서 현실적인 엠비언스가 서서히 사라지도록 설계했습니다. 이를 위해 다수의 엠비소닉 녹음과 서라운드 녹음(쿼드 또는 5.1)을 활용하였고, Ableton에서 제작한 스테레오 서브 레이어를 함께 사용했습니다. 피라미드 내부의 엘레베이터는 앰비소닉 녹음이 활용된 좋은 사례로 훌륭한 결과를 만들어냈습니다. 

6. 감쇠는 종종 볼륨과 기타 환경적 요소를 사실적으로 재현하는 수단으로 사용됩니다. 거리 기반 감쇠, 플레이어와 사운드간 거리 특성을 창의적으로 활용한 부분에 대해 말씀해 주시겠어요?

클레이 슈미트, 시니어 사운드 디자이너 : NPC 대화와 같은 현실감을 요하는 요소에서는 감쇠를 활용해 더 사실적으로 들리도록 세심하게 작업했습니다. 테스트 레벨을 활용해 이 부분을 탐구했으며, 톰은 사운드 감쇠 방식에 대해 유용한 피드백을 제공했습니다. 더 사실적으로 들리도록 해야 하는 부분에서는 Wwise Convolution Reverb와 Wwise Reflect 같은 플러그인을 활용했습니다. 이처럼 더 현실적인 감쇠를 설정함으로써, 상황에 따라 더욱 강조되거나 몽환적인 감쇠와 리버브 테일을 활용할 수 있는 좋은 기준점을 마련할 수 있었습니다. 더욱 강조된 상황에서는 저의 오래된 Roland RE-201 Space Echo, MXR Pitch Transposer, Lexicon M300 Reverb 같은 하드웨어 장비를 활용해 스템을 처리한 뒤, 기존 Wwise Convolution Reverb와 Wwise Reflect에 미묘하게 레이어했습니다. 이 효과가 잘 드러난 대표적인 두 장소는 CRT 룸의 입출구 복도와 피라미드 내부에서 들리는 거대한 미노타우로스(Minotaur) 발자국 소리입니다.

7. 음악이 전달하는 추상성의 수준을 결정하는데 회절의 활용이 크게 작용했다고 말씀하셨는데요. 어떤 방식으로 접근하셨고, 그 배경에는 어떤 사고의 과정이 있었나요?

브래거 무어, 시니어 사운드 디자이너 & 시스템 엔지니어 :

우리가 정립한 음악 회절 패러다임은 두 가지 아이디어로 요약할 수 있습니다:
1. 메인 룸 안에서는 음악이 제작된 그대로 들리게 했습니다.
2. 룸에 출입할 때는 더 사실적으로 들리는 동시에 창의적인 제어도 필요했습니다.

믹싱과 구현에서 내린 모든 결정은 이 아이디어를 중심으로 이뤄졌습니다. 룸의 경험 속으로 점차 고조되었다가 천천히 사라지며, 플레이어가 놀라운 비주얼과 앰비언스를 감상하며 사색할 수 있는 여지를 제공하는, 정밀하고 다이내믹한 오디오 환경을 만드는데 집중했습니다.

8. 보이스는 음악에서 흔히 두 가지 역할을 합니다. 하나는 소통의 수단이고 다른 하나는, 특히 Kid A Mnesia에서는, 악기이자 추상적인 사운드 표현입니다. 믹스에서 보이스가 잘 표현되도록 하기 위해 어떤 방법을 사용했나요?

클레이 슈미트, 시니어 사운드 디자이너 : 이 경험 전반에 걸쳐 음악은 이미 20년 전에 나이절에 의해 정교하게 믹싱되어 있었기 때문에, 스템을 이미터에 배치할 때 가장 먼저 해야 했던 일은 구현 과정에서 그 밸런스를 훼손하지 않는 것이었습니다. 나이절의 원본 믹스는 이후 경험 전반에서 플레이어의 행동에 따라 변화합니다. 그렇긴 하지만, 창의력을 발휘할 수 있는 기회도 몇 번 있었습니다. 예를 들어 CRT 룸에서는 톰의 보이스는 전화 부스의 수화기를 통해 재생됩니다. 이를 강조하기 위해 그의 목소리를 실제 수화기로 재녹음하고, 필터링과 디스토션을 적용해 거친 질감을 만들었습니다.

9. 앰비소닉 레이어를 어떻게 창의적으로 활용했는지 조금 더 설명해 주실 수 있을까요? 스템은 어떻게 제작되었나요? 사운드 디자인의 의도는 무엇이었나요?

클레이 슈미트, 시니어 사운드 디자이너 : 물론이죠! 앰비소닉 레이어가 사용된 또 하나의 예는 도입부의 숲 장면입니다. 저는 산들바람 소리, 바스락거리는 소리, 멀리서 가끔씩 들려오는 나뭇가지 부러지는 소리를 배치했고, 톰은 그가 수집한 좋은 새소리를 장면 곳곳에 배치했습니다. 그 자체로도 만족스웠지만, 여전히 뭔가 더 필요하다고 생각했습니다. 부드러운 나뭇가지 부러지는 소리가 더 필요하다고 판단했고, 플레이어가 Dolby Atmos로도 감상할 수 있다는 점을 고려해 상단 채널을 활용하고자 했습니다. 저는 항상 Tascam DR-100(휴대용 스테레오 녹음기)를 가지고 다닙니다. 가족을 만나러 오하이오에 머무는 동안 마당에서 녹음기를 켜고 참나무 가지를 흔들어 보았습니다. 녹음된 소리를 Waves B360 Ambisonics Encoder로 처리하여 Dolby Atmos로 감상하는 플레이어가 머리 위에서 부드럽게 바스락거리는 나뭇가지 소리를 들을 수 있도록 했습니다.

10. 비주얼 앨범과 상호작용 콘텐츠의 교차점에서 발자국 소리는 플레이어의 주체성을 한층 강화했습니다. 발자국 소리가 음악의 몰입을 방해하지 않도록 어떻게 처리하셨나요?

클레이 슈미트, 시니어 사운드 디자이너 : 프로젝트 초기에는 발자국 소리를 도입할지 여부에 대한 의문이 있었습니다. 가장 큰 우려는 음악에 방해가 될 수 있다는 점이었습니다. 하지만 잘 다듬어진 발소리는 플레이어의 몰입도를 높이는 훌륭한 수단이 될 수 있고, 특히 고요한 전환 구간에서 더욱 효과적입니다. 브래거는 이미 주요 룸을 위해 덕킹 시스템을 구축해 두었습니다. 이를 통해 음악이 주도하는 공간으로 전환될 때 룸톤, 앰비언스, 서브 레이어가 부드럽게 페이드아웃되도록 했습니다. 발소리 버스의 출력을 동일한 덕킹 버스로 라우팅하는 것은 간단했고, 결과적으로 원하던 소리를 정확히 얻을 수 있었습니다!

11. Wwise Reflect는 음악을 향상시키는 데 어떻게 활용되었나요?

브래거 무어, 시니어 사운드 디자이너 & 시스템 엔지니어 : Wwise Reflect는 사실적 표현을 완성해주는 화룡점정 같은 존재였습니다. 이를 아주 절제해서 사용했지만, 음악적 임팩트와 음질을 훼손하지 않으면서 우리가 원했던 사실감을 구현하는데 중요한 역할을 했습니다. 물론 Wwise Reflect를 사용해 무언가 혁신적인 작업을 했다고 말하긴 어렵습니다. 핵심은 초기에 시간을 들여 밸런스를 잡는 일이었고, 이후 각 공간에서 잘 작동하도록 주기적으로 믹스 작업을 진행하는 것이었습니다.

12. 나이절 고드리치(Nigel Godrich)와 개발 전반에서 그가 기여한 부분에 대해 조금 더 말씀해 주시겠어요?

매튜 데이비스, 프로듀서 : 분명 이 모든 것은 나이절 없이는 불가능했을 것입니다. 그는 처음부터 오디오 컨셉을 명확하고 설득력있게 제시했으며, Wwise와 Unreal 엔진의 가능성을 알아가는 과정에서도 그 비전을 유지하면서도 접근 방식을 조정하고 발전시켜 나갔습니다. 그는 오래된 앨범 세션을 다시 살펴보고 여러 개의 훌륭한 6채널 서라운드 믹스를 제작해 주요 장면에 사용했으며, 다양한 공간에 배치할 수 있는 매시업도 다수 만들었습니다. 전환 구간, 복도 등과 같은 공간에 관해서는... 즉, 사운드가 다른 룸으로 새어 나가는 공간에서는 공간화, 반사, 리버브 등을 얼마나 적용해야 원본 오디오의 무결성을 해치지 않는지에 관해 많은 논의가 있었습니다. 개발 과정에서 가장 큰 과제 중 하나가 바로 이 균형을 찾는 일이었는데, 플레이어를 사실적인 물리적 공간에 배치하는 것과 동시에 사운드트랙을 언제나 명확하고 존재감 있게 들리도록 유지하는 것 사이에서 균형을 잡는 것이었습니다. 제게 있어 나이절, 톰, 댄이 우리와 함께 세세한 부분까지 깊이 관여해 준 덕분에 이 프로젝트는 단순히 팬픽션에 그치지 않고 진정한 작품으로 완성될 수 있었습니다. 정말 멋진 경험이었죠.