はじめに
Wiggle Roomは、子供たちがダイナミックに反応するサウンド環境を体験することができる、インタラクティブな施設です。この施設はベルファスト2024の一環としてベルファストのメトロポリタンアートセンター（MAC）に設置され、リアルタイムのボディトラッキング、物理駆動の映像、そしてインタラクティブなサウンドを融合した、オープンエンドなプレイエクスペリエンスが創出されました。
Wiggle RoomはBoom Clap Play、PlayBoard NI、Big Motiveと共同で開発され、また若い世代の参加者を交えたリサーチや共同デザインセッションを通して形成されました。このプロジェクトでは子供たちが自由な遊びを探求することに焦点を当て、ゴールやルールを設けず直感で操作できるようにしました。
自由な遊びをデザイン
Wiggle Roomの背後にあるコアアイデアは、サウンドと体の動きがシームレスに連動するスペースを作り出すことでした。刺激と落ち着きのバランスを保ちながら手触り感のある物理駆動の映像を強化し、遊び心が感じられるだけでなく、没入感あふれるオーディオにしようと考えました。
オーディオの観点からは、特に若い世代の参加者にとって圧迫感のないように、温かく居心地のよい雰囲気を目指しました。サウンドデザインではニュアンスと応答性にこだわり、動きの感覚を高める必要がありましたが、活動レベルが高い時に疲れが出たり過剰な活動量になったりしないよう注意しました。
変化のあるサウンドスケープにするため、短いミュージックキューを取り入れて、スペース内に現れるアニメーションキャラクターと紐づけました。こうしたキューはアンビエントミュージックレイヤーが停滞しないようにするだけでなく、コントラストや遊び心を加えました。
技術実装：トラッキングおよびシステムアーキテクチャ
施設にはUnityとボディトラッキングを処理する、Stereolabs ZED 2iカメラを搭載しました。それぞれのカメラはZED Box Orin AIコンピュータに接続されました。このコンピュータにカメラ設定があり、ジョイントトラッキングデータはここで処理されてからイーサネット経由でホストPCに送られました。
ルームのカメラ設置計画
トラッキングシステムは複数のカメラから送られてくるデータを処理し、ホストPCで骨格データの平均値が求められました。このシステムではユーザ検出の処理、入退場のトラッキング、および関節位置の継続的な更新が行われました。
Unity内では各ユーザがカスタムボディオブジェクトで表されました。このオブジェクトは次の要素で構成されていました。
- 手足のトランスフォームデータ
- ホットスポットをトリガーするためのコリジョン検出ポイント
- パーティクルベースの物理動作
レイテンシはインタラクティブプロジェクトにおいて重要な考慮事項になることがよくありますが、このケースでは映像とインタラクティブなモーションデザインの性質上、大きな問題にはなりませんでした。物理駆動のパーティクルコリジョンは滑らかさと生命感を動きにもたらすものであるため、この施設の美観面の目標に一致しただけでなく、偶然にもオーディオの応答性を高める効果もありました。
Wwiseの導入とサウンドデザインのワークフロー
WwiseがWiggle Roomのインタラクティブオーディオシステムの中核を担いました。スイッチ、イベント、RTPC、ブレンドコンテナを使用して構造化し、動きやインタラクションに動的かつリアルタイムに反応するようにしました。
ミュージックとアンビエンス
ミュージックシステムはスイッチを使用して構築され、さまざまなセクションを通して徐々に進歩していきました。アンビエントレイヤーでの処理が重くならないように、遊び心を加えたキャラクターの短いミュージックキューをトリガーする専用のセカンダリミュージックオブジェクトを実装しました。
パーティクルインパクトサウンド
物理ベースのパーティクルシステムが、この施設のサウンドデザインを形成する上で中心的な役割を果たしました。高ボリュームのパーティクルインタラクションが同時に発生した場合に備えて、自然で動的な応答性を確保しながらポリフォニーを管理するための効率的なアプローチが必要でした。
これを実現するため、Unity側にオブジェクトプーリングシステムを導入してボイスポリフォニーを制御し、イベントが過剰にトリガーされないようにしました。次にWwiseで1つのインパクトオーディオオブジェクトをスイッチコンテナとして作成し、各パーティクルに適切なマテリアルタイプを割り当てました。この中のブレンドコンテナを使用して、5つの異なる速度レイヤーを管理しました。それぞれのレイヤーには複数のランダム化したバリエーションを組み込んで、サウンドが繰り返されずに変化するようにしました。物理システムから届いた力のデータはRTPCに渡されました。このデータに基づいて、ブレンドコンテナが動的にスケーリングされて適切な速度レイヤーが選択されると同時に、表現力と応答性が高まるようにピッチ、ボリューム、フィルタの設定も調節されました。
ホットスポットのインタラクション
ビニール製のステッカーが付いたホットスポット
ホットスポットは施設内の特定のインタラクティブエリアで、ビニール製のステッカーが付けられていました。ユーザはここでさまざまなエフェクトを体験することができました。ユーザがホットスポットゾーンの1つに足を踏み入れると、特定のインタラクティブイベントがトリガーされるようにしました。イベントにはエクスペリエンスを高めるためのオーディオフィードバックを加えました。これをサポートするため、各ホットスポットにベースのチャージサウンド、キャンセルサウンド、アクティベーションサウンドと共に、個々のホットスポットの機能に合わせた独自のトリガーサウンドを実装しました。
意図せずアクティブ化されるのを防ぐため、待機およびクールダウンタイマーを実装し、何度も踏んだり偶然踏んでしまったりした時に過剰にトリガーされないようにしました。アクティベーションはコライダーベースの検出を通して管理し、ディレイ調整により微調整することで、意図した通りのスムーズなインタラクションを提供できました。
一部のホットスポットではイベント固有のサウンドをトリガーするだけでなく、RTPCを活用してオーディオの動的な応答性を高めました。例えばあるホットスポットでは、ユーザがパーティクル群を膨らませてバーチャルサイズを大きくできるようにしました。このエフェクトはRTPCを使用してピッチやフィルタ値を調整する一方で、低周波数のインパクトサウンドに溶け込み、エクスペリエンスを高める重量感や質量感を加えました。
タイミングと同期
エクスペリエンスの特定のエレメントは、ミュージックシステムと密接に統合する必要がありました。特にキャラクターのミュージックキューと大規模なアンビエントサウンドスケープの連携が求められました。確実に同期させるため、まずランダム化したタイマーを使用してキャラクターのイベントを開始しました。キャラクターのイベントがトリガーされると、Wwiseで次に実行可能なグリッドベースのミュージックコールバックイベントが発生するまで待機させ、処理をすすめました。
コールバックイベントが発生すると、キャラクターのアニメーションロジックと対応するランダム化されたセカンダリミュージックシステムイベントがトリガーされました。この方法によりインタラクションがぎこちなくなったり繰り返しになったりするのを防ぐことができただけでなく、キャラクターのイベントと進化するミュージックランドスケープ間のシームレスな同期が維持されました。
評判と反響
幅広い年齢層の人々がWiggle Roomを体験する様子を観察することができたのは興味深いことでした。2歳頃の幼児期の子供たちの多くはすぐに夢中になっていましたが、8～9歳頃の子供たちの反応は、それに比べて薄いように感じられました。最初は消極的だった10代の若者や大人が、長い時間をかけてインタラクションを探索する姿も見られました。
思い出に残る瞬間の1つは、高齢の女性2人がこのスペースで45分間を過ごし、遊び心ある動きにすっかり没頭していたことです。最初はどうすればよいか分からなかった子供たちが、インタラクションにすぐに適応した様子を見て、驚きを示す保護者もいました。
サウンドの観点からは、物理ベースのインタラクションによってエクスペリエンス構築に役立つ、直感的なオーディオフィードバックループが作られました。一部のユーザは意図的に動きの速度や強さを実験し、多くのユーザがホットスポットでトリガーされるサウンドの品質に満足しているとコメントしました。
MIDI制御の小規模な展示用バージョン
思いがけない機会に恵まれて、会場で音楽駆動型の小規模な展示用バージョンを制作することになりました。既存のWiggle Roomパーティクルシステムを拡張したこのバージョンでは、MIDIキーボードをプライマリインプットメソッドとして導入し、ユーザがミュージックジェスチャ―を通してこの装置とインタラクションできるようにしました。
このシステムではノートピッチ、速度、デュレーションを使用して、MIDIノートデータを映像エレメントとオーディオエレメントの両方にマッピングし、サウンドのパーティクルや挙動を変化させました。速度によってパーティクルサイズが決まり、またサステインノートによって旋回強度が上がり、進化する物理ベースのモーションが作り出されました。さらに、Wwiseのプロシージャル合成技術ツールを使用してサウンドを動的に変化させて、リアルタイムでユーザ入力に対応できるようになりました。
この装置では既存のパーティクルシステムを再利用したため、微調整が少し必要になっただけでインパクトオーディオはそのままの状態でした。キーボードのLEDライトキーは色分けされたビジュアルリファレンスを提供し、ミュージックの入力とその結果のオーディオビジュアルエフェクト間の結び付きを強化しました。
最後に
Wiggle Roomは直感性と没入感を得られるように動きと遊びの関係性を高めることで、サウンドがどのようにインタラクティブなスペースを変身させることができるのかを示しました。私たちはアンビエンス、インタラクティブフィードバック、リアルタイムの物理駆動オーディオのバランスに注意を払いながら、ユーザに合わせて動的に適応する環境を作り上げました。
Wwiseのリアルタイムパラメータ制御、スイッチベースのイベント管理、コールバック駆動の同期を活用することで、遊び心がありながら主張しすぎないサウンドスケープを実現できました。またこの施設では、動的に変化するミュージック、触覚に訴えるインパクトサウンド、ホットスポットで駆動するイベントをレイヤー化することで、進化する生命感あふれるサウンドの世界を圧倒されすぎることなく維持し、継続的なエンゲージメントを後押ししました。サウンドの推進力を活かした遊び, 直感的な動きのインタラクション、そして適応性に優れたオーディオ技術はWiggle Roomで追求した理念であり、これからも私たちがインタラクティブなエクスペリエンスを形成する上で基盤となるでしょう。
コメント