Introduction

SEASON : A letter to the future est un voyage atmosphérique empreint d'introspection, de contemplation et de mécaniques de réflexion. Dans Season, vous tentez tant bien que mal de comprendre le monde énigmatique qui vous entoure et d'en saisir l'essence avant qu'il ne soit trop tard. 

Le jeu a une manière très singulière de donner du poids à vos actions : au lieu de rechercher des enregistrements sonores disséminés autour de vous, vous êtes encouragé à prendre des photos, à documenter vos rencontres avec les habitants du monde, et à enregistrer divers éléments entendus dans les paysages sonores extrêmement riches de Season. Tout cela dans le but d'alimenter le journal du protagoniste et de dévoiler l'histoire de ce monde vacillant. 

L'enregistreur portable

En tant que professionnels du son, ce jeu nous est apparu comme parfaitement adapté à l'une de nos activités favorites : collecter des sons fascinants. Cette fonctionnalité a été dévoilée pour la première fois avec la bande-annonce des Game Awards 2020.

La vidéo a suscité un grand enthousiasme dans la communauté des joueurs et a poussé Scavengers Studio à accorder à cette fonctionnalité un rôle encore plus central dans l'histoire et la conception du jeu.

La conception finale est le fruit d'un processus itératif et collaboratif entre l'équipe audio et les membres des équipes de design, de programmation et de narration. À l'aide d'une série de « gyms » dans Unreal, nous avons expérimenté différentes idées pour explorer ce concept et voir comment il pourrait s'intégrer aux mécaniques du système d'écriture du journal (et, par conséquent, à la narration elle-même). Nous avons finalement choisi l'approche la plus ambitieuse, non seulement la possibilité d'enregistrer du son dans le moteur de jeu, mais aussi d'utiliser les sons enregistrés pour déclencher des entrées de journal révélant et approfondissant l'histoire selon ce qui a été enregistré. L'idée était essentiellement de transposer le principe du « mode photo » présent dans les jeux et de le transposer en audio.

Nous voulions que cela soit aussi « réaliste » que possible, en donnant au joueur la possibilité d'enregistrer n'importe quel endroit et de conserver ces enregistrements dans son journal. Lorsque vous relisez un fichier depuis votre journal, vous entendez réellement votre enregistrement, et non une version « pré-enregistrée » et optimisée de ce que vous avez essayé de capturer.

La simple présence de cette fonctionnalité a fortement influencé la manière dont l'audio a été conçu et intégré. Elle a nécessité le développement d'une technologie sur mesure.

Qu'est-ce que cela implique pour l'ambiance sonore du jeu ?

Comme indiqué précédemment, l'un des plus grands défis concernant la conception des ambiances sonores du jeu était de faire en sorte que chaque lieu et chaque objet soient « faciles à enregistrer », de manière fluide et cohérente. 

En général, les ambiances d'un jeu sont composées de trois types de sons différents : 

1. des sons 2D liés à un emplacement, 
2. des sons 3D attachés aux objets (via les Blueprints),
3. des sons 3D placés manuellement dans les environnements. 

Comme les sons 3D apportent une touche unique et aléatoire, contrairement aux boucles d'ambiance en 2D, nous avons misé en grande partie sur eux. Après quelques recherches, nous avons décidé de placer manuellement des sons sur quasiment chaque élément du paysage. Chaque arbre, chaque buisson possède sa propre source sonore. Il y en a littéralement des milliers ! 

Nous avons préféré cette méthode à l'utilisation de Blueprints, afin de pouvoir ajuster chaque emplacement individuellement. Une tâche laborieuse, mais qui en valait largement la peine. Nous avons appliqué le même procédé pour simuler la continuité d'une rivière ou le bord d'une falaise, en plaçant des sources sonores tout au long de leur tracé.

Ce système n'était toutefois pas sans inconvénients. Nous avons dû recourir à énormément de randomisation pour éviter les problèmes de phase sur les sons se produisant simultanément, ainsi qu'à un système de priorités relativement complexe basé sur la proximité, afin de garder le nombre de voix et les performances sous contrôle.

Comment ça marche ?

L'enregistreur prend la forme d'un plugin personnalisé codé directement dans Unreal en C++ à l'aide de l'API de Wwise. La sortie principale de Wwise est enregistrée sous forme de fichier audio dans les données sauvegardées de l'application. Lorsque ce fichier audio est déclenché depuis le journal, il est renvoyé dans le middleware à l'aide du plugin de source audio de Wwise (Audio Input Source), ce qui permet de le lire directement en phase de jeu. Ces enregistrements peuvent aussi être réintégrés dans l'univers diégétique de l'histoire, car ils peuvent être lus à certains PNJ, qui en expliqueront la signification dans le paysage sonore et le récit qu'il contribue à tisser.

Que ressent-on quand on enregistre des sons ?

Dès que vous mettez un casque et que vous commencez à enregistrer, votre manière d'entendre change radicalement. On dit que les humains écoutent, mais un microphone, lui, se contente d'entendre. En écoutant le son capté par un micro, vous percevez soudainement tous les détails que vos oreilles filtrent d'ordinaire, et vous réalisez à quel point notre perception auditive est biaisée. Nous voulions recréer cette sensation bien précise.

Avec l'équipe multidisciplinaire, nous avons testé différentes méthodes pour essayer de « concentrer » l'écoute. Nous nous sommes inspirés de l'œuvre sonore « Kits Beach Soundwalk » de Hildegard Westerkamp, dans laquelle elle raconte comment elle s'est focalisée sur le bruit minuscule des bernacles sur la plage de Kitsilano lors d'une session d'enregistrement dans la baie de Vancouver, et a recréé cette expérience psychologique d'écoute attentive grâce à des techniques de post-production en studio. 

Nous voulions retranscrire cette sensation d'écoute attentive, ou « profonde », centrée sur un seul objet sonore, sans pour autant perdre l'environnement ambiant, car cela aurait donné un résultat trop artificiel et mis en scène lors de l'écoute (de plus, le contexte sonore autour de chaque son contribuait beaucoup à évoquer le lieu). Nous voulions aussi que le joueur puisse enregistrer l'ambiance générale de l'environnement, et pas uniquement les sons spécifiquement mis en scène pour le récit. Comme pour la caméra, il était essentiel de laisser au joueur le maximum de liberté dans l'usage de cet outil. 

Pour cela, trois états différents influencent le mixage et focus sonores en temps réel selon l'usage de l'enregistreur.

1. Enregistreur éteint : gameplay normal
2. Enregistreur en main : écoute
3. Enregistreur en main : enregistrement en cours

État 1 : gameplay normal

Dans cet état, le focus des éléments 3D émanant du paysage sonore est assez étroit, ce qui signifie que vous entendez principalement ce qui se trouve devant vous (à l'exception des souvenirs, abordés plus bas). Aucune autre modification de mixage n'est appliquée.

État 2 : enregistreur en main, écoute

Quand l'enregistreur est sorti, la musique et les dialogues sont coupés. L'accent est nettement renforcé sur les éléments sonores 3D. Les ambiances 2D sont atténuées de 6 dB. De plus, les « souvenirs » (voir ci-dessous) sont amplifiés de 5 dB pour leur donner plus de présence. Enfin, une compression, un traitement des fréquences (EQ) et une légère distorsion sont appliqués au mixage global. Cela simule l'expérience d'écoute lorsqu'un casque est branché à un enregistreur vintage. Pour les besoins du jeu, le micro est considéré comme stéréo. 

État 3 : enregistrement en cours

L'état 3 est très proche de l'état 2, à la différence près que les modifications de fréquences (EQ) et la distorsion sont désactivées pour obtenir un enregistrement propre. Le compresseur utilise aussi des réglages légèrement différents.

Le mixage casque sur PS5 s'appuie sur Tempest, le système audio 3D de Sony, ce qui permet d'accentuer encore plus la perception des variations de mixage quand vous passez sur votre enregistreur stéréo, par une spatialisation des sons plus nette et directionnelle.

Souvenirs

Les « souvenirs », ou « objets à collectionner », sont des éléments 3D notables que le joueur doit enregistrer et documenter. Dans de nombreux cas, ils ont d'abord été conçus par l'équipe audio, puis proposés aux scénaristes et concepteurs du jeu, qui les ont ensuite intégrés à l'histoire et aux niveaux. C'est l'un de ces rares moments où l'audio influence directement la conception de niveaux !

Nous nous rappelons avec amusement d'un personnage qui ronflait, et dont le son est devenu si emblématique pour l'équipe audio qu'il a été intégré aux souvenirs. Il s'agit peut-être du ronflement d'un véritable employé de Vibe Avenue, qui sait !

Les souvenirs existent sous deux états différents : avant et après avoir été enregistrés.

Avant d'être enregistrés

Les souvenirs non enregistrés sont plus forts et se déclenchent plus souvent. Ils atténuent le volume des autres sons ambiants (via sidechain) pour attirer l'attention. Ils ont également des courbes d'atténuation plus longues, ce qui permet de les entendre de loin. Enfin, leur focus est plus large, ce qui les rend audibles même quand le joueur ne les regarde pas.

Après avoir été enregistrés

Les souvenirs déjà enregistrés n'ont plus besoin d'être aussi proéminents. Leur fréquence de lecture diminue ; par exemple, les cigales stridulent moins souvent. Leur volume baisse aussi, et l'effet de sidechain est désactivé. Ils utilisent alors les mêmes réglages de courbes d'atténuation et de focus que les autres éléments sonores 3D.

De plus, l'enregistrement réussi d'un souvenir déclenche une ligne de dialogue spécifique qui apporte des éléments narratifs sur l'histoire du jeu ; incitant encore davantage le joueur à documenter tous les objets qu'il rencontre. 

Fleurs de mémoire

Les Fleurs sont des souvenirs spéciaux qui, contrairement aux autres, émettent un son différent selon l'état de l'enregistreur. En mode normal, vous entendez des sons magiques et éthérés avec des extraits de voix brouillées et lues à l'envers de manière inintelligible (ces extraits été découpés en fragments pré-enregistrés à l'aide d'une synthèse granulaire et placés dans des Random Containers). L'enregistreur en main, les voix traitées deviennent plus présentes, avec une touche d'aura magique. Enfin, lors de l'enregistrement, vous pouvez entendre et comprendre le souvenir vocal conservé dans la fleur, même si celui-ci conserve un effet « éthéré » grâce à un subtil vocodeur appliqué aux lignes de dialogues. Spencer a conçu ces différentes étapes avec Kevin Sullivan (le directeur du jeu) et a créé plusieurs prototypes dans son DAW afin d'expliquer la direction artistique. 

Retour haptique

Souvenirs

Chaque fois que vous tenez le magnétophone dans votre main, les souvenirs à proximité font vibrer la manette. Plus vous êtes proche, plus les vibrations sont intenses. L'effet est particulièrement sophistiqué sur PS5, où la vibration de la manette indique également la direction du son selon sa panoramique entre les deux poignées de la manette, déterminée par l'emplacement de la source. Le retour haptique est donc utilisé comme un autre moyen de guider les joueurs vers leurs objectifs, et il existe différentes façons d'augmenter l'intensité de l'effet dans les paramètres pour les joueurs sourds ou malentendants. De plus, le son étant un élément central du processus d'enregistrement, nous voulions que tous les joueurs puissent en faire l'expérience d'une manière ou d'une autre ; les vibrations de la manette servent donc également à transférer (ou traduire) le son vers le sens du toucher. Nous avons créé un système dans lequel le son des sources sonores à collecter est également acheminé vers le bus haptique (la manette DualSense utilisant un flux audio gauche/droite pour contrôler les vibrations avec des fréquences graves situées dans les subs) et adapté à la gamme de vibrations haptiques si nécessaire (sur la manette DualSense, celle-ci est inférieure à 500 Hz) afin qu'il devienne une sensation physique en plus d'une sensation auditive, et que la « perception » d'enregistrer quelque chose devienne multisensorielle.

Cependant, dans le monde de l'haptique, tous les sons ne sont pas égaux. Certains sons de souvenirs produisaient naturellement des vibrations intéressantes. D'autres ont dû être traités dans Wwise avec divers effets (tels que des égaliseurs ou des distorsions) avant d'être envoyés au bus Wwise Motion pour être efficacement lus. De plus, d'autres sons ne fonctionnaient pas du tout et ont en fait été remplacés par une source Wwise Motion. Il était important que le son fasse toujours vibrer le contrôleur d'une manière intéressante. 

Promenade à vélo

Le retour haptique a également été utilisé pour améliorer l'expérience de promenade à vélo. Les premiers coups de pédale envoient un signal puissant au contrôleur. Une fois en mouvement, chaque surface offre une sensation haptique spécifique, créée par sa propre source Wwise Motion et modulée par la direction et la vitesse du vélo. Nous avons donc dû créer un certain nombre de « textures » haptiques devant correspondre aux différents types de surfaces utilisées dans la conception des niveaux, et qui devaient également correspondre à la conception sonore.

Conclusion

Travailler sur SEASON : A letter to the future, et en particulier sur la mécanique unique de l'enregistreur portable, était un rêve pour tout concepteur sonore. L'ambiance sonore du jeu rend l'immersion authentique et organique, et le gameplay met en valeur la conception sonore - élaborée avec amour par l'équipe de Vibe Avenue ainsi que le travail et la vision de Spencer Doran - et lui donne une place centrale. Cela montre qu'un sound design vraiment innovant et créatif ne se résume pas toujours à des sons flashy issus d'une superposition de sons quasi infinie et que, parfois, le simple murmure du vent ou de l'eau qui coule dans la vallée peut suffire.

Cet article, comme tout ce qui est produit par Vibe Avenue, est le fruit de la collaboration d'une équipe multidisciplinaire. Nikola Viel et Manuel Silva ont rédigé l'essentiel du texte, mais il est important de mentionner les contributions notables de Dylan Escalona, qui a joué le rôle de Responsable Audio sur le projet et conçu les systèmes dans Wwise, d'Alexandre Choinière, programmeur audio qui a écrit le plugin d'enregistrement, de Félix Leblanc, qui a aidé à l'édition, et de FX Dupas, qui a encore amélioré le tout grâce à ses idées et ses suggestions. Merci également à Spencer Doran pour sa musique inspirante, sa direction audio et son aide pour finaliser cet article.