Nous utiliserons des exemples détaillés de techniques d'intégration dans Audiokinetic Wwise et aborderons quelques approches conceptuelles et esthétiques de la musique dynamique.

Dans Shadows, les joueurs peuvent voyager dans le Japon féodal en incarnant Naoe, un shinobi assassin, ou Yasuke, un redoutable samouraï.

Je suis Jullian Hoff, compositeur spécialisé en électroacoustique et systèmes interactifs, et j'ai travaillé sur AC Shadows en tant que concepteur musique.

Une approche soustractive de la musique d’exploration

Toute musique non monophonique est composée de superposition et de juxtaposition de divers éléments sonores. Ces éléments ont diverses spectro-morphologies qui peuvent être définies – en fonction de la nature des sons – par des paramètres tels que : la forme dans le temps, l'harmonicité, l'équilibre spectral, la granularité de la texture, et tant d'autres qui sont pratiques à résumer sous les termes de timbre et de dynamique.

En fonction de leur mélange unique ces sons peuvent:

• se masquer mutuellement, où un son devient difficile à discerner en raison de la présence d'un autre.
• exister distinctement les uns à côté des autres, chacun contribuant à son propre caractère au paysage sonore global.
• se fusionner, créant quelque chose de nouveau et différent de la somme de ses composants. 

Et bien sûr, toute interpolation possible de ces états, variant dans le temps et dépendant de la perception et de l'attention de l'auditeur.

The Flight, le duo de compositeurs talentueux derrière la musique d'AC Shadows, a été extrêmement généreux et confiant en fournissant leurs créations sous forme de pistes individuelles. Quiconque a déjà été en contact avec les pistes individuelles d'une pièce musicale stratifiée de manière complexe sait que dans ces orchestrations, des trésors cachés ne peuvent être révélés qu'à ceux qui ont la capacité de les isoler.

Ces réflexions m'ont conduit à adopter une approche soustractive pour créer des variations de la musique d'exploration. Au lieu de toujours ajouter, cette méthode consiste à retirer soigneusement des éléments de la composition originale pour créer des expériences d'écoute distinctes.

Ainsi, chaque morceau de musique d'exploration dans le jeu est accompagnée de 5 variations qui sont des combinaisons diverses de leurs composants. Ces variations sont éditées en utilisant cette approche soustractive et chacune offre une perspective d'écoute unique sur le même morceau. Cette approche minimaliste convient également à l'esthétique japonaise du jeu, élégante et raffinée. Enfin, ce choix de conception laisse soigneusement de la place à nos environnements sonores dynamiques, riches des sons de la nature et des êtres qui y vivent.

Une musique d’exploration et deux possibles variations

Caché dans l’ombre

La lumière et les ombres jouent un rôle important dans notre jeu. La détectabilité du protagoniste varie en fonction de l'illumination, et se cacher habilement dans les ombres est essentiel pour une infiltration réussie. Dans ces moments tendus, la musique joue un rôle vital dans la création de l'atmosphère et reflète subtilement l'état de dissimulation de Naoe.

Avec l'aide du programmeur Hugo Provencher, nous avons travaillé sur un système pour impacter dynamiquement la musique d'infiltration lorsque les joueurs sont cachés dans les ombres. L'objectif était de créer une connexion intuitive entre la visibilité du joueur et l'environnement sonore, renforçant le sentiment d'être réellement caché.

Dans Wwise, cela a nécessité plusieurs itérations pour affiner le bon équilibre. En effet, si l'effet était trop évident, il pouvait être perçu comme un bug, car nous ne sommes pas habitués à une telle relation diégétique. Trop subtil, et il devenait anecdotique.

Plusieurs contraintes ont été définies. Ce système n'affecte la musique d'infiltration que lorsque l'on joue Naoe, et uniquement à l'intérieur.

L’intégration dans Wwise est faite comme suit :

Être dans un intérieur envoie la musique d’infiltration dans un bus auxiliaire dédié et rend silencieux le bus de sortie

Les fréquences de coupures d’un high-shelf et d’un low-pass sur le bus auxiliaire sont modulées par l’illumination du personnage jouable

Les premières réflexions et le dry-wet dune reverb sont modulés par l’illumination du personnage jouable

Le slew rate est un paramètre primordial pour l’ajustement de ce type de système

Les musiques du sixième sens

Naoe possède un “Ninja Sense”, qui lui permet de percevoir les ennemis à proximité. Cette perception accrue est réalisable grâce à son acuité auditive aiguisée et son écoute attentive.

Dans ce mode, le jeu met en évidence certains sons, tout en minimisant d'autres, fournissant aux joueurs des informations cruciales sur leur environnement. La musique joue un rôle clé en soutenant cette fonctionnalité, créant de l'espace pour ces indices vitaux.

Pour y parvenir, toute la musique d'infiltration et d'exploration du jeu a été traitée à l'aide d'une chaîne de traitement du signal numérique dans Reaper. Fait intéressant, le traitement visuel spécial "fantasmagorique" appliqué en jeu pendant le “Ninja Sense” a directement inspiré la conception de la chaîne DSP suivante :

La chaîne DSP des musiques du “Ninja Sense”

Naoe utilise son “Ninja Sense”

Les musiques du ninja sense sont intégrées au niveau des sub-tracks

Danger et opportunités d’assassinat

AC Shadows laisse beaucoup de place à l'infiltration, embrassant pleinement le fantasme de l'assassin incarné par notre shinobi, Naoe. Mais Yasuke peut également adopter une approche prédatrice, surtout lorsqu'il est équipé d'un arc.

De nombreux éléments de l'interface utilisateur – désactivables dans les options – aident les joueurs à percevoir les menaces et les opportunités hors cadre et à anticiper leur détection par les PNJ. La musique soutient cet aspect crucial du gameplay. Avec le programmeur Philippe Laflamme, nous avons travaillé sur un système qui fournit un RTPC lorsqu'une cible assassinable est à portée des divers gadgets à la disposition de nos personnages.

Cela crée un sentiment de danger ou d'opportunité et renforce l'impact dramatique des assassinats.

Encore une fois, les temps d'attaque et de relâchement du RTPC ont été ajustés pour accélérer sa réactivité lors des moments de tension accrue et pour ralentir son relâchement afin de maintenir la tension après l'assassinat.

Un RTPC module le LPF et le volume des musiques utilisées dans un contexte d’infiltration

Fusionner 2D et 3D

Assassin’s Creed possède une longue tradition de musique diégétique (musique entendue par les protagonistes dans le jeu) et Shadows ne fait pas exception. Les joueur.euses auront de nombreuses occasions d’écouter de la musique traditionnelle en explorant le Japon féodal.

Plusieurs systèmes permettent une fusion harmonieuse entre la musique diégétique et notre bande originale. Par exemple, durant certaines cinématiques, plusieurs pistes sont jouées dans Wwise : certaines sont diégétiques et spatialisées, tandis que d’autres ne le sont pas. Leur activation est gérée via des états afin d’assurer la synchronisation et la cohérence avec l’action à l’écran.

Prenons un autre système, simple mais élégant, qui mêle la musique diégétique à la bande originale composée par The Flight. Bien que les deux soient extrêmement riches, une certaine homogénéité tonale entre ces morceaux permet de les superposer sans créer de dissonance excessive.

Ainsi, lorsque la musique diégétique est jouée, la musique d’exploration n’est pas complètement coupée ; elle est plutôt influencée par celle-ci. La musique non-diégétique est progressivement filtrée (filtre passe-haut), atténuée, puis injectée dans une réverbération multicanal afin de lui donner un caractère lointain, mais enveloppant.

La musique diégétique module un RTPC

La musique diégétique module le volume et le HPF du score

La musique diégétique module la réverbération du score

Système de musique dynamique

Au cœur de la musique de gameplay de Shadows se trouve le Dynamic Music System (DMS), dont voici la représentation schématique :

Représentation schématique du Dynamic Music System utilisé en jeu

Ce système est conçu pour créer une expérience musicale constamment adaptative et réactive, renforçant la tension, l’action et l’immersion en fonction du gameplay en temps réel. Il repose sur quatre états principaux fournis par l’IA des PNJ :

• IA UNAWARE: Lorsque les ennemis ne sont pas alertés de la présence du joueur, généralement accompagnée d’une musique d’ambiance atmosphérique.
• IA SEARCH : Lorsque les ennemis cherchent activement le joueur après une alerte, souvent avec des motifs musicaux marquant une vigilance accrue.
• IA LKP (Last Known Position) : Lorsque les ennemis ont perdu de vue le joueur mais enquêtent activement sur sa dernière position connue, caractérisée par une musique tendue et investigative, souvent rythmée par des percussions aiguës.
• IA FIGHT : Lors des affrontements directs, avec des thèmes intenses centrés sur le combat.

À ces états principaux de l’IA s’ajoutent plusieurs systèmes dynamiques supplémentaires, notamment des transitions liées à certaines actions du joueur.

Nous avons déjà mentionné l’aspect dynamique de la musique d’infiltration (liée à l’état IA UNAWARE), ainsi que le sens ninja de Naoe (qui peut se superposer aux états UNAWARE et TENSION). À présent, j’aimerais approfondir les autres éléments clés qui rendent le DMS (Dynamic Music System) aussi réactif :

Niveau de menace dynamique

Avec les programmeurs Rémi Julien, Alexandru-Gabriel Harapu et le directeur adjoint – Fight, Félix Laliberté, nous avons complètement revu le système de Threat Level (TL) pour Shadows.

Le design est simple, nous observons les différences de niveaux entre chaque ennemi engagé en combat versus le joueur et y appliquons un poids. La somme totale donne le TL.

Il permet par design plusieurs avantages :

• En dessous d’un seuil minimal, les musiques de combat ne commenceront pas, évitant de soutenir un combat qu’on anticipe être très bref.
• Les 3 niveaux sont dynamiques et définis par un facteur recalculé en cours de combat, en fonction des ennemis se joignant à la bataille et de ceux qui sont éliminés. Les phases de combat particulièrement longues bénéficient grandement de ce dynamisme.
• L’ascension en intensité est rapide mais le relâchement lent, pour soutenir le momentum de l’action.

Voici deux calculateurs ayant servi au pré-calibrage du TL lors de la phase de pré-production. Le calculateur du dessus permet de calculer le nombre minimal de PNJ de chaque tier nécessaire pour atteindre un certain seuil, en fonction des variables qui sont :

• Les poids associés aux niveaux relatifs des PNJ versus le joueur.
• Les valeurs de passage de seuils.

Le calculateur du dessous est une simple simulation de PNJ de différent tiers engagés dans un combat pour tester différentes configurations.

(Ces calculateurs ont simplement été utilisés pendant la phase de design et l’équilibrage final ainsi que les valeurs définitives ont été définies grâce à des outils de débogage dans le moteur de jeu.)

Calculateurs utilisés pour calculer le TL durant la phase de design

Les musiques de The Flight ayant une bonne densité, il était souvent aisé de créer ces 3 niveaux d’intensité. Toutefois, il m’a parfois fallu user de quelques stratégies pour y parvenir. Parmi elles :

• Séparation spectrale: Plus un instrument est excité avec intensité, plus son timbre est brillant et les transitoires présents. En respectant cette règle élémentaire de psychoacoustique, j’ai procédé à la division spectrale de nombreuses couches instrumentales, particulièrement les percussions, en utilisant des filtres passe-haut et passe-bas de premier ordre.La fréquence de coupure a été déterminée à l’écoute, de façon subjective, piste par piste, en prenant en considération la nature du matériau et son contexte.

LPF et  HPF de premier ordre

• Copie de pistes: Dupliquer une piste et appliquer une atténuation de 6dB sur chaque copie puis les distribuer au sein de différents niveaux de menace s’est avéré une solution efficace dans certains cas, particulièrement pour les remix trapanese, à l’orchestration moins dense et où la division spectrale seule ne suffisait pas.

Attaques de posture

Dans Shadows, les joueur.euses ont la possibilité de maintenir les attaques, faisant entrer les personnages dans une posture qui peut être maintenue. Cela permet de charger les attaques mais également de pouvoir attendre une fenêtre d’opportunité. Cela fait également partie de la fantaisie du samouraï.

Avec le designer de combat Gabriel Jobin-Roy, nous avons fait en sorte que les musiques de combat supportent cela. Maintenir une posture transitionnera sur une version spécifique de la musique, également sensible au TL (deux variations réparties sur les 3 seuils de TL), et restera dans cet état aussi longtemps que la posture sera maintenue. Cela permet de créer des moments de tension dramatique ou de suspension particulière.

Cette fonctionnalité a fait l’objet d’essais-erreurs dans les temps de transition. La transition vers la posture est assez lente, pour ne pas créer de changements fréquents et rapides qui pourraient être perçus comme des bogues. La fonctionnalité brille davantage lors de moments de posture maintenue, particulièrement lors de duels.

Yasuke maintenant une posture

Habiletés spéciales

En combat, les joueur.euses peuvent exécuter des compétences spéciales, souvent dévastatrices. Chaque arme dispose de plusieurs habiletés déblocables au cours du jeu.

J’ai travaillé avec les designers de combat Gabriel Jobin-Roy et Hugo Dansereau pour que la musique supporte cela. Nous les avons divisés en deux catégories.

• Pour la plus grande majorité, un simple et subtil système de mixage dynamique mettra davantage d’emphase sur les effets sonores.
• Mais pour une plus étroite sélection d’habiletés, la musique joue un rôle majeur. En cas de premier impact réussi de l’habileté, la musique va transitionner sur un élément suspensif, le maintenir tout au long de l’habileté, puis rapidement transitionner à la fin de l’habileté, pour repartir là où elle a été suspendue. Une solution simple pour créer ce genre d’effet aurait été l’utilisation de stinger mais, bien que plus complexe, l’utilisation de notre système permet de suspendre la musique plutôt que l’atténuer.  Cela crée un moment figé dans le temps, mais permet également d’utiliser une transition d’entrée ainsi qu'une transition de sortie, pour plus de finesse dans la réalisation.

Yasuke utilize une habileté spéciale

Exécutions

Lorsque les joueur.euses exécutent une attaque de posture sur le dernier ennemi lors d’un combat, cela déclenche une séquence d’exécution.

Avec les designers de combat Gabriel Jobin-Roy et Hugo Dansereau, nous avons créé un système pour supporter les exécutions avec la musique.

Chaque arme dispose de plusieurs chorégraphies d’exécution.  En observant la durée de chacune, j’ai pu les regrouper en deux catégories et définir des durées moyennes qui donnent une sensation satisfaisante de synchronisation pour toutes les animations. 

Ainsi, lorsque les combats sont terminés par une telle attaque, la musique conclue par des variations particulières pour accentuer l’effet dramatique.

Les exécutions sont déclenchés comme des stingers

Chaque musique de combat a 2 exécutions possibles

Les stingers d’exécution module un RTPC

Les stingers d’exécution atténuent le bus de musique de combat avec un fondu-enchaîné musical

Post-fight

Les transitions entre musique de combat et musique d’exploration sont toujours un sujet délicat pour le jeu vidéo. La musique doit s’adapter à cette situation car telle est sa fonction. Si un orchestre devait jouer en temps-réel pour supporter l’action, nul doute que la partition s’adapterait pour souligner la transition de l’exploration au combat et vice-versa. Cependant, rendre cette transition trop apparente manque d’élégance. Aussi, il arrive fréquemment que les séquences de combat s’enchaînent.

Le post-fight est un état intermédiaire qui nous a permis d’adoucir cette transition. Il s’agit de segments édités qui servent de liant entre ces musiques. Ils jouent quelques secondes après un combat, de façon synchronisée avec les autres musiques, et la transition se fait par fondu enchaîné.

Un mélange de pistes de musique de combat et d’exploration utilisé pour le post-fight

Quest music in an open world

Dans AC Shadows, les joueur.euses sont en grande partie libres d’explorer le monde comme il.elles le souhaitent, indépendamment des quêtes poursuivies. Cette liberté, bien que très appréciable pour l’expérience de jeu, pose évidemment un défi majeur : comment accompagner efficacement des quêtes narratives spécifiques avec une musique unique, sans interrompre le flux de l’exploration ou du combat ?

Avec Fanny Campagnie, Directrice de la conception technique, nous avons développé plusieurs scripts permettant de jouer ces morceaux musicaux propres aux quêtes, tout en conservant un contrôle clair sur leur activation et leur désactivation.

Tout d’abord, les quêtes doivent être disponibles pour que les musiques associées soient prêtes à être jouées. Puis, différentes conditions déterminent leur démarrage ou leur arrêt :

• La présence du joueur au sein d’une zone délimitée.
• La proximité de PNJ ou d’éléments interactifs spécifiques.
• La réussite de sous-objectifs.
• Le déclenchement de certains éléments scriptés.

Enfin, il est à noter que les musiques de quêtes de Shadows utilisent également le DMS, pour créer une expérience cohérente avec les autres contextes de jeu et proposer le même dynamisme qu’en “free-roaming” ou pendant l’infiltration de zones hostiles.

Une structure de musique dynamique dans Wwise

Remerciements

La création d’un jeu de cette envergure est un colossal travail d’équipe. En plus des proches collaborateurs cités dans le texte avec lesquels nous avons travaillé sur les systèmes (non-exhaustifs) décrits, j’aimerais mentionner :

Simon Nicole – Spécialiste assurance qualité audio. 

Avec la nature systémique de notre approche, Simon a été d’une aide précieuse pour ajuster ces systèmes.

Mais également :

Greig Newby et Arnaud Libeyre – Directeur audio et Directeur audio adjoint

Jérome Angelot et Bénédicte Ouimet – Superviseur et Superviseuse musical

Roberto Bender – Programmeur audio

Daniel Sykora – Directeur Technique audio

Ainsi que mes collègues de l’équipe audio et les très nombreuses autres personnes qui ont aidé à la réalisation des systèmes de musique de Shadows.