Qui suis-je ?

Je suis un artiste et un programmeur créatif travaillant principalement sur des projets d'art contemporain. En tant que programmeur, je travaille avec divers clients pour produire des œuvres d'art qui entreraient largement dans la catégorie de l'art génératif. 

En tant qu'artiste, je suis la moitié du duo Xenoangel, aux côtés de Marija Avramovic.

Xenoangel 

Marija et moi avons une pratique artistique très diversifiée, allant de la peinture et de la sculpture à l'animation en temps réel. Nos animations sont des mondes simulés créés dans un moteur de jeu vidéo (nous utilisons Unity). Les mondes que nous créons hébergent des PNJ (esprits, charognards, créatures, etc.) qui interagissent entre eux et avec leur monde de manière originale afin de raconter une histoire. 

Nous sommes intéressés par le World Building et nous sommes fascinés par les idées d'intelligences non humaines, ainsi que par le concept flou de Slow Thinking (« pensée lente »)... J'entends par là le fait de penser à la vitesse d'une forêt, d'une montagne, d'un réseau mycélien de champignons, d'un système météorologique ou d'un monde. 

Au cours des dernières années, nous avons réalisé une série de ces œuvres d'animation en temps réel, chacune essayant de raconter une histoire spécifique :

Sunshowers est un rêve animiste dans lequel tous les objets d'un monde virtuel utilisent le même système d'IA ludique pour interagir les uns avec les autres. Il est basé sur la scène du mariage du renard, tirée du film de Kurasawa, Dreams. Il s'agit d'une commande pour l'exposition du Barbican intitulée « AI : More Than Human ». 

The Zone est un essai expérimental en ligne qui explore les artefacts et les phénomènes de Roadside Picnic (des frères Strugatsky). Il comprend un texte de l'écrivaine et conservatrice Amy Jones.

https://scavenger.zone/ 

Et, réalisé plus récemment, Supreme est un monde symbiotique existant sur le dos d'une bête mythique - un écosystème slow-thinking où des créatures archaïques non-humaines trouvent des histoires dans des objets vibrants pour les aider à découvrir une préhistoire. Supreme est également l'être-hôte d'écritures tentaculaires de plusieurs auteurs et artistes différents qui ont créé des textes à partir d'un point de départ commun : la symbiose et la coexistence.

Pour cet article, j'ai voulu partager certaines de mes expériences de travail en tant qu'artiste contemporain dans le domaine de l'animation en temps réel. Je parlerai de l'utilisation d'outils conçus à l'origine pour les jeux vidéo afin de créer des œuvres d'art, en mettant l'accent sur le son et sur la façon dont nous avons utilisé Wwise comme moteur audio pour nos œuvres. Je pense que la meilleure façon de le faire est de me concentrer sur notre plus récente pièce d'animation en temps réel... 

Supreme | Étude de cas

Vue de l'arrière de la bête

Comme je l'ai mentionné ci-dessus, Supreme est un monde symbiotique existant sur le dos d'une bête mythique. Cet espace onirique abrite un certain nombre de Critters (créatures) non-humains différents, interagissant entre eux et avec le monde lui-même. Leur vision du monde consiste en une série de mythes sur le fonctionnement de leur univers.

Toutes les entités non humaines de cet univers virtuel interagissent grâce à un système de réseau de neurones animiste qui leur donne vie en tant que propriété émergente du réseau. Il s'agit d'un écosystème symbiotique vivant virtuel, pouvant être observé sous la forme d'une histoire animée se déroulant à l'infini.

Le Healer - l'un des Critters trouvés sur le dos de la World Beast (bête contenant l'univers). 

La pièce est imaginée sous la forme d'un diptyque sur deux écrans offrant deux fenêtres synchronisées sur le monde. L'un des écrans nous montre une vue rapprochée du monde et se focalise sur les entités qui y vivent. Le second présente une vue dézoomée du monde dans laquelle on peut voir la World Beast (bête sur laquelle se situe l'univers) elle-même. De cette manière, la pièce présente de manière dynamique une multitude de perspectives, allant de l'individu à une échelle hyperobjet du monde lui-même.

Installation de Supreme pour l'exposition Faire Monde à Arles, France, 2021

Photo par Grégoire de Brevedent d'Ablon

Outils 

Par essence, Supreme est un jeu vidéo non interactif. Nous l'avons réalisé en utilisant des outils qui seront familiers aux petites équipes de développement indépendantes : Unity comme moteur de jeu, Blender pour la modélisation et l'animation 3d, Photoshop pour la création et l'édition de textures, Ableton pour la conception sonore et Wwise comme moteur audio pour l'exécution temps réel. 

Présentation 

Supreme est conçu pour être présenté dans une galerie ou un espace d'art dans le cadre d'une installation d'art scénographique, comme le montre la photo ci-dessus d'une exposition ayant eu lieu à Arles, en France. Il est présenté en diptyque sur deux écrans 4K avec un son stéréo jouant sur des haut-parleurs. La scénographie peut changer d'un lieu à l'autre, mais l'installation de base reste la même. 

Voici une rencontre avec la World Beast ayant eu lieu dans un stand lors de l'exposition ArtVerona 2021 : 

Photo par Virginia Bianchi 

Paysage sonore symbiotique - Le chant de la bête

Les mondes que nous créons en tant que Xenoangel sont non linéaires. Dans la plupart des cas, ils n'ont pas de manière évidente de point de départ ni de fin, et ce sont les personnages eux-mêmes qui déterminent les actions qu'ils vont entreprendre et le moment où ils vont les faire. C'est pourquoi nous devons concevoir les paysages sonores du monde pour qu'ils soient également non linéaires. La façon dont nous essayons généralement d'y parvenir est de mettre en place un pipeline audio principalement basé sur des échantillons et pouvant être réorchestré et mixé avec des effets en temps réel dans le moteur audio. 

L'un des éléments importants de Supreme consiste en un paysage sonore symbiotique déterminé par une interaction en question-réponse entre la World Beast et les Critters : 

La World Beast chante périodiquement. Il s'agit d'un grognement guttural occupant souvent la zone subaudio. Lorsque Supreme chante, chacun des Critters essaie de répondre. Supreme s'attend à avoir une certaine réponse rythmique et les Critters essaient d'apprendre ce rythme au fil du temps en utilisant un réseau de neurones / algorithme génétique. Plus ils se rapprochent du rythme attendu, plus leur synchronicité avec le monde augmente. 

Ce paramètre de synchronicité est à la base de tout l'écosystème de Supreme. Les Critters utilisent la valeur de ce paramètre lorsqu'ils décident de toutes leurs actions. 

Fabrication des échantillons

Les échantillons utilisés dans Supreme proviennent d'un certain nombre de sources, allant des packs d'échantillons à des sources audio originales enregistrées. Nous aimons réutiliser et améliorer le matériel audio d'un projet à l'autre, et nous avons donc maintenant une petite bibliothèque de sons dans laquelle nous pouvons piocher des sons à remixer chaque fois que nous avons besoin d'une nouvelle sonorité. 

Pour les voix des Critters, nous avons principalement utilisé des échantillons provenant d'une session d'enregistrement où nous avons demandé à une chanteuse de faire divers sons extraterrestres avec sa voix - afin de l'étirer pour qu'elle n'ait plus l'air humaine. Ces échantillons sont apparus dans presque tous nos projets depuis qu'ils ont été enregistrés il y a environ 5 ans. 

Conception sonore

Une fois que nous avions notre matériel source, j'ai choisi d'utiliser Ableton pour modifier les sons. C'est probablement la partie la plus amusante du processus. Je prends les échantillons et les superpose ou les étire, jusqu'à ce qu'ils ne soient plus reconnaissables. Je les passe dans des effets, je les inverse, je les ré-échantillonne, je les décale en hauteur... toutes les choses amusantes que l'on peut faire dans Ableton quand on se lâche et qu'on essaye de faire quelque chose de bizarre !À ce stade, j'ajoute également des sons synthétisés à partir d'instruments virtuels dans Ableton. 

Les plug-ins que j'aime utiliser à cette étape sont notamment les effets et les instruments de u-he, iZotope Iris 2, Valhalla Shimmer, zplane Elastique Pitch... la liste est longue. 

Programmation 

Le paysage sonore de Supreme est basé sur les échantillons audio, et est composé en temps réel et contrôlé par un certain nombre de classes C# dans Unity. 

Pour le chant de la World Beast, il existe une classe séquenceur qui lit un fichier MIDI contenant un certain nombre d'options d'appel différentes pour la bête, ainsi que les réponses idéales pour chaque appel. Le séquenceur choisit l'un de ces appels, le remixe un peu aléatoirement (parce que la vie est pleine d'aléatoire !) et l'envoie ensuite à la World Beast pour qu'elle chante. 

Ensuite, chaque Critter qui entend l'appel de la World Beast transmet les notes qu'il entend comme donnée d'entrée pour son esprit fait d'un réseau de neurones... 

Une note rapide concernant notre réseau de neurones :

Cela fait depuis notre projet Sunshowers que nous expérimentons avec différentes idées d'IA. Pour ce projet, nous avons créé un système simple de réseau de neurones et d'algorithme génétique en C# pour Unity, adapté des exemples C++ du livre de Mat Buckland, « AI Techniques for Game Programming » de 2002. 

Il s'agit d'un réseau de neurones ludique dont le seul travail est d'apprendre à naviguer dans les paramètres bizarres que nous avons mis en place dans nos mondes de jeu.

Il est lent, et chaque tick du réseau coïncide avec un événement dans le monde du jeu. Cela peut prendre toute la durée d'une exposition pour entraîner le réseau. L'idée fondamentale repose sur le fait que les personnages apprennent à connaître leur monde en temps réel. C'est ce code que nous appelons « Slow Thinking ». 

.. Le réseau de neurones fait donc sa magie dans sa petite boîte et sort des notes pour que le Critter chante.

Après tout cela, les notes sont transmises en tant qu'Events à Wwise avec des paramètres de hauteur, de vélocité, de durée, etc. 

Wwise 

Dans Wwise, j'essaie de garder la configuration aussi simple que possible, surtout parce que nous ne sommes que deux personnes travaillant sur tous les aspects de ces projets de grande envergure. 

Pour Supreme, tous les échantillons se trouvent dans l'Actor-Mixer Hierarchy et sont regroupés dans divers Containers (Random, Switch, etc.) en fonction de leurs utilisations. 

À titre d'exemlpe, voici comment est configurée l'une des voix de Critter : 

Les échantillons sont déclenchés à l'aide d'Events et de Game Parameters et Switches locaux, servant à modifier les paramètres du son. 

Garder cela simple et organisé dans l'outil de création Wwise permet d'itérer facilement à la fois du côté de Unity, et en termes de conception sonore dans Ableton et Wwise. Comme la plupart de la logique audio est contrôlée par des classes au sein de Unity, je suis en mesure d'y apporter des modifications et de les tester immédiatement sans avoir à reconfigurer à chaque fois le système dans Wwise. 

Enfin, j'utilise les effets en temps réel de Wwise pour ajouter de l'atmosphère et de la variété aux échantillons, ainsi que pour le mixage audio. Le mixage initial est fait dans notre studio ; cependant, nous le peaufinons in-situ pour chaque présentation de la pièce. 

Lors de l'installation

Nos pièces sont conçues pour être présentées dans des galeries ou des lieux artistiques dans le cadre d'installations personnalisées. Par conséquent, chaque présentation est unique et doit être adaptée à l'espace disponible. Cela est particulièrement important pour le son, car les haut-parleurs et les dimensions physiques de l'espace ont un grand impact sur la façon dont une pièce va sonner. 

Dans cette optique, lors de l'installation de nos pièces, nous consacrons généralement une bonne partie du temps à éditer le mixage et l'égalisation du son dans l'espace d'exposition. C'est l'un des grands avantages de travailler avec Wwise comme moteur audio dans ce contexte - l'outil de création de Wwise rend vraiment facile le mixage et la modification des paramètres d'effets pendant que la pièce est jouée en temps réel. 

Pour réaliser cela, nous utilisons l'option Remote Connection (connexion à distance) disponible dans Wwise pour nous connecter à la pièce depuis un autre ordinateur. Ensuite, nous nous installons dans l'espace, nous nous promenons, nous écoutons et nous faisons des ajustements au mixage jusqu'à ce que nous soyons satisfaits de la façon dont la pièce sonne. Une fois ceci fait, il est facile de régénérer les SoundBanks qui seront utilisées spécifiquement pour cette présentation. 

Pour certaines de nos pièces, nous avons même intégré une interface utilisateur pour le mixage et l'égalisation dans l'interface de Unity. Bien que cela prenne un peu plus de temps de développement à réaliser, cela permet à quelqu'un d'autre de mettre en place notre installation sans avoir besoin de régénérer des SoundBanks à chaque fois. C'était important pour notre pièce Sunshowers, car elle fait partie d'une exposition itinérante sur l'IA. 

Conclusion et projets futurs 

Après avoir lu ceci, j'espère que vous vous êtes fait une idée de notre travail avec Xenoangel, et que vous avez un petit aperçu de l'univers sonore de Supreme. Pour nous, notre travail est exploratoire, chaque nouveau projet s'appuyant sur ce que nous avons appris du précédent. 

Nous avons la chance d'avoir de nos jours des outils disponibles qui nous permettent de réaliser de tels projets avec une minuscule équipe de deux personnes. Sans des outils aussi démocratisés qu'Ableton, Unity et Wwise, cela ne serait pas possible. En termes de son en temps réel pour les projets basés sur Unity, Wwise nous a offert beaucoup de flexibilité pour développer nos idées de manière créative et efficace.

En ce qui concerne les projets futurs, nous sommes intéressés par des configurations d'enceintes non standard pour nos installations scénographiques. C'est quelque chose qui peut être intéressant lorsqu'on utilise des moteurs de jeu généralement destinés à fonctionner facilement avec peu de ressources sur n'importe quelle configuration standard de console de salon, mais pas de manière aussi aisée avec des installations non conventionnelles. J'ai déjà commencé un peu de recherche et développement sur ce sujet en créant des plug-ins Wwise personnalisés pour des sorties ambisoniques. Nous n'en sommes qu'aux premiers stades, mais j'espère que cela nous permettra de créer de nouveaux mondes sonores simulés passionnants !Restez bien à l'affût !