générer du son
avec du visuel

----

Aujourd'hui, les interactions entre les arts visuels et sonores vont plus loin qu'illustrer
le son ou l'accompagner de visuel comme ce fut longtemps le cas. Désormais, l'un des aspects peut servir de base pour produire l'autre. Ainsi, la création visuelle peut parfois être utilisée pour générer du son.

Tout d'abord, c'est de plus en plus le cas dans la production musicale actuelle qui passe par les interfaces graphiques des logiciels pour être conçue. En effet, les musiciens manipulent désormais le son par sa représentation qu'ils en ont sur leurs écrans, que
ce soit pour composer ou pour mixer.
« La programmation remplace la gestuelle et le stockage numérique la surface gravée du vinyle. La main ne joue plus que de l'interface digitale du sampler. Le breakbeat devient une ‹ science appliquée ›. Le travail du DJ consistait à isoler un break afin de la reséquencer manuellement sur une de ces deux platines réglementaires. L'ingénieur/producteur le visualise sur son écran d'ordinateur. Il n'opère plus sur de
la durée musicale, l'once indivisible de temps qu'il faut à la pointe pour transmettre l'intégralité du break, mais sur des portions d'espace. L'espace qu'occupe sa représentation en deux dimensions sur l'interface du logiciel. »1
Selon Roland Schöny, le pouvoir visuel des nouveaux logiciels est tel qu'il « facilite aux graphistes et aux informaticiens l'accès à l'univers de la production musicale. »2
En effet, avec les technologies numériques les domaines de production graphique et de production sonore intègrent des outils et des fonctionnements similaires.
« Loin de nous laisser indifférents, les relations entre processus visuels et sonores ont d'autant plus retenu notre attention, que, désormais les ordinateurs portables et leurs logiciels génèrent des images et des sons conçus selon les mêmes critères. ‹ Ce que vous voyez est ce que vous entendez ›, affirment Jonhatan More et Matt Black. Cependant, comme le note Jean-Luc Nancy, ‹ il serait captivant d'étudier les différences
et les ressemblances entre la synthèse musicale et la synthèse visuelle : comment la seconde renvoie plus évidemment, au premier abord du moins, à la recomposition de formes déjà données, tandis que la première semble plus extraire de ses machines
des minerais nouveaux. »3

Désormais, n'importe quel logiciel de conception et de composition sonore passe par des outils graphiques mais certains ont décidé de pousser les analogies plus loin pour tenter de rendre possible la création sonore par le biais d'images.
C'est le cas par exemple du logiciel MetaSynth : « Liberé des contraintes matérielles du monde réel, l'interface du logiciel MetaSynth d'U&I Software permet à son utilisateur de jouer de la musique à l'aide de lignes ou de figures qu'il dessine, ou d'images qu'il importe et qui sont ensuite interprétées comme autant de sons. »4
D'une manière différente, c'est ce que permet également IanniX, programme développé
par l'association du même nom et inspiré par le compositeur Iannis Xenakis. C'est un séquenceur graphique qui permet de construire des visuels et des motifs complexe
par programmation et de les faire interagir avec d'autres logiciels musicaux pour créer
et manipuler du son.5

De plus, la technologie tactile permet aujourd'hui de rendre encore plus ludique et interactif les interfaces visuelles de logiciels musicaux. On peut ainsi évoquer des applications pour tablettes telles que Konkreet Performer, Samplr ou Borderlands Granular, permettant de jouer avec des formes géométriques et des représentations
du son à même l'écran.6

Certains artistes profitent alors de l'émergence de ces technologies pour expérimenter
la création sonore par le biais de visuels.
C'est le cas par exemple de Julien Poidevin qui s'est servi du logiciel Iannix pour réaliser son projet City Score. Une partition graphique est dessinée au mur, représentant une silhouette de ville. Un capteur et le logiciel Iannix lit ensuite ce visuel, le retranscrivant
en sons.
« City Score aborde la question du rapport entre le corps et le territoire et tente d'instaurer un dialogue poétique entre ‹ intérieur › et ‹ extérieur ›. C'est un projet de recherche autour du paysage sonore et de ses possibles représentations.
Une partition graphique, réalisée à partir de prise de vues des villes de Mons et Bruxelles, génère et transforme des sons de synthèse qui se mixent avec les sons de la ville captés en direct à l'extérieur du bâtiment, créant ainsi une composition ouverte aux flux des sons de la ville et potentiellement sans début ni fin, et qui par là même tente de créer un lien entre différentes temporalités qui s'entrelacent. »7

Dans une apprcohe similaire, on peut également évoquer 1 Bit Symphony du musicien Tristan Perich. Son dernier projet est vendu non sous forme de disque mais dans un petit boitier contenant un système électronique où l'on peut brancher une prise jack et écouter l'œuvre. La pièce y est donc exécutée est non simplement lue.
« Le 1-bit symphony de Perich est à la fois une œuvre sonore, du physical computing et du design. Un boitier CD de modèle fin, transparent, laissant voir quelques composants soudés à la main, alignés à intervalles réguliers  : une pile, un interrupteur, une puce,
un bouton à presser, un potentiomètre et une prise minijack collée au bord droit du boitier.
On y place une paire d'écouteurs, on glisse l'interrupteur sur on et un flot sonore s'écoule, soutenu, répétitif mais structuré. Des nappes sonores qui rappellent certaines pièces de Steve Reich ou John Adams. On y retrouve des patterns, des syncopes, des boucles et des permutations. On est en fait plutôt étonné, vu le minimalisme de l'objet, d'y trouver de la musique. C'est que la pièce relève de ce que l'on appelle le ‹ chiptune ›, elle est produite directement par la puce électronique, modulant du son uniquement en ouvrant
et coupant l'alimentation électrique à très grande vitesse. […] On a affaire ici à une pièce musicale non pas reproduite après enregistrement, mais bien performée lors de l'écoute. Le CD, comme support de reproduction, est donc bien remplacé par la pièce elle-même. L'objet, bien qu'autonome, n'est pas un iPod non plus : il ne joue qu'une pièce composée de 4 mouvements d'un peu plus d'une demi-heure terminant sur un cinquième mouvement en boucle. […] Walter Benjamin parlait dans son texte le plus célèbre de la reproductibilité technique comme menace possible à l'aura. Comme en réponse, le code source embarqué sur la puce électronique de 1-bit Symphony est aussi fourni sur papier avec le CD. Une façon pour Perich d'affirmer que la reproductibilité n'enlèvera rien à son œuvre, dont chaque composant peut être acheté dans le commerce.
C'est l'assemblage du hardware et du software, et une pile de 3 volts, qui actualisent à chaque audition l'intention de l'auteur, et font de 1 Bit Symphony, au creux de la main,
une œuvre unique. »8

D'une toute autre façon, on peut citer le collectif Avoka, qui a créé récemment Dyskograf, une installation permettant, grâce à des capteurs, de retranscrire en musique des dessins aux feutres.
« Dyskograf est un lecteur de disques graphiques. Chaque disque est créé sur place par les visiteurs de l'installation grâçe à des feutres mis à leur disposition. Le dispositif permet ensuite de lire les disques pour traduire le dessin en une séquence musicale.
L'installation est avant tout un outil qui permet de créer des séquences musicales de façon intuitive. La notion de boucle intimement liée aux musiques électroniques est ici représentée par le cycle du disque. Le disque défile indéfiniment devant une caméra fixée sur un bras. Ce diamant de substitution convertit le dessin en son grâce à un logiciel dédié. Ce système permet d'appréhender le séquençage musical de façon ludique tout
en créant un objet unique, souvenir de la composition musicale. »9

De la même manière, Vok Dams et The Product ont créé Soundmachines, un instrument fait de trois modules similaires à des platines qui ne lisent pas des disques mais convertissent des motifs graphiques concentriques en signaux qui sont ensuite interprétés par le logiciel musical Ableton Live.10

Ces deux projets récents ne sont pas sans rappeler les expérimentations de László Moholy-Nagy il y a près d'un siècle, tentant de produire du son sur des platines en gravant des signes graphiques sur des disques.11

On peut alors également évoquer le travail d'Emmanuel Martinet pour son DNSEP à l'ESAD de Strasbourg en 2011. Pour son projet, nommé Volume, il s'est intéressé aux interactions entre livre et musique en créant un système permettant de se servir d'une édition imprimée comme d'un moyen de production musicale.
« Emmanuel Martinet, diplômé de l'Esad Strasbourg, a imaginé ce dispositif original qui explore les disciplines de l'édition et de la musique. Il crée une série de 4 livres surplombés par une caméra qui analyse et reconnaît le contenu des différentes pages. Connectée à un déclencheur, elle permet l'activation des boucles musicales réalisées
par Jean-Baptiste Di Marco. L'installation complète, regroupe une large palette d'effets sonores, dont la manipulation est à la portée de tout le monde. Il suffit en effet
de tourner les pages. »12

Enfin, on peut également mentionner le designer Matthew Falla, qui a réalisé un packaging de disque interactif et ludique où l'utilisateur peut remixer la musique en temps réel, simplement grâce à un stylo ou un crayon de papier. En effet, la pochette du CD est fournie avec des cartes où sont imprimés des circuits électroniques à l'aide d'encre conductive. On peut alors insérer une de ces cartes dans l'endroit prévu à cet effet dans le boitier (qu'il faut relier par USB à un ordinateur) et commencer à intervenir graphiquement sur celles-ci. Les circuits imprimés agissent alors comme un séquenceur sur lequel on vient insérer des éléments, modifier des parties, accélérer le tempo…13





1. GALLET, Bastien, Le Boucher du prince Wen-Houei,
Musica Falsa, Paris, 2002

2. SCHÖNY, Roland, « L'objet sonore dans le langage
de la matrice numérique », in
Sonic Process, une nouvelle
géographie des sons
, Éditions du Centre Pompidou, Paris, 2002

3. VAN ASSCHE, Christine, « Sonic Process, une nouvelle géographie
des sons », in
Sonic Process, une nouvelle géographie des sons,
Éditions du Centre Pompidou, Paris, 2002

4. BERK, Mike, « Technologie », in
Modulations, Une histoire
de la musique électronique
, Allia, Paris, 2010

5. Voir le site du programme Iannix.

6. Voir contrôleur MIDI.

7. Description de « City Score » sur le site
personnel de Julien Poidevin
http://apo33.info/semantik/?portfolio=city-score

8. Anonyme, « 1 Bit Symphony », in
Arts Numériques [En ligne]
http://arts-numeriques.codedrops.net/1-bit-symphony-Tristan-Perich-2009
Voir le site internet de l'œuvre.

9. Description sur le site de l'œuvre.
http://www.avoka.fr/portfolio/dyskograf
Voir la vidéo de l'œuvre.

10. Voir le site du projet Soundmachines.

11. Voir la partie sur les pionniers des musiques électroniques.

12. Anonyme, « Avec Volume, il suffit de tourner la page »,
in
Étapes [En ligne]
http://etapes.com/avec-volume-il-suffit-de-tourner-la-page
Voir la vidéo du projet.

13. Voir le projet et la vidéo du CD Sequencer.





↑ haut de page


Une partie de l'interface graphique du logiciel Ableton Live.


Interface graphique du séquenceur Iannix.


Application tactile Konkreet Performer.
City Score de Julien Poidevin.


1-Bit Symphony de Tristan Perich.


Dyskograf du collectif Avoka.


Soundmachines, de Vok Dams et The Product.


Volume, Emmanuel Martinet, 2011