Pour tourner la page, un simple recours au doigt est suffisant.

Voici comment le présentateur de leerestademoda présente une évolution technologique sans précédent, le BOOK, qui est « totalement autonome en énergie », « compact et portable », qui peut contenir plusieurs milliers de bits d’information. Au-delà du ton très sérieux, partiellement inspiré des démos qu’Apple met en ligne pour chaque nouveau produit, ce qui fait le succès de cette vidéo, c’est la récupération des gestes des lecteurs de livres papier pour un nouvel outil présenté comme high-tech et qui n’est rien d’autre, justement, qu’un livre dans sa plus pure définition.

Avec les tangible (ou graspable) user interfaces, il s’agit d’explorer l’usage d’artefacts physiques pour organiser et manipuler des informations numériques en offrant une interaction hybride qui met en jeu des données réelles et virtuelles. Il s’agit aussi de faire appel à un sens inné de l’espace, du monde matériel et à des gestes communs de manipulation. L’idée est simple : chercher des représentations intuitives pour tirer parti des capacités que peuvent offrir certaines interfaces aussi facilement qu’on peut le faire avec nos objets quotidiens.

Le geste numérique

Un clavier, une souris ou même une tablette graphique sont moins des prolongements du corps humain – comme le voudrait l’idée reçue – qu’une avancée de l’écran dans le monde réel. L’utilisateur prend le contrôle de ce qui se passe à l’écran à partir d’un outil mécanique dont le fonctionnement est abstrait et qui agit sur les événements à l’écran.

En revanche, une tangible user interface est bel et bien un prolongement du corps : elle a vocation à en épouser les évolutions. Ce caractère indirect, qui réclame qu’intervienne un processus de traduction à un point donné de la chaîne de contrôle, ouvre pourtant la possibilité d’une manipulation plus directe et intuitive sitôt l’interface apprivoisée. Pourquoi cela ? C’est justement la complexité du geste réel qui est gage d’une manipulation fine de l’ordinateur.

Le geste humain est analogique, infiniment complexe, multiple et gradué dans sa simplicité, tandis que les inputs venant du clavier ou de la souris sont immédiatement numériques : ils ont la pauvreté triste et bichrome des 0 et des 1.

Musique technologiquement augmentée

La composition par ordinateur est l’un des champs les plus renouvelés par les tangible user intefaces, qui font appel à des conceptions du geste musical très diverses.

Qui en a déjà fait l’essai sait combien tous les logiciels de composition par ordinateur sont peu intuitifs : que l’on utilise Live d’Ableton ou plutôt Max/MSP (l’outil de traitement du son en temps réel développé par Miller Puckette) ne change, au fond, pas grand chose à l’affaire. C’est le revers de leur sophistication qui est perturbant : ces outils permettent de régler tant de paramètres (instruments, effets, rythmes, enveloppes) que leur maniement en devient byzantin au possible. Donner une cohérence organique à une séquence sonore relève presque de la gageure : comment faire évoluer dans le temps, des effets (et la somme de leurs paramètres) tels qu’une distorsion ou un delay, et continuer de percevoir la continuité de telle ou telle partie avec l’ensemble ? Composer un morceau sur de tels logiciels revient à tenter de comprendre un film en observant la pellicule à la loupe, photogramme après photogramme.

Les paresseux comme nous mettent quiconque au défi de réussir à faire sonner les boîtes à rythmes intégrées de Reason ou Live : à moins de savoir régler au cordeau les sons pré-enregistrés, tous ou presque semblent dévitalisés, sans épaisseur ni corps. Leur son est plat, au sens propre, et c’est pire quand on tente de les enchaîner dans une séquence rythmique : difficile d’éviter des sonorités mécaniques et chaque son est désolidarisé de son voisin, trop précis, trop défini, trop infaillible. Entendons-nous bien : loin de nous la volonté d’opposer instruments virtuels et instruments réels, ou de déclarer la supériorité des seconds sur les premiers, qui ont fondé des esthétiques passionnantes. On ne dira jamais assez combien un logiciel comme Max/MSP et sa logique austère d’écriture (plutôt que d’imitation d’instruments réels) ont ouvert d’énormes brèches dans le champ de la composition par ordinateur. Simplement, le bât blesse quand les instruments virtuels tentent d’imiter les instruments réels sans qu’ils puissent approcher la simplicité de leur maniement, leur poids, leurs formes ou procurer le plaisir simple de tourner les potentiomètres d’une pédale d’effet. C’est à ce problème que répondent les tangible user interfaces.

Elles redonnent à ce type d’outils une vue d’ensemble, sans sacrifier la complexité des paramètres. Au réglage degré par degré, elles substituent la vitesse du geste effectué dans l’instant ; à l’exécution étape après étape, elles préfèrent l’immédiateté de la décision. Le geste y prend toujours de vitesse le calcul et les opérations de l’ordinateur ; les opérations compliquées de calcul mental sont littéralement synthétisées en un tournemain ; l’œil y trace des raccourcis fulgurants entre muscles et cerveau. Elles procurent un accès intuitif à la richesse des paramètres électroniques. Tout ce qui, dans un logiciel de composition, relève du calcul, du réglage, devient l’affaire du geste humain.

Audiopad et Reactable : lumière, géométrie et biomorphisme.

Ce qu’apportent les tangible user interfaces, c’est donc tout simplement le meilleur des deux mondes. Deux prototypes sortent du lot : la Reactable et l’Audiopad. Si leur aspect et leurs principes fondamentaux sont assez proches (des tables graphiques que l’on manipule à la main, conçues sur le modèle du synthétiseur modulaire), leurs philosophies respectives diffèrent sensiblement. La Reactable, comme son nom l’indique, est fondée sur la réaction des modules les uns avec les autres.

Chaque module a une forme géométrique simple : cube, cercle, carré. Si un cube génère une sinusoïde, il suffit de le faire pivoter sur son axe pour modifier la forme de l’onde : triangulaire ou carré, par exemple. Comme sur un synthétiseur modulaire, on peut ajouter aux éléments de base tout un ensemble d’effets ou de modules et les combiner dans n’importe quel ordre. La disposition spatiale de la Reactable (elle est circulaire et sa surface est un fond luminescent bleu) aide à la lisibilité des constructions, contrairement à l’austérité d’un instrument mythique comme le ARP 2600. Les interactions entre modules sont représentées sous la forme d’une attraction magnétique : c’est la proximité entre deux modules qui leur permet d’interagir. On ne saurait statuer sur la beauté de la Reactable. Ses couleurs chatoyantes et ses formes douces ornées de pictogrammes naïfs en font un objet pacifique. Elle évoque un univers enfantin, éventuellement vidéoludique et joint à l’imaginaire des jeux de construction les formes d’une science-fiction colorée et primitive. La Reactable a, sur l’œil, un magnétisme certain qui en facilite indéniablement l’usage. Mais ses partis pris plastiques sont trop spectaculaires pour ne pas être de l’ordre du manifeste : de fait, ses formes tendent à être détachées de leur usage.

Dans l’Audiopad, le lien entre les formes et l’usage de l’outil est beaucoup plus direct. Ses formes biomorphiques sont projetées sur la table : ce choix plastique est étonnant et semble presque archaïque en regard de la sophistication générale de l’outil. Cela mis à part, ce parti pris est exploité jusqu’au bout et innerve totalement son utilisation. Chaque module est doté d’une aura luminescente qui représente sa surface d’influence. C’est parfois un arc de cercle qui tourne autour du module et dont le rayon varie, parfois une forme souple et mouvante qui évoque la membrane d’une cellule vue au microscope.

Ces options d’ordre formel sont non seulement belles et élégantes, mais surtout elles font corps avec la signification profonde d’une tangible user interface : permettre le maniement analogique d’informations numériques. À ce titre, la projection des informations sur la table (et les mains des utilisateurs) conserve cette part de matérialité qui fait le corps des tangible user interfaces. Last but not least, ces formes biomorphiques induisent un usage original, fondé sur l’approximation, le hasard et le vague plutôt que sur la précision, l’exactitude et la métrique. Moins plastique et un peu plus immatériel, l’Audiopad est bien un objet désirable, qui appelle davantage le contact et la manipulation tactile que la Reactable.

D-Touch : retour au papier

L’Audiopad et la Reactable convoquent des univers très différents en vue d’être manipulables et intelligibles, mais exigent néanmoins un degré d’équipement qui les rend relativement peu accessibles au grand public.
Il existe sur la toile un système qui, depuis sa mise en ligne en 2009, s’est perfectionné et est monté en capacité autour d’un créneau fondamental : le système D.

La grande différence qui fait le charme de D-touch, c’est sa disponibilité. Sur le site du projet, initié par Enrico Costanza et Simon Shelley n’importe quel amateur de musique curieux peut prendre les commandes d’un logiciel de composition malin et bien computé, sans bouger de sa table.

Cet été, Elliot Salisbury a rejoint l’équipe de D-touch, et a marqué ainsi un nouveau développement de cette affaire, avec une réédition du projet. S’il fallait résumer, D-touch aurait pu être le résultat d’une après-midi passée entre Michel Gondry et une bande d’amis geeks et un peu musiciens avec un vieux PC, une ramette de papier premier prix et une imprimante jet d’encre noir et blanc.

La première étape, c’est le téléchargement d’une petite interface à installer sur son ordinateur qu’il soit PC ou Mac. D-touch met ensuite en ligne des marqueurs graphiques à imprimer soi-même, et qu’on va pouvoir coller ou fixer sur n’importe quel petit élément en volume trouvé sur notre bureau : morceau de sucre, pièces de Lego, coquilles de noix, … et qu’il va falloir disposer sur une feuille blanche à cadrer dans sa webcam. Cette feuille blanche 21x29,7 est la surface de déchiffrage des modules disposés. Le site met également en ligne un exemple d’élément à construire soi-même pour accrocher sa webcam bien en hauteur au dessus de la feuille A4, pour qu’elle ait une vue d’ensemble. Sinon, précisent-ils, une lampe de bureau peut faire l’affaire, et il suffira d’y fixer la webcam avec du scotch.

La webcam est le décodeur des compositions sur le papier et constitue, avec les marqueurs, la partie émergée du dispositif. L’idée principale est de proposer un type de représentation évocateur autant pour l’humain que pour la machine. Les marqueurs sont de plusieurs ordres, et peuvent même être personnalisés. La seule contrainte est une bonne répartition des noirs et des blancs sur le rectangle.

L’interface téléchargeable propose avec quelques réglages simples des options assez basiques de boucles, de réverbération, avec des variations possibles de durée et de rythme. On peut également enregistrer soi-même ses sons, et les combiner sans limite.

D-touch, c’est le territoire rêvé du Do It Yourself (DIY) que Michel Gondry définit comme :

la fabrication d’un objet qui ne requiert pas d’intervention d’une tierce personne. On n’a pas besoin de formuler l’œuvre a priori, on peut l’exécuter directement, comme un solo de jazz. Ça va directement du cerveau à l’exécution finale.

D-touch réussit le tour de force de faire oublier le logiciel complexe qui est proposé et de permettre une liaison directe entre une série d’objets fabriqués maison, montés et scotchés en volume avec les moyens du bord et une construction sonore personnelle, propre et immédiate. Des internautes ambitieux ont même prouvé que D-touch peut être adapté à des échelles différentes, ce qui en fait l’une des rares interfaces musicales gratuites, en ligne, participatives et 2.0. Une version pour téléphone mobile est d’ailleurs en cours d’élaboration.

Le DIY est un mode de production dont on ne dira jamais assez les atouts, particulièrement en ces temps de web communautaire, de décroissance et de mobilisation politique spontanée et instantanée. La force de D-touch est aussi de remettre au centre de la production musicale par ordinateur deux aspects fondamentaux mais très souvent oubliés.

Premier aspect : D-touch rappelle que la musique populaire a des vertus sociales et pas simplement musicales. Elle fédère, agite, échange avec le corps social, s’en nourrit. Proposer des outils accessibles à peu de frais, c’est indéniablement œuvrer en ce sens. À ce titre, D-touch endosse une vraie signification communautaire et démocratique dont on ne peut que se réjouir. Que les usagers puissent concevoir et imprimer eux-mêmes leurs marqueurs dit assez combien D-touch est ouvert aux contributions extérieures. Si cette intervention n’est, aujourd’hui, que purement cosmétique, on peut rêver que demain le logiciel réagira à la répartition des noirs et des blancs sur les marqueurs et que l’intervention des usagers dans la conception de certains éléments du dispositif se traduira par des effets musicaux. On connaissait le web participatif et les logiciels open source, D-touch pourrait bien être le premier logiciel musical participatif.

Deuxième aspect : D-touch rappelle l’importance de l’imagination dans la pratique musicale. Nous ne voulons pas nier l’évidence : pas d’invention sans connaissance et maîtrise profonde des règles, pas de pratique instrumentale originale sans passer sous les fourches caudines de l’exercice (gammes, solfège). Cependant, la composition par ordinateur comme la musique populaire s’accompagnent trop souvent d’un discours techniciste assommant. Combien a-t-on vu de Gargamels dépourvus de scrupules et dont la musique est aussi terne que le teint, qui vous expliquent très doctement et sans sourciller comment régler votre ampli pour sonner comme David Gilmour ou Angus Young ? Combien sont-ils sur les forums, à expliquer comment utiliser tel logiciel pour qu’il sonne selon les canons couramment acceptés par nos oreilles ? D-touch retourne comme un gant cette doxa déprimante de conformisme et prouve que la manipulation du son et l’invention conséquente découlent plutôt d’une architecture singulière, qu’on peut mettre en place avec à peu près n’importe quoi, matériaux nobles ou pas, pourvu qu’on tâche d’avoir de l’imagination et de se poser un minimum de questions.

En somme, D-touch œuvre pour l’affranchissement des imaginaires et des imaginations. Mot d’ordre : inventez vos propres outils, vous inventerez aussi votre propre langage.

Pour aller plus loin :

le Tangible Media Group du MIT Media Lab