« Comment taire »

1. « Comment taire » Olivia Grandville et Sylvie Garot Romain Kronenberg – Nicolas Leroy

2. Enjeux • Explorer les liens possibles entre geste et son. • Trouver dans le geste des informations pertinentes pour le contrôle de la synthèse sonore. • Trouver des traitements sonores qui permettent de transformer une voix naturelle en matériau sonore plus électronique et abstrait.

3. Traitements sonores • MAC G5, Max/MSP • DM2000 – diffusion 6 enceintes • Matériau sonore : voix enregistrées préalablement, captation sonore du plateau en TR • Traitements : Sogs, ring modulation, Spat, delays, sampling, filtres résonants

4. Setup : Audio Cam 1 Cam 2 Micro 1 Micro 2 Matrice video PC Eyesweb G5 DM2000 ethernet ADAT amplis HP 1 HP 2 HP 6 HP 3 HP 5 HP 4

5. Captation et Vidéo • Logiciel utilisé : EyesWeb sur PC, développé par InfoMus Lab à l’université de Gênes (www.eyesweb.org) • 2 Caméras DV reliées au PC en composite via une matrice KRAMER commandée par le PC • Données gestuelles envoyées du PC vers le MAC : - liaison Ethernet - protocole Open Sound Control

6. Setup : Captation et Vidéo

7. Déroulé du spectacle Podium Plateau segmenté Tractation Son plateau Final

8. 1. Captation « Podium » Extraction de la couleur de la peau Mode YUV (YCbCr : Luminance et Chrominances) Traitement de la chrominance Cr traduisant la proximité au rouge/rose caractéristique de la couleur de la peau Utilisation du barycentre des pixels Robuste Envoyé via Open Sound Control au MAC

9. 1. Patch Caméra « Podium »

10. 1. Podium • 86 samples extraits d’un texte, déclenchés successivement en fonction des mains d’Olivia: • position • proximité • énergie - Déclenchements de syllabes.

11. 2. Captation « Plafond » • Technique de captation : • Passage en niveaux de gris • Soustraction de fond avec seuillage : • Photo prise Live ou pré-enregistrée => Image binarisée • Filtrage : médian + close • Extraction d’une région (« Blob ») • Bounding rectangle • Vecteur direction • Ajout de bruit : - Déclenchements aléatoires stoppés si Olivia rentre dans la zone de captation • Vidéo-projection de l’image traitée

12. 2. Patch Caméra « Plafond »

13. 2. Plateau segmenté - Plateau segmenté en 8 zones. • Chaque zone déclenche une partie du texte • Le texte affecté à chaque zone évolue dans le temps, lorsque toutes les zones ont été déclenchées. • Bruit ajouté dans l’image par EyesWeb => nombreux déclenchements aléatoires. • Olivia prend le pas sur le bruit lorsqu’elle entre dans la zone de captation • Samples envoyés dans Delays avec feedback -> construction d’un matériau sonore. 1 2 5 6 8 3 12 7 7 4 11 8 6 5 10 9

14. 3. Tractation • Calcul de l’énergie du corps d’Olivia sur le PPRA et la position du centre de gravité. • L’ énergie contrôle le point de lecture dans le fichier son (buffer~) • La vitesse de lecture dépend aussi de la position dans le buffer~ • Si l’énergie est inférieure à un seuil donné, le point de lecture se fige et varie légèrement autour de sa position d’arrêt. • - Sogs -> RM

15. 4. Son plateau • 2 capteurs Accusound sous le plateau. • Le son est traité successivement avec des filtres résonants, puis de la RM. • Le son des capteurs est amplifié jusqu’au larsen contrôlé depuis la console.

16. 5. Final • Retour de Sogs • En fonction de l’énergie du corps d’Olivia, on avance dans le buffer très vite • Le son part dans des delays, dont le temps de delay varie abruptement, • Chaque delay est envoyé dans une enceinte.