Conception sonore De lcriture linaire linteractivit Ccile Le Prado cecile.leprado@free.fr Avec des citations des travaux de Lionel Gaget, Jean Baptiste Merlan, Alkis Argyriadis, Vincent Pervevault, Damien Pousse, Germain Geny et des lves de lENJMIN RSX 205 CNAM 2008 James Bond un jeu et un film. 1963 Film de Terence Young 2005 Jeu dit par Electronic Arts /Xbox et PS2 2 RSX 205 CNAM 2008 1 Rappels RSX 205 CNAM 2008 Dfinitions Ecriture, interactivit, Situations de restitution et modes de perception Conception sonore Linarit et non linarit Musique alatoire et musique gnrative Interactivit et connaissance des rgles Temps rel et temps diffr Situation de navigation multimdia Situation de jeu Situation dinstallations Mode passif ou actif Mode de visite corporelle RSX 205 CNAM 2008 Attitudes dcoute (M. Chion) Les trois coutes Causale: origine physique du son Smantique : connaissance dune grammaire Reduite lobjet sonore pour lui-mme Lobjet sonore et lcoute acousmatique Laudio-vision en creux Psycho-perception: Comment nous faisons le complment des informations sonores ou visuelles manquantes RSX 205 CNAM 2008 Flux audio et flux visuel Historique Relation verticale et horizontale /harmonie et contrepoint - Cinma muet Points de synchro vers une solidarit perceptive - Sons fixs et points d ancrage entre le sonore et le visuel Runir et ponctuer Lissage de plans Diverses ponctuations : - Rapports dissonants ou consonants (Ponctuation prpare avec des chemins diffrents) (Rupture cut image et son) - Audio vision en creux et points dancrage vits RSX 205 CNAM 2008 Les trois frontires et complments IN /source dans limage/appartient la ralit de ce qui est visualis HORS -CHAMPS/source invisible un moment donn, temporairement ou dfinitivement OFF/ source absente et non digtique/autre temps, autre lieux que la situation visualise SON AMBIANT ou territoire/ englobe une scne sans localisation spcifique SON INTERNE/dans le prsent de laction/intrieur dun personnage, physique ou mental SON SUR LES ONDES/prsent la scne/suppos tre transmis lectriquement RSX 205 CNAM 2008 Choice of interactivity Adaptative Linear Pre-rendered Game-rendered scnarisation Multilayers MIDI Modules Crossfade RSX 205 CNAM 2008 2 Analyse linaire RSX 205 CNAM 2008 Introduction lanalyse daprs Michel Chion 1 Mthode des caches 2 Le mariage forc 3 Questionnaire type : -Recherche des dominances et description densemble Nature des diffrents lments sonores qui interviennent : Lequel est mis en vedette ?A quel endroit ? Consistance du son ? - Comparaisons avec le flux image:vitesse, matire et dfinition, - Quest-ce que je vois de ce que jentends ? Quest-ce que jentends de ce que je vois ? -Reprage des points dancrage RSX 205 CNAM 2008 Introduction lanalyse daprs Laurent Jullier Objectifs: Reprer des formes et en trouver la raison (hors systme verbal et musical) 1 Quoi ? Quest ce que ce son ? De quelle source sonore le film veut-il suggrer quil mane ? 2 Do? Dans quel espace plus ou moins reprsent limage se trouve cette source ? 3 Pourquoi ? Quelle information utile dun point de vue du rcit, Sil sagit dune uvre narrative, quelle information est-elle apporte par ce son ? RSX 205 CNAM 2008 EXEMPLES FILM RSX 205 CNAM 2008 Jacques Tati Les vacances de Mr Hulot 1953 Rvaluation des bruits, prtextes jouer Slection des objets/images ayant un son Composition dune entit sonore personnelle Dstabilisation , sons en creux RSX 205 CNAM 2008 J.Jeunet et M. Caro Delicatessen 1991 Annonce de la palette sonore dans le menu Hors champs Musicalit des bruits et orchestration Rpercution du son sur limage RSX 205 CNAM 2008 GTA3 Trailer QuickTime et un dcompresseur Sorenson Video sont requis pour visionner cette image. RSX 205 CNAM 2008 3 Analyse non linaire RSX 205 CNAM 2008 Propositions danalyse pour le jeu vido 1 Quelle est la nature des lments de la bande son? Voix Effets spciaux(Folley effects) Bruitages ralistes Ambiances Musique (linaire, en boucle, interactive) RSX 205 CNAM 2008 2 Quel est le rle de ces diffrents lments sonores dans le la navigation ou le gameplay ? Sons dinterface Sons des cinmatiques Sons daction Sons entits Sons dcors Ambiances ou musique des lieux, des niveaux Ambiance ou musique scnarise Sons information/Y a t il des sons localisables aidant au gameplay? RSX 205 CNAM 2008 3 Comparaison entre ce que lon voit et ce que lon entend Y a t il des sons en remplacement d lments visuels ? Quelle est la part du son hors champs ? Y a t il des redondances ou au contraire des manques ? Comparez diffrents moments du jeu le point de vue et le point dcoute ? Que se passe-t-il si on coupe les bruitages ou la musique ? ou les deux ? 4 Conclusions Est-ce un monde sonore auquel on croit? Est-ce que toute la bande son est ncessaire ? RSX 205 CNAM 2008 Le son fait partie du gameplay et doit conduire le joueur , lui donner des indices. Il doit entre autre accrotre la sensation dimmersion. Il doit viter la sensation dennui par la rptition. Le son dpend de la capacit du moteur intgr les paramtres souhaits par le sound designer La synchronisation entre limage et le son nest pas dtermine dans le temps mais dpendante des actions du joueur Lcriture sonore est plus lie lespace quau temps. Contraintes du son dans un jeu RSX 205 CNAM 2008 EXEMPLES CAPTATION JEUX VIDEO Rayman 1995 /PS1/Ubisoft Rez 2001 /Sega Dreamcast et PS2 Silent Hill 2 2001/PS2/konami RSX 205 CNAM 2008 Rayman Cinmatique Musique Vignettes musicales strotypes: cirque , Hawa , rock, pplum Tension commune image et sons Effets cartoon et mise en scne sonore: Sons digtiques hors champs Accentuation rverbration et silence RSX 205 CNAM 2008 Rayman Ecoute avec et sans musique Musique non scnarise /ambiance dun lieu (percussion) Ponctuation des actions non systmatique Design sonore type cartoon Mise en espace RSX 205 CNAM 2008 Rez Tutorial et premiers niveaux Difficultes croissantes Synchronisation des actions et tempo musical Temps rel :synthse effets sonores , musique, mixage, tempo, Homognit de la palette sonore: design sonore , musique, sons d interface, Musique d ambiance de lieu ? musique scnarise ? RSX 205 CNAM 2008 Rez Sans musique Sons d interface: chantillons boite rythme Jingle rcompense Acclration densit et tempo RSX 205 CNAM 2008 Rez Sans effets Evolution douce des strates de mixage Modulation sans rupture aux changements de niveaux RSX 205 CNAM 2008 Silent Hill 2 2001 Dominance : silence Consistance:mixage lisible Musique d ambiance de lieu (lectroacoustique) Musique scnarise ? Synchronisation sur les actions Le son pr entendu des dangers par le son type brouillage radio Les pas selon les textures Le son prmonition Musique ambiante et conomie de musique empathique sur la cinmatique Tous pas ne sont pas bruits RSX 205 CNAM 2008 4 Dautres perspectives pour le son dans les jeux RSX 205 CNAM 2008 XIII 2003 PS2 XBOX PC Ubisoft Lead sound designer :Alkis Argyriadis Music composer: Lionel Gaget Alkis Argyriadis RSX 205 CNAM 2008 XIII: An IntXIIIeractive Theme Lead sound designer :Alkis Argyriadis, Music composer: Lionel Gaget streamed stereo soundtrack that combines ambiance, exploration musics and fighting sequences all these elements are musically linked together, with either crossfades or tempo-based transitions. Depending on the Sound-Designer choice, the music can be synchronized with every gameplay elements, graphic environment or AI behaviour. Each level uses a single high-quality streamed track, with audio markers. RSX 205 CNAM 2008 Musical design The Sound-Designer must provide the composer with very detailed documents, because of the specific needs of interactive music. He has to specify detailed structure specifications very early. He must also supervise the artistic direction of the music, and give the composer highly detailed documents (arrangement, orchestration, instruments, harmony sometimes). With a direct and very close work with the composer we can get what we want: original and great- sounding musics, with personnality, in a way a trademark for the game RSX 205 CNAM 2008 Real time ambiance Bruitage A Bruitage B Bruitage C Bruitage D Bruitage E A B C A A A A E D C D E delay PROBA PITCH VOL PAN delay PROBA PITCH VOL PAN delay PROBA PITCH VOL PAN delay PROBA PITCH VOL PAN delay PROBA PITCH VOL PAN Sound engine parameters SORTIE HP JEU Jean-Baptiste Merland jbmerland@bande-annonce- prod.com RSX 205 CNAM 2008 RSX 205 CNAM 2008 RSX 205 CNAM 2008 EYE Main gameplay features - Adventure game / inverse mechanic of the stealth game - 1rst person / 3rd person view - Visiting memories - Avoiding anguishes RSX 205 CNAM 2008 Sound et Level design Rle prpondrant dans le gameplay des souvenir quand le joueur a les yeux ferms : - laider sorienter - lui viter de trop sapprocher des dangers qui parsment le niveau. Le Roll-off accentu Quand on a les yeux ferms, le son augmente trs rapidement et de faon brutale ds quon se trouve proximit du danger. Les tours Eiffel sonores Quand on ferme les yeux dans un lieu o des angoisses se promnent, on coupe toutes les sources sonores non indispensables. Les tours Eiffel sonores correspondent un objet sonore associ un objet graphique qui doit tre clairement identifiable et permettent de sorienter dans lespace.Yeux ouverts Yeux ferms RSX 205 CNAM 2008 RSX 205 CNAM 2008 5 Dautres perspectives pour la cration interactive RSX 205 CNAM 2008 Crations sur le web ou installations Fluxtune Pixel by Pixel Phase Listen Lisboa RSX 205 CNAM 2008 Listen Lisboa Ccile Le Prado avec la collaboration de Romain Kronenberg et Emmanuel Rio Olivier Warusfel et Olivier Delrue Ircam 2003/20004 RSX 205 CNAM 2008 Projet Listen projet europen : partenaires autrichiens, allemands (Kunst Museum Bonn) et Ircam ralisation dun dispositif de ralit augmente : dplacement du visiteur / auditeur dans un espace rel (exposition, installation) superposition dun espace sonore virtuel (casque audio) cration de contenus didactiques ou artistiques pour ce type de dispositif RSX 205 CNAM 2008 SPAT Le spatialisateur (Spat), dvelopp par Espaces Nouveaux et lIrcam est un software permettant: Le contrle du son en 3D La projection des sources dans un univers acoustique simul RSX 205 CNAM 2008 Spatialisation : distance perception Sound source Position 1 (far from the sound source) law direct sound mainly room effect 1 2 Rflexions Direct sound Position 2 (near the sound source) high direct sound same room effect Listener Listener RSX 205 CNAM 2008 Spatialisation : rendu en binaural Enregistrement avec une tte artificielle et restitution au format binaural RSX 205 CNAM 2008 Lespace capt monophonique (1 canal) : sources isoles instruments voix strophonique (2 canaux) : scnes complexes spatialisation gauche / droite impression de distance adapt la restitution stro usuelle ambisonique (4 canaux) : scnes complexes captation selon les 3 directions de lespace capacit dimmersion restitution avec plusieurs haut-parleurs RSX 205 CNAM 2008 Lespace modlis en studio Spatialisation de sons monophoniques logiciel de traitement en temps-rel : Max/MSP outil de spatialisation : Spat~ (Espaces Nouveaux / Ircam) contrle de la position des sons dans lespace projection de ces sources avec une acoustique simule Transformations sur des matriaux dj spatialiss strophoniques ambisoniques son monophonique spatialisation direction distance taille de la salle
RSX 205 CNAM 2008 DVD dcodeur tuner tuner Lespace restitu : un projet radiophonique aux multiples coutes De la mme dramaturgie, faire des propositions pour des coutes multiples : installation sonore en multicanal 5.1 (Rsonances, octobre 2003, Ircam) coute radiophonique en strophonie (ACR, novembre 2003) coute radiophonique en coute largie (Dolby SR) RSX 205 CNAM 2008 suivi de position spatialisation position & orientation de lauditeur modle de scne scripts de comportements historique de lauditeur mission captation radio lectromagntique infrarouges ultrasons
description de la scne paramtres de la scne sonore lecture / pause / stop position des sons
transmission sans fil Organigramme RSX 205 CNAM 2008 Conditions dexprimentation Flock of birds Casque avec fil Taille de lespace dexprimentation :6 m2 Technique Spat/Max Msp + Listen Space RSX 205 CNAM 2008 Rfrences venant des scnes interactives des jeux vidos : Sons et musiques de niveaux ou dcors, musique scnarise en fonction de la dramaturgie en temps rel, sons et musiques dinterface et de guide daction Fonction: rpartition des taches spatiales et des types de dclenchements Association de comportements possibles un type de son (programmation oriente objet) Pourquoi et comment la classification RSX 205 CNAM 2008 Tentative de classification scne ambisonique immersion boucle permanente fixe avec animation interne son source monophonique dcor raliste ou repre gographique une fois par scne fixe voix CLP chronologie journal dtect sur le dcor une fois par scne suit lauditeur histoires coute smantique dtect sur le dcor (temps ou regard) suit lauditeur ou fixe musique immersion coute rduite boucle permanente ou dtecte sur le dcor en fonction du temps dcoute fixe journalistes conducteur in situ (non expriment) (non expriment) type fonction dclenchement comportement spatial RSX 205 CNAM 2008 Objectifs de Listen Lisboa Evaluation auditive et proprioceptive de l'environnement Dveloppements techniques modules de spatialiation (environnement MaxMSP et ListenSpace) diteur de script Travail d'esquisse choix des matriaux sonores criture de scnes interactives Tests dcoute RSX 205 CNAM 2008 Cas-level le niveau des canaux dcods est contrl directement par listenspace (le mac Max et le PC listen sont connects via OSC) RSX 205 CNAM 2008 Dclenchement des sons une liste des diffrents dclenchements possibles est stocke dans ce patch; les dclenchements sont conditionns par les rgles. RSX 205 CNAM 2008 Rules Des rgles prcises sont nonces et retranscrites sous forme algorithmique pour tablir des modalits du dclenchement RSX 205 CNAM 2008 Outil-auteur RSX 205 CNAM 2008 Descriptif des niveaux Niveau 1 : attente inactive de lvnement Niveau 2 : immersion recherche de 2 zones gographiques cartographies au sol Niveau 3 : attitude ractive des sources par rapport au comportement du listener Jusquici, la carte est encore immobile et stable Les lments en changent seulement par niveaux RSX 205 CNAM 2008 Synopsis des interactions (1) Niveau 1 : voix CLP aprs 8 secondes de silence partir du dbut de lecture du fichier, rotation pour venir face lauditeur voix CLP RSX 205 CNAM 2008 Synopsis des interactions (2) Niveau 2 : deux zones dtecter si lauditeur est plus dun mtre du centre des deux scnes ambisoniques une dure de 30 secondes est laisse comme temps de reprage des deux zones (pas de dclenchement des fichiers voix) zone du port zone musicale RSX 205 CNAM 2008 Synopsis des interactions (3) Niveau 3 : dans chacune des zones, dclenchement dune histoire lue dclenchement en fonction : de lattitude de la direction du regard du temps pass au cur de la scne (hystrsis) zone du port zone musicale voix parle (zone musicale) RSX 205 CNAM 2008 Synopsis des interactions (4) Rapport entre les deux zones : si la zone du port est dclenche en premier, la zone musicale meurt sinon, les deux zones restent vivantes la zone du port est plus difficilement dclenchable que la zone musicale tant que cette dernire na pas t lue jusquau bout (lhystrsis de la voix du port passe alors de 10 secondes 1 seconde) zone du port zone musicale voix parle (port) RSX 205 CNAM 2008 Synopsis des interactions (5) Spcificit de la zone du port : dans la zone du port, la scne ambisonique reste fixe la voix suit lauditeur mme lorsquil sort de la zone dcoute la fin de la voix, la scne ambisonique ne diffuse plus que sa rverbration tardive jusqu disparatre zone du port zone musicale voix parle (port) RSX 205 CNAM 2008 Synopsis des interactions (6) Spcificit de la zone musicale : la voix de la zone musicale a un champ auditif rduit elle nest perceptible que lorsque lauditeur lui fait face pour des raisons de comprhension il y a recouvrement dune seconde chaque reprise de lecture du fichier) zone du port zone musicale voix parle (zone musicale) RSX 205 CNAM 2008 Vocabulaire sonore par Charles de Mestral, Cgep du Vieux Montral. Quelques noms et ouvrages pertinents Pierre Schaeffer, compositeur et chercheur sonore de nationalit franaise, auteur entre autres du Trait des objets musicaux, 1966. Michel Chion, compositeur et spcialiste du son cinmatographique de nationalit franaise. Auteur entre autres de Guide des objets sonores, 1983; L'Audiovision, 1990. R. Murray Schafer, compositeur, ducateur et chercheur sonore de nationalit canadienne. Auteur entre autres du Paysage sonore (en anglais: The Tuning of the World) RSX 205 CNAM 2008 Termes gnraux Bruit blanc Son utilis en montage sonore qui contient toutes les frquences audibles. Ressemble au son d'une masse deau qui coule. lectroacoustique Terme qui rfre lemploi de l'lectricit dans le domaine acoustique: la transmission, l'amplification, l'chantillonnage, l'enregistrement et la reproduction des sons par lintervention du courant lectrique, ainsi qu'une catgorie de musiques produites avec ces moyens. l'origine, le terme s'appliquait la musique de recherche peu connue du grand public, mais dsigne par la suite des musiques actuelles employant des systmes d'chantillonnage et de rptition sonores numriques. Enveloppe Variation du volume sonore d'un son du dbut la fin. Par exemple, dans les sons de synthtiseurs clavier d'origine, on emploie le sigle : ADSR (en anglais : attack, decay, sustain, release). Frquence Dsigne, subjectivement, la note musicale; rfre, en physique, la variation priodique de la pression de l'air. La frquence est mesure en ondes hertziennes (Hz). Rythme Son rptitif alternant lments forts et moins forts. Cet lment est proprement trans-sensoriel et on retrouve des lments analogues dans le visuel et le narratif. Timbre (harmonique) La couleur sonore d'une note cause, dans une note musicale, par la prsence de frquences harmoniques (qui sont des multiples arithmtiques de la note principale) et qui ne sont pas perues comme notes distinctes. Volume L'intensit subjective sonore. Rfre, en physique, l'amplitude de la variation de la pression de l'air. Mesure sur l'chelle logarithmique des dcibels (dB). RSX 205 CNAM 2008 Monophonie, strophonie, multipiste Indication du nombre de canaux distincts d'un systme de diffusion sonore : un, deux ou plusieurs destins la diffusion sur des haut-parleurs spars dans l'espace d'coute. Paradoxalement, au cinma, le terme Dolby Stereo a gnralement dsign au moins quatre canaux de diffusion sonore Perspective (espace) sonore Proximit apparente du microphone aux sources sonores. Un enregistrement plus distant incluant des lments de rverbration sonore et d'autres sons cre l'impression de l'espace. Plans sonores Termes analogues aux notions d'avant-plan, plan moyen, arrire-plan. Termes utiliss dans l'analyse d'environnements sonores. Polyphonie Terme musical qui rfre la combinaison de plusieurs lignes musicales. Utilis mtaphoriquement en montage sonore lectroacoustique pour dsigner la prsence simultane de plusieurs entits sonores distinctes constituant un effet densemble. Point d'coute Analogue mais pas identique la notion de point de vue de la camra. RSX 205 CNAM 2008 Termes propres Michel Chion et Pierre Schaeffer Acousmatique Son entendu sans en percevoir la cause. Objet sonore Phnomne sonore peru et cout comme un ensemble cohrent. Il s'agit d'un terme important dfini par Pierre Schaeffer rfrant des sons objectivs par le processus de l'coute rduite et sujets, ainsi, l'tude et l'utilisation lectroacoustique. coutes (trois) Trois modes d'coute dfinis par Pierre Schaeffer et Michel Chion. L'coute causale cherche dterminer la cause du son. L'coute smantique cherche comprendre le sens cod d'un son, par exemple celui d'une phrase parle. Lcoute rduite porte lattention sur les caractristiques particulires du son (frquence, volume, rythme, timbre), indpendamment des causes ou des sens encods. Grain Notion applique mtaphoriquement la perception d'une sonorit rugueuse, par analogie avec les domaines tactile ou photographique, impliquant la prsence de petites structures sonores multiples. Empathique Qualit de sons ou musiques accords l'motion dramatique. Digtique Son de source visible ou potentiellement visible. Son objectif. Du grec ancien, diegesis, histoire raconte. RSX 205 CNAM 2008 Gnrale Guide des objets sonores/Michel Chion/Edition INA GRM Buschet.Chastel La philosophie du son/Roberto Casati/Jrome Dokic/Edition Jacqueline Chambron Le son Musical /John Pierce/Pour la science/Belin Le sonore et le visuel /Jean Yves Bosseur/Edition Dis Voir Linaire Le son au cinma / Michel Chion/Edition des cahiers du cinma Un art sonore le cinma/Michel Chion/Cahiers du cinma Laudiovision/Michel Chion Les sons au cinma et la tlvision/Laurent Jullier/Edition Armand Collin Lcoute filmique/Vronique Campan/Presses Universitaires de Vincennes Non linaire The Complete Guide to Game Audio/ Aaron Marks Audio For Games: Planning, Process, And Production /Alexander Brandon DirectX 9 audio : Interactive audio development / Todd M. Fay IASIG (Interactive Audio Special Interest Group) http://www.iasig.org GAMASUTRA ://www.gamasutra.com/resource_guide M.Emerit, C.Le Prado, S. Natkin, O.Veneri A game audio technology overview submitted to Sound and Music Computing Conference SMC06, Marseille, France, 2006. V. Gal, C. Le Prado, J.B. Merland, S. Natkin, L. Vega Processes and tools for the sound design in computer games - In Proceedings ICMC 2002, Goetborg, Suede, sept 2002. [S. Natkin Video Games and Interactive Media, a glimpse at New Media IntertainmentA.K.Peters, Wellesley, USA 2006 Bibliographie