RSX 205 CNAM 2008

ENTRE IMAGES ET SONS

Conception sonore
De lcriture linaire linteractivit
Ccile Le Prado
cecile.leprado@free.fr
Avec des citations des travaux de Lionel Gaget, Jean Baptiste Merlan,
Alkis Argyriadis, Vincent Pervevault, Damien Pousse, Germain Geny et
des lves de lENJMIN
RSX 205 CNAM 2008
James Bond
un jeu et un film.
1963 Film de Terence Young
2005 Jeu dit par Electronic Arts /Xbox et PS2
2
RSX 205 CNAM 2008
1
Rappels
RSX 205 CNAM 2008
Dfinitions
Ecriture, interactivit,
Situations de restitution et modes de perception
Conception sonore
Linarit et non linarit
Musique alatoire et musique gnrative
Interactivit et connaissance des rgles
Temps rel et temps diffr
Situation de navigation multimdia
Situation de jeu
Situation dinstallations
Mode passif ou actif
Mode de visite corporelle
RSX 205 CNAM 2008
Attitudes dcoute
(M. Chion)
Les trois coutes
Causale: origine physique du son
Smantique : connaissance dune grammaire
Reduite lobjet sonore pour lui-mme
Lobjet sonore et lcoute acousmatique
Laudio-vision en creux
Psycho-perception: Comment nous faisons le complment des informations
sonores ou visuelles manquantes
RSX 205 CNAM 2008
Flux audio et flux visuel
Historique
Relation verticale et horizontale /harmonie et contrepoint
- Cinma muet
Points de synchro vers une solidarit perceptive
- Sons fixs et points d ancrage entre le sonore et le visuel
Runir et ponctuer
Lissage de plans
Diverses ponctuations :
- Rapports dissonants ou consonants
(Ponctuation prpare avec des chemins diffrents)
(Rupture cut image et son)
- Audio vision en creux et points dancrage vits
RSX 205 CNAM 2008
Les trois frontires et complments
IN /source dans limage/appartient la ralit de ce qui est visualis
HORS -CHAMPS/source invisible un moment donn,
temporairement ou dfinitivement
OFF/ source absente et non digtique/autre temps,
autre lieux que la situation visualise
SON AMBIANT ou territoire/ englobe une scne sans localisation spcifique
SON INTERNE/dans le prsent de laction/intrieur dun personnage,
physique ou mental
SON SUR LES ONDES/prsent la scne/suppos tre transmis lectriquement
RSX 205 CNAM 2008
Choice of interactivity
Adaptative
Linear
Pre-rendered Game-rendered
scnarisation
Multilayers
MIDI
Modules
Crossfade
RSX 205 CNAM 2008
2
Analyse linaire
RSX 205 CNAM 2008
Introduction lanalyse daprs Michel Chion
1 Mthode des caches
2 Le mariage forc
3 Questionnaire type :
-Recherche des dominances et description densemble
Nature des diffrents lments sonores qui interviennent :
Lequel est mis en vedette ?A quel endroit ? Consistance du son ?
- Comparaisons avec le flux image:vitesse, matire et dfinition,
- Quest-ce que je vois de ce que jentends ?
Quest-ce que jentends de ce que je vois ?
-Reprage des points dancrage
RSX 205 CNAM 2008
Introduction lanalyse daprs Laurent Jullier
Objectifs: Reprer des formes et en trouver la raison
(hors systme verbal et musical)
1 Quoi ?
Quest ce que ce son ?
De quelle source sonore le film veut-il suggrer quil mane ?
2 Do?
Dans quel espace plus ou moins reprsent limage se trouve cette source ?
3 Pourquoi ?
Quelle information utile dun point de vue du rcit,
Sil sagit dune uvre narrative, quelle information est-elle apporte par ce son ?
RSX 205 CNAM 2008
EXEMPLES FILM
RSX 205 CNAM 2008
Jacques Tati
Les vacances de Mr Hulot
1953
Rvaluation des bruits, prtextes jouer
Slection des objets/images ayant un son
Composition dune entit sonore personnelle
Dstabilisation , sons en creux
RSX 205 CNAM 2008
J.Jeunet et M. Caro
Delicatessen
1991
Annonce de la palette sonore dans le menu
Hors champs
Musicalit des bruits et orchestration
Rpercution du son sur limage
RSX 205 CNAM 2008
GTA3
Trailer
QuickTime et un
dcompresseur Sorenson Video
sont requis pour visionner cette image.
RSX 205 CNAM 2008
3
Analyse non linaire
RSX 205 CNAM 2008
Propositions danalyse pour le
jeu vido
1 Quelle est la nature des lments de la bande son?
Voix
Effets spciaux(Folley effects)
Bruitages ralistes
Ambiances
Musique (linaire, en boucle, interactive)
RSX 205 CNAM 2008
2 Quel est le rle de ces diffrents lments sonores dans le la
navigation ou le gameplay ?
Sons dinterface
Sons des cinmatiques
Sons daction
Sons entits
Sons dcors
Ambiances ou musique des lieux, des niveaux
Ambiance ou musique scnarise
Sons information/Y a t il des sons localisables aidant au gameplay?
RSX 205 CNAM 2008
3 Comparaison entre ce que lon voit et ce que lon entend
Y a t il des sons en remplacement d lments visuels ?
Quelle est la part du son hors champs ?
Y a t il des redondances ou au contraire des manques ?
Comparez diffrents moments du jeu le point de vue et le point
dcoute ?
Que se passe-t-il si on coupe les bruitages ou la musique ? ou les
deux ?
4 Conclusions
Est-ce un monde sonore auquel on croit?
Est-ce que toute la bande son est ncessaire ?
RSX 205 CNAM 2008
Le son fait partie du gameplay et doit conduire le joueur , lui donner
des indices.
Il doit entre autre accrotre la sensation dimmersion.
Il doit viter la sensation dennui par la rptition.
Le son dpend de la capacit du moteur intgr les paramtres
souhaits par le sound designer
La synchronisation entre limage et le son nest pas dtermine dans le
temps mais dpendante des actions du joueur
Lcriture sonore est plus lie lespace quau temps.
Contraintes du son dans un jeu
RSX 205 CNAM 2008
EXEMPLES CAPTATION JEUX VIDEO
Rayman
1995 /PS1/Ubisoft
Rez
2001 /Sega
Dreamcast et PS2
Silent Hill 2
2001/PS2/konami
RSX 205 CNAM 2008
Rayman
Cinmatique
Musique
Vignettes musicales strotypes: cirque , Hawa , rock, pplum
Tension commune image et sons
Effets cartoon et mise en scne sonore:
Sons digtiques hors champs
Accentuation rverbration et silence
RSX 205 CNAM 2008
Rayman
Ecoute avec et sans musique
Musique non scnarise /ambiance dun lieu (percussion)
Ponctuation des actions non systmatique
Design sonore type cartoon
Mise en espace
RSX 205 CNAM 2008
Rez
Tutorial et premiers niveaux
Difficultes croissantes
Synchronisation des actions et tempo musical
Temps rel :synthse effets sonores , musique, mixage, tempo,
Homognit de la palette sonore: design sonore , musique, sons d interface,
Musique d ambiance de lieu ? musique scnarise ?
RSX 205 CNAM 2008
Rez
Sans musique
Sons d interface: chantillons boite rythme
Jingle rcompense
Acclration densit et tempo
RSX 205 CNAM 2008
Rez
Sans effets
Evolution douce des strates de mixage
Modulation sans rupture aux changements de niveaux
RSX 205 CNAM 2008
Silent Hill 2
2001
Dominance : silence
Consistance:mixage lisible
Musique d ambiance de lieu (lectroacoustique)
Musique scnarise ?
Synchronisation sur les actions
Le son pr entendu des dangers par le son type brouillage radio
Les pas selon les textures
Le son prmonition
Musique ambiante et conomie de musique empathique sur la cinmatique
Tous pas ne sont pas bruits
RSX 205 CNAM 2008
4
Dautres perspectives pour le son
dans les jeux
RSX 205 CNAM 2008
XIII
2003
PS2 XBOX PC
Ubisoft
Lead sound designer :Alkis Argyriadis
Music composer: Lionel Gaget
Alkis Argyriadis
RSX 205 CNAM 2008
XIII: An IntXIIIeractive Theme
Lead sound designer :Alkis Argyriadis, Music composer: Lionel Gaget
streamed stereo soundtrack that combines ambiance, exploration musics and fighting sequences all these
elements are musically linked together, with either crossfades or tempo-based transitions.
Depending on the Sound-Designer choice, the music can be synchronized with every gameplay elements,
graphic environment or AI behaviour.
Each level uses a single high-quality streamed track, with audio markers.
RSX 205 CNAM 2008
Musical design
The Sound-Designer must provide the composer with very detailed documents, because of the specific
needs of interactive music.
He has to specify detailed structure specifications very early.
He must also supervise the artistic direction of the music, and give the composer highly detailed
documents (arrangement, orchestration, instruments, harmony sometimes).
With a direct and very close work with the composer we can get what we want: original and great-
sounding musics, with personnality, in a way a trademark for the game
RSX 205 CNAM 2008
Real time ambiance
Bruitage A
Bruitage B
Bruitage C
Bruitage D
Bruitage E
A
B
C
A A A A
E
D
C D
E
delay PROBA PITCH VOL
PAN
delay PROBA PITCH VOL
PAN
delay PROBA PITCH VOL PAN
delay PROBA PITCH VOL
PAN
delay PROBA PITCH VOL
PAN
Sound engine parameters
SORTIE HP JEU
Jean-Baptiste Merland
jbmerland@bande-annonce-
prod.com
RSX 205 CNAM 2008
RSX 205 CNAM 2008
RSX 205 CNAM 2008
EYE
Main gameplay features
- Adventure game / inverse mechanic of the stealth game
- 1rst person / 3rd person view
- Visiting memories
- Avoiding anguishes
RSX 205 CNAM 2008
Sound et Level design
Rle prpondrant dans le gameplay des souvenir quand le joueur a les yeux ferms :
- laider sorienter
- lui viter de trop sapprocher des dangers qui parsment le niveau.
Le Roll-off accentu
Quand on a les yeux ferms, le son augmente trs rapidement et de faon brutale ds quon
se trouve proximit du danger.
Les tours Eiffel sonores
Quand on ferme les yeux dans un lieu o des angoisses se promnent, on coupe toutes
les sources sonores non indispensables.
Les tours Eiffel sonores correspondent un objet sonore associ un objet graphique qui
doit tre clairement identifiable et permettent de sorienter dans lespace.Yeux ouverts
Yeux ferms
RSX 205 CNAM 2008
RSX 205 CNAM 2008
5
Dautres perspectives pour la
cration interactive
RSX 205 CNAM 2008
Crations sur le web ou
installations
Fluxtune
Pixel by Pixel
Phase
Listen Lisboa
RSX 205 CNAM 2008
Listen Lisboa
Ccile Le Prado
avec la collaboration de Romain Kronenberg et
Emmanuel Rio
Olivier Warusfel et Olivier Delrue
Ircam 2003/20004
RSX 205 CNAM 2008
Projet Listen
projet europen : partenaires autrichiens, allemands (Kunst Museum Bonn) et Ircam
ralisation dun dispositif de ralit augmente :
dplacement du visiteur / auditeur dans un espace rel (exposition, installation)
superposition dun espace sonore virtuel (casque audio)
cration de contenus didactiques ou artistiques pour ce type de dispositif
RSX 205 CNAM 2008
SPAT
Le spatialisateur (Spat), dvelopp par Espaces Nouveaux et lIrcam est un
software permettant:
Le contrle du son en 3D
La projection des sources dans un univers acoustique simul
RSX 205 CNAM 2008
Spatialisation : distance perception
Sound source
Position 1 (far from the sound source)
law direct sound
mainly room effect
1
2
Rflexions
Direct sound
Position 2 (near the sound source)
high direct sound
same room effect
Listener
Listener
RSX 205 CNAM 2008
Spatialisation : rendu en binaural
Enregistrement avec une tte artificielle et restitution au format binaural
RSX 205 CNAM 2008
Lespace capt
monophonique (1 canal) :
sources isoles
instruments
voix
strophonique (2 canaux) :
scnes complexes
spatialisation gauche / droite
impression de distance
adapt la restitution stro usuelle
ambisonique (4 canaux) :
scnes complexes
captation selon les 3 directions de lespace
capacit dimmersion
restitution avec plusieurs haut-parleurs
RSX 205 CNAM 2008
Lespace modlis en studio
Spatialisation de sons monophoniques
logiciel de traitement en temps-rel : Max/MSP
outil de spatialisation : Spat~ (Espaces Nouveaux / Ircam)
contrle de la position des sons dans lespace
projection de ces sources avec une acoustique simule
Transformations sur des matriaux dj spatialiss
strophoniques
ambisoniques
son monophonique
spatialisation
direction
distance
taille de la salle

RSX 205 CNAM 2008
DVD dcodeur
tuner
tuner
Lespace restitu :
un projet radiophonique aux multiples coutes
De la mme dramaturgie, faire des propositions pour des coutes
multiples :
installation sonore en multicanal 5.1 (Rsonances, octobre 2003, Ircam)
coute radiophonique en strophonie (ACR, novembre 2003)
coute radiophonique en coute largie (Dolby SR)
RSX 205 CNAM 2008
suivi de position
spatialisation
position & orientation
de lauditeur
modle de scne
scripts de comportements
historique de lauditeur
mission captation
radio
lectromagntique
infrarouges
ultrasons

description de la scne
paramtres
de la scne sonore
lecture / pause / stop
position des sons

transmission sans fil
Organigramme
RSX 205 CNAM 2008
Conditions dexprimentation
Flock of birds
Casque avec fil
Taille de lespace dexprimentation :6 m2
Technique Spat/Max Msp + Listen Space
RSX 205 CNAM 2008
Rfrences venant des scnes interactives des jeux vidos : Sons et
musiques de niveaux ou dcors, musique scnarise en fonction de la
dramaturgie en temps rel, sons et musiques dinterface et de guide
daction
Fonction: rpartition des taches spatiales et des types de
dclenchements
Association de comportements possibles un type de son
(programmation oriente objet)
Pourquoi et comment la classification
RSX 205 CNAM 2008
Tentative de classification
scne
ambisonique
immersion boucle permanente fixe avec
animation interne
son source
monophonique
dcor raliste ou
repre gographique
une fois par scne fixe
voix CLP chronologie journal dtect sur le dcor
une fois par scne
suit lauditeur
histoires coute smantique dtect sur le dcor
(temps ou regard)
suit lauditeur
ou fixe
musique immersion
coute rduite
boucle permanente ou
dtecte sur le dcor en
fonction du temps dcoute
fixe
journalistes conducteur in situ (non expriment) (non expriment)
type fonction dclenchement comportement
spatial
RSX 205 CNAM 2008
Objectifs de Listen Lisboa
Evaluation auditive et proprioceptive de l'environnement
Dveloppements techniques
modules de spatialiation (environnement MaxMSP et ListenSpace)
diteur de script
Travail d'esquisse
choix des matriaux sonores
criture de scnes interactives
Tests dcoute
RSX 205 CNAM 2008
Cas-level
le niveau des canaux dcods
est contrl directement par
listenspace (le mac Max et le PC
listen sont connects via OSC)
RSX 205 CNAM 2008
Dclenchement des sons
une liste des diffrents
dclenchements possibles est
stocke dans ce patch; les
dclenchements sont
conditionns par les rgles.
RSX 205 CNAM 2008
Rules
Des rgles prcises sont
nonces et retranscrites sous
forme algorithmique pour tablir
des modalits du dclenchement
RSX 205 CNAM 2008
Outil-auteur
RSX 205 CNAM 2008
Descriptif des niveaux
Niveau 1 :
attente inactive de lvnement
Niveau 2 :
immersion
recherche de 2 zones gographiques cartographies au sol
Niveau 3 :
attitude ractive des sources par rapport au comportement du listener
Jusquici, la carte est encore immobile et stable
Les lments en changent seulement par niveaux
RSX 205 CNAM 2008
Synopsis des interactions (1)
Niveau 1 :
voix CLP aprs 8 secondes de silence
partir du dbut de lecture du fichier, rotation pour venir face lauditeur
voix CLP
RSX 205 CNAM 2008
Synopsis des interactions (2)
Niveau 2 :
deux zones dtecter
si lauditeur est plus dun mtre du centre des deux scnes ambisoniques
une dure de 30 secondes est laisse comme temps de reprage des deux
zones (pas de dclenchement des fichiers voix)
zone du port
zone musicale
RSX 205 CNAM 2008
Synopsis des interactions (3)
Niveau 3 :
dans chacune des zones, dclenchement dune histoire lue
dclenchement en fonction :
de lattitude
de la direction du regard
du temps pass au cur de la scne (hystrsis)
zone du port
zone musicale
voix parle (zone musicale)
RSX 205 CNAM 2008
Synopsis des interactions (4)
Rapport entre les deux zones :
si la zone du port est dclenche en premier, la zone musicale meurt
sinon, les deux zones restent vivantes
la zone du port est plus difficilement dclenchable que la zone musicale tant que cette
dernire na pas t lue jusquau bout (lhystrsis de la voix du port passe alors de 10
secondes 1 seconde)
zone du port
zone musicale
voix parle (port)
RSX 205 CNAM 2008
Synopsis des interactions (5)
Spcificit de la zone du port :
dans la zone du port, la scne ambisonique reste fixe
la voix suit lauditeur mme lorsquil sort de la zone dcoute
la fin de la voix, la scne ambisonique ne diffuse plus que sa rverbration tardive
jusqu disparatre
zone du port
zone musicale
voix parle (port)
RSX 205 CNAM 2008
Synopsis des interactions (6)
Spcificit de la zone musicale :
la voix de la zone musicale a un champ auditif rduit
elle nest perceptible que lorsque lauditeur lui fait face
pour des raisons de comprhension il y a recouvrement dune seconde chaque
reprise de lecture du fichier)
zone du port
zone musicale
voix parle (zone musicale)
RSX 205 CNAM 2008
Vocabulaire sonore
par Charles de Mestral, Cgep du Vieux Montral.
Quelques noms et ouvrages pertinents
Pierre Schaeffer, compositeur et chercheur sonore de nationalit franaise, auteur entre autres du
Trait des objets musicaux, 1966.
Michel Chion, compositeur et spcialiste du son cinmatographique de nationalit franaise.
Auteur entre autres de Guide des objets sonores, 1983; L'Audiovision, 1990.
R. Murray Schafer, compositeur, ducateur et chercheur sonore de nationalit canadienne.
Auteur entre autres du Paysage sonore (en anglais: The Tuning of the World)
RSX 205 CNAM 2008
Termes gnraux
Bruit blanc
Son utilis en montage sonore qui contient toutes les frquences audibles.
Ressemble au son d'une masse deau qui coule.
lectroacoustique
Terme qui rfre lemploi de l'lectricit dans le domaine acoustique: la transmission,
l'amplification, l'chantillonnage,
l'enregistrement et la reproduction des sons par lintervention du courant lectrique,
ainsi qu'une catgorie de musiques produites avec ces moyens.
l'origine, le terme s'appliquait la musique de recherche peu connue du grand public,
mais dsigne par la suite des musiques actuelles
employant des systmes d'chantillonnage et de rptition sonores numriques.
Enveloppe
Variation du volume sonore d'un son du dbut la fin. Par exemple,
dans les sons de synthtiseurs clavier d'origine,
on emploie le sigle : ADSR (en anglais : attack, decay, sustain, release).
Frquence Dsigne, subjectivement, la note musicale; rfre, en physique, la variation priodique
de la pression de l'air. La frquence est mesure en ondes hertziennes (Hz).
Rythme Son rptitif alternant lments forts et moins forts. Cet lment est proprement trans-sensoriel
et on retrouve des lments analogues dans le visuel et le narratif.
Timbre (harmonique) La couleur sonore d'une note cause, dans une note musicale, par la prsence
de frquences harmoniques (qui sont des multiples arithmtiques de la note principale) et qui ne sont
pas perues comme notes distinctes.
Volume L'intensit subjective sonore.
Rfre, en physique, l'amplitude de la variation de la pression de l'air.
Mesure sur l'chelle logarithmique des dcibels (dB).
RSX 205 CNAM 2008
Monophonie, strophonie, multipiste
Indication du nombre de canaux distincts d'un systme de diffusion sonore :
un, deux ou plusieurs destins la diffusion sur des haut-parleurs spars dans l'espace d'coute.
Paradoxalement, au cinma, le terme Dolby Stereo
a gnralement dsign au moins quatre canaux de diffusion sonore
Perspective (espace) sonore
Proximit apparente du microphone aux sources sonores.
Un enregistrement plus distant incluant des lments
de rverbration sonore et d'autres sons cre l'impression de l'espace.
Plans sonores
Termes analogues aux notions d'avant-plan, plan moyen, arrire-plan.
Termes utiliss dans l'analyse d'environnements sonores.
Polyphonie
Terme musical qui rfre la combinaison de plusieurs lignes musicales.
Utilis mtaphoriquement en montage sonore lectroacoustique pour dsigner la prsence simultane
de plusieurs entits sonores distinctes constituant un effet densemble.
Point d'coute
Analogue mais pas identique la notion de point de vue de la camra.
RSX 205 CNAM 2008
Termes propres Michel Chion et Pierre
Schaeffer
Acousmatique
Son entendu sans en percevoir la cause.
Objet sonore
Phnomne sonore peru et cout comme un ensemble cohrent.
Il s'agit d'un terme important dfini par Pierre Schaeffer rfrant des sons objectivs
par le processus de l'coute rduite et sujets, ainsi, l'tude et l'utilisation lectroacoustique.
coutes (trois) Trois modes d'coute dfinis par Pierre Schaeffer et Michel Chion.
L'coute causale cherche dterminer la cause du son.
L'coute smantique cherche comprendre le sens cod d'un son, par exemple celui d'une phrase parle.
Lcoute rduite porte lattention sur les caractristiques particulires du son
(frquence, volume, rythme, timbre),
indpendamment des causes ou des sens encods.
Grain
Notion applique mtaphoriquement la perception d'une sonorit rugueuse,
par analogie avec les domaines tactile ou photographique,
impliquant la prsence de petites structures sonores multiples.
Empathique
Qualit de sons ou musiques accords l'motion dramatique.
Digtique
Son de source visible ou potentiellement visible. Son objectif. Du grec ancien, diegesis, histoire raconte.
RSX 205 CNAM 2008
Gnrale
Guide des objets sonores/Michel Chion/Edition INA GRM Buschet.Chastel
La philosophie du son/Roberto Casati/Jrome Dokic/Edition Jacqueline Chambron
Le son Musical /John Pierce/Pour la science/Belin
Le sonore et le visuel /Jean Yves Bosseur/Edition Dis Voir
Linaire
Le son au cinma / Michel Chion/Edition des cahiers du cinma
Un art sonore le cinma/Michel Chion/Cahiers du cinma
Laudiovision/Michel Chion
Les sons au cinma et la tlvision/Laurent Jullier/Edition Armand Collin
Lcoute filmique/Vronique Campan/Presses Universitaires de Vincennes
Non linaire
The Complete Guide to Game Audio/ Aaron Marks
Audio For Games: Planning, Process, And Production /Alexander Brandon
DirectX 9 audio : Interactive audio development / Todd M. Fay
IASIG (Interactive Audio Special Interest Group) http://www.iasig.org
GAMASUTRA ://www.gamasutra.com/resource_guide
M.Emerit, C.Le Prado, S. Natkin, O.Veneri A game audio technology overview submitted to Sound and Music Computing Conference SMC06,
Marseille, France, 2006.
V. Gal, C. Le Prado, J.B. Merland, S. Natkin, L. Vega Processes and tools for the sound design in computer games - In Proceedings ICMC
2002, Goetborg, Suede, sept 2002.
[S. Natkin Video Games and Interactive Media, a glimpse at New Media IntertainmentA.K.Peters, Wellesley, USA 2006
Bibliographie