Integracin cross modal y msica.

Dra. Silvia Malbrn* y Julio Menndez**

Universidad Nacional de La Plata**/*
Universidad de Buenos Aires*
Argentina
Resumen
El procesamiento de la msica ha sido frecuentemente considerado
un fenmeno auditivo independiente de otras modalidades sensoriales.
Actuales tendencias desafan esta presuncin, por considerar que la msica
es una experiencia fisiolgicamente mediada y situada cuando elementos
visuales concurrentes pueden ser relacionados con los sonidos (Wood, 1998;
Cohen,200,2001,2005).
Segn Reybrouck (2005), la msica es escuchada y enactivada ms que
meramente imaginada o representada
La coordinacin de estmulos sensoriales receptados por diferentes
vas sensoriales son considerados mecanismos multimodales de integracin
de mayor eficacia cuando logran congruencia de modalidad cruzada (Cohen,
2005; Fogelsanger y Afanador, 2006)
Los procesos mentales subyacentes a las interacciones cross-modales
son de central importancia para nuestra comprensin de las relaciones entre
los sentidos, la organizacin perceptual y el modo en el cual las
representaciones del mundo son configuradas (Vines et al. 2006).
El trabajo analizar la respuesta de msicos profesionales ante un
film que presenta una parodia actoral en torno a la Vta Sinfona de
Beethoven y la respuesta de una nia de doce meses como espectadora de
un video infantil.
Metodologa: Un test suministrado a msicos profesionales, (N= 34)
consistente en a) analizar tres escenas del film (mudas) para aparear cada
una de ellas con una entre cuatro opciones verbales; b) analizar tres
fragmentos musicales en diferente orden al de la obra e identificar si cada
uno de ellos es segmentable o se trata de unidades indivisibles, c)asignar
una prescripcin de carcter al fragmento musical mediante adjetivos
calificativos; d) analizar las tres escenas completas del film (msica y
actuacin) contestando respuestas en una grilla.
Un estudio de caso que analiza la estructura del video
en trminos visuales y musicales y la respuesta de la nia ante la visin del
video.
En el primer caso se analiza el film y las respuestas de los msicos en
trminos de segmentacin coreogrfica y musical; en el segundo caso se
analiza el video en cuanto a criterios de segmentacin de la secuencia y
recursos visuales y musicales utilizados. La respuesta se analiza en trminos
de sostn atencional, anticipacin, mmica y congruencia de la accin entre
espectador y video.
Los resultados obtenidos muestran comunes denominadores relativos
a la poderosa influencia de la integracin sensorial y el rol de la congruencia
entre visin y audicin en las artes temporales. Asimismo ratifica estudios
anteriores en cuanto a los tipos de acuerdo temporal entre estmulos
provenientes de diferentes modalidades sensoriales (punto a punto y por
segmentos), al efecto de la enculturacin en torno al carcter (dramtico,
musical) y a la representacin mental del discurso corporal y musical.

Se considera que el modelo cross-modal es un marco terico de

importancia para la pedagoga musical de la primera infancia; el video
utilizado muestra
la atencin de sus autores a ciertos rasgos del
comportamiento infantil en el perodo de vida hasta los veinticuatro meses.
As tambin la reflexin sobre el film despierta conjeturas acerca de la
factibilidad de promover un tipo de experiencias ms cross modal en las
experiencias de msica con los jvenes.

Introduccin
La percepcin del mundo es resultado del impacto en nuestra
conciencia

de informacin proveniente de diferentes fuentes: auditivas,

visuales, espaciales, tctiles y motoras. Diversos autores consideran que

dicha

percepcin

ms

que

una

serie

de

experiencias

sensoriales

independientes es incorporada como un interjuego de impresiones distintas

a travs de las cuales los componentes sensoriales son sutilmente alterados
por una integracin mutua (Stein y Meredith, 1993 1; Deneve y Pouget,
2004).
Segn diversos autores, estas formas de conjuncin son mecanismos
multimodales de integracin que obtienen su mayor eficacia cuando logran
congruencia de modalidad cruzada (cross modal congruence) y demandan
diferentes modos de interaccin sensitiva,

basados en la dominancia

sensorial de los sentidos. En el desarrollo de la accin tal dominancia fluye

entre una forma de arte y otra, reforzndose mutuamente. Los puntos de
conjuncin entre acentos temporales de expresiones artsticas diferentes,
son entendidos como lazos de conexin cross- modal (links cross modal) a
los que se les adjudica gran influencia en la percepcin integral.
Es supuesto de este trabajo que el modelo cross modal resulta un
marco terico de sumo inters para sustentar las practicas artsticas en el
medio escolar y particularmente en los primeros aos de vida.
Se presentarn los resultados obtenidos en un estudio mediante un
test basado en un film realizado en la dcada del 50 por los actores Sid
Cesar y Nanette Fabray. El trabajo analizar la respuesta de

msicos

profesionales ante el film que presenta una parodia actoral en torno a la Vta
Sinfona de Beethoven y la respuesta de una nia de doce meses como
espectadora de un video infantil.

Citado por Word (1998)

Desarrollo
El procesamiento de la msica ha sido frecuentemente considerado
un fenmeno auditivo independiente de otras modalidades sensoriales.
Actuales tendencias desafan esta presuncin, por considerar que la msica
es una experiencia fisiolgicamente mediada y situada cuando elementos
visuales concurrentes pueden ser relacionados con los sonidos (Wood, 1998;
Cohen,200,2001,2005).
Segn Reybrouck (2005), la msica es escuchada y enactivada ms que
meramente imaginada o representada
La coordinacin de estmulos sensoriales receptados por diferentes
vas sensoriales son considerados mecanismos multimodales de integracin
de mayor eficacia cuando logran congruencia de modalidad cruzada (Cohen,
2005; Fogelsanger y Afanador, 2006)
Los procesos mentales subyacentes a las interacciones cross-modales
son de central importancia para nuestra comprensin de las relaciones entre
los sentidos, la organizacin perceptual y el modo en el cual las
representaciones del mundo son configuradas (Vines et al. 2006).

Metodologa
Estudio 1
Un test suministrado a msicos profesionales, (N= 34) consistente en
a) analizar las tres primeras escenas del film (mudas) para aparear cada
una de ellas con una entre seis opciones verbales; b)analizar las tres
escenas completas del film (msica y actuacin) contestando respuestas en
una grilla.
Estudio 1
En el primer caso se analiza el film y las respuestas de los msicos en
trminos de segmentacin coreogrfica y musical y la correspondencia en la

distribucin temporal de los gestos y de los dilogos suministrados como

opcin (un dilogo para cada escena).
Instancia a) exposicin de la imagen visual (sin msica)
Instancia b) exposicin de la imagen integral (movimiento y msica.
El trabajo se basa en el supuesto que la coreografa diseada
presenta una alta congruencia con el discurso musical por ende que
msicos profesionales elegirn el dilogo congruente con la imagen.
Diseo de los dilogos:
Un dilogo target: presenta correspondencia uno a uno con el gesto
corporal en trminos temporales e idntica alternancia dialgica,
Un dilogo distractor (uno para cada escena) no presenta
correspondencia uno a uno con el gesto corporal en trminos temporales
(mayor nmero de slabas) pero respeta idntica alternancia dialgica,
Cuatro dilogos no congruentes en nmero de slabas y distribucin
temporal de los gestos
Estudio 2
Anlisis de un video (Baby Enstein My first signs) en trminos de
segmentacin de la secuencia y recursos visuales y musicales utilizados. La
respuesta se analiza en trminos de sostn atencional, e interaccin entre
la nia espectadora y el video.

Resultados
Estudio 1
Los resultados en la instancia a) solamente visual-

muestran la

preferencia de los msicos al seleccionar el dilogo target en primer lugar;

en segundo lugar el dilogo distractor y luego en mrgenes similares el
resto de las opciones.
Resultados similares se obtuvieron en la instancia b) escena
integral.En la siguiente tabla se muestran los resultados obtenidas en ambas
instancias en las tres escenas.

Los resultados fueron analizados estadsticamente y se muestran en

la siguiente tabla

Estudio 2

Para este trabajo se reportan los resultados obtenidos en dos

variables de anlisis: Sostn de la atencin e interaccin con el video.
Sostenimiento de la atencin
El sostenimiento atentivo durante la exposicin del video se considera
una variable crtica del estudio dada la edad de la nia espectadora (12
meses).
Los criterios de anlisis fueron
Agrupamiento.
Se segmentan los fragmentos atendiendo al lapso en el cual la nia no
muestra ninguna forma de distraccin. Nmero de fragmentos:30
Duracin del video: 7 minutos.20
Duracin del fragmento en el que no se observa ninguna distraccin:
28
Mantenimiento ms prolongado de mirada de la pantalla: 31
Rotacin de la cabeza ida y vuelta sin detenciones: 6 veces
Rotacin de la cabeza con detencin en la ida:: 6 12 veces
Miradas al entorno sin giro de cabeza (reojo) 9 veces .
Interaccin con el video
La interaccin con el video se estima como una peculiaridad del
presente estudio dado que en general se considera la interaccin en
trminos interpersonales y en este caso es entre la nia y un producto mass
media. La variable ha sido seleccionada entendiendo que el diseo del video
muestra

el

uso

de

estrategias

que

ponen

en

juego

respuestas

multisensoriales que devienen en la captura atencional de la nia.

Los criterios de anlisis se eligieron entendiendo que son muestras de
interaccin los siguientes indicadores

Emite palabras /slabas

Realiza movimientos acordes a la trama

Expresa gestos de beneplcito

Conclusiones
Los datos muestreados sugieren comunes denominadores relativos a
la poderosa influencia de la integracin sensorial y el rol de la congruencia
entre visin y audicin en las artes temporales. Asimismo ratifica estudios
anteriores en cuanto a los tipos de acuerdo temporal entre estmulos
provenientes de diferentes modalidades sensoriales (punto a punto y por

segmentos), al efecto de la enculturacin en torno al carcter (dramtico,

musical) y a la representacin mental del discurso corporal y musical.
Se considera que el modelo cross-modal

es un marco terico de

importancia para la pedagoga musical de la primera infancia; el video

utilizado muestra

la atencin de sus autores a ciertos rasgos del

comportamiento infantil en el perodo de vida hasta los veinticuatro meses.

As tambin la reflexin sobre el film despierta conjeturas acerca de la
factibilidad de promover experiencias cross modal en las experiencias de
msica con los jvenes.

Las experiencias cross modal pueden considerarse un provocativo camino para la

educacin e integracin de las artes y para el diseo de estrategias de enseanza para
nios entre 0-3 aos
El mundo real es inherentemente multimodal con percepciones concurrentes. Las
diversas formas de integracin sensorial o de modalidad cruzada (cross-modal)
potencian la eficacia comunicacional segn el grado de congruencia entre las
diferentes vas expresivas puestas en juego.

Bibliografa
Boltz, M. (2001). Musical soundtracks as a schematic influence on the cognitive
processing of
filmed events. Music Perception, 18, 427-455
Chion, M. (1990/ 1993). La Audiovisin. Introduccin a un anlisis conjunto de la
imagen y el
sonido. 1era ed. en espaol. Paris: Ediciones Nathan
Cross, I. (1999). Music, Cognition, Culture and Evolution. Annals of the New York
Academy of Sciences. 930. (pp. 28-42)
Cohen, Annabel.
Multimedia, by

2000). Musicology Alone. Review of Analysing Musical

Nicholas Cook (Oxford University Press). Music Perception 17:

Cohen, Annabel. ( 2001). Music as source of emotion in film. En P. Juslin y J. Sloboda:

Music and Emotion. Theory and Research. Oxford: UP
Cohen, Annabel J., (2005) How Music Influences Film and Video: Approaches from
(eds.).

Experimental Psychology. En Kendall, Roger A,. & Savage, Roger W. H.,

Perspectives in Systematic Musicology .California: UP

Deneuve, S. y Pouget, A. (2004). Bayesian multisensory integration and cross-modal

spatial
links. Elsevier. Journal of Phisiology. Paris

Fogelsanger, A. y Afanador, K. (2006). Parameters of Perception: Audition, and

Twentieth Century Music and dance. Congress on Research in Dance. Tempe:
Arizona.
Forde Thompson W,Russo F. y Quinto L. (2006). Preattentive integration of visual
and
auditory dimensions of music. 2nd International Conference on Music and
Gesture.
Manchester.
Laurienti, P.J., Kraft, R., Maldjian J Burdette, H.,& Wallace, M. T. (2004). Semantic
congruence is a critical factor in multisensory behavioral performance. Exp.
Brain
Res.158. 2004
Lerdahl, F.y Jackendoff, R. (1983/2003). La Gramtica Generativa de la Msica
Tonal .
Madrid: AKAL.
Lipscomb, S. (1999). Cross modal integration: Synchronization of auditory and visual
components in simple and complex media. Journal of the Acoustical Society
of
America 105.Issue 2.
Malbrn, S. (2008). El cruce de modalidades perceptivas. Un estudio sobre msica y
actuacin.
Primer Congreso Internacional. Artes en cruce: Problemticas tericas
actuales Buenos
Aires: Universidad de Buenos Aires
Meyer, L. (1956/2001). Emocin y el significado en la msica.
Mitchel, R. y Gallear, M. (2001). Emboding Music: matching and dance in Memory.
Music
Perception 19.1. 65-85
Olivetti Berardinelli M., Di Matteo R.,Del Gratta, C., De Nicola,A., Ferreti, A.,Tartaro,
A.,Bonomo,L.,y Romani, G.L. (2004) Intermodal sensory image generation:An
fMRI
analysis.The European Journal of Cognitive Psychollogy: Vol.16, Nro. 5
Parke, R., Chew, E. y Kyriakakis, C. (2007). Multiple Regression Modeling of the
Emotional Content of Film and Music.123 rd Convention in Audio
Engineering.
Reybrouck, M. (2005). Body, mind and music: musical semantics between
experiential cognition
and cognitive economy. Transcultural Music Review.
9.
Sloboda, J. (1985). The Musical Mind: The Cognitive Psychology of Music. Oxford:
Oxford U.P.
Vines, B.,Krumhansl C., Wanderley, M. y Levitin, D. (2006). Cross-modal interactions
in
the perception of musical performance. Cognition, 101, 80-113.
West, R, Howell,P y Cross,I. (1985). Modeling perceived musical structure. En P.
Howell, I.
Cross y R West (Eds.) Musical structure and Cognition. London: AP
Wood,A, (1998). Intersensory segregation: an investigation into the effects of
concurrently
presented visual material on subjects ability to memorise the
rhythm
of
short
melodies.
Christs
College.
Cambridge.
www://mus.cam.ac.uk/~ic108/pandP/Wood98/Wood98.html.
Recuperado el
28/08/2008
Sid Caesar y Nanette Fabray (ca 1952, ****)"Argument to Beethoven's 5th".
Programa
Your Show of Shows USA. (film)