UNIVERSIDADE DE CAXIAS DO SUL CENTRO DE COMPUTAO E TECNOLOGIA DA INFORMAO BACHARELADO EM TECNOLOGIAS DIGITAIS

Proposta de Trabalho de Concluso de Curso

udio adaptativo baseado em emoes: trilha sonora dinmica para narrativas virtuais interativas

Felipi Medeiros Macedo fmmacedo@ucs.br

Carlos Eduardo Nery cadunery@gmail.com

Tipo de Trabalho: pesquisa com implementao

Caxias do Sul, agosto de 2011.

1 - Introduo O cinema incorporou, desde seus primeiros momentos, um acompanhamento sonoro que permitia dar maior credibilidade s imagens que eram apresentadas. Este acompanhamento sonoro e musical era, inicialmente, diegtico podia ser imaginado como estando dentro do ambiente da narrativa mas logo comeou-se a utilizar o que posteriormente se tornaria o mais comum no cinema, em especial de Hollywood: o som extra-diegtico, que no surge da cena, mas sim vem de uma fonte externa narrativa, com intuito de imitar uma ao musicalmente, induzir alguma emoo, ou ainda criar uma ambientao (WIERZBICKI, 2008, p.21-23). Os jogos eletrnicos tambm apresentam, desde suas primeiras geraes, efeitos sonoros e msicas que buscam aumentar a imerso do jogador e a credibilidade dos eventos que ocorrem na narrativa. Porm, no caso desses jogos, a tecnologia que se dispunha inicialmente dificultava o armazenamento e reproduo de som tal qual era feito no cinema, sendo mais prtico produzir os sons sinteticamente. Com o passar do tempo, essas tecnologias avanaram, chegando ao ponto de possibilitarem o uso de udio de alta qualidade dentro dos jogos. Todavia, a composio das msicas pouco mudou com esses avanos (MENEGUETTE; PIRES JNIOR; OLIVEIRA, 2008, p.3). O fato de que a msica para os jogos eletrnicos , muitas vezes, composta da mesma forma que a msica para o cinema, vista como um problema por BERNDT e HARTMANN (2007, p.141). Esses autores apontam que a linearidade da msica tradicional formam um obstculo para a unio orgnica entre a msica e o jogo, que dinmico e interativo, e para resolver isso, propem o uso de tcnicas de composio que tornem a msica adaptativa, podendo acompanhar melhor a dinmica do jogo. Tanto os jogos eletrnicos como outros ambientes virtuais interativos similares podem ampliar suas funes e caractersticas fazendo uso do udio dinmico, seja como referncia a fenmenos semiticos extramusicais (NTH, 1995, p.432), ambientaes que evocam imagens que no esto presentes e ajudam a localizar o jogador (ADAMS & ROLLINGS, 2007, p.256-257; SHUM, 2009, p.108), ou ainda para estabelecer o ritmo da narrativa. Mas alm dessas possibilidades, que permanecem num nvel comunicativo e de interface, tambm possvel seguir uma abordagem mais subjetiva, utilizando diferentes elementos de composio e articulao musical para induzir diferentes emoes no usurio

(LIVINGSTONE et al., 2010). Considerando toda essa gama de possibilidades do uso do udio dinmico em jogos eletrnicos e outros ambientes interativos, este trabalho tem como objetivo focar o estudo da psicologia da msica, dos tipos de comportamento e das caractersticas musicais, com o intuito de descobrir-se como a incorporao desses elementos pode aumentar a ligao emocional, imerso e fruio do usurio com esses ambientes virtuais interativos, comparado ao que j se produz atualmente.

2 - Objetivos 2.1 Objetivo Geral Desenvolver um ambiente virtual interativo que se utilize de um sistema musical adaptativo para induzir emoes ao usurio. 2.2 Objetivos Especficos Criar uma interface entre o usurio e o sistema. Desenvolver uma biblioteca de udio adaptativo. Estudo sobre modelos emocionais. Pesquisar diferentes gneros e elementos musicais; associar os gneros e elementos musicais a modelos emocionais. Ligar a associao realizada a uma narrativa interativa especfica.

3 - Metodologia O presente trabalho ser realizado seguindo uma sequncia de etapas que se inicia com a reviso bibliogrfica, com a finalidade de descrever o estado da arte da msica e das trilhas sonoras. A pesquisa continuar com um estudo do comportamento humano baseado em modelos emocionais e suas possveis representaes computacionais. Em seguida, ser feito um levantamento dos elementos e gneros musicais que possam ser diretamente relacionados aos modelos emocionais. Aps essas etapas, seguir o desenvolvimento do ambiente virtual, que constar de um sistema similar a um jogo eletrnico, porm simplificado. Esse ambiente ter uma representao grfica bidimensional de um espao e de um personagem que possa se deslocar por esse espao, sendo construda a partir da engine Cocos-2D para a plataforma Apple Mac OS X. Esse ambiente ainda contar com uma interface que permita a interao com o usurio, que ser desenvolvida utilizando os recursos padro de interao com mouse e teclado que a engine e as APIs do sistema operacional disponibilizam, alm de uma interface que permita a reproduo de som atravs do dispositivo de udio padro que o usurio possuir. Em paralelo ao desenvolvimento do ambiente virtual, ser desenvolvido o sistema de udio adaptativo que, quando funcional, ser integrado ao ambiente virtual para ento formar o objeto final deste trabalho. Esse sistema de udio adaptativo ser construdo utilizando uma ou mais das seguintes bibliotecas de udio, conforme for mais conveniente: FMOD, CocosDenshion, OpenAL e IrrKlang. O sistema ir trabalhar com arquivos de udio amostrado e sem perdas, com ou sem compresso, como WAV, AIFF, ALAC e FLAC, com bit depth de 16bits e sample rate 44.1kHz, mono ou estreo, o que permite uma alta qualidade de som em formatos amplamente difundidos e aceitos pelas bibliotecas de udio.

4 - Atividades e Cronograma TCC 1 1. Elaborao da proposta 2. Reviso bibliogrfica 3. Redao da fundamentao terica 4. Levantamento dos recursos tecnolgicos 5. Desenvolvimento de prottipo

Atividades 1 1 2 3 4 5

Agosto 2 1

Setembro 2 1

Outubro 2 1

Novembro 2

5 - Atividades e Cronograma TCC 2 1. Reviso da bibliografia 2. Criao da interface entre o usurio e o sistema 3. Desenvolvimento da biblioteca de udio adaptativo 4. Definio dos modelos emocionais 5. Associao entre udio e modelos emocionais 6. Redao do texto

Atividades 1 1 2 3 4 5 6

Maro 2 1

Abril 2 1

Maio 2 1

Junho 2

6 - Referncias Bibliogrficas

ADDAMS, E.; ROLLINGS, A. Audio Elements. In: Fundamentals of game design. p. 256-257. New Jersey: Pearson Prentice Hall, 2007. BERNDT, A.; HARTMANN, K. Strategies for Narrative and Adaptive Game Scoring. Audio Mostly, p. 141147, 2007. Disponvel em: <http://isgwww.cs.uni-magdeburg.de/ ~aberndt/publications/audioMostly 07.pdf>. Acesso em: 3/7/2011. LIVINGSTONE, S. R.; BROWN, A. R.; MUHLBERGER, R.; THOMPSON, W. F. Changing Musical Emotion: A Computational Rule System for Modifying Score and Performance. Spring, v. 34, n. 1, p. 41-65, 2010. MENEGUETTE, L. C.; PIRES JNIOR, J. C.; OLIVEIRA, A. L. G. A nova VGMusic : Msica adaptiva e paisagens sonoras ecologicamente orientadas. Gamecultura, 2008. Disponvel em: <http://www.gamecultura.com.br/vgmusic/a-nova-vg-music-musica-adaptiva-epaisagens-sonoras-ecologicamente-orientadas-dp1>. Acesso em: 8/2/ 2011. NTH, W. Handbook of semiotics. Indiana University Press, 1995. SHUM, L. R. Paisagens sonoras nos games. In: SANTAELLA, L.; FEITOZA, M. (Orgs.). Mapa do jogo: a diversidade cultural dos games. p.95-109, 2009. So Paulo: Cengage Learning. WIERZBICKI, James. Film Music: A History. New York: Routledge, 2008.