Proposta interativa de educao musical para deficientes visuais: um relato

de experincia com o uso do dispositivo Makey Makey e Softwares livres

Alexandre Henrique dos Santos

I.A UNICAMP. alexjazzbass@gmail.com

Resumo: O presente trabalho traz um relato de experincia feita na Escola Joo Fischer em
Limeira-SP com Tecnologias da Informao e Comunicao (TIC) na educao musical de alunos
deficientes visuais (DV). Foram usados no experimento o dispositivo Makey Makey, os softwares
livres Pure Data (PD), Audacity e o Soundplant. O trabalho tambm mostra uma experincia feita
com miniaturas de instrumentos e amostras de udio, buscando uma parte do ensino de
organologia e reconhecimento dos timbres dos instrumentos. A presente proposta busca uma
aproximao dos DV com os recursos tecnolgicos para educao musical, o que representa uma
barreira para estes alunos, j que ainda so escassos os recursos construdos com esta finalidade
atualmente.

Palavras-chave: Educao musical; Tecnologias e Acessibilidade; Incluso digital; Educao

musical e tecnologias;

Interactive Proposal Of Music Education For The Visually Impaired: An Experience Report
Using The Makey Makey Device And Free Software

Abstract: This paper presents an experience report made at Joo Fischer School in Limeira-SP
with Information and Communication Technologies (ICT) in the musical education of visually
impaired students (DV). The Makey Makey device, the free software Pure Data (PD), Audacity
and the Soundplant were used in the experiment. The work also shows an experiment done with
miniatures of instruments and audio samples, looking for a part of the teaching of organology and
recognition of the timbres of the instruments. The present proposal seeks an approximation of the
DV with the technological resources for musical education, which represents a barrier for these
students, since the resources constructed for this purpose are still scarce.

Keywords: Musical education; Technologies and Accessibility; Digital inclusion; Music

education and technologies;

1. Introduo
As Tecnologias de Informao e Comunicao TIC, esto tornando-se eficientes
ferramentas para as aes educacionais inclusivas. A 15 Conferncia Internacional chamada
Computadores Ajudando Pessoas com Necessidades Especiais1 (Traduo do Autor),
realizada em julho de 2016 em Linz na ustria, traz as ltimas inovaes tecnolgicas que
podem ser utilizadas para este propsito. Outro importante fator o fato de que as TIC j so

1
Computers Helping People with Special Needs. 15th International Conference, ICCHP 2016 Linz, Austria, July
1315, 2016 (MIESENBERGER e BHLER, 2016).
usadas em processos de educao musical. Vide os trabalhos de Gohn (2010 e 2012), Watson
(2011); Bauer (2013); Freddman (2013); e Santos (2015). Estes autores postulam,
principalmente, sobre a grande capacidade de ampliao dos recursos disponveis para a
aprendizagem musical a partir das TIC. A presente proposta objetiva inserir estas tecnologias
no aprendizado musical de alunos deficientes visuais. O trabalho aqui abordado, se justifica
pelo fato de que, embora existam algumas tecnologias computacionais usadas no campo da
deficincia visual, como leitores de tela2 , teclados em braile, lupas, scanners e o hardware
Linha Braile3, ainda escasso o nmero de ferramentas computacionais que possibilitam o
acesso do aluno de msica DV ao computador se comparado a um msico ou estudante de
msica vidente.
O presente trabalho traz um relato de experincia em educao musical para
alunos deficientes visuais utilizando as TIC. A experincia aconteceu na Escola Joo Fischer,
em Limeira-SP, ncleo deficincia visual. Os dispositivos tecnolgicos que foram usados no
experimento (a serem explicados posteriormente) foram a placa Makey Makey, os softwares
Pure Data (PD), Audacity e Soundplant, alm de softwares virtuais disponveis no site
makeymakey.com.
O objetivo do trabalho proporcionar ao aluno DV a possibilidade de interagir
com uma interface digital que permita o acesso processos de composio e criao musical
livre, coordenao motora, (re) conhecimento de timbres e instrumentos, percepo musical e
contao de histrias.
A experincia foi executada tendo como base o mtodo pesquisa-ao. Segundo Franco 2005:

A condio para ser pesquisa-acao crtica e o mergulho na prxis do grupo

social em estudo, do qual se extraem as perspectivas latentes, o oculto, o no
familiar que sustentam as prticas, sendo as mudanas negociadas e geridas
no coletivo. Nessa direo, as pesquisas-acao colaborativas, na maioria das
vezes, assumem tambm o carter de criticidade (FRANCO, 2005, p. 486)

A metodologia que foi utilizada para operacionalizao dos dados foi a Anlise de
Contedo de Bardin (2009). Os dados foram coletados atravs principalmente de observao
e conversas com os alunos envolvidos durante o perodo. O experimento foi realizado na
durante o ms maio de 2017. Vale lembrar que o experimento um recorte da pesquisa de
doutorado do autor. Sero discorridos nos prximos tpicos os detalhes do dispositivo Makey

2
Tipo de software que atravs de um sintetizador de voz descreve as informaes na tela do computador.
Makey, bem como a construo do programa (patch) do PD, a composio dos samples no
Audacity e as atividades pedaggicas que foram desenvolvidas.

2. O dispositivo Makey Makey

O dispositivo Makey Makey (www.makeymakey.com) foi desenvolvido em um
projeto acadmico de dois estudantes pesquisadores da UMass Institute of Technology: Jay
Silver e Eric Rosenbaum. O projeto foi concludo no Media Lab's Lifelong Kindergarten.
Rosenbaum (2015), descreve sobre o que basicamente o dispositivo Makey Makey:

A Makey Makey uma pequena placa de circuito que se conecta via USB
em um computador. Usando o protocolo HID4, ele emula um teclado e
mouse de computador padro, para que ele possa controlar o computador,
enviando dados a partir do teclado e mouse (ROSENBAUM, 2015, p. 105).
(Traduo do autor)

Basicamente, o dispositivo Makey Makey substitui o teclado e mouse padro,

sendo que, a tecla final pode ser qualquer objeto que possui alguma possibilidade de passar
uma corrente eltrica, como por exemplo, diversos tipos de metais (alumnio, cobre, lato, ao
e ferro), massas de modelar, tinta tipo guache, tinta condutiva, grafite, legumes, frutas,
plantas, gua e outros. A Makey Makey vendida em formato de Kit, que vem acompanhado
de um conjunto de cabos com clips conhecidos como jacar. Estes cabos so conectados
aos objetos acima citados. Para o funcionamento do dispositivo necessrio um aterramento,
assim, o circuito fechado e o objeto dispara a tecla. O cabo terra deve ser segurado pelo
usurio ou conectado ao corpo.

3
A Linha Braille, ou Display Braille, um hardware que exibe dinamicamente em Braille a informao da tela
ligado a uma porta de sada do computador. Pode-se definir Display Braille como um dispositivo de sada ttil
para visualizao das letras no sistema Braille.
4
Na computao, a classe de dispositivos de interface humana USB (classe USB HID) faz parte da especificao
USB para perifricos de computador: especifica um grupo de dispositivos (um tipo de hardware de computador)
para dispositivos de interface humana, como teclados, mouses, controladores de jogos e dispositivos de exibio
alfanumricos (Traduo do autor).
 Figura 1: O kit Makey Makey

Segundo Resenbaum (2015), a Makey Makey foi a evoluo de alguns projetos

anteriores. O pesquisador comeou com o dispositivo PicoCricket, este sendo um kit
programvel em um computador e depois baixado ao dispositivo pelo usurio. Com a
reprogramao de entradas e sadas deste dispositivo e um controlador MIDI5, o autor criou
uma srie de contraposies musicais (ROSENBAUM, 2015, p. 100). Outro invento que
precedeu a Makey Makey foi o Drawaudio, desenvolvido por Jay Silver. Este dispositivo
mede a resistncia eltrica e a usa para controlar a altura de um som. Ao contrrio de outros
sistemas, o Drawaudio limitado a esta relao especfica de entrada e sada de sinal, e esta
relao contnua ou analgica, ou seja, a cada mudana pequena de resistncia, o dispositivo
muda suavemente o som ao invs de tocar notas discretas em uma escala. O Drawaudio
tambm pode detectar uma gama maior de resistncias do que os outros sistemas, at dezenas
de Mega Ohms. Esta ampla gama de recursos abre uma grande variedade de possibilidades
para conectar objetos cotidianos e materiais naturais ao kit para fazer instrumentos musicais
(ROSENBAUM, 2015, p. 103).
O autor tambm usou como predecessor da Makey Makey o hackeamento ou
customizao de um teclado de computador comum. O mesmo diz que esta ao mais fcil
porque usa um sistema j existente e no precisa construir um dispositivo inteiro do comeo
para enviar dados ao computador (ROSENBAUM, 2015, p. 104).
A prxima figura ilustra o funcionamento da Makey Makey. As teclas de direo
so conectadas a uma banana e o cabo de aterramento conectado ao usurio. Assim, a
banana, quando tocada, dispara o comando correspondente no computador. Desta maneira, a

5
Musical Instrument Digital Interface (MIDI) Interface Digital para Instrumentos Musicais, um padro que
permite a conexo de uns vrios instrumentos musicais eletrnicos, computadores e outros dispositivos
relacionados
banana pode, por exemplo, disparar uma nota em um software sintetizador de piano, ou
similar, ou assumir uma funo de um controle em um jogo, etc.

Figura 2: exemplo de funcionamento da Makey Makey

Com estas propriedades a placa Makey Makey torna-se uma eficiente ferramenta
para educao musical. Muitas atividades artsticas podem ser desenvolvidas com os
mecanismos que podem funcionar como teclas controladoras. Estas atividades podem
envolver alm da msica, tambm as artes plsticas, esculturas e projetos de diferentes
aspectos com os outros materiais mencionados anteriormente.

3. A experincia de educao musical na escola Joo Fischer

3.1: Construo do Patch no software Pure Data (PD)
Como dito anteriormente, o presente projeto envolve uma experincia de
educao musical realizada na escola Joo Fischer em Limeira-SP. A escola est integrada no
programa Centro de Promoo Social Municipal- CEPROSOM da prefeitura de Limeira. A
escola possui dois ncleos, onde, um ncleo atende deficientes auditivos e outro atende
deficientes visuais. O trabalho aqui abordado realizou-se no ncleo deficientes visuais.
Na experincia foi usado um patch construdo no software PD. PD um ambiente
de programao grfica para udio e vdeo usado como ambiente de composio interativo e
como estao de sntese e processamento de udio em tempo real. Segundo Santos (2015), o
PD mais do que um aplicativo. uma plataforma para criar aplicativos simples que
processam dados (udio, vdeo e controle) em tempo real. Os programas construdos em PD
so chamados de patchs. Abaixo a descrio da construo do patch do presente trabalho.
 O patch basicamente usa as teclas do teclado padro do computador como teclas
sonoras. Para a construo deste patch foram usados os objetos [key] e [keyup]. Cada tecla no
teclado do computador tem o que chamado de um valor ASCII6 (American Standard Code
for Information Interchange), o que um nmero usado para representar essa chave. [Key]
gera esse nmero quando uma tecla pressionada, e [keyup] envia este nmero quando uma
tecla liberada. Como notas MIDI, estes nmeros esto dentro do intervalo de 0 a 127. Estes
valores podem ser usados para obter alguma entrada de dados em um patch, e assim pode ser
usado para acionar diferentes elementos de um patch no Pd alm de notas musicais. No
presente projeto, quando uma tecla pressionada [key] envia o valor ASCII, que retorna em
nota MIDI. Como os valores enviados esto acima de 127, foi usado o objeto [mtof] para
transformar estes valores em frequncias. Esta frequncia ento dividida por um
determinado valor e em seguida direcionada para um objeto oscilador [osc~].
Simultaneamente, quando a tecla pressionada a sada do objeto [key] convertido em um
Bang que manda uma mensagem (1- on) para o objeto [pack]. No objeto [pack], esta
mensagem embalada em uma medida de tempo que vai de 0 a x milissegundos, dependendo
da configurao do usurio. O objeto [line~] interpreta a mensagem para que o som seja
executado em uma espcie de rampa que pode ser por exemplo de 0 a 50. Quanto maior o
valor final, maior ser o tempo de retorno. Abaixo a ilustrao esquemtica do patch
disponvel no manual Floss.

Figura 3: esquema do patch do projeto. Fonte: http://write.flossmanuals.net/pure-data/controlling-the-synth/

6
Cdigo de padro americano para o intercmbio de informaes. o sistema usado para programar o teclado.
 No projeto aqui abordado foram usados outros osciladores, fazendo assim a
adio de outras frequncias para a obteno de um som mais complexo, em um processo de
sntese aditiva. Abaixo a imagem do patch do projeto finalizado.
Figura 4: patch do PD no projeto

3.2: A aplicao do patch com a Makey Makey na sala de aula

Com o patch ento finalizado, foi iniciado o processo de implementao com a
placa Makey Makey. Foram usados no experimento frutas, massas de modelar, gua e
alumnio. A figura abaixo mostra o patch sendo executado com a Makey Makey com o pd
sendo acionado pelas teclas construdas de massas de modelar.

Figura 5: o patch na sala de aula com a Makey Makey

Neste experimento os prprios alunos construram as teclas a partir de massas de

modelar. Este processo muito importante para alunos DV, pois explora a coordenao
motora, alm de proporcionar a possibilidade de explorao artstica. Mesmo com a
deficincia visual, eles atribuem formatos s massas, como objetos e animais.
Os alunos gostaram muito do timbre durante o experimento. Como cada tecla do
teclado gera sons aleatrios, eles questionaram a ordem musical linear no incio. O professor,
porm, explicou que era uma improvisao livre e eles poderiam tocar em qualquer tecla sem
se preocupar em criar uma melodia temperada. Os alunos ento comearam a improvisar e
experimentar os timbres livremente. Neste estgio os alunos envolvidos se mostraram muito
motivados e acharam muito divertido, ou seja, a experincia tomou um rumo mais ldico. A
figura 6 tambm ilustra o registro do experimento.

3.2 O trabalho com as miniaturas

Outro experimento que foi usando o dispositivo Makey Makey foi uma proposta
para que os alunos aprendessem o formato e (re) conhecessem o timbre dos instrumentos
musicais. Isto foi feito com instrumentos em miniaturas. As miniaturas ento eram conectadas
Makey Makey que disparava um sample programado em uma tecla do software Soundplant7
(www.soundplant.org).
Figura 6: As miniaturas de instrumentos e o software Soundplant

As amostras de udio continham o nome do instrumento seguido de seu som.

Quando o aluno fazia toda a explorao ttil, ele ento colocava a miniatura sobre a mesa, em
seguida pegava o fio de aterramento e tocava na miniatura, e esta disparava o som no
Soundplant. Nas miniaturas que so construdos em metal o cabo jacar era conectado
direto na mesma. J para as miniaturas em madeiras, plstico ou outro material era colocado
um fio de ao ou colado uma faixa de alumnio para gerar o contato.
Este experimento teve dados positivos e tambm alguns que precisam ser
revisados. A parte positiva que os alunos conseguiram aprender e diferenciar timbres muito
especficos, como reconhecer o timbre de um trompete e de um fluguelhorn, que para quem
no tem experincia na rea se torna bem complexo. Eles tambm conseguiram aprender com
sucesso o nome de todas as famlias: cordas, madeira, metais e percusso e reconhecer,
atravs de ditado de timbres, os sons dos instrumentos abordados.
Em relao ao tamanho das miniaturas houveram alguns problemas. Por exemplo:
na famlia de cordas, a viola e o violino no tem diferena de tamanho, o que deixava os
alunos confusos. Assim aconteceu tambm com as miniaturas de violoncelo e contrabaixo.
Com os instrumentos de sopro tambm houve este problema na famlia de saxofones. Ainda
est em estudo como ser a correo deste obstculo, o que significa aes para pesquisas
futuras.
4. Consideraes Finais
A presente pesquisa abordou uma proposta de ensino de msica utilizando as TIC
para alunos deficientes visuais. Os hardwares e softwares usados na experincia se mostraram
de grande eficincia devido ampla gama de recursos que podem ser construdos com estes
equipamentos.
A experincia que envolveu a composio livre foi bastante significativa para os
alunos. O professor observou os mesmos em um processo de um fazer musical mais livre, ou
seja, a experincia acabou tirando os paradigmas estticos inerentes ao fazer artstico,
principalmente no que concerne o ensino de msica na rede de ensino. Este processo pode
trazer novas perspectivas para o ensino de msica na sala de aula e na sala de aula inclusiva.
Tambm importante salientar que no trabalho de construo das teclas, foi explorado
diversas aes pedaggicas, como a coordenao motora no trabalho com as massinhas. Este
processo de extrema importncia para os DV, pois, os mesmos exercitam o o jogo
imaginativo e abstrao com as formas, o que poder ser explorado futuramente com o ensino
tambm de outras artes. Considera-se que a experincia realizada tenha sido bem positiva,
embora tenha que ser melhorada em alguns pontos como a questo do tamanho das miniaturas
e a uma melhor configurao para as amostras de udio no Soundplant.

7
um tipo de software que transforma o teclado do computador em um controlador de samples. O software
permite que cada tecla do teclado seja mapeada para disparar uma amostra de udio. Fonte:
https://en.wikipedia.org/wiki/Software_sampler
 As TIC atualmente representam um fenmeno influente em diversos setores da
sociedade, inclusive na educao. Integr-las pedagogicamente na educao pode elevar e
atualizar o nvel de aprendizado. Em especial na educao inclusiva, e no caso desta pesquisa,
para os deficientes visuais, integrar aes educativas com o uso de tecnologias representa um
avano nas questes de aprendizagem e tambm de incluso digital.

5. Referncias
BARDIN, Lawrence. Anlise de Contedo. Traduo: Lus Antero Reto e Augusto Pinheiro.
So Paulo: Editora 70, 2011.

BAUER, Willian I. Music Learning Today: Digital Pedagogy, Performing and Responding
Music. New York: Oxford University Press, 2014.

FRANCO, Maria Amelia S. Pedagogia da pesquisa-ac ao. Educao e Pesquisa, So Paulo, v.

31, n. 3, p. 483-502, set. /Dez. 2005.

FREEDMAN, Barbara. Teaching Music through Composition. A Curriculum Using

Technology. New York: Oxford University Press, 2013.

GOHN, Daniel Marcondes. Introduo Tecnologia Musical. So Carlos: UFSCAR, 2012.

GOHN, Daniel Marcondes. Tecnologias Digitais para Educao Musical. So Carlos:

EdUFSCAR, 2010.

ROSENBAUM, Eric. Explorations in Musical Tinkering. Program in Media Arts and

Sciences, School of Architecture and Planning, at the Massachusetts Institute of Technology,
2015.

SANTOS, Alexandre Henrique dos. As Tecnologias de Informao e Comunicao (tic) na

Educao Musical: Um Estudo Sobre a Relao das Licenciaturas em Msica com o
Fenmeno Tecnolgico. 2010, 188 f. Dissertao de Mestrado Instituto de Artes da
Universidade Estadual de Campinas UNICAMP. Campinas, 2015.

WATSON, Scott. Using Technology to Unlock Musical Creativity. New York: Oxford
University Press, 2011.

WWW.MAKEYMAKEY.COM. Disponvel em: http://makeymakey.com/. Acesso em

15/06/2017.

PURE DATA. Disponvel em: https://pt.wikipedia.org/wiki/Pure_Data

FLOSS MANUALS PURE DATA. Disponvel em: http://write.flossmanuals.net/pure-
data/introduction2/. Acesso em: 25/06/2017.

SOUNDPLANT.ORG. Disponvel em: http://soundplant.org/. Acesso em: 25/06/2017.