2 Desafo Tecnolgico Departamento de Teora de la Seal Telemtica y Comunicaciones

I4

"Sintetizador de partituras musicales para coro"

Grupo I4 Ivn Fernndez Bermejo Ivn Lpez Espejo Santiago Prieto Calero

I4

1.Introduccin
Objetivo: disear e implementar un buen sistema para la sintetizacin de partituras musicales para coro de la forma ms realista posible Problema: gran espectro de soluciones, diferentes tcnicas, etc Solucin: experimentacin con varias tcnicas: adquisicin de datos, sntesis de voz, etc

I4

2. Tcnicas de Desarrollo
2.1 Extraccin de la Informacin Musical:
Fichero de entrada: Partitura en formato imagen Fichero en formato MIDI

2.2 Sintetizacin sin Letra:

Usando wavetables

2.3 Sintetizacin con Letra:

Sntesis LPC HMMs (modelos ocultos de Mrkov)

2.4 Modelado de Dinmica:

Modelo ADSR

I4

2.1 Extraccin de la Informacin Musical

2.1.1 Archivo en formato MIDI
Herramienta: MidiToolbox para Matlab Extraccin de caractersticas: notas, duracin, nmero de canales, comienzo de las notas, velocidad

I4

2.1 Extraccin de la Informacin Musical

2.1.2 Archivo en formato imagen
Objetivo: Extraccin de caractersticas de una partitura: notas y letra Diseo e implementacin de un sistema OMR (Optical Music Recognition) para la lectura de partituras.

I4

2.2 Sintetizacin de Voz sin Letra

Objetivo: generar las diferentes lneas meldicas del coro mediante wavetables Elaboracin de una base de datos:
Matriz de dos dimensiones, correspondindose una de ellas al timbre y la otra al pitch Posibilidad de registrar voces de diferentes cantantes (segn el sexo, la tesitura, etc)

Sntesis de voz: concatenacin de unidades bsicas de voz real recogidas en la base de datos

2. Tcnicas de Desarrollo
2.1 Extraccin de la Informacin Musical:
Fichero de entrada: Partitura en formato imagen Fichero en formato MIDI)

2.2 Sintetizacin sin Letra:

Usando wavetables

2.3 Sintetizacin con Letra:

Sntesis LPC HMMs (modelos ocultos de Mrkov)

2.4 Modelado de Dinmica:

Modelo ADSR

I4

2.3 Sintetizacin de Voz con Letra

2.3.1 Sntesis LPC
La seal excitacin variable a partir de la informacin de altura tonal extrada (pitch) Variacin de los coeficientes del filtro todopolos LPC para modelar el tracto vocal en funcin de la letra y del tiempo

I4

2.3 Sintetizacin de Voz con Letra

2.3.2 HMM (Modelos Ocultos de Mrkov)
Buena tcnica para reconocimiento de voz ltimamente usada para la sntesis de voz a partir de texto Creacin de un bloque de modulacin de pitch para incluir la informacin relativa a la altura tonal

I4

2.4 Modelado de Dinmica

Variacin en la intensidad sonora de cada voz (ponderacin de la forma de onda en el dominio del tiempo) Esquema ADSR (Attack/Decay/Sustain/Release)

I4

3. Conclusiones Finales
Sintetizacin aditiva de cada una de las lneas meldicas que componen el coro Modelar las cuatro cualidades del sonido de la forma ms fidedigna posible (timbre, altura, intensidad y duracin) Emplear psicoacstica para evitar el solapamiento de voces Resultado: fichero de audio con la pieza coral sintetizada de la forma ms realista posible

I4

Gracias

Grupo I4

2 Desafo Tecnolgico Departamento de Teora de la Seal Telemtica y Comunicaciones

I4

"Sintetizador de partituras musicales para coro"

Grupo I4 Ivn Fernndez Bermejo Ivn Lpez Espejo Santiago Prieto Calero

I4

Sumario
Introduccin Procesamiento MIDI y de audio OMR y sntesis de partituras Interfaz de usuario Conclusiones y trabajo futuro Referencias

I4

Introduccin
Extraccin de la informacin musical:
Fichero de entrada: Partitura en formato imagen Fichero en formato MIDI

Sntesis sin letra:

Usando wavetables

Modelado de dinmica:
Modelo ADSR

I4

Procesamiento MIDI y de audio

Uso de las voces corales de Colossus 32GB de sonidos reales Compatible con GM UnNKS NKS a WAV

I4

Procesamiento MIDI y de audio

El problemas se divide
En canales En notas

Se atacan por separados Unindose los resultados en una solucin nica

I4

Procesamiento MIDI y de audio

Filtrado ADSR lineal para cada nota Mejoras
Incorporacin de un modelo ms realista

I4

Procesamiento MIDI y de audio

Filtrado de acstica
Suavizado de interfases Correlacin de las lneas meldicas Emulacin de la acstica del recinto

Obtencin de respuestas con Adobe Audition

I4

Procesamiento MIDI y de audio

Implementacin en el dominio de la frecuencia
Zero-padding de h(n)

I4

OMR y sntesis de partituras

En la actualidad slo partituras muy sencillas

I4

OMR y sntesis de partituras

Preprocesamiento de la imagen
Conversin a niveles de gris Inversin Binarizacin

Correccin de la inclinacin
Transformada de Hough

I4

OMR y sntesis de partituras

Segmentacin de pentagramas
Mediante la proyeccin horizontal de histograma

Segmentacin de smbolos
Mediante la proyeccin vertical de histograma

I4

OMR y sntesis de partituras

0 50 100 150 200 250 300 350 400 450 500

10

12

14

16
3

18 x
4

10

x 10
2.5

1.5

0.5

0 0

100

200

300

400

500

600

700

800

900

I4

OMR y sntesis de partituras

Fase de clasificacin de smbolo
Sustraccin de la componente DC Normalizacin de la proyeccin de histograma segmentada 24 coeficientes del mdulo de la FFT Comparacin con los patrones de la base de datos Seleccionar el de mnima distancia eucldea

I4

OMR y sntesis de partituras

Inclusin de diferentes versiones de un smbolo en la DB

I4

OMR y sntesis de partituras

Deteccin del tono
Mediante proyeccin horizontal de histograma
0 10 20 30 40 50 60 70 80 90 100

500

1000

1500

2000

2500

3000

3500

4000

OMR y sntesis de partituras

OMR Fichero de texto
Pitch, duracin (negra, blanca, redonda) Extraccin vector (notas, duracin) Pitch (frecuencia fundamental) Duracin (negra=1, blanca=2, redonda=4)

Sntesis

Wavetables

Pitch Notacin MIDI Duracin N de muestras segn bpm Modelo dinmico (ADSR) por nota

Interfaz de usuario
Se crea para el fcil manejo de las funciones habilitadas Permite leer archivos .mid y .jpg para realizar la sntesis Funciones:
Visualizar la partitura en un panel de imagen Cambiar la acstica de la seal sintetizada Modificar la velocidad de reproduccin Reproductor de msica

Conclusiones y trabajo futuro

Modelo ms realista de dinmica (ADSR) OMR de partituras ms complejas (incluyendo la letra) Sntesis de piezas con letra

I4

Referencias
MIDI Toolbox, Departamento de Msica, Universidad de Jyvskyl, Finlandia, https://www.jyu.fi/hum/laitokset/musiikki/en/research/co e/materials/midi-toolbox/ X. Fernndez Hermida y C. Snchez-Barbudo y Vargas, Development of an Optical Music Recognizer A. Snchez, J. J. Pantrigo y J. I. Prez, Extraccin de Lneas Meldicas a partir de Imgenes de Partituras Musicales

I4

Sintetizador de partituras musicales para coro

GRACIAS

2 Desafo Tecnolgico Departamento de Teora de la Seal Telemtica y Comunicaciones

I4

"Sintetizador de partituras musicales para coro"

Grupo I4 Ivn Fernndez Bermejo Ivn Lpez Espejo Santiago Prieto Calero

I4

Sumario
Introduccin Procesamiento MIDI OMR Android

I4

Introduccin
Mejoras:
Procesamiento de MIDI con track Mejora OMR Aplicacin Android (Modo didctico)

Carencias:
Sntesis sin letra (Solfeando) Base de datos sin derechos

I4

Procesamiento de MIDI con track

Se comprueba si el midi es mono canal, y en ese caso si usa track. Se realiza la misma sntesis que ya tenamos pero con la columna track y no con los canales. En equipos pequeos hay problemas al existir una carencia de memoria.

I4

OMR (Optical Music Recognition)

Reconocimiento Automtico de Partituras Musicales
Problema complejo Ventajas: Almacenamiento perpetuo en el tiempo de la informacin musical en formato digital Tratamiento de los datos digitales (modificacin, transmisin...) Gestin ms eficaz de las obras (mediante bases de datos)

I4

Desarrollo del OMR

Anlisis de partituras corales en formato JPG Se utiliza la herramienta Image Toolbox de Matlab para:
1.

2. 3.

Diseo e implementacin de un bloque que separe los pentagramas de la partitura y los smbolos de cada pentagrama. Creacin de un clasificador que reconozca los smbolos proporcionados Utilizacin de las reglas de teora musical para comprobacin de errores y bsqueda de smbolos compuestos

I4

Pre-procesado de la imagen
Binarizar la imagen mediante el mtodo de Otsu Inversin de la imagen binaria

I4

Segmentacin de pentagramas
Se aplica a la imagen el histograma horizontal Se descartan los valores del histograma horizontal por debajo de un umbral (mximo valor del histograma horizontal/2) Se busca el patrn caracterstico que conforman los pentagramas

I4

Segmentacin de smbolos
Se aplica el histograma vertical a cada pentagrama segmentado Se haya la mediana del histograma vertical Se eliminan los valores por debajo de este valor

I4

Reconocimiento de smbolos
Segmentacin de los smbolos mediante el histograma vertical del pentagrama modificado Erosin mediante elemento horizontal de 20 pxeles Substraccin de la imagen erosionada a la original para eliminar las lneas del pentagrama

I4

Reconocimiento de smbolos
Comparacin de patrones entre los smbolos segmentados y las imgenes de la base de datos
correlacin cruzada normalizada:
Valor comprendido entre [-1,1]

I4

Algoritmo de reconocimiento de smbolos

Primero se busca la clave (Sol, Fa) Seguidamente se busca el comps Despus se reconoce cada uno de los smbolos segmentados

I4

Reconocimientos de smbolos unidos

Se detectan mediante la anchura de pxeles Se erosionan mediante elemento horizontal de 5 pxeles Se sustrae el elemento cuya longitud horizontal es mayor (barra horizontal o ligadura) Se comparan las figuras para obtener su duracin y tonalidad

I4

Deteccin de la tonalidad
Extraer la posicin de las lneas del pentagrama Extraccin del punto medio de la posicin de cada nota (utilizando informacin del histograma horizontal) Obtener la frecuencia de la nota mediante la distancia mnima a las lneas del pentagrama Registro de cada figura y frecuencia en un fichero de texto

I4

Sntesis de la partitura
Utilizacin de las reglas de la teora musical: Si el pentagrama est en clave de Fa se transportan todas las notas del mismo Si se detecta un punto despus de una figura se alarga la duracin (1.5x duracin) Si se detectan dos puntos verticales y una barra doble se repiten todos los compases anteriores Extraccin de un vector de notas y duracin de cada pentagrama Multiplexacin de pentagramas aprovechando las caractersticas de las partituras corales

I4

Android

I4

Android

I4

Android

I4

Android
Partitura electrnica, nos permite msica simple. Orientada a enseanza.

I4

Android

I4

Android

.txt

.wav

I4

Resumen

I4

Sintetizador de partituras musicales para coro

Referencias [1] D. Carretero de la Rocha, Sistema de Reconocimiento de Partituras Musicales. Proyecto fin de carrera, 2009. [2] http://developer.android.com/index.html

GRACIAS