Sintesis de Sonido y Efectos PDF

04/11/2011
SNTESIS DE SONIDO
Y
EFECTOS DE AUDIO DIGITAL
Isabel Barbancho
Profesora Titular de Universidad
Universidad de Mlaga
E.T.S. Ingeniera de Telecomunicacin
Campus de Teatinos s/n, 29071 Mlaga
Telfono: 952132587
email: ibp@ic.uma.es
Noviembre, 2011
1
Organizacin de la charla
1. Introduccin
2. Tcnicas de sntesis de sonido
3. Efectos de sonido
4. Conclusiones
1
04/11/2011
Introduccin
Qu se entiende por sntesis de sonido?

Breve historia
Notas musicales
Sonido
Percepcin del sonido
Caractersticas temporales
Caractersticas frecuenciales
Introduccin
Qu se entiende por sntesis de sonido?
Tcnicas de procesado de seal aplicadas a replicar sonidos o crear

nuevos sonidos.
Historia de la sntesis de sonido

Primer ejemplo: Vocoder 1939. Homer Dudley, Bell Laboratories
(New Jersey). Tecnologa de vlvulas
2
04/11/2011
Introduccin
Historia: Sntesis analgica

Uno de los primeros en sintetizar msica. Sintetizador de Moog.
Principios de los 50. Tecnologa de transistores.
Introduccin
Historia: Sntesis Digital
Max Matheus (Bell Lab)en los 60 generacin de sonidos por

ordenador.
Padre de la Msica por ordenador y de las DIGITAL MUSIC TOOLS
MUSIC, primer programa ampliamente empleado para generacin de sonido (1957)
No se poda usar en tiempo real ordenadores muy lentos
3
04/11/2011
Introduccin
John Chowning en 1966 sintesis FM tiempo real asequible
YAMAHA realiz el chip DX-7 en los 70
Introduccin
Julius Smith en los 80 sntesis de sonido mediante modelado

por gua de onda
En los 90 sntesis wavetable
4
04/11/2011
Notas musicales
Cada nota musical lleva asociada una determinada frecuencia

fundamental (pitch)
Escala temperada
Nota Frecuencia Nm.

(pitch) MIDI
Do4 C4 261.63 Hz 60
Re4 D4 293.66Hz 62
Mi4 E4 329.63Hz 64
Fa4 F4 349.23Hz 65
Sol4 G4 392.00Hz 67
La4 A4 440.00Hz 69
Si4 B4 493.88Hz 71
Do5 C5 493.88Hz 72
9
Notas musicales
Forma de onda en tiempo y espectro de la nota A4
Nota Frecuencia Nm.

MIDI
A4 440.00Hz 69
y = A sin(2ft )
fs=44100;
f=440;
t=0:1/fs:1;
y=sin(2*pi*f*t);
sound(y,fs)
10
5
04/11/2011
Notas musicales
Nota A4 de un piano
11
Notas musicales
Nota A4 de un clarinete
12
6
04/11/2011
Notas musicales
Nota A4 voz
13
Sonido
Sistema de generacin/recepcin de sonido
Sistema Sistema
Medio de
Generador vibratorio vibratorio Odo
radiacin
nota musical instrumento
Msico Instrumento Recinto
Calidad
Cuerda, Caja de Teatro, Saln
Expresividad membrana, resonancia de actos, aire
Partitura aire, libre,
14
7
04/11/2011
Percepcin del sonido
Caractersticas del sistema auditivo
Rango audible:
(20Hz-20kHz) 80dB
Umbral de
No presenta una respuesta
60dB Audicin
plana 40dB Audible
20dB
Bastante insensibilidad a la Inaudible
fase del espectro de los 0dB
sonidos 10Hz 100Hz 1kHz 10kHz

frecuencia
Influye en el diseo de las tcnicas de

sntesis musicales
15
La envolvente de la seal vara con el tiempo (ADSR)
Cada
(Decay) Relajacin
(Release)
Ataque
(Attack)
Amplitud
Sostenimiento
(Sustain)
t
Los tiempos de ataque y relajacin son los ms

determinantes en la identificacin del instrumento!!
16
8
04/11/2011
17
Instrumentos de entonacin definida y no-definida
18
9
04/11/2011
19
Evolucin temporal de las componentes espectrales
Transformada corta de Fourier (STFT)
0.2
L L-R
0.1
-0.1
4
x 10
-0.2
0 2 4 6 8 10
Muestras
w(m)
DFT
N
20
10
04/11/2011
1. Introduccin
3. Efectos de sonido
4. Conclusiones
21
Tcnicas de sntesis de sonido
Clasificacin
Sntesis en frecuencia
Aditiva
Sustractiva
FM
LPC
Sntesis en tiempo
Wavetable
Modelado fsico
22
11
04/11/2011
Aditiva
Sustractiva
Modulacin en anillo
SNTESIS EN
Modulacin en amplitud Modelado de ondas
(Waveshaping)
FRECUENCIA FM
Prediccin lineal (LPC)
Interpolacin espectral
Muestreo wavetable
SNTESIS EN
TIEMPO Granular
Modelado fsico 23
Aditiva
Sustractiva
Modulacin en anillo
SNTESIS EN
(Waveshaping)
FRECUENCIA FM
Muestreo wavetable
SNTESIS EN
TIEMPO Granular
Modelado fsico 24
12
04/11/2011
Sntesis en frecuencia: Aditiva
Fundamento: desarrollo en serie de Fourier de seales peridicas

x (t ) = Ak sen(k 2 f 0t + k )
k =0
donde:
Ak es la amplitud de la componente k
f0 es la frecuencia fundamental de la seal
k es la fase de la componente k
Problema:
Las seales musicales no son peridicas
No se puede sumar un nmero infinito de seales
25
Solucin a la no periodicidad:
Aplicar STFT, de manera que se obtiene la evolucin temporal de
las componentes del espectro.
Solucin a la suma de un nmero infinito de componentes:
Eliminar las que estn fuera del rango audible (20-20.000Hz).
Simplificacin:
Insensibilidad del odo a la fase de las componentes
Expresin a utilizar:
n
x (t ) Ak (t )sen(k 2 f 0t )
k =1
26
13
04/11/2011
Diagrama de bloques
A1 n
x (t ) Ak (t )sen(k 2 f 0t )
k =1
f0
A2
Sonido
sintetizado
2f0
Hay que estimar

An Frecuencia f0
Nmero de armnicos n
Amplitudes Ak
27
nf0
Ejemplo: Do4 de un clarinete
STFT del Do4 del clarinete Aproximacin STFT del Do4 del clarinete
20
15
10
0
0
0.5
1 2500
2000
1.5 1500
1170Hz 2 1170Hz
1000
500 702Hz
702Hz 2.5 0 234Hz f(Hz)
234Hz t(s)
14
04/11/2011
Ejemplo: Do4 de un clarinete

Aproximacin STFT del Do4 del clarinete Aproximacin de las envolventes
20
20
15
15
10
10
5
5
0
0 0
0.5 0
1 2500
2000 0.5
1.5 1500 2500
1 2000
2
500
1170Hz
1000
1500
2.5 0 702Hz 1.5 1000
t(s)
234Hz f(Hz) 500 1170Hz
2 0 702Hz
t(s) 234Hz f(Hz)
Aprox. Lineal Do4 de un clarinete
Sntesis en frecuencia: Sustractiva
Diagrama de bloques
Instrumento
Seal de Filtro
Sonido
banda variante en
Nota sintetizado
ancha tiempo
Pulsos cuadrados Modela a ADSR
Pulsos triangulares
Diente de sierra Limitaciones en la imitacin de

sonidos naturales
Ofrece timbres muy particulares
Ruido blanco
30
15
04/11/2011
Sntesis en frecuencia: Sustractiva
La4 de un clarinete
STFT del La4 de un clarinete STFT de seal cuadrada

(armnicos impares de 440Hz) (f=440Hz)
2200Hz
1320Hz
440Hz
31
Sntesis en frecuencia: FM
Idea bsica:
El timbre de una forma de onda simple, vara si se modula en frecuencia
al dar lugar a una forma de onda ms compleja.
Seal modulada FM:

[
x FM (t ) = Ap cos[ (t )] = Ap cos[ p t + (t )] = Ap cos p t + 2 k Am xm (t )dt ]
donde:
x p (t ) = Ap cos( p t ) seal portadora
Am xm (t ) seal moduladora con xm(t)1
1 d (t )
fi (t ) = = f p + kAm xm (t ) frecuencia instantnea
2 dt
k constante de desviacin en frecuencia
32
16
04/11/2011
Si la moduladora es un tono Am cos( mt )
[ ] kA
fm

x FM (t ) = Ap cos p t + 2 k Am cos( mt )dt = Ap cos p t + m sen( m t )

kAm f
I= = ndice de modulacin
fm fm
f = kAm mxima desviacin de frecuencia
f i (t ) = f p + kAm cos( mt ) frecuencia instantnea
33
La relacin portadora-moduladora (fp/fm), fija la posicin de las

componentes en el espectro
Se pueden tener espectros armnicos o inarmnicos
El ndice de modulacin (I), determina la amplitud relativa de las

componentes del espectro
Su variacin en el tiempo, hace que cambie la

amplitud de las componentes as como su nmero
Hay aadir la evolucin temporal global de las notas: la envolvente

espectral (ADSR)
34
17
04/11/2011
La4 de un clarinete
El espectro es armnico
y slo estn presentes
los armnicos impares
Los armnicos altos
tienen poca energa
Parmetros a definir:
fp/fm
2200Hz
ndice de modulacin
1320Hz
440Hz Envolvente espectral
35
La4 de un clarinete
STFT del La4 de un clarinete
STFT del La4 de un clarinete sintetizado FM
36
18
04/11/2011
Sntesis en frecuencia: LPC

LPC Linear Predictive Coding. Muy utilizada en sntesis y
reconocimiento de voz.
Requerimientos bsicos:
Establecer un
modelo que
represente los
parmetros de la
seal que se desea
extraer.
Algoritmo de
anlisis basado en
el modelo.
Programa de
sntesis.
37

Modelo para el mecanismo de produccin del habla
pitch Sonido G
H ( z) = p
sonoro
Generador 1 ak z k
tren de pulsos k =1
x Filtro variante voz

en tiempo H(z)
Generador de
ruido aleatorio Sonido G
Parmetros del
sordo tracto vocal
Sonidos sonoros: Generados por las cuerdas vocales. Modificado por el tracto vocal. Espectro
discreto y armnico.
Sonidos sordos: producido por el aire a travs de los estrechamientos del tracto vocal. Su
espectro es continuo y de banda ancha.
38
19
04/11/2011

Relacin entre las muestras de voz y la excitacin.
p
s ( n ) = ak s ( n k ) + G u ( n )
k =1
s(n) muestras de la seal de voz
Sistema de prediccin lineal:

p
s ( n ) = k s( n k )
~
k =1
La funcin de un sistema de prediccin lineal de orden p es:
p
P ( z ) = k z k
k =1
39

Error de prediccin:
p
s ( n ) = s(n ) k s(n k )
e( n ) = s ( n ) ~
k =1
El error de prediccin es la salida de un sistema con funcin de

transferencia:
p
A( z ) = 1 k z k
k =1
p
Comparando el error e(n) con s ( n ) = ak s ( n k ) + G u ( n )

k =1
El filtro de prediccin A(z) es el filtro inverso de H(z)
40
20
04/11/2011

Problema a resolver: determinar los coeficientes {ak} de A(z)
G
H ( z) =
A( z )
La seal de voz es variante en tiempo los coeficientes deben estimarse
para pequeos segmentos de la seal de voz.
Encontrar {ak} que minimice el error cuadrtico medio de prediccin en un

pequeo fragmento de la forma de onda de voz.
Determinado {ak} calcular el error utilizarlo como entrada del filtro

H(z) = G / A(z) reconstruir la seal de voz s[n].
Si la prediccin lineal est funcionando bien error parecido a un tren de

impulsos (un impulso por trama).
Seal fuente un tren de impulsos ideal para sonoros
41
Ruido para fricativos.

Emisin de sonidos sonoros.
42
21
04/11/2011

X r ( z ) = Y ( z ) H r1 ( z )
43

44
22
04/11/2011
Aditiva
Sustractiva
Modulacin en anillo
SNTESIS EN
(Waveshaping)
FRECUENCIA FM
Muestreo wavetable
SNTESIS EN
TIEMPO Granular
Modelado fsico 45
Sntesis en tiempo: Wavetable
Fundamento: Digitalizar el sonido original y almacenar las muestras

en una tabla de onda (Wavetable)
Seal Almacenamiento Lectura de Seal

Digitalizacin
original en wavetable las tablas sintetizada
Necesidad de optimizar la cantidad

de informacin a almacenar
46
23
04/11/2011
Ejemplo de almacenamiento para instrumentos de entonacin

definida.
Fragmentos de seal que se repiten peridicamente
(sostenimiento) slo se almacena un periodo
Fragmentos de seal no repetitivos se almacenan completos
Seal 0
original -1
Los fragmentos han de
-2 tener un nmero entero
0 0.5 1 1.5 2
de periodos
2
1
Seal 0
almacenada -1
-2
0 0.5 1 1.5 2
47
Ejemplo para un piano. Se almacenan dos partes del sonido del

instrumento:
Se almacena el ataque sonido del martillo golpeando una
cuerda del piano
Se almacena un pequeo fragmento del periodo de sustain
Cuando se toca la nota:

La parte del ataque se reproduce, seguido por una repeticin en
bucle del segmento de sostenimiento.
El segmento que se repite, se procesa para crear un
decaimiento natural del sonido
48
24
04/11/2011
Ventajas:
Fcil de implementar
Muy buena calidad
Eficiente en el tratamiento de seales peridicas
Inconvenientes:
No es muy til para crear sonidos nuevos
Necesita mucha memoria para almacenar sonidos muestreados
49
Sntesis en tiempo: Modelado fsico

Sntesis de sonido utilizando un modelo matemtico para simular las
propiedades fsicas de la fuente del sonido.
Cook la utiliz para sintetizar voz.
El sonido se genera usando:

Resonadores: cmo vibran los elementos fsicos del instrumento
parmetros que describen los materiales fsicos
empleados en el instrumento
Generadores: excitacin que produce el sonido
interaccin del usuario con el instrumento.
Mtodo muy utilizado: Diseo de guas de onda a partir de modelos

discretos en tiempo.
50
25
04/11/2011
Calidad de los sonidos sintetizados
Proceso subjetivo de evaluacin
Categoras de calidad de sonido

Mejor
Fsicamente indistinguible Misma forma de onda
Percepcin indistinguible Diferencia inaudible
Musicalmente indistinguible Sonidos intercambiables
Musicalmente aceptable Cambio de interprete
Musicalmente diferente Instrumento distinto
Musicalmente independiente Sonidos diferentes
Peor
51
1. Introduccin
3. Efectos de sonido.
4. Conclusiones
52
26
04/11/2011
Digital Audio Effects

Efectos de audio. Utilizados por individuos involucrados en la
generacin de seales musicales.
Formas especiales de tocar de los msicos
Usos concretos de los micrfonos
Variaciones multiples de la seal de audio
Clasificacin:
Filtrado Paso alto, paso bajo, ecualizadores
Filtros variantes en tiempo Wah-wah, Phaser
Efectos de retardo Vibrato, Flanger, Chorus, Echo
Moduladores Ring modulation, Tremolo, Vibrato
Procesado no-lineal Compresin, Limitadores, Distorsin
Efectos espaciales Panning, Reverb, Surround Sound
53
Filtro variante en t: wah-wah

Filtros variantes en tiempo
Wah-wah. Filtro paso banda con frecuencia central variable y
ancho de banda estrecho. La seal filtrada se mezcla con la
seal original.
1-mix
x(n) x + y(n)
mix
x
54
27
04/11/2011
Efectos de retardo
Efectos de retardo Vibrato, Flanger, Chorus, Echo
Estructuras bsicas con filtros FIR e IIR muy sencillos.
Universal Comb Filter combinacin de FIR e IIR.
FIR Comb Filter
y ( n ) = x ( n ) + gx ( n M ) con M = / fs
55
Efectos de retardo
IIR Comb Filter
Simula una reflexin sin fin.
y ( n ) = Cx ( n ) + gy ( n M ) con M = / fs
56
28
04/11/2011
Efectos de retardo
Universal Comb Filter
BL FB FF
FIR comb 1 0 g
IIR comb 1 g 0
allpass a -a 1
delay 0 0 1
57
Efectos de retardo: Vibrato

Variacin peridica del retardo temporal
Implementacin: un retardo y un oscilador de baja frecuencia para

variar el retardo.
x(n) Z -M y(n)
Retardo tpico: 5 a 10 ms
Oscilador de baja frecuencia: 5-14Hz
58
29
04/11/2011
Efectos de retardo: Flanging

Variacin peridica del retardo temporal donde se suma tambin la
seal original.
Implementacin
G
x(n) Z -M x +
y(n)
Retardo tpico: >15 ms

Oscilador de baja frecuencia: 1Hz
59
Efectos de retardo: chorus

Simula varias voces cantanto en un unsono imperfecto.
Implementacin: Se suman varias copias de la seal de entrada
retrasadas y con variaciones aleatorias de dicho retardo.
1
x(n) x + y(n)
g1
Z M1 x +
g2
Z M2 x +
Retardo tpico: 10-25 ms.

60
Retardo vara aleatoriamente poco y despacio.
30
04/11/2011
Efectos de retardo: tabla resumen
Configuracin de varios efectos de retardo
Efecto Rango de retardos (ms) Modulacin

Resonador 0...20 Ninguna
Flanger 015 Sinusoidal
Chorus 1025 Aleatoria
Slapback 2550 Ninguna
Echo >50 Ninguna
61
Efectos moduladores
Efectos de modulacin:
Una seal de audio modula en amplitud y fase una seal
sinusoidal
Efecto Wah-wah modulacin de amplitud
Efectos Vibrato, Chorus y Flanger modulacin de fase
Ring Modulation: y ( n ) = x ( n ) m( n )
Voz normal Voz robot Audio ring_mod
Modulacin de amplitud: Vibrato

Tremolo con seno
y ( n ) = (1 + m( n )) x (n )
Tremolo con onda triangular62
31
04/11/2011
Efectos espaciales
Efectos de espaciales: Cambian la localizacin espacial del sonido.
Ejemplo: Introduccin de la respuesta al impulso de un determinado

espacio.
Grabar la respuesta a un pequeo impulso en el recinto (una

palmada, un golpe de tambor).
Convolucionar el sonido con la respuesta al impulso del recinto.
63
Conclusiones
Cmo caracterizar una nota musical.
Distintas tcnicas de sntesis de sonido:

Frecuencia
Tiempo
Diversas formas de introducir efectos a una seal musical.

Filtrado
Modulacin
Efectos espaciales
64
32
04/11/2011
Bibliografa
M. Russ, Sound Synthesis and Sampling, Third edition, Focal Press,
2009.
U. Zlzer, DAFX. Digital Audio Effects, Wiley, 2011.
R. Boulanger, The Csound Book, MIT Press, 2001.
D. Simn Zorita, Anlisis y Sntesis de Seales Musicales, E.U.P.
Madrid, 2000.
U. Zlzer, Digital Audio Signal Processing, Second edition, John
Wiley, 2008.
S. Bilbao, Numerical Sound Synthesis, John Wiley, 2009.
L. R. Rabiner, R. W. Schafer, Digital Processing of Speech Signals,
Prentice-Hall, 1978.
P. R. Cook, ``Singing voice synthesis: History, current work, and future
directions,'' Computer Music Journal, vol. 20, pp. 38-46, Fall 1996.
https://ccrma.stanford.edu/~jos/pasp/Digital_Waveguide_Model.html
Bonada, J., Serra, X.," Synthesis of the Singing Voice by Performance
Sampling and Spectral Models", IEEE Signal Processing Magazine,
vol.24, no. 2, pp. 67-79, 2007.
65
SNTESIS DE SONIDO
Y
EFECTOS DE AUDIO DIGITAL
Isabel Barbancho
Profesora Titular de Universidad
Universidad de Mlaga
E.T.S. Ingeniera de Telecomunicacin
Campus de Teatinos s/n, 29071 Mlaga
Telfono: 952132587
email: ibp@ic.uma.es
Noviembre, 2011
66
33

Sintesis de Sonido y Efectos PDF

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Sintesis de Sonido y Efectos PDF

Hochgeladen von

Copyright:

Verfügbare Formate

04/11/2011

2. Tcnicas de sntesis de sonido

Qu se entiende por sntesis de sonido?

Qu se entiende por sntesis de sonido?

Tcnicas de procesado de seal aplicadas a replicar sonidos o crear

Historia de la sntesis de sonido

Historia: Sntesis analgica

Historia: Sntesis Digital

Max Matheus (Bell Lab)en los 60 generacin de sonidos por

Historia: Sntesis Digital

John Chowning en 1966 sintesis FM tiempo real asequible

YAMAHA realiz el chip DX-7 en los 70

Historia: Sntesis Digital

Julius Smith en los 80 sntesis de sonido mediante modelado

En los 90 sntesis wavetable

Cada nota musical lleva asociada una determinada frecuencia

Nota Frecuencia Nm.

Forma de onda en tiempo y espectro de la nota A4

Nota Frecuencia Nm.

Sistema de generacin/recepcin de sonido

Msico Instrumento Recinto

Percepcin del sonido

Caractersticas del sistema auditivo

sonidos 10Hz 100Hz 1kHz 10kHz

Influye en el diseo de las tcnicas de

Los tiempos de ataque y relajacin son los ms

2. Tcnicas de sntesis de sonido

Tcnicas de sntesis de sonido

Tcnicas de sntesis de sonido

Tcnicas de sntesis de sonido

Sntesis en frecuencia: Aditiva

Fundamento: desarrollo en serie de Fourier de seales peridicas

Sntesis en frecuencia: Aditiva

Sntesis en frecuencia: Aditiva

Hay que estimar

Sntesis en frecuencia: Aditiva

Ejemplo: Do4 de un clarinete

Sntesis en frecuencia: Aditiva

Ejemplo: Do4 de un clarinete

Aprox. Lineal Do4 de un clarinete

Sntesis en frecuencia: Sustractiva

Pulsos cuadrados Modela a ADSR

Diente de sierra Limitaciones en la imitacin de

Sntesis en frecuencia: Sustractiva

STFT del La4 de un clarinete STFT de seal cuadrada

Seal modulada FM:

Si la moduladora es un tono Am cos( mt )

f = kAm mxima desviacin de frecuencia

f i (t ) = f p + kAm cos( mt ) frecuencia instantnea

La relacin portadora-moduladora (fp/fm), fija la posicin de las

Se pueden tener espectros armnicos o inarmnicos

El ndice de modulacin (I), determina la amplitud relativa de las

Su variacin en el tiempo, hace que cambie la

Hay aadir la evolucin temporal global de las notas: la envolvente

Sntesis en frecuencia: LPC

Sntesis en frecuencia: LPC

x Filtro variante voz

Sntesis en frecuencia: LPC

s(n) muestras de la seal de voz

Sistema de prediccin lineal:

La funcin de un sistema de prediccin lineal de orden p es:

Sntesis en frecuencia: LPC

El error de prediccin es la salida de un sistema con funcin de