Tcnicas de inteligencia artificial

Aprendizaje:
Perceptrn multi-capa
Regla delta

Modelo computacional

Neuronas e hiperplanos

Entrenamiento como ajuste supervisado

No-separabilidad lineal
Backpropagation

Perceptrones multi-capa

Funciones de activacin derivables

Backpropagation: explicacin heurstica

Backpropagation: derivacin matemtica

Aplicaciones y consideraciones prcticas

ndice

Regla delta

Modelo computacional

Neuronas e hiperplanos

Entrenamiento como ajuste supervisado

No-separabilidad lineal

Backpropagation

Perceptrones multi-capa

Funciones de activacin derivables

Backpropagation: explicacin heurstica

Backpropagation: derivacin matemtica

Aplicaciones y consideraciones prcticas

Indice
Modelo computacional
Neurona biolgica:
1. Entradas: dendritas.
2. Integracin: en el soma. Dispositivos todo-
o-nada (solo se dispara salida si las
entradas superan un nivel (umbral)
3. Salidas: el axn transporta la seal de
salida a otras neuronas. Conecta con sus
dendritas a travs de sinapsis.

Neurona computacional:
1. Entradas: Nmeros reales.
2. Integracin: suma ponderada (net) por los
pesos sinpticos seguida de una funcin de
activacin f(net)
3. Salida: resultado y=f(net)
Neuronas e hiperplanos

Funcin de activacin
umbral:

Interpretacin geomtrica:
Considerando que el umbral
es un peso ms con entrada
fija de -1, la neurona define
un hiperplano de forma que
los ejemplos etiquetados con
y=1 caen al lado positivo y los
etiquetados con y=0 al lado
negativo:
Entrenamiento
Ajuste de hiperplanos: Dados dos
conjuntos de ejemplos
correspondientes a dos clases,
buscaremos su separacin por un
hiperplano
Regla delta:
Permite ajustar iterativamente el
hiperplano.
Se asume que el incremento de los
pesos es proporcional a la disparidad
entre la salida observada y la salida
deseada.
Dicha proporcionalidad viene
modulada por la constante de
aprendizaje:
No-separabilidad lineal
nica neurona:
Existen situaciones en donde un nico
hiperplano no puede separar los datos.
P.e. cuando la frontera de decisin es
curva.
Problemas de paridad:
Suponiendo entradas binarias
(secuencias de 0s y 1s), la neurona
debera etiquetar con 1 aquellas
secuencias con un nmero impar de 1s y
con 0 aquellas con un nmero par.
Ej: Problema de la XOR.
Para resolver estos problemas es preciso
incorporar una capa adicional de
neuronas.

Regla delta

Modelo computacional

Neuronas e hiperplanos

Entrenamiento como ajuste supervisado

No-separabilidad lineal

Backpropagation

Perceptrones multi-capa

Funciones de activacin derivables

Backpropagation: explicacin heurstica

Backpropagation: derivacin matemtica

Aplicaciones y consideraciones prcticas

Indice
Perceptrones multi-capa

Estructura y capacidad:

La capa adicional se denomina

capa oculta.

Se demuestra que un
perceptrn con dos capas
ocultas puede aproximar
cualquier funcin.

Interpretacin geomtrica:

Problemas con regiones de

decisin ms complejas exigen
distintas estrategias de
separacin.

Dichas estrategias las

proporcionan las capas ocultas.

En la poca en que se
desarroll esta teora no exista
un algoritmo prctico que
permitiese encontrar los pesos
asociados a todas y cada una de
las neuronas.
Funciones de activacin derivables

Para aplicar el algoritmo de entrenamiento multicapa es

necesario que la funcin de activacin sea derivable

Buscamos funciones derivables con forma similar al escaln

del perceptrn de una sola capa
Sigmoide Derivada
Backpropagation e!plicacin heur"stica

Supongamos que al clasificar un ejemplo una neurona de la ltima capa

tiene una salida y
k
, siendo la deseada d
k

Dicha neurona es responsable de un error

La regla de actualizacin de los pesos de la ltima capa ser similar a la

regla delta ya vista
Error #delta$ en capas intermedias

Una neurona de una capa

intermedia contribuye en
los de las de la capa
siguiente

Por tanto, para calcular su

necesitamos estos
Backpropagation algoritmo

Se aplica para cada

ejemplo del conj. de
entrenamiento. Se itera
hasta que el error baje de
un umbral

Fases:

Hacia delante: clculo de la

salida de la red (los y
k
).
Clculo de los en la ltima
capa

Hacia atrs. Clculo de los

de la capa en funcin de los
de la siguiente

Finalmente, actualizacin de
los pesos de todas las capas
Backpropagation derivacin matem%tica

El algoritmo es un descenso por

gradiente (de ah que
necesitemos una funcin de
activacin derivable)

Minimizacin del error que se

produce al clasificar un ejemplo
(encontrar los w
i
ptimos). Dicho
error se puede formular como
Habr que modificar los w
i
en la
direccin opuesta al gradiente,
esto es
&erivacin backpropagation 'ltima capa
Para un peso w
jk
de la ltima capa (aplicando la regla de la
cadena, ya que E depende de net
k
que a su vez depende de
w
jk
)

Escribiendo como , tenemos una frmula equiv. a la

regla delta del perceptrn de 1 capa:
Para calcular
k
, aplicamos de nuevo la regla de la cadena
(net
k
y
k
E)
&erivacin backpropagation capas anteriores
Para un peso w
ij
de una capa anterior, el razonamiento inicial
es el mismo que antes y nos lleva a

Aplicando la regla de la cadena para calcular

(onvergencia de bac)propagation

Ajuste de la constante

Valores muy pequeos: convergencia lenta

Valores grandes: riesgo de overshooting (saltarnos el

mnimo)

Momento: en el cambio actual influye una fraccin del

anterior. Mejora la convergencia evitando oscilaciones
E*emplo de convergencia

Problema del XOR

P
r
o
b
.

d
e

c
o
n
v
e
r
g
e
n
c
i
a
iteraciones
E
r
r
o
r

c
u
a
d
r

t
i
c
o

m
e
d
i
o

+ibliograf"a

Escolano et al. Inteligencia Artificial. Thomson-

Paraninfo 2003. Captulo 4.

Mitchell, Machine Learning. McGraw Hill,

Computer Science Series. 1997

Reed, Marks, Neural Smithing. MIT Press, CA

Mass 1999