Redes de Neuronas

Autor: Fernando Fernndez Rebollo a

Departamento de Informtica a Universidad Carlos III de Madrid Avda. de la Universidad, 30. 28911, Legans (Madrid) e

Redes de Neuronas
1. 2. 3. 4. Introduccin o Perceptrn simple o Perceptrn Multicapa o Aplicaciones

Introduccin o

Denicin de Neurona Articial o

Bsqueda de algoritmos capaces de procesar informacin al igual que el u o cerebro humano Neurona articial: unidad elemental de una red de neuronas articiales Caracter sticas de una neurona: 1. Recibe un conjunto de seales de entrada procedentes del mundo n exterior o de otras neuronas 2. Las seales de entrada se reciben a travs de unas conexiones, las n e cuales tienen un nmero real asociado llamado peso u 3. Procesa la informacin recibida, mediante una serie de operaciones o simples 4. Emite una seal de salida como respuesta a las seales de n n entrada [Isasi and Galvn, 2004] a

Introduccin o

Estructura de una Neurona

Pesos Entradas x1 x2 ... xn w1 w2 ... wn Salida U Umbral Funcion de Activacion

NET

Salida de la neurona: S = f (N ET ) = f (x1w1 +x2w2 +. . .+xnwn +U ) = f (

n i=1 xi wi +U )

Introduccin o

Funciones de activacin o
Funcin lineal: o f (x) = x Funcin umbral: o f1 x>0 f (x) = f 1 x 0 Funcin gausiana: o f (x) = e
x2 2

Funciones sigmoidales Funcin en (0, 1): f (x) = o Funcin en (1, 1): o ex ex f (x) = ex+ex

1 1+ex

Introduccin o

Denicin de Red de Neuronas o

Conjunto de neuronas articiales conectadas entre s mediante una serie de arcos llamados conexiones. Estas conexiones tienen nmeros reales asociados, llamados pesos de la u conexin o Las neuronas generalmente se distribuyen en capas de distintos niveles, con conexiones que unen las neuonas de las distintas capas y/o neuronas de una misma capa.

Introduccin o

Ejemplo de Red de Neuronas

Capas

Entradas y1 x1 x2 ... xn ... ... ... ... ym Salidas

Conexiones
7

Introduccin o

Denicin de Aprendizaje de la Red de o Neuronas

Aprendizaje de la Red: proceso mediante el cual la red modica los pesos de las conexiones para que las salidas de la red se vayan adaptando de manera paulatina al funcionamiento que se considera correcto. Esta modicacin de los pesos se realiza en base a un criterio o establecido: Aprendizaje supervisado: para cada patrn o ejemplo presentado a la o red existe una respuesta deseada. La respuesta de la red se compara con su salida deseada, y en base a esa comparacin se ajustan los o pesos de la red. Aprendizaje no supervisado: no se especica a la red cul es la a respuesta correcta. La red descubre las relaciones presentes en los ejemplos mediante reglas de aprendizaje.

Redes de Neuronas
1. 2. 3. 4. Introduccin o Perceptrn simple o Perceptrn Multicapa o Aplicaciones

Perceptrn Simple o

Introduccin o
Forma ms simple de red de neuronas a Adaptacin supervisada o Ejemplos vistos como puntos en el espacio Rn, junto con su clase asociada Tareas de clasicacin lineal: dado un conjunto de patrones o ejemplos, o determinar el hiperplano capaz de discriminar los patrones en dos clases: Hiperplano: x1w1 + x2w2 + . . . + xnwn + w0 = 0

10

Perceptrn Simple o

Arquitectura
Arquitectura:
x1 x2 xn w1 w2 ... wn u y

y = f (x1w1 + x2w2 + . . . + xnwn + w0) 1 x>0 f (x) = 1 x 0 La red puede utilizarse para clasicacin supervisada: o Si y = 1 entonces (x1, . . . , xn) C1 Si y = 1 entonces (x1, . . . , xn) C2

11

Perceptrn Simple o

Aprendizaje
Proceso iterativo supervisado de presentacin de patrones: modicacin o o de los parmetros de la red (pesos y umbral) hasta encontrar el a hiperplano discriminante Nmero nito de iteraciones u Entrada: conjunto de pares < x, d(x) >, donde x = (x1, . . . , xn) Salida deseada, d(x), donde: Si d(x) = 1 entonces x C1 Si d(x) entonces x C2 Salida del proceso de aprendizaje: Pesos y umbral, w0, . . . , wn

12

Perceptrn Simple o

Algoritmo de Aprendizaje
1. Inicializacin aleatoria de los pesos y del umbral, w0, . . . , wn o 2. Elegir un patrn de entrada, con su salida deseada, o < x = (x1, . . . , xn), d(x) > 3. Calcular la salida de la red: y = x1w1 + x2w2 + . . . + xnwn + w0 4. Actualizar los pesos de la red: Si y = d(x) (clasicacin correcta), volver al paso 2 o Si y = d(x) (clasicacin incorrecta), actualizar segn la siguiente o u ley de aprendizaje: Caso 1: d(x) = 1, y = 1 wi(t + 1) = wi(t) + xi u(t + 1) = u(t) + 1 Caso 2: d(x) = 1, y = 1 wi(t + 1) = wi(t) xi u(t + 1) = u(t) 1

13

Perceptrn Simple o

Limitaciones del perceptrn simple o

Si no existe un hiperplano, la solucin no existe. o Ejemplo de la funcin xor: o
(1, 1) (1, 1)

(1, 1)

(1, 1)

14

Perceptrn Simple o

Limitaciones del perceptrn simple o

Solucin: combinar varios perceptrones: o
Perceptrn 1

x1

Perceptrn 3 y

x2
Perceptrn 2

Problema: La ley de aprendizaje no es aplicable, puesto que no se conocen las salidas deseadas de los perceptrones interiores (en el ejemplo, del 1 y del 2). Por tanto, los pesos deber ser calculados mediante un an proceso manual.

15

Redes de Neuronas
1. 2. 3. 4. Introduccin o Perceptrn simple o Perceptrn Multicapa o Aplicaciones

16

Perceptrn Multicapa o

Denicin o
Neuronas agrupadas en capas Cada neurona en cada capa est agrupada a todas las neuronas de la a capa siguiente Cada neurona procesa la informacin recibida y propaga la respuesta a o travs de la conexin con todas las neuronas de la capa siguiente e o
W= wij W=wij

Entradas x1 x2 ... xn ... ... ... ...

Capa Salida Capa Oculta
17

y1 ... ... ym Salidas

Capa de Entrada

Perceptrn Multicapa o

Arquitectura
Capas: Capa de entrada: recibe los patrones del exterior: ai = xi; i = 1, . . . , n n Capa oculta: bj = f ( i=1 wij ai + uj ), j = 1, . . . , r f: funcin sigmoidal o Capa salida: proporciona la salida de la red: r y = f ( i=1 wij bi + vj ), j = 1, . . . , m Extensible a ms de una capa oculta a Nmero de neuronas en las capas de entrada y salida viene denido por u el problema Nmero de capas ocultas y neuronas en cada capa: denir por prueba u y error

18

Perceptrn Multicapa o

Aprendizaje
Diferencia con perceptrn simple: funcin de activacin sigmoidal (rango o o o de salidas continuo) Ahora se busca minimizar el error de salida Entrada: conjunto de pares < x, t(x) >, donde x = (x1, . . . , xn) Salida deseada, t(x), donde: Si t(x) = (t1, . . . , tm) Salida del aprendizaje: Matrices de pesos W = (wij ), W = (wij ) y vectores de umbrales, U = (ui), V = (vi) Tales que se minimice el error entre la salida de la red y la salida deseada, es decir, minimizar E = x t(x) y(x)

19

Perceptrn Multicapa o

Aprendizaje por descenso de gradiente

Problema de optimizacin no lineal (funcin sigmoidal) resuelto o o mediante mtodo de descenso de gradiente e Descenso de gradiente: modicar los parmetros de la red siguiendo la a direccin negativa del gradiente del error: o wnuevo = wanterior + ( e e ) = wanterior , w w w (1)

El algoritmo de retropropagacin es el resultado de aplicar dicho mtodo o e al perceptrn multicapa o Ahora los errores s pueden propagarse desde la capa de salida hasta el resto de las capas.

20

Perceptrn Multicapa o

Condicin de parada y razn de aprendizaje o o

Cundo se debe parar el aprendizaje?? a Relacin entre m o nimos locales y globales Relacin entre entrenamiento y test o Relacin con la razn de aprendizaje, o o

21

Redes de Neuronas
1. 2. 3. 4. Introduccin o Perceptrn simple o Perceptrn Multicapa o Aplicaciones

22

Aplicaciones

Clasicacin o
Sea X = (x1, . . . , xk ) el conjunto de todos los patrones de entrenamiento, con xi = (xi1, . . . , xin) Sea C = C1, . . . , Cm el conjunto nito de posibles clases a las que puede pertenecer cada patrn o Generar una red con: n neuronas en la capa de entrada m neuronas en la capa de salida La salida deseada para cada patrn de entrada xi es una m-tupla o (a1, . . . , am) donde: Si xi pertenece a la clase Cj , entonces ai = 1 Si xi no pertenece a la clase Cj , entonces ai = 0 Dado un nuevo patrn en la red, se dar la clase cuya neurona o a asociada reciba una mayor activacin o Problema de la codicacin de los patrones de entrada o
23

Aplicaciones

Prediccin de series temporales o

Redes de neuronas muy utiles para aproximar cualquier funcin en o general. El comportamiento temporal viene dado por ecuaciones en diferencias. Ejemplo: Serie temporal log stica: x(t + 1) = ax(t)(1 x(t)) Problema de prediccin surge cuando la relacin entre x(t+1) y sus o o valores anteriores es desconocida Denicin del problema: Determinar f tal que x(t + 1) = f (x(t), x(t o 1), . . . , x(t d)), para todo t = d, d + 1, d + 2, . . . Determinar el valor de d: determina el nmero de capas de entrada u Una unica neurona de salida Una vez aprendida la funcin, puede utilizarse para predicciones o unitarias, o para predecir series enteras a partir de d valores iniciales correspondientes con d instantes de tiempo sucesivos.
24

Aplicaciones

Aproximacin de funciones en aprendizaje por o refuerzo

Problemas de aprendizaje por refuerzo: Denicin de tabla Q(s, a) o Posibilidad de conjunto de estados y acciones innitos Utilizar una red de neuronas para aproximar la funcin Q(s, a): o Requiere de un proceso iterativo Capa de entrada: tantas neuronas como dimensin del estado ms la o a dimensin de la accin o o Capa de salida: unica neurona generando el valor de la funcin o

25

Aplicaciones

Referencias
References
[Isasi and Galvn, 2004] Pedro Isasi and Ins Galvn. Redes de neuronas a e a articiales : un enfoque prctico. Pearson Prentice Hall, 2004. a

26