El Perceptron Simple

Mgt. MARCO POLO SILVA SEGOVIA INTELIGENCIA ARTIFICIAL II (REDES NEURONALES)

INTRODUCCIN

En 1958 el psiclogo Frank Rosenblatt desarrollo un modelo simple de neurona basado en el modelo de McCulloch y Pitts y en una regla de aprendizaje basada en la correccin del error. Este modelo recibe como valores de entrada valores discretos o sea 0 y 1 o -1 y 1 dependiendo del valor lgico que se defina. La funcin de activacin de las neuronas de la capa de salida es de tipo escaln y es considerado un dispositivo entrenable, el cual determina automticamente los pesos sinpticos que clasifican un conjunto de patrones etiquetados.

El Perceptron

Es un modelo simple Basado en el modelo de McCulloch-Pitts Se puede apreciar en la figura la arquitectura (izq) y funcin de transferencia (der) de un Perceptron simple.

El Perceptron
Simple tan solo discrimina entre dos clases linealmente separables. Ejemplo: X1 y X2 dos neuronas de entrada, la operacin efectuada por el Perceptron simple consiste en: 1 11 + 22 = 0 11 + 22 <

Regla del Perceptron

Algoritmo de aprendizaje (Rosenblatt, 1962) Pertenece al grupo de algoritmos fundamentados en la correccin de errores. X es el conjunto de patrones de entrada, r=1,,N t conjunto de clases verdaderas de dichos patrones r=1,,N Variables de entrada como las de salida toman dos posibles valores -1 y +1 que corresponden a 0 y 1 respectivamente

Actualizacin de pesos

Si ante la presentacin del r-esimo patrn la respuesta que proporciona el Perceptron simple es correcta, no actualizaremos los pesos. Si la respuesta es incorrecta los pesos se modifican segn la regla de HEBB.

Es

decir:

2 , 0, =
regla del Perceptron

Rescrita queda as: = . .

Pesos

La actualizacin de los pesos puede tomar tres valores 2, 0 (cero) y -2 ( constante de aprendizaje) A nivel practico se deber llegar a un compromiso para el valor del ritmo de aprendizaje, .

Si se toma un valor pequeo esto implica un aprendizaje lento, y Si se toma un valor excesivamente grande puede conducir a oscilaciones excesivas de los pesos no aconsejables.

Grfica

Como podemos observar en la practica, se puede ver como la regla del Perceptron permite ir clasificando cada uno de los patrones de entrada hasta clasificar por completo en este caso de t=0 hasta t=115 en la cual ya se logra las separaciones de las dos variables

Evolucin de las regiones de decisin establecidas por el Perceptron simple

Algoritmo Perceptronico
1. 2.
1. 2. 3.

Inicializacin de la sinapsis de la red (asignar pesos sinpticos a todas las neuronas de la red); wij=0 o valores aleatorios, la razn de aprendizaje debe ser un valor comprendido entre 0 y 1. Repetir mientras haya variacin de los pesos sinpticos.
Para cada par de entrenamiento n=1N wij(0)=0 o valores aleatorios Para j=1m1 donde m1 es el numero de neuronas de salida. Si la seal de salida es diferente a la salida esperada, existe un error y se debe adaptar la sinapsis, segn la regla: = . .

Algoritmo
3.

4.

Luego de adaptar la sinapsis se procede a modificar los pesos, se inicia desde el paso 2. El algoritmo se detiene en el momento en que se consigue la salida deseada.

Caractersticas

El proceso de aprendizaje es iterativo Configuracin sinptica inicial con pesos pequeos y aleatorios Se presentan los patrones una y otra vez, con objeto de que los pesos se ajusten interactivamente segn la regla del Perceptron Rosenblatt (1962) demostr que:

El algoritmo para, cuando consigue clasificar correctamente todos los elementos.

Si la funcin a representar es linealmente separable, el algoritmo anterior siempre converge en un tiempo finito y con independencia de los pesos de partida Si la funcin a representar no es linealmente separable, el proceso de entrenamiento oscilara.

Ejercicio: Funcin OR
Formula de aprendizaje: Yi(t)=f(wij*xj-i) Viene dado por la variacin de los pesos wij(t)=wij(0) + 2 (ti) xj

De donde:

wij(t)= nuevo valor del peso wij(0) = valor actual del peso = factor de aprendizaje (ti) = salida deseada Xj = entrada actual

Simulacin
Funcin de activacin

Factor umbral
Esta es una red supervisada por que tiene un maestro que le indica las entradas y las salidas.

1.- Representacin de la red

2.- Representacin de la compuerta OR

X1 1 1 X2 1 -1 T 1 1

-1
-1 ENTRADAS

1
-1

1
-1 SALIDA

3.- Formulas de activacin

1 11+22 0 11+22<

Formulas

de ajuste de pesos: wij(t)=wij(0) + 2 (ti) xj

4.- Elegir los pesos aleatorios

W1

= 1.2 W2 = -1.2 = -0.4

5.- Inicio de la simulacin

Primera

evaluacin = 0.5 (factor de aprendizaje)

1.2 -1.2 -0.4

Aplicacin de la formula de activacin

= (

=1

Para

la primera entrada (1,1) T=(1) Y=1(1.2)+1(-1.2)-1(-0.4) Y=0.4 es >=0 por lo que Y=1 Para la segunda entrada (1,1) T=(1) Y=1(1.2)-1(-1.2)-1(-0.4) Y=2.8 es >=0 por lo que Y=1

Para la tercera entrada (-1,1) T=(1) Y=-1(1.2)+1(-1.2)-1(-0.4) Y=-2 es <0 por lo que Y=-1 no es valida Para la cuarta entrada (-1,-1) T=(1) Y=-1(1.2)-1(-1.2)-1(-0.4) Y=0.4 es >=0 por lo que Y=1 no es valida Las salidas (-1,1) (-1,-1) Son incorrectas, se debe hacer un reajuste de pesos.

Para el reajuste de pesos debemos utilizar la formula

wij(t)=wij(0)

Nuevo peso = Peso actual+Factor de aprendizaje*Salida deseada*entrada actual

+ 2 (ti) xj

W1

= 1.2 + 2 (0.5) (1) (-1) = 0.2 W2 = -1.2 + 2(0.5) (1) (1) = -0.2 = -0.4 + 2 (0.5) (1) (-1) = -1.4

Nuevo grafico
0.2 -0.2 -1.4

Y ahora volvemos a repetir el proceso

Para

la primera entrada (1,1) T=(1) Y=1(0.2)+1(-0.2)-1(-1.4) Y=1.4 es >=0 por lo que Y=1 Para la segunda entrada (1,1) T=(1) Y=1(0.2)-1(-0.2)-1(-1.4) Y=1.8 es >=0 por lo que Y=1

Para la tercera entrada (-1,1) T=(1) Y=-1(0.2)+1(-0.2)-1(-1.4) Y=1 es >=0 por lo que Y=1 Para la cuarta entrada (-1,-1) T=(1) Y=-1(0.2)-1(-0.2)-1(-1.4) Y=1.4 es >=0 por lo que Y=1 no es valida Las salidas (-1,-1) Es incorrecta, se debe hacer un reajuste de pesos.

Y volvemos a repetir el proceso, reajustamos los pesos

W1

= 0.2 + 2 (0.5) (-1) (-1) = 1.2 W2 = -0.2 + 2(0.5) (-1) (-1) = 0.8 = -1.4 + 2 (0.5) (-1) (-1) = -0.4

Nuevo grafico
1.2
0.8 -0.4

Y nuevamente hacemos el proceso

Para

la primera entrada (1,1) T=(1) Y=1(1.2)+1(0.8)-1(-0.4) Y=2.4 es >=0 por lo que Y=1 Para la segunda entrada (1,1) T=(1) Y=1(1.2)-1(0.8)-1(-0.4) Y=0.8 es >=0 por lo que Y=1

Para la tercera entrada (-1,1) T=(1) Y=-1(1.2)+1(0.8)-1(-0.4) Y=0 es >=0 por lo que Y=1 Para la cuarta entrada (-1,-1) T=(1) Y=-1(1.2)-1(0.8)-1(-0.4) Y=-1.6 es <0 por lo que Y=-1 Como todas las entradas son correctas los pesos definidos son: W1 = 1.2 W2 = 0.8 = -0.4