Session 2

Tema:

“Perceptron multicapa”

Docente:
Mg. Ing. Huarote Zegarra Raul
raulhuarote@yahoo.es
El funcionamiento de la neurona biológica
del humano es a través de impulsos
eléctricos generándose de acuerdo a
procesos químicos y a su vez por potencial
eléctrico.
Las concentraciones de Na+ y de K+ hacen
que el potencial de la membrana vuelva a
su valor de reposo.
Se considera que en el cerebro hay unos
100.000 millones de neuronas (1011) y diez
veces más conexiones (1012). Es
materialmente imposible crear un sistema
electrónico con tal cantidad de
procesadores y de conexiones.
La salida de una neurona (con la función de
evaluación) se conecta a la entrada de la
siguiente. Con este tipo de conexiones podemos
realizar una red neuronal tan compleja como
queramos.
Dentro del proceso de aprendizaje nos damos
cuenta que requiere una función de adaptación
tales como:
Características de las redes neuronales artificiales

Se basan en las redes neuronales

biológicas del cerebro humano. Constituidas
por elementos que se comportan de manera
similar a la neurona biológica en sus
funciones mas comunes. Organizados de la
manera similar a la que posee el humano.
Características de las redes neuronales artificiales

Tiene una serie de características:

• Aprender: Adquiere el conocimiento de una cosa
por medio del estudio, ejercicio o experiencia.
Muestra un conjunto de entradas y ellas mismas se
ajustan para producir unas salidas consistentes.
• Generalizar: Extender o ampliar una cosa. Ya que
su propia estructura y naturaleza lo permite.
Presentan respuestas correctas a entradas que
presentan pequeñas variaciones debido a los
efectos del ruido o distorsión.
• Abstraer: Considera por separado las cualidades de
un objeto.
Aplicaciones de las redes neuronales artificiales

Presentan resultados razonables en aplicaciones

donde las entradas presentan ruidos o las entradas
están incompletas, algunas de las aplicaciones son:
• Procesamiento neural del lenguaje: Permiten al
sistema generar buenos pronósticos para nuevos
verbos o verbos desconocidos.
• Compresión de imágenes: Es la transformación de
los datos de una imagen a una representación
diferente que requiera menos memoria o que se
pueda reconstruir una imagen imperceptible.
• Reconocimiento de caracteres: Es el proceso de
interpretación visual y reconocimiento de símbolos.
Aplicaciones de las redes neuronales artificiales

• Procesamiento de señales: Donde una de ellas es

la predicción, modelado de sistema y filtrado de
ruido.
• Modelos económicos y financieros: Una de las
aplicaciones mas importantes en el modelado y
pronostico es la creación de pronósticos económico
como por ejemplo los precios de existencia.
• Sistemas expertos : Por su capacidad de aprender,
tanto el conocimiento de antecedentes y poder
discernir en un nuevo resultado aceptable aun
cuando no ha sido parte de su conocimiento.
Entrenamiento de las redes neuronales artificiales

• El entrenamiento de las redes neuronales

artificiales muestra algunos paralelismos con el
desarrollo intelectual de los seres humanos.
• El objetivo es conseguir una aplicación determinada
para un conjunto que produzca el conjunto de
salidas deseadas o minimamente consistentes.
• Durante el proceso de entrenamiento los pesos
convergen gradualmente hacia los valores que
hacen que cada entrada produzca el vector de
salida deseada.
Tipos de entrenamiento de las redes neuronales
artificiales

Se pueden clasificar en 2 grupos.

• Supervisado: Requiere el emparejamiento de cada
patrón de entrada una respectiva salida deseada. Al
aplicar los patrones de entrada se obtiene una
salida y esta se compara con la deseada
produciendo un error utilizándola para realimentar
la red y cambiar los pesos de acuerdo a un
algoritmo que tiende minimizar ese error.
• No supervisado: No requiere un vector de salida
deseadas, por lo tanto no se comparan las salidas
obtenida con las salidas esperadas. Son redes
autoorganizativas (comúnmente llamadas SOM)
Tipos de redes neuronales artificiales
BackPropagation ( Propagación hacia atrás).

El algoritmo de backpropagation es un
algoritmo para entrenar de izquierda a
derecha y supervisada, con un número
indeterminado de capas. El objeto de la red
será hacer que los pesos configuren la
salida de la red para que ésta sea lo más
cercana posible a la salida deseada.
BackPropagation ( Propagación hacia atrás).
Para el proceso de aprendizaje de la red
neuronal back propagation, se debe tener
en cuenta las siguientes formulas que
corresponden a:

• Patrón de entrada:

Teniendo en cuenta que tiene N

patrones de entradas
• Entrada neta de la j-esima neurona de la
capa oculta ( hidden ):

representa la sumatoria de los

patrones de entrada multiplicado por
sus respectivos pesos mas el umbral
(bia).
• Salida de la j-esima neurona de la capa
oculta:

Donde i representa la salida de la

capa oculta donde a su vez va a ser
entrada para la capa de salida con su
respectivo peso.
La función que muestra es la
sigmoidea.
• La entrada neta de la k-esima neurona de
la capa de salida:

Donde L representa la cantidad de

neuronas de la capa oculta, Ósea
suma de la salida de cada neurona de
la capa oculta multiplicado por su
respectivo peso mas el umbral.
• Salida de la k-esima neurona de la capa
de salida:

Donde Opk la salida de cada una de

las capas de salida. La función f es la
sigmoidea.
• Error en una de las neuronas de la capa
de salida:

Donde Ypk es la salida deseada, Opk

es la salida real ( u obtenida) , p se
refiere al p-esimo vector de entrada, k
se refiere a la k-esima unidad de
salida.
• El objetivo para el proceso de aprendizaje
es minimizar el Ep en cada iteración:

Donde Ep es el error medio cuadrático

• Por lo tanto en cada neurona de la capa
de salida tiene:

Donde este símbolo representa el

error en cada neurona.
Ypk : Es el valor deseado en la
neurona de la capa de salida.
Opk: Es el valor obtenido en la
neurona de la capa de salida.
Se usa la función f prima.
• La actualización de los pesos de la capa
oculta a la capa de salida va de acuerdo
a los resultados obtenidos en el proceso.

Donde w(t+1): Es el nuevo peso.

w(t): Es el peso actual.
n: Es el factor de aprendizaje(valor
entre 0 y 1)
• La actualización de los pesos de la capa
de entrada a la capa oculta.

Donde w(t+1): Es el nuevo peso.

w(t): Es el peso actual.
n: Es el factor de aprendizaje(valor
entre 0 y 1)
Xi: El patrón de entrada a quien
corresponde.
• Funciones de activación.

Función f prima.
 Ejemplo del Backpropagation para la compuertalógica
XOR

• Consideremos la representación del preceptron

multicapa para nuestro caso.
Ejemplo del Backpropagation para la compuertalógica
XOR
• Los valores para el entrenamiento son:
X1 X2 T
1 1 -1
1 -1 1
-1 1 1
-1 -1 -1

• Los valores de los pesos y los umbrales son

valores aleatorios entre 0 y 1 y son:
w1 = 0.5 w2 = 0.3 w3 = 0.7 w4 = 0.1
w5 = 0.4 w6 = 0.9 u1 = 0.8 u2 = 0.2
u3 = 0.6
Con factor de aprendizaje = 0,65
• Ósea tenemos:
• Para las neuronas de la capa oculta
tenemos:
• Para las neuronas de la capa de salida
tenemos:
• Mostrar los errores para cada una de las
neuronas:
• Actualización de pesos de la capa oculta a la
capa de salida:

w6 = w6 +n∗ δ3 ∗ f(neta2)
w6 = 0.9 + 0.65 ∗ −0.3815 ∗ 0.54983
w6 = 0.76387

w5 = w5 +n∗ δ3 ∗ f(neta1)
w5= 0.4 + 0.65 ∗ −0.3815 ∗ 0.59869
w5 = 0.2515
• Actualización de pesos de la capa entrada a la capa oculta:
w1 = w 1 +n∗ δ1 ∗ x1
w1 = 0.5 + 0.65 ∗ −0.0366 ∗ 1
w1 = 0.4762

w2 = w 2 +n∗ δ2 ∗ x1
w2= 0.3 + 0.65 ∗ −0.0849 ∗ 1
w2 = 0.2448

w3 = w 3 +n∗ δ1 ∗ x2
w3= 0.7 + 0.65 ∗ −0.0366 ∗ 1
w3 = 0.6762

w4 = w 4 +n∗ δ2 ∗ 2
w4= 0.1 + 0.65 ∗ −0.0849 ∗ 1
w4 = 0.0448
La situación se repite para cada uno de los
patrones de entrada, ahora con los nuevos pesos.
Esto se repite hasta un limite de valor de error o
de cantidad de iteraciones ; en algunos casos
conjuga los 2 parámetros de restricciones para
detener el proceso de aprendizaje.
 Condiciones para casos de sistema experto
basado en redes neuronales artificiales.

– Para el aprendizaje obtener una porción de casos o

sucesos del universo.
– Entrenar la red neuronal con patrones de entrada
representada en los casos o sucesos.
– Representar las salidas de las neuronas (de la capa
de salida) en las equivalentes al diagnostico.
• Obtener los casos necesarios para el proceso de
aprendizaje, esto va de acuerdo al tema que se
desea trabajar.
– Si es medico se debe obtener los síntomas y la
enfermedad que representa como diagnostico.
–Si es mecánico se debe obtener las fallas y el
problema mecánico que representa como
diagnostico.
– Si es de predicción, se debe tener los antecedentes
para poder realizar el proceso de aprendizaje.
–Etc.
• Ejemplo si es que es medico, se debe de
obtener todos los sucesos de síntomas y el
diagnostico correspondiente:
S1 S2 S3 S4 S5 S6 S7 S8 Y1 Y2 E
1 1 1 0 1 0 1 0 1 0 0 0 E0
2 1 1 0 1 1 1 0 1 0 0 0 E0
3 1 0 0 0 1 1 1 1 0 1 1 E1
N: Cantidad de
4 1 1 1 1 1 0 0 0 0 1 1 E1
patrones de
5 1 1 1 0 1 0 0 0 0 1 1 E1
entrada para el
entrenamiento.
N 0 0 0 1 1 1 0 1 1 1 3 E3

Donde S1,S2,S3…S8 son los síntomas

Donde Y1 y Y2, representa el valor de la salida en binario (expresatener
2 neuronas de la capa de salida).
Donde E, representa la enfermedad diagnosticada( la salida deseada) en
decimal. Donde 0 es la primera enfermeda,1 la segunda enfermedad, 2 la
tercera enfermedad y 3 la cuarta enfermedad.
Modelo biológico de neurona
 Comprobación
• Ejemplo: Cual es la enfermedad si llega un
paciente con los siguientes síntomas ?
S1 S2 S3 S4 S5 S6 S7 S8 Y1 Y2 E

1 1 1 1 0 1 0 1 ?1 ?2 ?
 Comprobación
• Comúnmente llamado Mapeo, es la parte en el
cual llega un caso ( donde no pertenece dentro
del grupo de patrones de entrenamiento).
• Para esto se debe obtener los pesos adecuados
(ya entrenados) para poder discernir en un
posible resultado idóneo.
• La comprobación va a ser de acuerdo a solo el
primer paso del proceso de entrenamiento (
Ósea tan solo el Forware). Pues las salidas van
a ser los resultados.
 ?
preguntas
 Tarea de clase

• Realizar el proceso forware con los pesos de

entradas aleatorias,(incluido umbrales), factor
de aprendizaje a 0.6, para la compuerta lógica
XOR.
-Tener en cuenta 2 neuronas en la capa
oculta y una neurona en la capa de
salida.
-Considerar los valores verdaderos a 1 y
los valores falsos a -1.
-Para la función de activación debe
tomarse el bipolar sigmoide.
 Tarea laboratorio (agrupados de 5)
• Crear un sistema experto basado en redes
neuronales artificiales.
 Fuente

• Prof. Laura Lanzarini.

• http://ocw.ehu.es/ensenanzas-tecnicas/redes-
neuronales-artificiales-y-sus-
aplicaciones/contenidos/pdf/libro-del-curso/