Perceptrn Simple

Redes Neuronales con Aprendizaje

Supervisado
Inteligencia Artificial
Tutor de Ctedra: Ing. Sergio Pohlmann
Alumno: Andrea Fidela Lezcano Irala
Algunas Posibles Aplicaciones
Espacio Areo Automotriz
Pilotos automticos de alto
desempeo
Simulaciones y predicciones
de trayectoria de vuelo
Sistemas de control de vuelo
Deteccin de fallas de
componentes de la nave
Sistemas automticos de
navegacin
Comando por voz
Bancos
Lectores de documentos
Evaluadores de asignacin de
crdito
Identificador de firmas.
Algunas Posibles Aplicaciones
Telecomunicaciones Electrnica
Compresin de datos e
imgenes
Servicios automticos de
informacin
Traduccin de lenguaje
Prediccin de secuencias de
hablado en tiempo real
cdigos
Control de procesos
Anlisis de fallas de circuitos
Visin de mquina
Sntesis de voz
Modelado no lineal
Algunas Posibles Aplicaciones
Robtica
Control de trayectorias
Control de manipuladores
Sistemas de visin
Voz
Reconocimiento de voz
Compresin de voz
Sintetizadores de texto a voz
Transportacin
Sistemas ruteadores
Diagnstico de motores
Tiempos y movimientos
Seguridad
Reconocimiento de rostros
Identificacin
Acceso de personas
Algunas Posibles Aplicaciones
Financieros
Evaluacin de bienes races
Consultor de prestamos
Evaluacin de bonos
corporativos
Anlisis del uso de la lnea de
crdito
Prediccin de tipo de cambio
Manufactura
Control de procesos de
manufactura
Anlisis y diseo de productos
Diagnstico de mquinas y
procesos
Identificacin de partes en tiempo
real
Sistemas de inspeccin de calidad
Prediccin de fin de proceso
Anlisis de mantenimiento de
mquinas
Modelado de sistemas dinmicos
Algunas Posibles Aplicaciones
Medicina Otros
Deteccin de cncer mamario
o en la piel
Anlisis de EEG y ECG
Diseo de prtesis
Optimizacin de tiempos de Oficinas postales
trasplante Verificacin remota
Reduccin de gastos en
Predicciones Climatolgicas
hospitales
Filtrado de ruido
ServoControl
etc.
Modelos existentes de RNA
Perceptrn
Adaline
Perceptrn multicapa
Memorias asociativas
Mquina de Boltzmann
Mquina de Cauchy
Propagacin hacia atrs (backpropagation)
Redes de Elman
Redes de Hopfield
Red de contrapropagacin
Redes de neuronas de base radial
Redes de neuronas de aprendizaje competitivo
Mapas Autoorganizados (Redes de Kohonen)
Crecimiento dinmico de clulas
Gas Neuronal Creciente
Redes ART (Adaptative Resonance Theory)
Clasificacin de las RNA
Segn su Topologa o Patrn de Conexiones
pueden ser:
Redes de propagacin hacia adelante
Monocapa
Multicapa
Redes Recurrentes
Segn su Tipo de Entrada pueden ser:
Redes Analgicas
Redes Discretas
Redes Hbridas //Entrada Analgica y Salida Discreta
Clasificacin de las RNA
Segn su Tipo de Aprendizaje pueden ser:
Aprendizaje Supervisado
Aprendizaje por correccin de error.
Aprendizaje por refuerzo.
Aprendizaje estocstico.
Aprendizaje No Supervisado
Aprendizaje Hebbiano.
Aprendizaje competitivo y cooperativo.
Aprendizaje Hbrido //Fase Supervisada y No Supervisada
Clasificacin de las RNA
Segn el Aprendizaje que Observan:
Redes OFF LINE //son ms estables, poseen pesos estticos
Se distingue entre la fase de aprendizaje y la fase de
operacin
Redes ON LINE //se debe estudiar estabilidad, pesos dinmicos
No se distingue entre la fase de entrenamiento y de
operacin
El Perceptrn se sita en:
Segn su Topologa o Patrn de Conexin:
Red de propagacin hacia adelante
Monocapa
Segn su Tipo de Entrada:
Red Hbrida // su entrada es analgica y su salida es discreta
Segn su Tipo de Aprendizaje:
Aprendizaje Supervisado
Entonces podemos decir que
El Perceptrn es un tipo Red Neuronal Monocapa
Hbrida de Aprendizaje Supervisado.

Ahora veamos las analogas de la Red Neuronal

Biolgica y las Redes Neuronales Artificiales
para comprender mejor como trabaja y
aprende el Perceptrn..
Inspiracin Biolgica
Entender el cerebro y emular su potencia
Bases Biolgicas
El cerebro humano es un sistema sper complejo y es el ms
poderoso que existe.
El proceso de informacin biolgico es robusto y tolerante a
fallos.
Los procesadores de informacin biolgicos son flexibles, no
necesitan volver a ser programados cuando se cambia de
entorno o ambiente, sino que ellos mismos se reajustan al
entorno.
Son capaces de trabajar con informacin incompleta, con ruido e
inconsistente.
La maquinara que realiza estas funciones es altamente paralela,
pequea, compacta y disipa poca cantidad de energa.
Esta maquinaria biolgica es la clula del cerebro llamada neurona.
Neurona Biolgica
Funcionamiento de la neurona
biolgica
Las Neuronas biolgicas se componen de: Sinapsis, Dendritas,
Axones y Cuerpos Celulares.
Un axn es el encargado de transportar la salida de la neurona
hasta las conexiones de otras neuronas
Las dendritas facilitan la conexin con los axones de otras
neuronas.
Una neurona no hace nada, a menos que la influencia
colectiva de todas sus entradas alcance un nivel de umbral.
Los axones influyen en las dendritas sobre unos espacios
estrechos llamados Sinapsis.
La estimulacin en unas sinapsis hace que las neuronas se
disparen y en otras desalienta el disparo.
Analoga de las RNA y Redes
Biolgicas
Las seales que llegan a la sinapsis son las entradas a la
neurona.
Dichas seales son ponderadas (atenuadas o modificadas)
a travs de un parmetro, denominado PESO, asociado a
la sinapsis correspondiente.
Las seales pueden excitar a la neurona (sinapsis con
peso positivo) o inhibirla (peso negativo).
El efecto es la suma de las entradas ponderadas.
Si la suma es igual o mayor que el umbral de la neurona,
entonces la neurona se activa.
Cada neurona se activa o no se activa
Representacin Grfica
Topologas Varias
Perceptrn Simple
Definiciones,
Caractersticas y
Algoritmos de Aprendizaje.
Qu es una RNA?
Es un arreglo masivo de elementos de
procesamiento simple llamados neuronas, los
cuales poseen un alto grado de inter conectividad
entre sus elementos, en los que la informacin
puede fluir en cascada o en retroceso.
Estos arreglos estn inspirados en la naturaleza
biolgica de las neuronas, las cuales intentan
interactuar con los objetos del mundo real del
mismo modo que lo hace el sistema nervioso
biolgico.
Caracterstica de las RNA
Aprendizaje Adaptativo.

Capacidad de aprender tareas basada en un entrenamiento
o una experiencia inicial.
Auto organizacin.

La red crea su propia organizacin o representacin de la
informacin que recibe mediante una etapa de aprendizaje.
Tolerancia a fallos.

La red puede funcionar con informacin incompleta o
errnea o a pesar de algunos elementos inoperantes.
Operacin en tiempo real.

La red procesa la informacin en paralelo y muy rpido
Operacin paralela.
Red Perceptrn. Propuesta Original
En 1943 Warren Mc Culloch/Walter Pitts.-
Originaron el primer modelo de operacin
neuronal.
La caracterstica principal del modelo neuronal
de Warren es que la suma ponderada de las
seales de entrada es comparada con un umbral
para determinar la salida de la neurona. Cuando
la suma es mayor o igual al umbral, la salida es
igual a 1. Cuando la suma es menor que el
umbral, la salida es 0
Contribucin en 1950 de Frank
Rosenblatt
Su contribucin fue: Una regla de aprendizaje
para entrenar el perceptrn en la solucin de
problemas de reconocimiento.
La regla de aprendizaje simple convergir a los
pesos correctos de la red si es que existen los
pesos que solucionan dicho problema. La regla
de aprendizaje es simple y automticamente la
red aprende de sus errores.
Caractersticas del Perceptrn

Aprendizaje Supervisado (offline)

Aprendizaje por correccin de error
Reconocimiento de patrones sencillos
Clasificacin de patrones linealmente
separables
Arquitectura del Perceptrn
w1,1
p1
n a

p2 w1,2
b
1

Dos Capas
1a Capa compuesta de varias neuronas
2a. Capa formada por una sola neurona
Funcin de transferencia en escaln .
 El Perceptrn
Bias Bloque de construccin bsico
W1 Compuesto por el peso
I1
W2
sinptico y la neurona
I2 Los Pesos ponderan los
I3
W3 F(x) O valores de las entradas
X La combinacin de los pesos y
Wn la funcin de transferencia
In F(x), transforma las entradas
a la salida O necesaria
Entradas Pesos
Sinapticos Neurona El entrenato es a traves de los
cambios en los pesos hasta
que el lograr la salida deseada
Qu tipo de problemas resuelve?

Un hiperplano es un objeto de dimensin n-1

que acta en un espacio de dimensin n.

En general un perceptron de n entradas puede

ejecutar cualquier funcin que est determinada
por un hiperplano que corte un espacio de
dimensin n. Implicaciones?
Regla del Perceptrn

Propuesta de Warren Mc Culloch

y Walter Pitts
Regla de Aprendizaje

ne w old
If t = 1 and a = 0, then 1 w = 1w +p
n ew old
If t = 0 and a = 1, then 1 w = 1w p
new ol d
If t = a, then 1w = 1w
Ejemplo 1.
{p 1, t1} { p 2, t 2} {p Q, tQ }

1 t = 1 1 t = 0 0 t = 0
p
1 = 1 p
2 = 2 p
3 = 3
2 2 1
Punto de Partida
Inicializacin aleatoria de los pesos

1.0
1w =
0.8

Presentar p1 a la RNA:

a = hardlim 1 w p 1 = hardlim 1.0 0.8 1
T
a = hardlim 0.6 = 0
2
Clasificacin Incorrecta
 Regla de Aprendizaje Tentativo
Conjunto1w para p1
No es estable

Agregar p1 a 1w
Regla Tentativa:

ne w old
If t = 1 and a = 0, then 1 w = 1w +p

w new
= wol d
+ p1 = 1.0 + 1 = 2.0
1 1
0.8 2 1.2
 Segundo Vector de Entrada

a = hardlim 1 w p 2 = hardlim 2.0 1.2 1
T

a = ha rdlim 0.4 = 1 (Clasificacin Incorrecta)

Modificacin de la Regla:

ne w old
If t = 0 and a = 1, then 1 w = 1w p

ne w ol d 2.0 1 3.0
1w = 1w p2 = =
1.2 2 0.8
 Tercer Vector de Entrada
T 0
a = hardlim 1 w p3 = hardlim 3.0 0.8
1

a = ha rdlim 0.8 = 1

(Clasificacin Incorrecta)

w ne w
= wol d
p3 = 3.0 0 = 3.0
1 1
0.8 1 0.2

Los patrones estn ahora

correctamente clasificados
ne w o ld
If t = a, then 1w = 1w .
Regla del mnimo error o
delta
Contribucin de Frank Rosenblatt
Unificacin de la Regla de
Aprendizaje
new ol d ol d
1w = 1w + e p = 1w + t a p

ne w ol d
b = b +e

El bias es un
PESO con
e = ta entrada de 1
Perceptrones de Mltiples
Neuronas

Para actualizar la fila i de la matriz de Pesos: Forma Matricial:

new old new old T

iw = iw + e ip W = W + ep

ne w ol d new ol d
bi = bi + ei b =b +e
Ejemplo 2.
Conjunto de Entrenamiento

1 1

1 p =
1 1 t = 1 2 p =
1 2 t = 0

1 1

Pesos Iniciales

W = 0.5 1 0.5 b = 0.5

Recordando la funcin de
transferencia se define como:

n=Wp+b n

1 si n 0
a hardlim n
0 todo lo contrario
poca y Bias
Se le llama poca a cada iteracin de la red por el
lote de entradas en la que haya ajuste de variables.
El ajuste de variables se puede hacer despus de la
presentacin de vectores de entrada individuales o
por lotes.
La variable tambin es llamada elemento de
tendencia o 'bias, que es el que mueve el hiperplano
de decisin a lo largo del eje 'x' o y. A esta variable
se le denomina en muchas ocasiones con el smbolo
b.
Algoritmo de entrenamiento del
Perceptrn
repetir
para cada par de los vectores de entrenamiento (x, t)
evaluar la salida ai cuando xi es la entrada al perceptrn
si a t, entonces
forme un nuevo vector de pesos w de acuerdo a...
la ecuacin correspondiente
de otra manera,
no haga nada
fin (del si)
fin (del para)
hasta que a = t para todos los vectores.

Los valores de los pesos para este caso estn restringidos entre -1 y 1.
Qu pasa si la funcin que queremos
realizar ahora es la siguiente?
x2
(0,1) (1,1)
1 0
X1 X2 Y
0 0 0
0 1 1
1 0 1
1 1 0

0 1
x1
(0,0 (1,0)
)

Esta funcin sera realizable con un Perceptron, o no?

La capacidad de la Regla del
Perceptrn
La regla del Perceptrn siempre
convergir a los pesos que cumplan
con la clasificacin deseada,
asumiendo que tales pesos existan.
NOTA: Recordar que la longitud del vector de
pesos no es importante, lo nico
importante es su direccin.
Soluciona Problemas linealmente
Separables
Incapaz de Resolver Problemas no
linealmente separables
 48

Limitaciones del Perceptrn

Simple:

El Perceptrn bsico de dos capas o dimensiones solo

pude establecer dos regiones separadas por una frontera
lineal en el espacio de patrones de entrada, donde se
tendra el hiperplano.
 49

Solucin a problemas no lineales

Un Perceptrn con tres niveles de neuronas puede

formar cualquier regin convexa en este espacio.
Un Perceptrn con cuatro capas puede generar regiones
de decisin arbitrariamente complejas.
 50

Clasificacin con el Perceptrn

Multicapa
Preguntas?

Google es tu mejor amigo

Ejercicios Propuestos

Con un poco de ayudita extra para saber si vas por el buen

camino