Redes Neuronales

Introduccin
Jos Manuel Quero Reboul
Dpto. Ingeniera Electrnica
Universidad de Sevilla
Indice
Motivacin
Arquitectura
Clasificacin
Leyes de Aprendizaje
Aplicaciones
DILEMA
Aritmtica
Visin
Datos
Direccionada por
contenido
1 cerebro=1/10 calculadora de
bolsillo
1 cerebro=1000 supercomputadores
cerebro mucho peor
cerebro mucho mejor
M
E
M
O
R
I
A











C
A
L
C
U
L
O
Arquitectura Von Newman
Unico nodo de procesamiento (800Mhz)
Memoria pasiva
Baja conectividad
BUS
BUS
CPU
CPU
MEM
MEM
E/S
E/S
E/S
E/S
Bus de datos: Cuello de Botella (Secuencialidad)
Bus de datos: Cuello de Botella (Secuencialidad)
Cerebro
10
10
neuronas (10ms)
10
4
dendritas
10
14
pesos de conexin
Los pesos almacenan y
procesan
Definicin
Computacin neuronal:
Computacin en redes masivas paralelas de
procesadores simples y no lineales, que
almacenan todo su contenido en los pesos
de conexin
Computacin en redes masivas paralelas de
procesadores simples y no lineales, que
almacenan todo su contenido en los pesos
de conexin
Propiedades:
Eliminacin del cuello de botella
Inteligencia artificial llevada al lmite
Indice
Motivacin
Arquitectura
Clasificacin
Leyes de Aprendizaje
Aplicaciones
Ley de Propagacin
j
j
ij i
I W net

Neurona Artificial
Entorno
Ley de Activacin
),...) ( ), ( ), ( ( ) 1 (
2 1
t net t net t a F t a +
Funcin de Salida
) (a f o
Patrn de Conectividad
Ley de Aprendizaje
)) ( ), ( ), ( ), ( ( ) 1 ( t o t a t net t w g t w
i ij ij
+
Funcin de activacin
s
(s)
1
Funcin sigmoidal: (x) =
__________
1
1 + e
- x
Red neuronal
neuronas
pesos
salidas
entradas
capas
Topologas:
Monocapa
Multicapa
Redes forward
Redes recurrentes
Redes realimentadas
Redes de funciones
radiales
Indice
Motivacin
Arquitectura
Clasificacin
Leyes de Aprendizaje
Aplicaciones
Red neuronal
Clasificacin:
Tipo de seales
Analgicas/Binarias
Tipo de Aprendizaje
Competitivo/Supervisado
Funcionalidad
Clasificacin/Memoria/Optimizacin
Red neuronal
Clasificacin
Binarias Analgicas
Supervisado No Supervisado Supervisado No Supervisado
Hopfield Grossberg Perceptrn Perceptrn Fukushima Kohonen
Multicapa
Memoria Memoria Clasificacin Clasificacin Clasificacin Memoria
Indice
Motivacin
Arquitectura
Clasificacin
Leyes de Aprendizaje
Aplicaciones
Aprendizaje
El conocimiento es obtenido a partir de la
experiencia y almacenado en los pesos
Tipos de aprendizajes:
Preprogramadas
Ley de Hebbs
Aprendizaje competitivo
Aprendizaje supervisado
La red extrae y copia la estructura interna del
conocimiento del entorno
Leyes de Aprendizaje
W I W
dt
dW
) ( ) (
!
W
I
) ( ), (
I W o
T

o
:Vector de pesos
: Seales de entrada
:Funciones escalares (W,I,o)
:salida
Funcin de Tranferencia lineal
Justificacin
1) Ley de Hebb: Cuanto mayor sea la excitacin,
mayor ser el refuerzo de la conexin
2) Factor de Olvido: Proporcional a la propia magnitud
Condiciones (estabilidad dinmica)
1)
2)
Leyes de Aprendizaje
I ) (
t t W t o finita acotada si ) ( ) (
W ) (
t t W I 0 ) ( 0 si
/
Caso 1
Leyes de Aprendizaje
W I W
!
0 , > y ctes

'

t
t t
t d t I e W e t W
0
) ( ) 0 ( ) (

t para
W es copia ponderada en el tiempo de I
W(0) es olvidada
Comentarios
Caso 2
Leyes de Aprendizaje
W oI W
!
{ } ) 0 ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 ( ) 1 (
0
W k P t W t P t W t I t I t W
t
k
T
1
]
1

+ +

Comentarios
En la mayoria de los casos diverge o tiende a 0
Para Novedades de Detector y < 0
(Proyeccin Ortogonal)
Caso 3
Leyes de Aprendizaje
oW I W
!
I WW W
T
) (
! (1)
(2)
3.1 Anlisis de convergencia de
Multiplicando (1) por
W
T
W 2
) ( 2 ) ( 2
2 2
W o W
dt
d
W W
T

!
Como I W o

2
0
Caso 3
Leyes de Aprendizaje
oW I W
!
3.2 Anlisis de la orientacin de
Supongamos con propiedades estadsticas estacionarias
{ } { } W oW E W W E
!
) (t I
Si y independientes (cte en t) W I
{ } I W I E
~

Sea
I W
~

( )

'

'

,
_

'

W W
dt
d
W I
W I
W I
W I
dt
d
E W
W I
W I
dt
d
E W
dt
d
E
T
T
T
2
~
)
~
(
~
~
~
~
) (cos
El primer trmino se calcula de (1) multiplicando por
Leyes de Aprendizaje
W I
I
T

~
~
dt
W d
W
dt
W d ) (
2
) (
2

El segundo trmino se calcula de (2) dado que

Sustituyendo y simplificando se tiene:

'

sen
~
W
I
W
dt
d
E
La direccin media de tiende a
W I
~
Luego
I
I
W
~
~
) (

Este resultado puede obtenerse directamente de la
ecuacin de aprendizaje
oW I W
!
Considerando que matriz de correlacin
Se puede demostrar que W tiende al mximo autovector de
Caso 4
Leyes de Aprendizaje
oW oI W
!
{ }
II
T
C W II E
0 , > con
II
C
Conclusin:
El vector de pesos almacena la informacin de entrada
Se efecta la comparacin entrada/peso en la neurona
Indice
Motivacin
Arquitectura
Clasificacin
Leyes de Aprendizaje
Aplicaciones
Propiedades de las RN
Procesamiento de un gran conjunto de datos
Baja densidad de informacin
Robustez ante fallo en estructura
Robustez ante inconsistencia en los datos de
entrada
Datos y reglas de procesamiento confundidos en
las conexiones
Procesamiento altamente paralelo
Capacidad de Autoorganizacin. Adaptabilidad
Cuando usar Redes Neuronales?
Cuando se quiere desarrollar un modelo
(funcional, clasificador, prediccin de serie
temporal,...)
Ejemplos
Finanzas: Modelos de mercado
Ingeniera: Modelado de procesos y control
adaptativo
Medicina: Diagnosis
Cuando usar Redes Neuronales?
En anlisis de datos con baja densidad de
informacin
Ejemplos:
Reconocimiento de imgenes
Reconocimiento de firmas
Anlisis de encuestas
Prediccin meteorolgica