CARLOS CASTRO SI LVA

Redes Neuronales

Las redes neuronales son sistemas ideados como abstracciones de las
estructuras neurobiolgicas (cerebros) encontradas en la naturaleza y tienen
la caracterstica de ser sistemas desordenados capaces de guardar
informacin.
La forma en que desarrollan su trabajo es esencialmente distinta de la
utilizada por las computadoras convencionales. Los procesadores
microscpicos del cerebro (neuronas) operan en paralelo y presentan
cualitativamente ms ruido que los elementos que forman a las
computadoras. No ejecutan un programa fijo con base en un conjunto
previamente especificado de datos, sino que comunican seales a travs de
retransmisores que llamamos sinapsis, que llegan a centros de conjuncin
llamados los cuerpos de las neuronas y desde los cuales surgen seales
elctricas a travs de canales conocidos con el nombre de axones.

La importancia de cada sinapsis en el proceso de retransmisin se actualiza
continuamente y lo mismo ocurre con algunas propiedades intrnsecas de
las neuronas, proporcionando un sistema de auto-programacin y
adaptacin que sustituye a la programacin externa de los sistemas de
cmputo comunes. Existe as una dinmica de las sinapsis y de las
neuronas en el cual los programas y los datos cambian todo el tiempo.
Los cerebros no tienen una arquitectura o mapa de conexiones especfico,
por ejemplo, presentan estructuras relativamente ordenadas en centros
receptores de informacin, pero estructuras amorfas, prcticamente
aleatorias, en las regiones procesadoras de alto nivel como el neocrtex.
Operando en paralelo los cerebros dedican grandes cantidades de neuronas
a una actividad determinada, lo cual da por resultado actividades posibles
muy diferentes y complejas. Pueden adaptarse a circunstancias cambiantes,
reconocer objetos deformados, borrosos, o parcialmente visibles. En
sntesis, las redes neuronales son esencialmente diferentes de los sistemas
de cmputo de la vida cotidiana.

CARLOS CASTRO SI LVA
Las Redes Neuronales son un campo muy importante dentro de la
Inteligencia Artificial. Inspirndose en el comportamiento conocido del
cerebro humano (principalmente el referido a las neuronas y sus
conexiones), trata de crear modelos artificiales que solucionen problemas
difciles de resolver mediante tcnicas algortmicas convencionales.

De alguna forma, una neurona es un procesador de informacin muy
simple:
Canal de entrada: dendritas.
Procesador: soma.
Canal de salida: axn.
Una neurona cerebral puede recibir unas 10.000 entradas y enviar a su
vez su salida a varios cientos de neuronas.
La conexin entre neuronas se llama sinapsis. No es una conexin
fsica, si no que hay unos 2 mm de separacin. Son conexiones
unidireccionales, en la que la transmisin de la informacin se hace de
forma elctrica en el interior de la neurona y de forma qumica entre
neuronas; gracias a unas sustancias especficas llamadas neurotransmisora.
No todas las neuronas son iguales, existen muchos tipos diferentes
segn el nmero de ramificaciones de sus dendritas, la longitud del axn y
otros detalles estructurales. Sin embargo, como hemos visto, todas ellas
operan con los mismos principios bsicos.



CARLOS CASTRO SI LVA
MODELO DE NEURONA ARTIFICIAL
El modelo de Rumelhart y McClelland (1986) define un elemento de
proceso (EP), o neurona artificial, como un dispositivo que a partir de un
conjunto de entradas, x
i
(i=1...n) o vector x, genera una nica salida y.

Esta neurona artificial consta de los siguientes elementos:
Conjunto de entradas o vector de entradas x, de n
componentes
Conjunto de pesos sinpticos w
ij
. Representan la interaccin
entre la neurona presinptica j y la postsinptica i.
Regla de propagacin d(w
ij,
x
j
(t)): proporciona el potencial
postsinptico, h
i
(t).
Funcin de activacin a
i
(t)=f(a
i
(t-1), h
i
(t)): proporciona el
estado de activacin de la neurona en funcin del estado
anterior y del valor postsinptico.
Funcin de salida F
i
(t): proporciona la salida y
i
(t), en funcin
del estado de activacin.
Las seales de entrada y salida pueden ser seales binarias (0,1
neuronas de McCulloch y Pitts), bipolares (-1,1), nmeros enteros o
continuos, variables borrosas, etc.
La regla de propagacin suele ser una suma ponderada del producto
escalar del vector de entrada y el vector de pesos:

Tambin se usa a menudo la distancia eucldea entre ambos vectores:
CARLOS CASTRO SI LVA

Existen otro tipo de reglas menos conocidas como la distancia de
Voronoi, de Mahalanobis, etc.
La funcin de activacin no suele tener en cuenta el estado anterior de
la neurona, sino slo el potencial h
i
(t). Suele ser una funcin determinista y,
casi siempre, continua y montona creciente. Las ms comunes son la
funcin signo (+1 si h
i
(t)>0, -1 en caso contrario), la funcin semilineal y
las funciones sigmoides:

La funcin de salida suele ser la identidad. En algunos casos es un valor
umbral (la neurona no se activa hasta que su estado supera un determinado
valor).
Con todo esto, el modelo de neurona queda bastante simplificado:

RED NEURONAL ARTIFICIAL
Una red neuronal artificial (RNA) se puede definir (Hecht Nielssen
93) como un grafo dirigido con las siguientes restricciones:
1. Los nodos se llaman elementos de proceso (EP).
2. Los enlaces se llaman conexiones y funcionan como caminos
unidireccionales instantneos
3. Cada EP puede tener cualquier nmero de conexiones.
4. Todas las conexiones que salgan de un EP deben tener la
misma seal.
CARLOS CASTRO SI LVA
5. Los EP pueden tener memoria local.
6. Cada EP posee una funcin de transferencia que, en funcin
de las entradas y la memoria local produce una seal de salida
y / o altera la memoria local.
7. Las entradas a la RNA llegan del mundo exterior, mientras
que sus salidas son conexiones que abandonan la RNA.
ARQUITECTURA DE LAS RNA
La arquitectura de una RNA es la estructura o patrn de conexiones de la
red. Es conveniente recordar que las conexiones sinpticas son
direccionales, es decir, la informacin slo se transmite en un sentido.
En general, las neuronas suelen agruparse en unidades estructurales
llamadas capas. Dentro de una capa, las neuronas suelen ser del mismo
tipo. Se pueden distinguir tres tipos de capas:
De entrada: reciben datos o seales procedentes del entorno.
De salida: proporcionan la respuesta de la red a los estmulos
de la entrada.
Ocultas: no reciben ni suministran informacin al entorno
(procesamiento interno de la red).
Generalmente las conexiones se realizan entre neuronas de distintas capas,
pero puede haber conexiones intracapa o laterales y conexiones de
realimentacin que siguen un sentido contrario al de entrada-salida.

APRENDIZAJE DE LAS RNA
Es el proceso por el que una RNA actualiza los pesos (y, en algunos
casos, la arquitectura) con el propsito de que la red pueda llevar a cabo de
forma efectiva una tarea determinada.
CARLOS CASTRO SI LVA
Hay tres conceptos fundamentales en el aprendizaje:
Paradigma de aprendizaje: informacin de la que dispone la red.
Regla de aprendizaje: principios que gobiernan el aprendizaje.
Algoritmo de aprendizaje: procedimiento numrico de ajuste de los
pesos.
Existen dos paradigmas fundamentales de aprendizaje:
Supervisado: la red trata de minimizar un error entre la salida que
calcula y la salida deseada (conocida), de modo que la salida calculada
termine siendo la deseada.
No supervisado o auto-organizado: la red conoce un conjunto de
patrones sin conocer la respuesta deseada. Debe extraer rasgos o agrupar
patrones similares.
En cuanto a los algoritmos de aprendizaje, tenemos cuatro tipos:
Minimizacin del error: reduccin del gradiente, retro-propagacin,
etc. La modificacin de pesos est orientada a que el error cometido sea
mnimo.
Boltzmann: para redes estocsticas, donde se contemplan parmetros
aleatorios.
Hebb: cuando el disparo de una clula activa otra, el peso de la
conexin entre ambas tiende a reforzarse (Ley de Hebb).
Competitivo: slo aprenden las neuronas que se acercan ms a la
salida deseada.
Los algoritmos, y en general el proceso de aprendizaje, son
complejos y suelen llevar bastante tiempo computacionalmente hablando.
Su ventaja es que una vez ha aprendido, la red puede congelar sus pesos y
funcionar en modo recuerdo o ejecucin.



CARLOS CASTRO SI LVA
PERCEPTRN

El caso ms sencillo de Red Neuronal (RN) es el que presenta una sola
neurona de cmputo. A esta estructura se le denomina perceptrn y su
estudio resulta obligado antes de profundizar en redes neuronales ms
complejas.

En este caso se ha omitido el segundo subndice (correspondiente a la
neurona destino), puesto que solamente tenemos una neurona de cmputo.
Las neuronas representadas en forma de rectngulo pertenecen a la capa de
entrada. Estas neuronas son parte del formalismo de la red. Se encargan de
recibir y distribuir los datos del exterior, sin realizar cmputos sobre los
mismos.
Anlisis:
En el caso ms simple (N=2)

Esto significa que el resultado de la neurona va a tomar uno de los valores
previstos en la funcin escaln (-1 y 1). El valor de salida depender de si
es mayor o menor que el umbral.
Por lo tanto nos proporciona la base para
calcular la salida. Puesto que la frmula anterior se corresponde con la de
una recta en la que pretenderemos asignar valores a los pesos, despejando
se tiene:
CARLOS CASTRO SI LVA

Como se puede observar, segn se cambien los valores de los pesos y el
umbral, se obtendrn diversas inclinaciones y desplazamientos
respecto al origen.
En el caso (habitual) de trabajar con mltiples dimensiones, nos
encontramos con un hiperplano de separacin, que clasifica los patrones de
entrada en un espacio multidimensional.
Puesto que un perceptrn solamente puede realizar separacin lineal
mediante su hiperplano asociado, este modelo slo resuelve problemas de
clasificacin en los que las clases sean separables geomtricamente.
Las funciones lgicas AND y OR son separables linealmente, por lo tanto
pueden implementarse con un perceptrn. La funcin XOR no presenta esta
caracterstica.

Se puede tratar de confiar labores complejas a un perceptrn, pero en
general se necesitan redes neuronales con varias capas y varias neuronas
por capa para resolver problemas reales. Hay que tener en cuenta que
habitualmente, no se presentan situaciones que admiten separabilidad
lineal.

- APRENDI ZAJ E
El perceptrn utiliza un aprendizaje supervisado Hebbiano. Las etapas
principales que conlleva este proceso son:
CARLOS CASTRO SI LVA
1. Inicializacin de los pesos y del umbral. Habitualmente se asignan
valores aleatorios que se encuentren en un rango equivalente al de las
entradas y salidas.
2. Presentacin de un par de aprendizaje (patrn de entrada, salida
esperada)
3. Clculo de la salida del perceptrn
4. Adaptacin de los pesos segn la regla de aprendizaje Hebbiana.
regla delta
d
i
: valor de salida deseado para la neurona u
i

: factor de aprendizaje (regula la velocidad de
aprendizaje)
: modificacin del peso w
ji

d
i
-y
i
: error que se produce en la neurona u
i

Como factor de aprendizaje (o ganancia) se establece un valor
mayor que cero y menor o igual a uno. Cuanto ms pequeo sea ,
ms pequeos sern los incrementos de los pesos, por lo que se
llegar a la solucin ms despacio. Pero tambin de forma ms
segura.
5. Repeticin de los pasos anteriores hasta que todos los patrones de
entrada produzcan la salida esperada.

UN CASO DE ESTUDIO
Disponemos de un perceptrn de 2 entradas, y deseamos que implemente la
funcin lgica AND

CARLOS CASTRO SI LVA
Se utilizar un mecanismo de aprendizaje Hebbiano, que tambin se aplica
al umbral , que tambin se aplica al umbral
. La secuencia del aprendizaje vendr marcada por el orden de los datos
de entrada:
00->01->10->11->00->01-> etc.
Esta secuencia se aplica hasta que se alcanza la solucin (la red converge).
Se parte de los siguientes valores iniciales aleatorios: W1=2.2, W2=1.2, y
.
Se pide: indicar las diferentes combinaciones de que se obtienen
en el proceso de aprendizaje, dibujando las rectas de separacin que
determinan cada una de las combinaciones halladas. Especificar los valores
numricos de corte de cada recta con los ejes X1 y X2.

Partiendo de comenzamos a realizar los clculos
del perceptrn con los pares de entrenamiento correspondientes a la
funcin AND:

Error= (salida deseada salida obtenida), Error= (0-1)=-1
Aprendizaje Hebbiano:

Ahora se procede con el aprendizaje, siguiendo la secuencia de los datos de
entrada tal y como se especifica en el planteamiento de este caso prctico.
CARLOS CASTRO SI LVA


Puesto que ha habido un error, se prosigue probando los pares de entrada.
El proceso terminar cuando la red converja en una solucin, es decir,
cuando el error sea nulo (las salidas obtenidas coinciden con las deseadas
en todos los pares de entrada).



Una vez comprobada la ausencia de errores en todos los pares de entrada,
se puede afirmar que la red ha aprendido y separa de forma adecuada las
clases matemticas 0 y 1 de la funcin AND de dos entradas.
La evolucin del aprendizaje se puede observar representando las rectas de
separacin de clases en el plano bidimensional de los parmetros de entrada
(X
1
y X
2
).
CARLOS CASTRO SI LVA
La funcin NET: nos genera la recta:
.
Con los siguientes puntos de corte en los ejes X
1
y X
2
:














CARLOS CASTRO SI LVA
ADALINE
ADALINE que por sus siglas en ingls significa ADAptive LINear
Element es un dispositivo que consta de un solo elemento de
procesamiento, por lo que tcnicamente no es una red. Sin embargo es un
elemento muy importante, ya que de l se derivan redes ms complejas. En
la siguiente figura se muestran los elementos de una ADALINE.







Una ADALINE consiste de un ALC (Adaptive Linear Combiner) y un
cuantizador (funcin bipolar de salida). Se alimenta con un vector de
entrada (valores observados) y con una entrada constante igual a 1
denominada sesgo (bias). Posteriormente se efecta una suma ponderada de
los valores de entrada con sus pesos asociados; si el resultado es positivo,
la salida del ADALINE es 1, en caso contrario es 0 (o -1). En consecuencia
ADALINE slo resuelve adecuadamente problemas binarios linealmente
separables.

Algoritmo de Entrenamiento
El entrenamiento del ADALINE est basado en la regla LMS (Least Mean
Square) que busca minimizar el error cuadrtico medio por medio de la
regla delta.
Dado un vector de entrada (x
0
, ..., x
n
) donde x
0
=1, el correspondiente valor
2
1
) ( ) ( ) (
(

=

=
n
i
i i
t X t W t d E
CARLOS CASTRO SI LVA
|
.
|

\
|
=

=
n
i
i i h
t x t w F t y
0
) ( * ) ( ) (
de pesos (w
0
, ..., w
n
) y el valor deseado de salida d, el error cuadrtico es el
siguiente:
El objetivo del mtodo es minimizar dicho error mediante la modificacin
del vector de pesos (w
0
, ..., w
n
w de tal forma que nos
acerquemos al error mnimo en la direccin del gradiente negativo, es
decir, lo ms rpidamente posible.
El procedimiento de derivacin se presenta a continuacin:

Por lo que el error local ser reducido ms rpidamente si se ajustan los
pesos de acuerdo a la regla delta:

El algoritmo de entrenamiento se presenta a continuacin:
1. Inicializar pesos (w
1
, ..., w
n
) y threshold (w
0
)
2. Presentar vector de entrada (x
1
,...,x
n
) y la salida deseada d(t)
3. Calcular la salida


donde F
h
(a) = 1 s a>0 y
= -1 s a<=0
4. Adaptar los pesos

) ( ) ( ) ( ) ( 2
) ( ) ( ) ( ) ( ) ( 2 ) (
1
2
1 1
2
t X t X t W t d
W
E
t X t W t X t W t d t d E
i k
n
k
k
i
k
n
k
k i
n
i
i
(

=
c
c
(

+ =

=
= =
) ( ) ( ) ( ) ( ) 1 (
1
1
t X t X t W t d t W
i
n
k
k k
(

= + A

=
q
) ( * ) ( * ) ( ) ( * ) ( ) 1 (
0
t x t x t w t d t w t w
i
n
k
k k i i
(

+ = +

=
q
CARLOS CASTRO SI LVA
donde 0 < i < n y q es la tasa de aprendizaje
5. Repetir los pasos 2 a 4 hasta que las salidas reales y las deseadas sean
iguales para todos los vectores del conjunto de entrenamiento
Siguiendo este mtodo se garantiza que, para un conjunto de entrenamiento
adecuado, despus de un nmero finito de iteraciones el error se reduce a
niveles aceptables. El nmero de iteraciones necesarias y el nivel de error
deseado dependen de cada problema particular.
En similitud con el Perceptrn, el lmite de la caracterstica de decisin
para la red Adaline se presenta cuando n = 0, por lo tanto:

Especfica la lnea que separa en dos regiones el espacio de entrada, como
se muestra en la figura

Figura 2.2.3. Caracterstica de decisin de una red tipo Adaline
La salida de la neurona es mayor que cero en el rea gris, en el rea blanca
la salida es menor que cero. Como se mencion anteriormente, la red
Adaline puede clasificar correctamente patrones linealmente separables en
dos categoras.



CARLOS CASTRO SI LVA
|
.
|

\
|
=

=
n
i
i ki h k
t x t w F t y
0
) ( * ) ( ) (
MADALINE
Fue una de las primeras redes neuronales multicapa entrenable con
mltiples elementos adaptivos.
Esta estructura fue diseada despus de ADALINE, para ir ms all de la
solucin de problemas linealmente separables.

Consta de una capa de ADALINES y una funcin de mayora cuya
respuesta binaria depende de las respuestas de las ADALINES.
El algoritmo de entrenamiento es el siguiente.
1. Inicializar pesos (w
1
, ..., w
n
) y threshold (w
0
)
2. Presentar vector de entrada (x
1
,...,x
n
) y la salida deseada d
k
(t)
3. Calcular la salida

donde F
h
(a) = 1 si a>0 y
= -1 si a<=0
y
k
(t) es la salida del Adaline k

4. Determinar la salida del Madaline

M(t)=F
mayora
(y
k
(t))
CARLOS CASTRO SI LVA
5. Determinar el error y actualizar los pesos
Si M(t) = salida deseada no se actualizan de otro modo, los elementos
Adaline compiten y se actualiza el ganador, es decir al ADALINE con
salida errnea ms cercana a cero en su salida original (y).

6. Repetir los pasos 2 a 5 hasta que las salidas reales y las deseadas sean
iguales para todos los vectores del conjunto de entrenamiento.
Ntese que se utiliza la misma regla delta que en el entrenamiento de
ADELINES, ya que los pesos modificados corresponden a estas ltimas.
El inconveniente de la MADALINE es que el proceso de entrenamiento es
muy lento pues se modifican una sola ADALINE en cada iteracin.
Primero se desarrollo Adaline, que funciona tomando la suma de los pesos
de las entradas y produce una salida con 0 o 1 dependiendo si pasa o no un
umbral, pero despus con la idea de solucionar problemas ms complejos
se desarrollo Madaline. Madaline (Multiple ADAptative LINear Element)
es una red neuronal formada principalmente por dos capas, la primera est
formada por un conjunto de Adalines en paralelo (que reciben cada una de
las entradas al sistema) y la segunda, que es el Madaline, est formada por
un nico elemento de proceso. En caso de existir problemas semejantes con
distintas salidas, se utilizaran varios Madalines. Estructura Estructura.jpg
Madaline est formada inicialmente por una capa de entradas, las
conexiones entre esta capa y la siguiente, que es la capa de Adalines
dispuestos en paralelo, tienen asociadas un peso ajustable por cada una de
ellas. Despus de esta primera capa de Adalines puede que existan otras
capas intermedias (formadas tambin por Adalines en paralelo) si sta no
fuese suficiente para que la red funcionase correctamente. Finalmente la
ltima capa de Adalines est conectada con el Madaline, que es la ltima
capa de la red pero estas conexiones no tienen asociado ningn peso.
Simplemente cada unidad Adaline transmite su salida (-1 +1) a la unidad
Madaline, y sta emplea una regla de mayoras para obtener su salida: +1 si
la mitad o ms de las unidades Adaline presentan un valor de salida +1 o -1
en caso contrario.
) ( * ) ( * ) ( ) ( * ) ( ) 1 (
0
t x t x t w t d t w t w
i
n
l
l cl ci ci
(

+ = +

=
q