Mineria de datos

Redes Neuronales Artificiales

 Sadith Carren Romero Teresa Snchez de Jess

Tomas Caavera Centeno

Esaulo Romero Machorro

Introduccin

Las redes neuronales artificiales son un mtodo de aprendizaje cuya finalidad inicial era la de emular los procesadores biolgicos de informacin.

Las RNA parten de la presuncin de que la capacidad humana de procesar informacin se debe a la naturaleza biolgica de nuestro cerebro.

Propiedades mas importantes del procesamiento humano

El procesamiento de la informacin biolgico es robusto y tolerante a fallos.

Los programadores flexibles.

de

informacin

biolgicos

son

Son capaces de trabajar con informacin incompleta, con ruido o inconsistente de una manera semejante a la que se puede alcanzar empleando computadoras se usa un gran cantidad de programacin sofisticada y solo cuando el contexto de es conjunto de datos se ha analizado en detalle. L a maquinaria que realiza estas funciones es altamente paralela, pequea, compacta y disipa poca cantidad poca cantidad de energa.

Neuronas biolgicas y artificiales

La neurona recibe informacin a travs de las sinapsis de sus dendritas. Cada sinapsis representa la unin de un axn de otra neurona con una dendrita.

 Una transmisin electro-quimica tiene lugar en la sinapsis, la cual permite a la informacin ser transmitida desde una neurona a la prxima. La informacin es entonces transmitida a lo largo de las dendritas hasta que alcanza el cuerpo de la clula. All se suman los pulsos elctricos y se aplica algn tipo de funcin de activacin.

La neurona se activara si el resultado es superior a un determinado limite o umbral.

Significa que enviara una seal a lo largo de su axn con la finalidad de comunicarse con otras neuronas. Esta es la manera en la que la informacin pasa de una parte de la red de neuronas o otra.

 La finalidad de la polarizacin o bias es la de poder aumentar o disminuir el umbral de excitacin de la neurona dependiendo de si es un valor positivo o negativo, respectivamente.

 Las entradas se representan por el vector de entrada, x, y el rendimiento de las sinapsis se modela mediante un vector de pesos, w. Entonces el valor de salida de esta neurona viene dado por: y=f(

)=f(w.x)=f( x)

donde f es la funcin de activacin. Cuando tenemos una red de neuronas, las salidas de unas se conectan con las entradas de otras. Si el peso entre dos neuronas conectadas es positivo, el efecto producido es de excitacin,. Por el contrario, si es negativo, este efecto es de inhibicin.

 Una nica neurona es una unidad de procesamiento muy simple. Se considera que el potencial de las redes neuronales artificiales proviene de la capacidad que proporciona el empleo de muchas de estas unidades simples y robustas al actuar en paralelo.

 Hay dos modos de trabajo en una RNA: Modo de activacin modo de asociado a transferencia de la activacin: cuando la es transmitida por toda la red. Este es el funcionamiento o de la aplicacin y esta la operacin de propagacin hacia adelante.

Modo de aprendizaje: cuando la red se organiza normalmente a partir de la transferencia de activacin mas reciente.

El aprendizaje en las redes neuronales artificiales

Los cambios en los pesos de una red neuronal dan lugar al aprendizaje. Estos se producen para modelar los cambios en el rendimiento de las sinapsis de las redes neuronales reales. Hay dos tipos de aprendizaje en RNA: Aprendizaje supervisado: Con este, proporcionamos a la red un conjunto de datos de entrada y la respuesta correcta. El conjunto de datos de entrada es propagado hacia delante hasta que la activacin alcanza las neuronas de la capa de salida. Podemos comparar la respuesta calculada por la red con aquella que se desea obtener, el valor real, objetivo o blanco. Entonces se ajustan los pesos para asegurar que la red produzca de una manera mas probable una respuesta correcta en el caso de que vuelva a presentar el mismo o similar patrn de entrada.

Es til para las tareas de regresin y clasificacin.

 Aprendizaje no supervisado: Solo se proporciona un conjunto de datos de entrada. La red debe autoorganizarse dependiendo de algn tipo de estructura existente en el conjunto de datos de entrada. Esta estructura suele deberse a redundancia o agrupamientos en el conjunto de datos. Este tipo de aprendizaje ser til para tareas de agrupamiento y reduccin de dimensionalidad.

Aprendizaje supervisado en RNA

Perceptron simple y Adaline Fue inicialmente investigado por Rosenblatt en 1962. El perceptrn simple tiene una estructura de varios nodos o neuronas de entrada y uno o mas de salida. No tiene capa oculta y su estructura es como la red neuronal artificial, pero sin ninguna capa oculta o intermedia

El algoritmo tiene la siguiente forma:

1. La red comienza en un estado aleatorio. Los pesos entre neuronas poseen valores pequeos y aleatorios(entre -1 y 1). 2. Seleccionar un vector de entrada, , a partir del conjunto de ejemplos de entrenamiento.

3. Se propaga la activacin hacia delante a travs de los pesos en la red para calcular la salida =w. . 4. = (si la salida es correcta) volver al paso 2. 5. En caso contrario el cambio de los pesos se realiza atendiendo a la siguiente expresin: donde es un numero pequeo positivo conocido como coeficiente de aprendizaje. Lo que se hace, por tanto, es ajustar los pesos de una manera en la que las salidas de la red, , se vayan haciendo cada vez mas semejantes al valor de los blancos, , a medida que cada entrada, , se va presentando a la red.

Adaline (ADAptative LINear Element)

Concebida por Widrow y sus colaboradores en 1960. Su topologa es idntica al perceptrn simple, es decir, no tiene capa oculta, pero la red Adaline calcula sus salidas empleando la siguiente expresin: o=
+

Con la misma notacin de antes. La diferencia entre esta red y el perceptrn es la presencia o no de un umbral . Se puede implementar fcilmente empleando conjunto de resistencia e interruptores. un

Error Cuadrtico Medio (Least Mean Square error, LMS) o regla Delta o de Widrow-Hoff

Esta regla tiene mayor aplicacin ya que se puede usar tanto para neuronas binarias como continuas, es decir, tanto para neuronas cuyas salidas son solamente ceros y unos o aquella cuyas salida son nmeros reales.. Es una de las reglas mas potentes y se emplea como base de muchos mtodos que utilizan aprendizaje supervisado.
El perceptrn simple y el modelo de Adaline son redes sin capa intermedia y, por tanto, si ignoramos las funciones de activacin, son equivalentes a una funcin discriminante lineal.

Perceptrn multicapa (Multilayer Perceptron, MLP)

Red neuronal en forma de cascada, que tiene una o mas capas ocultas. Parece que fue descubierta de manera independiente varias veces, y no existe acuerdo de la fecha exacta ni de su descubridor. Fue popularizada por el Grupo PDP, bajo el nombre de Retropropagacin o propagacin hacia atrs. La activacin se propaga en la red a travs de los pesos desde la capa de entrada hacia la capa intermedia donde se aplica alguna funcin de activacin a las entradas que le llegan.

 Para el aprendizaje hay que actualizar dos conjuntos de pesos: Aquellos entre la capa oculta o intermedia y la de salida, y aquellos entre la capa de entrada y la capa intermedia.

El error debido al primer conjunto de pesos se calcula empleando el mtodo del error cuadrtico medio.
Entonces se propaga hacia atrs la parte del error debido a los errores que tienen lugar en el segundo conjunto de pesos y se asigna el error proporcional a los pesos que lo causan. Podemos utilizar cualquier numero de capas ocultas que queremos ya que el mtodo es bastante general. Un factor a tener en cuenta es normalmente el tiempo de entrenamiento, el cual puede ser excesivo para arquitecturas con muchas capas.

Algoritmo de retropropagacin
1. Inicializar lo pesos a valores pequeos aleatorios. 2. Escoger un patrn de entrada, , y presentarlo a la capa de entrada. 3. Propagar la activacin hacia delante a travs de los pesos hasta que la activacin alcance las neuronas de la capa de salida. 4. Calcular los valores de para las capas de salida =( )f( ) usando los valores de los blancos deseados para el patrn de entrada seleccionado.

5. Calcular los valores de para la capa oculta usando = f( ). =1

6. Actualizar los pesos de acuerdo con: = o . 7. Repetir del paso 2 al 6 para todos los patrones de entrada.

Variaciones de la retropropagacin y otros MLP generales

Puede variar ligeramente el algoritmo mediante el cambio de parmetros y del numero de neuronas ocultas, existen muchas otras aproximaciones para el aprendizaje de MLP que han ido apareciendo desde entonces. Uno de os aspectos mas complejos es determinar el numero de neuronas ocultas, ya que pocas neuronas pueden hacer que el concepto a aprender no se pueda capturar mientras que demasiadas neuronas pueden sobreajustar los datos.

 Existen variantes del algoritmo de retropropagacin que van aadiendo neuronas ocultas a medida que se van necesitando, o ajustan el tamao por un anlisis de los datos, o bien siguen reglas mas o menos sencillas para hacerlo. Muchas implementaciones en paquetes de minera de datos incluyen estas variaciones, y que son mucho mas sencillas de cara al usuario. Por ejemplo, el algoritmo de retropropagacin (WEKA.classifiers.neural.NeuralNetwork) del sistema WEKA.

 Existen otras herramientas que facilitan todava mas la tarea de especificar los parmetros. Por ejemplo, en el sistema SPSS Clementine el nodo TrainNet incluye cinco mtodos de redes neuronales, entre ellas cuatro variantes de MLP, que son: Quick (rpido) Dynamic (dinmico) Multiple (mltiple) Prune (recortar)

Funciones de base radial

En una red de funciones de base radial (Radial Basis Function, RBF) tpica, la capa de entrada acta como receptor para el conjunto de datos de entrada. La caracterstica mas importante de las RBF es el uso de una funcin de calculo en la neuronas de la capa oculta.

 Esta funcin lleva a cabo un transformacin no lineal desde el espacio de entrada al espacio de la capa intermedia. Las neuronas de la capa intermedia son las funciones base para los vectores de entrada y las neuronas de la capa de salida simplemente calculan una combinacin lineal de las salidas de las neuronas ocultas. Las funciones que se usan con frecuencia en la capa intermedia son las funciones gaussianas. Su media y desviacin estndar deben ser determinadas de alguna manera a partir del conjunto de datos de entrada.

Seleccin de los centros para las RBF

La eleccin de los centros de las gaussianas es uno de los puntos importantes en el proceso de entrenamiento de la red. Si tenemos pequeos conjuntos de datos, no tenemos otra opcin que situar los centros de nuestras funciones de base radial sobre los propios puntos del conjunto de datos. Esto puede dar lugar a un pobre generalizacin. Si el conjunto de entrenamiento es mayor hay varias posibilidades:

1. Elegir de forma aleatoria los centros de las funciones a partir del conjunto de datos de entrenamiento.
2. Asociar a cada centro una funcin de base radial de acuerdo con el algoritmo denominado K medias(Kmeans). 3. Emplear el erro cuadrtico medio.

Aplicaciones de las RNA

Las RNA con aprendizaje supervisado son aplicadas a campos muy diversos y de forma creciente. Se utilizan para problemas de clasificacin, regresin, compresin de datos, optimizacin, control, etc. Respecto a los campos de aplicacin son todos aquellos en los que puedan hacer falta modelos supervisados con alta expresividad. Por ejemplo, las redes neuronales se han utilizado en muy diversos campos, como la prediccin de mercados financieros, la clasificacin de dgitos escritos a mano, control de robots, la teledeteccion,etc.

Aprendizaje no supervisado en RNA

Se caracteriza por descubrir modelos o caractersticas significativas a partir nicamente de los datos de entrada. No existe un valor de salida o una clase para cada instancia, con la que poder contrastar la diferencia (obtener el error). El objetivo de este aprendizaje es imitar el aspecto de la capacidad humana. Tiende a usar mtodos biolgicamente plausibles a diferencia de aquellos que emplean mtodos basados en el descenso del gradiente. La red debe auto-organizarse y, para hacer esto, debe actuar ante algunos aspectos del conjunto de entrada como pueden ser la existencia de redundancia o grupos en el conjunto de datos. Por tanto, debe haber algn tipo de estructura en los datos ante la cual pueda responder.

 Para el aprendizaje no supervisado con redes neuronales, se utilizan dos mtodos principalmente:
Aprendizaje de Hebb, se usa para obtener proyecciones o compresiones optimas de conjuntos de datos, de modo similar al anlisis de componentes principales. Aprendizaje competitivo, que se utiliza principalmente para agrupar conjuntos de datos (clustering).

Aprendizaje de Hebb

Denominado as debido a Donald Hebb quien en 1949 conjeturo: Cuando un axn de una clula A esta prximo a excitar una clula B y repetida o persistentemente toma parte en su activacin, un proceso de crecimiento o cambio de metabolismo tiene lugar en una o ambas clulas de manera que la eficiencia de la neurona A como una de las clulas que participa en la activacin de B, aumenta.

Aprendizaje competitivo
En el aprendizaje competitivo tiene lugar una competicin entre las neuronas de la capa de salida para decidir cual se activa. Estas neuronas de la capa de salida se denominan con frecuencia winner-take-all o la ganadora toma todo. El objetivo de este aprendizaje es agrupar conjuntos de datos. El mecanismo basico de aprendizaje competitivo simple es encontrar una neurona ganadora y actualizar los pesos para hacer que esta tenga mas probabilidad de ganar cuando una entrada similar se presente a la red.

 Las tres variaciones mas importantes del aprendizaje competitivo son: Learning Vector Quantisation (LVQ)

Modelos ART (Adaptive Resonance Theory)

Mapas auto-organizados

Mapa de caractersticas o autoorganizados de Kohonen

El espacio de caractersticas se basa en la disposicin fsica de las neuronas de salida para modelar algunas caractersticas del espacio de entrada. Si dos entradas 1 y 2 estn prximas entre si son respecto a alguna medida en el espacio de entradas, y causan la activacin de las neuronas de salida e respectivamente, entonces e deben estar prximos entres si respecto a algn tipo de composicin o disposicin de las neuronas de salida. Si e estn prximas en la capa de salida, entonces las entradas que las producen deben estar tambin prximas en el espacio de entradas.

 Cuando se cumplen estas condiciones estamos ante un mapa de caractersticas o mapas que preservan la topologa. Algunos ejemplos biolgicos de estos tipos de mapas son:
El mapa retinotpico, cuya entrada procede de la retina y proyecta en el crtex visual. El mapa somatosensorio, la entrada se corresponde con los centros de tacto de la piel y proyecta en el crtex somatosensorio. El mapa tonotpico, que proyecta las respuestas de nuestro odo en el crtex auditivo

 El algoritmo de Kohonen es bastante sencillo. La red esta constituida por dos capas y tiene lugar una competicin entre las neuronas de la capa de salida.

 Una funcin tpica es la diferencia de gaussianas o, por su forma denominada Sombrero Mexicano. Esta funcin es muy til ya que permite incrementar los pesos de las neuronas prximas a la ganadora, (excitacin), y reducir los pesos de aquellas que estn a cierta distancia (inhibicin). Los pesos de las neuronas que estn mas alejadas no sufren cambios, de ah la forma de la funcin.

Sistemas, aplicabilidad y recomendaciones de uso

Existen infinidad de paquetes y herramientas para utilizar redes neuronales.
Por ejemplo, el simulador de redes neuronales SNNS (Simulador de Redes Neuronales Stuttgart). Su objetivo es la creacion de un entorno eficiente y flexible que permita simular la actuacion de diferentes redes neuronales. Otros ejmplos son Toolbox de Matlab, NeuralPlanner, NeuronalDiet o Easy NN.

 Herramientas generales que incorporan tcnicas de redes neuronales: Weka y Clementine.

La mayora de los paquetes genricos de minera de datos, incorporan al menos retropropagacin y mapas de Kohonen o los RBF.
Estos paquetes genricos son recomendables para los principiantes en redes neuronales, y que permiten utilizar parmetros y topologas por defecto, con resultados muy aceptables. Las herramientas especificas son mas recomendables cuando ya se tiene un mayor conocimiento y experiencia sobre redes neuronales y se desea obtener todo su potencial, mediante una eleccin precisa de los algoritmos, las topologas y los parmetros.