UVA UVA 1 1

Introduccin a las
Redes Neuronales Artificiales
UVA UVA 2 2
Sumario
Introduccin Introduccin
reas de Trabajo reas de Trabajo
Decodificacin Neuronal Decodificacin Neuronal
Modelado Neuronal Modelado Neuronal
Implementaciones Implementaciones
Aplicaciones Aplicaciones
Conclusiones Conclusiones
UVA UVA 3 3
Introduccin
Entender el cerebro y emular su potencia Entender el cerebro y emular su potencia
Cerebro: Cerebro:
Gran velocidad de proceso Gran velocidad de proceso
Tratamiento de grandes cantidades de Tratamiento de grandes cantidades de
informacin procedentes de: informacin procedentes de:
Los sentidos Los sentidos
Memoria almacenada Memoria almacenada
Capacidad de tratar situaciones nuevas Capacidad de tratar situaciones nuevas
Capacidad de aprendizaje Capacidad de aprendizaje
UVA UVA 4 4
RN en la IA
Ramas de la IA en sus inicios: Ramas de la IA en sus inicios:
Simblica Simblica- -deductiva: deductiva:
Sistemas formales de reglas y manipulacin Sistemas formales de reglas y manipulacin
simblica simblica
Rama mas conocida de la IA Rama mas conocida de la IA
Conexionista Conexionista: :
Inspirada en las redes neuronales biolgicas Inspirada en las redes neuronales biolgicas
Mtodos Inductivos: a partir de ejemplos Mtodos Inductivos: a partir de ejemplos
Ambas tratan de resolver problemas no Ambas tratan de resolver problemas no algoritmicos algoritmicos a partir a partir
de la experiencia almacenada como conocimiento de la experiencia almacenada como conocimiento
UVA UVA 5 5
Comparacin de Paradigmas
Conexionista Conexionista vs. vs. Von Von Neumann Neumann
Masivamente paralelo Masivamente paralelo
Datos y programa Datos y programa
indiferenciable indiferenciable en las en las
conexiones conexiones
Solucin inducida por Solucin inducida por
aprendizaje aprendizaje
Impredicibilidad Impredicibilidad de de
resultados resultados
Gran tolerancia a fallos Gran tolerancia a fallos
Arquitectura secuencial Arquitectura secuencial
Separa claramente datos Separa claramente datos
del programa en la del programa en la
memoria memoria
Solucin como algoritmo Solucin como algoritmo
o programa introducido o programa introducido
Resultados totalmente Resultados totalmente
predecibles predecibles
No tolera errores No tolera errores
UVA UVA 6 6
reas de Trabajo
Decodificacin Neuronal Decodificacin Neuronal
Extraer los mecanismos con que los seres vivos Extraer los mecanismos con que los seres vivos
codifican su informacin codifican su informacin
Modelado Neuronal Modelado Neuronal
Proponer y validar modelos de funcionamiento de Proponer y validar modelos de funcionamiento de
arquitecturas neuronales arquitecturas neuronales
Implementaciones Implementaciones
Construccin de modelos neuronales Construccin de modelos neuronales
Aplicaciones Aplicaciones
Desarrollo de aplicaciones basadas en tcnicas Desarrollo de aplicaciones basadas en tcnicas
conexionistas conexionistas
UVA UVA 7 7
reas de Trabajo
Relaciones
Dedodificiacin
Neuronal
Aplicaciones
Impelmentaciones
Modelado
Neuronal
UVA UVA 8 8
Decodificacin Neuronal
Don Santiago Ramn y Don Santiago Ramn y Cajal Cajal
(1852 (1852- -1934) 1934)
Todo hombre puede ser, si se lo propone, Todo hombre puede ser, si se lo propone,
escultor de su propio cerebro escultor de su propio cerebro
UVA UVA 9 9
Decodificacin Neuronal
Neuronas: Neuronas:
rbol dendrtico de rbol dendrtico de
entradas entradas
Un axn de salida Un axn de salida
Sobre de10 Sobre de10
4 4
sinapsis sinapsis
Comunicacin mediante Comunicacin mediante
Potenciales de Accin Potenciales de Accin
Periodo refractario de10 Periodo refractario de10
- -3 3
segundos entre segundos entre PAs PAs
UVA UVA 10 10
Decodificacin Neuronal
Transmisin neuronal: Transmisin neuronal:
Impulso elctrico que Impulso elctrico que
viaja por el axn viaja por el axn
Liberacin de Liberacin de
neurotransmisores neurotransmisores
Apertura/cierre de Apertura/cierre de
canales inicos canales inicos
Variacin potencial en Variacin potencial en
dendrita dendrita
Integracin de entradas Integracin de entradas
en soma en soma
Si se supera umbral de Si se supera umbral de
disparo se genera nuevo disparo se genera nuevo
potencial de accin potencial de accin
UVA UVA 11 11
Decodificacin Neuronal
Red Neuronal Biolgica: Red Neuronal Biolgica:
de 10 de 10
10 10
a 10 a 10
11 11
neuronas neuronas
10 10
15 15
sinapsis sinapsis
Organizacin por capas Organizacin por capas
Organizacin por niveles: Organizacin por niveles:
Sistema Nervioso Sistema Nervioso
Central Central
Circuitos entre regiones Circuitos entre regiones
Circuitos locales Circuitos locales
Neuronas Neuronas
rboles dendrticos rboles dendrticos
Microcircuitos Microcircuitos
neuronales neuronales
Sinapsis Sinapsis
Canales inicos Canales inicos
Molculas Molculas
UVA UVA 12 12
Decodificacin Neuronal
Caractersticas SN: Caractersticas SN:
Inclinacin a adquirir Inclinacin a adquirir
conocimiento desde la conocimiento desde la
experiencia experiencia
Conocimiento Conocimiento
almacenado en almacenado en
conexiones sinpticas conexiones sinpticas
Gran plasticidad neuronal Gran plasticidad neuronal
Comportamiento Comportamiento
altamente no altamente no- -lineal lineal
Alta tolerancia a fallos Alta tolerancia a fallos
(muerte neuronal) (muerte neuronal)
Apto para Apto para
reconocimiento, reconocimiento,
percepcin y control percepcin y control
UVA UVA 13 13
Modelado Neuronal
Enfoques: Enfoques:
Computacional: Computacional:
Modelos eficientes, potentes y simples Modelos eficientes, potentes y simples
reas de aprendizaje inductivo y reconocimiento de reas de aprendizaje inductivo y reconocimiento de
patrones patrones
Cognitivo: Cognitivo:
Interesado por capacidades cognitivas de los modelos Interesado por capacidades cognitivas de los modelos
Centrados en representacin del conocimiento Centrados en representacin del conocimiento
Biocognitivo Biocognitivo: :
Premisa la plausibilidad biolgica Premisa la plausibilidad biolgica
Psicofisiolgico Psicofisiolgico: :
Mecanismos naturales de procesos cognitivos reales Mecanismos naturales de procesos cognitivos reales
UVA UVA 14 14
Modelado Neuronal
Neurona Artificial: Neurona Artificial:
Grupo de entradas ( Grupo de entradas (x x) )
Pesos sinpticos ( Pesos sinpticos (w w) )
Funcin suma ( Funcin suma (net net) )
Funcin de activacin Funcin de activacin
( (act act) )
Una nica salida ( Una nica salida (y y) )
Funcionamiento en modo Funcionamiento en modo
aprendizaje o ejecucin aprendizaje o ejecucin

x
1
x
2
x
n
w
1,j
w
2,j
w
n,j
net
j
(t)
x
j
(t)

j
funcin
suma
funcin
de activacin
umbral (bias)
UVA UVA 15 15
Modelado Neuronal
Neurona Natural vs. Artificial: Neurona Natural vs. Artificial:
Neurona = Unidad de proceso Neurona = Unidad de proceso
Conexiones sinpticas = Conexiones sinpticas =
Conexiones Pesadas Conexiones Pesadas
Efectividad sinptica = Peso Efectividad sinptica = Peso
sinptico sinptico
Exitatorio Exitatorio/Inhibitorio = Pesos + /Inhibitorio = Pesos +
- -
Efecto combinado de sinapsis Efecto combinado de sinapsis
= Funcin suma = Funcin suma
Activacin Activacin- -> Ratio disparo = > Ratio disparo =
Funcin activacin Funcin activacin - -> salida > salida
UVA UVA 16 16
Modelado Neuronal
Neurona Formal de Neurona Formal de
Warren Warren McCulloch McCulloch
Walter Walter Pitts Pitts
In a few years, I will be just a pattern of neural activity In a few years, I will be just a pattern of neural activity
in in the the brains brains of of friends friends and and men men of of science science
UVA UVA 17 17
Modelado Neuronal
Arquitecturas Neuronales: Arquitecturas Neuronales:
Segn e/o/s Segn e/o/s
Nmero y tipo de entradas Nmero y tipo de entradas
Elementos ocultos Elementos ocultos
Elementos de salida Elementos de salida
Segn conectividad entre Segn conectividad entre
capas capas
Feedforward Feedforward (hacia (hacia
adelante) adelante)
Redes Recurrentes Redes Recurrentes
Estructuras Enrejadas Estructuras Enrejadas
( (Lattice Lattice) )
Capa de
entrada
Capa de
salida
Capa de
entrada
Capa de
salida
Capa
oculta
Capa de
salida
Capa
oculta
Monocapa feedforward
Multicapa feedforward
Multicapa feedforward
parcialmente conectada
UVA UVA 18 18
Modelado Neuronal
Arquitecturas Neuronales: Arquitecturas Neuronales:
Segn conexin entre Segn conexin entre
capas capas
Totalmente conectados Totalmente conectados
(full (full- -conexin) conexin)
Parcialmente conectados Parcialmente conectados
Conexin uno a uno Conexin uno a uno
Sincrona (actualizacin de Sincrona (actualizacin de
valores) valores)
Simultnea Simultnea
Aleatoria Aleatoria
Segn orden topolgico Segn orden topolgico
Recurrente con
interconexiones
laterales
Entradas
Salidas
Recurrente con
neuronas ocultas
UVA UVA 19 19
Modelado Neuronal
Aprendizaje: Aprendizaje:
Estimulacin de la RN por el entorno Estimulacin de la RN por el entorno
Cambios en la RN debido a estimulacin Cambios en la RN debido a estimulacin
Nueva forma de responder debido a cambios de la Nueva forma de responder debido a cambios de la
estructura interna de la RN estructura interna de la RN
UVA UVA 20 20
Modelado Neuronal
Paradigmas de aprendizaje: Paradigmas de aprendizaje:
Aprendizaje Aprendizaje Supervizado Supervizado
Aprendizaje por Reforzamiento Aprendizaje por Reforzamiento
Aprendizaje Auto Aprendizaje Auto- -organizado (No organizado (No Supervizado Supervizado) )
Precalculado o prefijado Precalculado o prefijado
UVA UVA 21 21
Modelado Neuronal
Aprendizaje Aprendizaje supervizado supervizado: :
Se presentan pares de patrones de entrada y Se presentan pares de patrones de entrada y
salida deseada salida deseada
Pasos: Pasos:
Fijar pesos aleatorios las conexiones Fijar pesos aleatorios las conexiones
Seleccionar par de entrenamiento Seleccionar par de entrenamiento
Presentar patrn de entrada y calcular salida Presentar patrn de entrada y calcular salida
Calcular error o discrepancia con la salida deseada Calcular error o discrepancia con la salida deseada
Aplicar regla de aprendizaje Aplicar regla de aprendizaje
Dudosa plausibilidad biolgica: Dudosa plausibilidad biolgica:
Requiere propagar informacin hacia atrs Requiere propagar informacin hacia atrs
Requiere de instructor Requiere de instructor
UVA UVA 22 22
Modelado Neuronal
Aprendizaje no Aprendizaje no supervizado supervizado: :
Se presentan slo patrones de entrada Se presentan slo patrones de entrada
Basado en la redundancia en las entradas Basado en la redundancia en las entradas
Aprendizaje extrae de los patrones: Aprendizaje extrae de los patrones:
Familiaridad con patrones tpicos o promedios del Familiaridad con patrones tpicos o promedios del
pasado pasado
Anlisis de las Componentes Principales Anlisis de las Componentes Principales
Clustering Clustering
Prototipos, correspondientes a las Prototipos, correspondientes a las categorias categorias existentes existentes
Codificacin Codificacin
Mapa de Caractersticas Mapa de Caractersticas
Grandes plausibilidades biolgicas Grandes plausibilidades biolgicas
UVA UVA 23 23
Modelado Neuronal
Tipos de reglas de aprendizaje: Tipos de reglas de aprendizaje:
Correccin del error Correccin del error
Optimizacin de la energa Optimizacin de la energa ( (Apr Apr. de . de Boltzmann Boltzmann) )
Hebbiano Hebbiano
Competitivo Competitivo
Otras clasificaciones: Otras clasificaciones:
Local vs. Global Local vs. Global
Por dato vs. por pocas Por dato vs. por pocas
Sncronos Sncronos vs. aleatorios vs. aleatorios
Valores iniciales de pesos Valores iniciales de pesos
UVA UVA 24 24
Implementaciones
Medio biolgico vs. medio silicio Medio biolgico vs. medio silicio
Velocidad: Velocidad:
Neuronas: 10 Neuronas: 10
- -3 3
s., Puertas lgicas: 10 s., Puertas lgicas: 10
- -9 9
s. s.
Tamao: Tamao:
Neuronas 5 6 rdenes de magnitud menores Neuronas 5 6 rdenes de magnitud menores
Eficiencia energtica: Eficiencia energtica:
Cerebro: 10 Cerebro: 10
- -16 16
J/ J/op op./s., mejores ordenadores: 10 ./s., mejores ordenadores: 10
- -6 6
Fan Fan- -In: In:
Promedio de 10.000 sinapsis por neurona, mucho mayor Promedio de 10.000 sinapsis por neurona, mucho mayor
que en silicio que en silicio
UVA UVA 25 25
Implementaciones
Neurosimuladores Neurosimuladores: :
Software: Software:
Flexibles Flexibles
Econmicos Econmicos
Hardware: Hardware:
Eficientes Eficientes
UVA UVA 26 26
Implementaciones
Modelos de Modelos de Neurosoftware Neurosoftware: :
Modelos especficos Modelos especficos
ntimamente ligados a un algoritmo concreto ntimamente ligados a un algoritmo concreto
Modelos tradicionales Modelos tradicionales
Inducidos por los modelos tradicionales de neuronas Inducidos por los modelos tradicionales de neuronas
Puede tener uno o varios niveles de descripcin: Puede tener uno o varios niveles de descripcin:
Red, capa, neurona y Red, capa, neurona y sinpsis sinpsis
Estilo de aprendizaje prefijado y sin niveles Estilo de aprendizaje prefijado y sin niveles
Marcos Jerrquicos Marcos Jerrquicos
Describen las redes mediante varios niveles no Describen las redes mediante varios niveles no
prefijados que forman una jerarqua de niveles prefijados que forman una jerarqua de niveles
La propiedad caracterstica principal es la La propiedad caracterstica principal es la recursividad recursividad
UVA UVA 27 27
Implementaciones
Neurosoftware Neurosoftware: :
Programacin directa Programacin directa
Libreras Libreras
Entornos de desarrollo Entornos de desarrollo
UVA UVA 28 28
Implementaciones
Tipos Tipos Neurosoftware Neurosoftware: :
Programacin directa Programacin directa
Libreras Libreras
Entornos de desarrollo Entornos de desarrollo
Caractersticas Caractersticas
deseables: deseables:
Facilidad de uso Facilidad de uso
Potencia Potencia
Eficiente Eficiente
Extensibilidad Extensibilidad
Posibilidades: Posibilidades:
Lenguaje y/o herramientas Lenguaje y/o herramientas
para modelar sistemas para modelar sistemas
Capacidad de especificar Capacidad de especificar
dinmicas dinmicas
Ejecucin de experimentos Ejecucin de experimentos
Adquisicin de datos Adquisicin de datos
Transmisin de seales de Transmisin de seales de
salida salida
Anlisis de resultados Anlisis de resultados
Visualizacin de resultados Visualizacin de resultados
Incorporacin en aplicaciones Incorporacin en aplicaciones
UVA UVA 29 29
Implementaciones
Neurohardware Neurohardware: :
VLSI analgico VLSI analgico
Opto Opto- -Electrnicos Electrnicos
Neuro Neuro- -Chips (VLSI Digital) Chips (VLSI Digital)
Neuro Neuro- -Tarjetas Tarjetas
Neuro Neuro- -Computadora Computadora
Mquinas paralelas de Mquinas paralelas de
propsito general propsito general
Biochips Biochips
Objetivo: Objetivo:
Acelerar fases de aprendizaje Acelerar fases de aprendizaje
y ejecucin y ejecucin
UVA UVA 30 30
Implementaciones
Biochips Biochips
UVA UVA 31 31
Aplicaciones
Fases de desarrollo: Fases de desarrollo:
Seleccin arquitectura neuronal Seleccin arquitectura neuronal
Seleccin/preproceso de patrones de Seleccin/preproceso de patrones de
entrada/salida entrada/salida
Aprendizaje Aprendizaje
Test Test
Validacin Validacin
Implantacin Implantacin
UVA UVA 32 32
Aplicaciones
Seleccin/preproceso de patrones Seleccin/preproceso de patrones
Codificacin e/s Codificacin e/s
Relacin e/s Relacin e/s
Leer salida para cada entrada Leer salida para cada entrada
Evolucin de la salida ante la entrada Evolucin de la salida ante la entrada
Preparacin de datos Preparacin de datos
Diseo de conjuntos de entrenamiento y Diseo de conjuntos de entrenamiento y testeo testeo
Longitud de la distribucin (Grandes conjuntos) Longitud de la distribucin (Grandes conjuntos)
Eliminacin de informacin redundante e irrelevante Eliminacin de informacin redundante e irrelevante
Centrado y normalizacin Centrado y normalizacin
Eliminacin de no Eliminacin de no- -linealidades conocidas linealidades conocidas
UVA UVA 33 33
Aplicaciones
Tipos de problemas abordables: Tipos de problemas abordables:
Aproximacin Aproximacin
Asociacin Asociacin
Clasificacin de Patrones Clasificacin de Patrones
Prediccin Prediccin
Control Control
En general: En general:
Difcil describir conocimiento/forma de resolverlos Difcil describir conocimiento/forma de resolverlos
Se dispone de una gran cantidad de ejemplos Se dispone de una gran cantidad de ejemplos
UVA UVA 34 34
Aplicaciones
Ejemplos de aplicaciones: Ejemplos de aplicaciones:
NETalk NETalk ( (Sejnowski Sejnowski & & Rosemberg Rosemberg): ):
A partir de textos escritos genera A partir de textos escritos genera gonemas gonemas
correspondientes. Mejoras durante aprendizaje correspondientes. Mejoras durante aprendizaje
Filtrado de Ruido: Filtrado de Ruido:
Placas matrculas Placas matrculas
Compresin de Imgenes: Compresin de Imgenes:
UVA UVA 35 35
Aplicaciones
Conteo de clulas: Conteo de clulas:
Clasificacin de Clasificacin de
glbulos blancos glbulos blancos
Inspeccin visual: Inspeccin visual:
Seguimiento de pupila Seguimiento de pupila
UVA UVA 36 36
Aplicaciones
Control de robots: Control de robots:
Cinemtica inversa Cinemtica inversa
Dinmica Dinmica
ALVINN: ALVINN:
Conduccin de Conduccin de
vehculo vehculo
UVA UVA 37 37
Aplicaciones
Airline Airline Marketing Marketing Tactician Tactician (AMT): (AMT):
Monitoriza y recomienda la reserva de Monitoriza y recomienda la reserva de
plazas plazas
Neuralstocks Neuralstocks: :
Servico Servico de predicciones financieras a de predicciones financieras a
corto plazo corto plazo
UVA UVA 38 38
Conclusiones
Futuro prometedor, si nos seguimos acercando a Futuro prometedor, si nos seguimos acercando a
las las caractersticias caractersticias de los organismos vivos: de los organismos vivos:
Evolucin, Computacin Colectiva, Manejo del Evolucin, Computacin Colectiva, Manejo del
Conocimiento, ... Conocimiento, ...
Natural Natural Computing Computing => => Soft Soft Computing Computing
Presente problemtico: dificultades de Presente problemtico: dificultades de
escalabilidad escalabilidad
Tal vez algunos parmetros de nuestros modelos son Tal vez algunos parmetros de nuestros modelos son
erroneos erroneos? ?
Tal vez no disponemos de la suficiente potencia Tal vez no disponemos de la suficiente potencia
informtica? informtica?
Tal vez nuestros modelos no han alcanzado la Tal vez nuestros modelos no han alcanzado la
suficiente complejidad? suficiente complejidad?
Tal vez nos falta en nuestros modelos algn concepto Tal vez nos falta en nuestros modelos algn concepto
fundamental? fundamental?