Inteligencia Artificial

(W0I9)

Sesin: 3
Aprendizaje Automtico
MSc. Ing. Jos C. Bentez P.
Sesin 3. Tipos de aprendizaje

Objetivo de la IA.
Aprendizaje automtico.
Sistema de aprendizaje.
Inteligencia.
Aprendizaje.
Tipo de aprendizaje
Algoritmo de aprendizaje.
Tipos de aprendizaje.

2
Objetivo de la IA

Construir un sistema que

aprenda ha sido tradicionalmente
uno de los objetivos ms
escurridizos de la IA.

3
Aprendizaje Automtico (AA)
Definiciones:
Significa cambios adaptativos en el sistema: permite que el
sistema ejecute la misma tarea con mayor eficacia para la
siguiente ocasin. (Herbert Simun).
Construir o modificar representaciones de aquello con lo que
se experimenta (estmulos sensoriales, procesos cognitivos,
etc.) (Ryszard Michalski).
Es un proceso de adaptacin a un entorno, el cual no tiene
porque ser fsico, sino que puede (y es lo normal) estar
formado por estructuras que se refieran a conocimiento.
La creacin y manipulacin de representaciones que den
sentido a lo aprendido, y que sean capaces de explicarlo o de
permitir su interpretacin.
4
Sistema de Aprendizaje

5
Inteligencia
Desde el punto de vista de los Redes Neuronales Artificiales
(Sistema Conexionistas):

Elementos Variables: Pesos y bias

La modificacin dinmica de los pesos (Wi) y

bias es la verdadera esencia del aprendizaje
En el nivel de una simple UP, este reajustamiento de pesos y bias
no significa mucho, pero cuando muchas UP lo realizan
colectivamente, se dice que representa a la Inteligencia.

6
Aprendizaje

Definicin:
Aprendizaje es un proceso por el cual los
parmetros libres (pesos y bias) de una
red neuronal son ajustados a travs de un
proceso continuo de estimulacin por
parte del entorno en donde se sita el
sistema.

7
Aprendizaje
Definicin:
Esta definicin implica la siguiente secuencia de hechos:
La RNA se encuentra estimulada por el entorno.
La RNA cambia como consecuencia de dicho
estmulo.
La RNA responde de manera diferente al entorno
a causa de los cambios que se han producido en
su estructura interna.

8
Tipo de Aprendizaje

Definiciones:
El tipo de aprendizaje es determinado
por la forma o manera que tienen
lugar dichos cambios.
La ecuacin que especifica como
cambian los pesos, recibe el nombre
de Ley de Aprendizaje.

9
Tipos de Aprendizaje

Aprendizaje Supervisado.
Aprendizaje Sin Supervisar.

10
Aprendizaje Supervisado

Necesita de un profesor para que entrene y mida

el funcionamiento del sistema.

Tipos de AS:
Aprendizaje por Correccin de Error.
Aprendizaje por Refuerzo.
Aprendizaje Estocstico.

11
Aprendizaje sin Supervisar

No se necesita profesor.
El sistema debe organizarse a si
mismo y por si slo.
Aprendizaje por Hecho.

12
Tipos de Aprendizaje Supervisado

1. Aprendizaje por Correccin de Error.

2. Aprendizaje por Refuerzo.
3. Aprendizaje Estocstico.

13
1. Aprendizaje por correccin de error
El entrenamiento consiste en presentar al sistema un
conjunto de pares de datos, representado la entrada y la
salida deseada para dicha entrada.
Este conjunto recibe el nombre de conjunto de
entrenamiento (CE).

14
1. Aprendizaje por correccin de error

Objetivo:
Se trata de minimizar el Error entre la Salida
Deseada y la Actual.
Aprendizaje OFF Line

15
1. Aprendizaje por correccin de error

Mtodo:
1. Inicializar aleatoriamente los pesos.
2. Presentacin del conjunto de entrenamiento (CE).
3. Obtencin de las salidas para el CE.
4. Comparacin de salidas deseadas con actuales.
5. Si se verifica el criterio de finalizacin ir al siguiente
paso, sino ir al paso 2.
6. Fin.

16
1. Aprendizaje por correccin de error

17
2. Aprendizaje por Refuerzo

Aprendizaje mas lento que el anterior.

No se dispone de un ejemplo completo del
comportamiento deseado.
No se conoce la salida deseada exacta para
cada entrada.
Se conoce como debera de ser el
comportamiento de manera general ante
diferentes entradas.

18
2. Aprendizaje por Refuerzo
Es un aprendizaje ON Line.
Relacin de entrada-salida a travs de un proceso de
xito o fracaso, produciendo una seal (Seal de
Refuerzo) que mide el buen funcionamiento del sistema.
Esta Seal de Refuerzo est caracterizada por el hecho de
que es menos informativa que en el caso de aprendizaje
supervisado mediante ejemplos.
Barto, Sutton y Anderson han formulado el Aprendizaje
por Refuerzo como una estrategia de aprendizaje en
donde no se necesita un conjunto de ejemplos evaluados
por un profesor.

19
2. Aprendizaje por Refuerzo
El sistema descrito por Barto explora el espacio entrada-
salida y usa una seal de refuerzo (feedback) sobre las
consecuencias de la seal de control (salida de la red)
sobre el entorno.
Los pesos se ajustan en base a la seal de refuerzo
basndose en un mecanismo de probabilidades.
Si una accin tomada por el sistema de aprendizaje es
seguida por un estado satisfactorio, entonces la tendencia
del sistema a producir esa particular accin es reforzada.
En otro caso, la tendencia del sistema a producir dicha
accin es disminuida.

20
2. Aprendizaje por Refuerzo

La funcin del supervisor es ms la de un crtico que la de

un maestro.
Dado un conjunto de entrenamiento (X,R)
xi=(x1, , xn) ri { -1, 1}
Salida obtenida por la red para el patrn i:
yi=(y1, , yn)
No se trata de asociar X con R.
R evala si la salida producida por la red es correcta o no.

21
2. Aprendizaje por Refuerzo
Elementos bsicos
ASE: Elemento de Bsqueda Asociativa
Utiliza un mtodo estocstico para determinar la relacin
correcta entre la entrada y la salida.
ACE: Elemento Adaptivo Crtico
Aprende a dar una prediccin correcta de la futura salida.
La seal externa de refuerzo suele generarse mediante un
sensor especial o puede ser obtenida a partir de un vector de
estado.

22
2. Aprendizaje por Refuerzo

23
 3. Aprendizaje Estocstico

El aprendizaje estocstico consiste bsicamente en

realizar cambios aleatorios en los valores de los pesos y
evaluar su efecto a partir del objetivo deseado y de
distribuciones de probabilidad.
Simil: Red Neuronal Slido fsico (estados energticos)
Estado de mnima energa:
Valores de pesos con los que la estructura se ajusta al
objetivo deseado.
Es utilizado por la Mquina de Boltzmann y la Mquina
de Cauchy.
24
3. Aprendizaje Estocstico

Proceso:
Se realiza un cambio aleatorio en los Pesos.
Se determina la nueva energa de la red.
Energa?
Si decrece: se acepta el cambio.
Si no decrece: se aceptara el cambio en
funcin de una determinada y preestablecida
distribucin de probabilidades.

25
Aprendizaje sin Supervisar

Las redes con aprendizaje no supervisado, conocido

tambin como AutoSupervisado, no requieren
influencia externa para ajustar los pesos de las
conexiones entre sus neuronas.
La red no recibe ninguna informacin por parte del
entorno que le indique si la salida generada en
respuesta a una determinada entrada es o no correcta;
por ello, suele decirse que stas redes son capaces de
autoorganizarse.
Concepto asociado al aprendizaje sin supervisar es el de
Aprendizaje Competitivo.
26
Aprendizaje sin Supervisar

El funcionamiento de estas redes se basa en el

anlisis del conjunto de datos de entrada y en la
bsqueda de:
- Caractersticas.
- Regularidades.
- Correlaciones.
- Categoras

27
Aprendizaje sin Supervisar
Interpretacin de las salidas
Dependen de la estructura y el algoritmo.
Grado de familiaridad o similitud:
Entre informacin actual e informacin pasada.
Clusterizacin:
Establecimiento de categoras o clases. La red se encarga de
encontrar las caractersticas o propiedades propias de cada
clase.
Codificacin:
Proporciona una versin codificada de la entrada.
Mapeo de caractersticas (feature mapping):
Las UPs de la capa de salida se disponen geomtricamente,
representando un mapa topogrfico de las caractersticas de
los datos de entrada. Entradas parecidas => Activacin de
neuronas prximas. 28
Preguntas
Al trmino de la experiencia de aprendizaje el alumno debe ser
capaz de responder las siguientes preguntas:
1. Cul es el objetivo mas investigado de la IA?
2. En que consiste el aprendizaje automtico?.
3. Graficar la estructura general de un sistema de aprendizaje.
4. Cul es el otro nombre de las RNA?.
5. Cul es la esencia del aprendizaje?.
6. Qu representa a la inteligencia?.
7. Qu es aprendizaje?.
8. Qu es el algoritmo de entrenamiento?.
9. Qu es la ley de aprendizaje?.
10. Hacer un cuadro sinptico de la clasificacin del AA.
11. Indicar tres caractersticas de cada tipo de aprendizaje.
12. Listar cuatro usos del aprendizaje sin supervisar.
29
Sesin 3. Aprendizaje automtico

Inteligencia Artificial

http://utpiayse.blogspot.com
30