Descubriendo la Inteligencia Artificial - 160

Grafos

Procesos de
Decisión de
Markov 01
Descubriendo la Inteligencia Artificial - 160

Procesos de Decisión de Markov

Markov Decision Processes (MDP)

No
Observabilidad Determinista
Determinista

Búsquedas
Total MDP
en Grafos
Búsqueda
Parcial Limitada POMDP
en Grafos
Descubriendo la Inteligencia Artificial - 160

Entornos Secuenciales
- Problema de la Decisión Secuencial:
la utilidad depende de una secuencia
de acciones (entorno secuencial)
en vez de una única acción
(entorno episódico).
- Utilidad: suma de recompensas
obtenidas a lo largo de la
secuencia de acciones.
Descubriendo la Inteligencia Artificial - 160

MiniMax
Podemos ver el no determinismo como
un adversario que no sabemos qué
va a hacer. MAX 3

MIN 3 2 2

3 12 8 2 4 6 14 5 2
Descubriendo la Inteligencia Artificial - 160

ExpectiMax
Pero si que podemos calcular las
probabilidades de que se realicen
ciertas acciones: MAX

NODO-Q ? ?

P1 P2 P3

3 12 8 2 4 6 14 5 2
Descubriendo la Inteligencia Artificial - 160

Nodos-Q
Nodos MIN → Función Mínimo.
Nodos-Q → Suma Ponderada: Σ Pi·Ui
6.7 MAX

6.7 NODO-Q 4.0 4.7

0.5 0.3 0.1 0.8 0.2 0.1

0.2 0.1 0.7

3 12 8 2 4 6 14 5 2
Descubriendo la Inteligencia Artificial - 160

Ventajas
Sensible a la escala de la utilidad:
10 54.5

10 9 10.0 54.5
MIN NODO-Q
0.5 0.5 0.5 0.5

10 10 9 100 10 10 9 100
Descubriendo la Inteligencia Artificial - 160

Desventajas
- Sigue teniendo costes exponenciales.
- No se puede podar.
- Estados y cálculos repetidos.
- Sólo indica la siguiente acción a
realizar, pero no indica una política,
es decir, asociar a cada estado con
una acción predeterminada.
Solución: MDP (óptimo si usa MUE).
Descubriendo la Inteligencia Artificial - 160

Despedida
- ¡Participa y Colabora!
- Dale a “Me Gusta”
- Suscríbete al Canal
- Deja tus Comentarios

José Luis Iglesias Feria