Validacin de modelos

Prof. Cesar de Prada

ISA-UVA
prada@autom.uva.es
Indice
Modelado
Estimacin de parmetros
Validacin de modelos
Modelos
Representacin aproximada de la realidad
Abstraccin: Incluimos solo aquellos aspectos y
relaciones que son de inters.
Usos de los modelos: diseo, entrenamiento, que
pasa si., decisiones,...
Distintos modelos de un proceso para distintas
aplicaciones
Como generarlos, resolverlos, utilizarlos, validarlos?
Depende del proceso, de la aplicacin, de las herramientas y
datos disponibles,
Qu es un modelo matemtico?
Conjunto de ecuaciones que relacionan las variables de
inters del proceso y representan adecuadamente su
comportamiento
Distintas formulaciones para distintos objetivos y tipos
de procesos
Obtenidas a partir de un conjunto de hiptesis y
suposiciones
Compromiso entre facilidad de uso en una aplicacin y
la exactitud de la representacin del mundo real
Representacin adecuada
Proceso
u
tiempo
y
tiempo
Modelo
y
m
tiempo
+ adecuacin y facilidad de uso en la
aplicacin
Como obtener modelos?
Mediante razonamientos,
usando leyes fsicas,
qumicas, etc
Mediante experimentacin
y anlisis de datos
Modelos de conocimiento
Se obtienen mediante razonamientos y la
aplicacin de principios de conservacin de
masa, energa, momento, etc. y otras leyes
particulares del dominio de aplicacin
Basados en un conjunto de hiptesis
Tienen validez general si se cumplen las
hiptesis de partida
Requieren conocimiento profundo del proceso
y de las leyes fisico-qumicas
Identificacin
El modelo se obtiene a partir de
datos experimentales de
entrada-salida del proceso
t
t
Y
U
U
Y
Proceso
Modelo
Modelos
+
Un modelo siempre es una mezcla de conocimiento y
de experimentacin
Modelos
Hiptesis
Modelado
Parametrizacin
Codificacin
Experimentacin
Lenguaje de
simulacin
Conocimiento
Experimentacin
Formulacin para
un fin
Se resuelve
adecuadamente?
Condiciones de
uso
Objetivos,
precisin,.. del
modelo
Todas las etapas
deben ser
validadas
Hiptesis
q
h
F
q
h
F
c
i

c
Fc qc
t d
Vc d
i
=
Mezcla perfecta Flujo pistn
)
F
V
t ( c )
Av
Ah
t ( c )
v
h
t ( c ) t ( c
i i i
= = =
Ejemplo: Depsito
Conservacin de masa

Acumulacin=
flujo entrada q - flujo salida F
m masa en el depsito
A seccin del depsito
densidad, k constante
q
h
F
Ecuacin diferencial
no-lineal
Ah V h k q
t d
h d
A
h k F h A m
F q
t d
m d
= =
= =
=
Ecuacin
algebraica
Parmetros
Modelos en variables de estado
) t ), t ( u , x ( g ) t ( y
) t , p ), t ( u ), t ( x ( f
dt
) t ( x d
=
=
Variables
manipuladas y
perturbaciones
Respuestas
observables
u
y
x
x Estados
p parmetros
Modelado
) t ), t ( u , x ( g ) t ( y
) t , p ), t ( u ), t ( x ( f
dt
) t ( x d
=
=
Determinacin de la estructura
del modelo
Determinacin del valor de sus
parmetros
Normalmente siempre aparecen alternativas en la formulacin del
modelo y es necesario escoger entre distintas estructuras
En la etapa de validacin pueden aplicarse distintos test para
elegir que eleccin fue mas adecuada
Parametrizacin
Los parmetros p del modelo pueden obtenerse
mediante bibliografa, documentacin, etc. pero
siempre hay parmetros cuyo valor no se puede
determinar de forma sencilla y precisa y que deben
ser estimados
) t ), t ( u , x ( g ) t ( y
) t , p ), t ( u ), t ( x ( f
dt
) t ( x d
=
=
Ejemplo: reactor qumico
V
dc
dt
Fc Fc Vke c
A
Ai A
E
RT
A
=

V
dc
dt
Fc Vke c
B
B
E
RT
A
= +

V c
dT
dt
F c T F c T UA T T
r r er
r
r r e ri r r er r r
r
= + ( )
V c
dT
dt
F c T F c T Vke c H UA T T
e e i e
E
RT
A r
= +

( )
Reactor
TT
AT
Refrigerante
Producto
A
AB
Parametrizacin (calibracin)
Reactor
TT
AT
Refrigerante
Producto
A
t
u
y
p
a

Modelo
u
y
p
La respuesta del
modelo ante las
mismas entradas
depende del valor
de los parmetros
p
b
Parametrizacin (calibracin)
t
u
y(p)
Modelo
u
y
p
Si hay N valores experimentales de
la salida se puede definir una
funcin de error como:
| |

= =
= =
N
1 t
2
m
N
1 t
2
) t , p , u ( y ) t ( y
N
1
) t ( e
N
1
J
Tambin pueden usarse otras
expresiones para J
Parametrizacin (calibracin)
| |

= =
= =
N
1 t
2
m
p
N
1 t
2
p p
) t , p , u ( y ) t ( y
N
1
min ) t ( e
N
1
min J min
V es normalmente una funcin no-lineal en los parmetros.
Puede resolverse por minimizacin numrica
Optimizacin
u
v
y
m
(p)
y
e(t)
p
Modelo
Proceso
Parametrizacin por optimizacin
| |
p p p
u(t)) g(x(t), (t) y )) t ( u ), t ( x ( f ) t ( x
) t , u , p ( y ) t ( y min J min
m
N
1 t
2
m
p
p

= =
=

=

Problema de optimizacin dinmica con restricciones

Entre los parmetros a estimar pueden incluirse tambin, junto
a los parmetros del modelo, estados iniciales desconocidos o
entradas no medidas (constantes o parametrizables)
Parametrizacin
| |

= =
= =
N
1 t
2
m
p
N
1 t
2
p p
) t , p , u ( y ) t ( y
N
1
min ) t ( e
N
1
min J min
Proceso
y
| | | | | |

=
+ +
N
1 t
2
3 m 2 3
2
2 m 2 2
2
1 m 1 1
p
) t , p ( y ) t ( y ) t , p ( y ) t ( y ) t , p ( y ) t ( y
N
1
min
Problemas de unidades y pesos relativos. Normalizacin
Si hay varias salidas a
ajustar:
Qu parmetros estimar
u
y
p
1

Es posible que, para un
mismo experimento, la
respuesta del modelo con
dos valores diferentes p
1
y p
2

de un parmetro, sea muy o
poco diferente
Solo debera escogerse un
parmetro p para la
optimizacin si la salida
presenta una sensibilidad
razonable ante cambios en p
p
2

Sensibilidad de las salidas
Sensibilidad del ndice J
| |
u(t)) g(x(t), (t) y )) t ( u ), t ( x ( f ) t ( x
) t , u , p ( y ) t ( y J
m
N
1 t
2
m
= =
=

j
mi
ij
p
) t ( y
) t ( S

=
j
p
J

Sensibilidad de la salida i del

modelo respecto al parmetro j
en relacin a un experimento
dado. Es funcin del tiempo
Sensibilidad del ndice J respecto
al parmetro j en relacin a un
experimento dado.
Resume el efecto durante todo
el tiempo del experimento
Sensibilidades
j
i
ij
p
) t ( y
) t ( S

=
Dificultad para comparar
sensibilidades debido a la
diferencia de unidades de cada
S
ij
. Deben usarse factores de
escala
j
i
i
j
ij
p
) t ( y
y
p
) t ( s

=
(
(
(
(

md 2 m 1 m
d 2 22 21
d 1 12 11
s s s
s s s
s s s

La norma de cada columna j de la

matriz de sensibilidades da una
idea de la importancia del
parmetro p
j
en el valor de las
salidas
Clculo de las sensibilidades
| |
u(t)) g(x(t), (t) y )) t ( u ), t ( x ( f ) t ( x
) t , u , p ( y ) t ( y J
m
N
1 t
2
m
= =
=

| |
p
g
p
x
x
g
p
y
p
f
p
x
x
f
p
x
dt
d
p
x
p
y
) t , u , p ( y ) t ( y 2
p
J
m
m
N
1 t
m

Pueden obtenerse mediante

cocientes de incrementos o
analticamente
Integrando esta ecuacin junto a
las del modelo, es posible obtener
la evolucin de x/p y por tanto
las sensibilidades
Clculo de las sensibilidades
Mediante cociente de incrementos, realizando
simulaciones del modelo
p
) t , p ( y ) t , p p ( y
p
) t ( y
) t ( S
i i
j
i
ij

=
Las sensibilidades dependen, lgicamente, del punto p en que
son evaluadas, y del experimento (a travs de las entradas)
que se considera
Identificabilidad
Independientemente del valor de la sensibilidad,
puede ocurrir que el efecto sobre la salida de un
cambio en un parmetro se anule por un cambio en
otro parmetro hecho simultneamente. Se dice
entonces que hay un grado de co-linealidad en las
sensibilidades frente a los parmetros, lo que
dificulta la identificacin
La identificabilidad es una propiedad estructural que
depende de cmo los parmetros aparecen en el
modelo, pero tambin de las medidas disponibles
Identificabilidad
V
dc
dt
Fc Vke c
B
B
E
RT
A
= +

Si E y R fueran desconocidas,
con medida de temperatura se
podra identificar el cociente
E/R pero no los trminos
individuales
Ejemplo: En un reactor, sin medida de temperatura,
los parmetros k y E, no pueden ser estimados
independientemente
s K
s
m
+

En el modelo de Monod, con datos limitados a

sustratos s pequeos, no es posible identificar
sino el cociente
m
/K
Identificabilidad
Examinando la matriz de sensibilidades, puede verse si
hay un cierto grado de co-linealidad a travs del rango
de (sub-bloques) de la misma
t
s
ij

s
ik

La co-linealidad dificulta la identificacin
(
(
(
(

md 2 m 1 m
d 2 22 21
d 1 12 11
s s s
s s s
s s s

Re-parametrizacin
A veces solo es posible identificar combinaciones de
parmetros, o se pueden hacer cambios de variables para
obtener una estructura mas sencilla de identificar.
Si se ha hecho una transformacin de los parmetros a estimar,
o se han hecho cambios de variable para facilitar la
identificabilidad o linealidad del modelo, debe tenerse en
cuenta que:
Las caractersticas estadsticas de las nuevas variables son
diferentes a las de los datos
Las regiones de confianza de los nuevos parmetros son
diferentes de las de los originales
Experimentos
Reactor
TT
T
Refrigerante
Producto
u
1

T
i

Reactante T
r

u
2

AT
Si hay varias entradas, los cambios en las mismas deben de
estar incorrelacionados para que el algoritmo de optimizacin
pueda distinguir los efectos de cada entrada en las salidas
Experimentos
) t ( u ) M M ( ) t ( u M ) t ( u M ) t ( y
2 2 1 2 2 1 1
+ = + =
Si se aplican seales proporcionales a las entradas, u
1
=u
2
,
simultaneamente, hay muchas combinaciones de los modelos
M
1
y M
2
que se ajustan a las mismas parejas de entradas y
salidas
Por otro lado, los experimentos deben cubrir el rango en
amplitud y frecuencia adecuado para excitar las dinmicas
fundamentales del proceso, y los valores de las sensibilidades
de J antes los parmetros a estimar deben presentar unos
valores razonables.
En caso contrario debe repetirse el experimento
Experimentos
Reactor
TT
T
Refrigerante
Producto
u
1

T
i

Reactante T
r

u
2

AT
Excitar solo una entrada manteniendo las otras constantes y
luego hacer lo mismo con las otras, no es una buena poltica:
alarga el tiempo del experimento y no proporciona datos en
condiciones realistas de funcionamiento
Diseo de experimentos
Cabe preguntarse cual es el experimento que mejor facilita la
estimacin de los parmetros de un modelo
| | | | ) t , u , p ( y ) t ( y Q ' ) t , u , p ( y ) t ( y J
m
N
1 t
m
=

=
{ }

= =
+
(
(

|
.
|

\
|

|
.
|

\
|

+
N
1 t
N
1 t
m
'
m
*
) CQ ( tr p
p
) t ( y
Q
p
) t ( y
' p ) p J(p E
Contexto
Multivariable
Si se hace un desarrollo de 2 orden de J en torno al valor ptimo
p
*
de los parmetros (para cuyo valor J /p=0)
Con C la matriz de covarianza del ruido de las medidas.
Se suele escoger Q=C
-1

Diseo de experimentos
Para facilitar la estimacin, interesa que J (p
*
+p) sea lo
mayor posible, de modo que unos parmetros distintos del
ptimo den un valor de J significativamente mayor
Para ello puede disearse un experimento que maximice la
matriz de Informacin de Fisher (o alguna norma o funcin
asociada):
(
(

|
.
|

\
|

|
.
|

\
|

=
N
1 t
m
'
m
p
) t ( y
Q
p
) t ( y
{ }

= =
+
(
(

|
.
|

\
|

|
.
|

\
|

+
N
1 t
N
1 t
m
'
m
*
) CQ ( tr p
p
) t ( y
Q
p
) t ( y
' p ) p J(p E
FIM
Si no hay dependencia lineal entre las sensibilidades, la
matriz de informacin de Fisher debe ser de rango completo.
El cociente entre el mximo y mnimo valor propio de la FIM
de por tanto una medida de la identificabilidad de los
parmetros de un modelo con un experimento dado.
(
(

|
.
|

\
|

|
.
|

\
|

=
N
1 t
m
'
m
p
) t ( y
Q
p
) t ( y
Parametrizacin por optimizacin
| |
p p p
u(t)) g(x(t), (t) y )) t ( u ), t ( x ( f ) t ( x
) t , u , p ( y ) t ( y J min
m
N
1 t
2
m
p

= =
=

Eleccin del tipo de ndice J

Problemas de resolucin numrica
Simulacin
Resolucin directa
Problemas de estimacin de estados
Otras funciones objetivo J
Maximum Likelihood (ML)
Para un valor de los parmetros p, cual es la probabilidad de
que los resultados del modelo coincidan con los datos
experimentales? Se plantea la estimacin como encontrar p de
modo que se maximice esa probabilidad
) p | ) N ( y ) N ( y ),...., 1 ( y ) 1 ( y ), 0 ( y ) 0 ( y ( P max
m m m
p
= = =
Se suele formular como
)) p | ) N ( y ) N ( y ),...., 1 ( y ) 1 ( y ), 0 ( y ) 0 ( y ( P ln( min
m m m
p
= = =
Mnimos cuadrados
ponderados (WLS)
Si los datos experimentales estn distribuidos de forma
normal en torno a las predicciones del modelo y son
independientes, la probabilidad de obtener como salida del
modelo los datos experimentales es:
|
|
.
|

\
|
|
.
|

\
|

=
= = =

= =
N
1 t
2
m
N
1 t
m m
) t (
) p , y ( y ) t ( y
2
1
exp
) t ( 2
1
) p | ) N ( y ) N ( y ),..., 1 ( y ) 1 ( y ( L
Tomando neperianos, maximizar esta funcin equivale a
( )

N
1 t
2
m
2
p
) p , t ( y ) t ( y
) t (
1
min

2
varianza del
error de medida
WLS
( )

=
N
1 t
2
m
2
p
) p , t ( y ) t ( y
) t (
1
min ) p ( J
Si los errores son independientes y estn de verdad distribuidos
normalmente, J (p) debe seguir una distribucin
2
con N-d grados
de libertad
Puede usarse como un test de las hiptesis anteriores o de la
bondad del modelo
Otras funciones objetivo

=

N
1 t
m
p
) p , t ( y ) t ( y min
Norma 1
Pesa por igual todos los
errores
) p , t ( y ) t ( y max min
m
t p

Norma
minimiza el mayor de los
errores
Resolucin con simulacin
Simulacin desde 1 a N
para calcular J (p)
Optimizador
p J
u(t), y(t)
| |
p p p
u(t)) g(x(t), (t) y )) t ( u ), t ( x ( f ) t ( x
) t , u , p ( y ) t ( y J min
m
N
1 t
2
m
p

= =
=

Minimizacin de funciones
J ()

k+1
=
k
+d
k

1

Mtodos iterativos
d direccin de bsqueda
longitud del paso
d
k
Restricciones en p
Resolucin por Discretizacin
| |
p p p
.....
1))))) u(t 2), g(x(t 2) y(t )) 2 t ( u ), 2 t ( x ( f ) 3 t ( x
1)) u(t 1), g(x(t 1) y(t )) 1 t ( u ), 1 t ( x ( f ) 2 t ( x
u(t) g(x(t), y(t) )) t ( u ), t ( x ( f ) 1 t ( x
) t , u , p ( y ) t ( y
x , p
J min
N
1 j
2
m

+ + = + + + = +
+ + = + + + = +
= = +
=

=
Se incrementa el nmero de variables de decisin con los estados
Es posible imponer restricciones sobre el estado
Resolucin con SQP / IP
La discretizacin puede ser difcil
Optimizacin local / global
Muchos mtodos de
optimizacin
conducen a
soluciones locales que
no proporcionan los
mejores valores de
los parmetros
Conviene utilizar mtodos globales:
Estocasticos (algoritmos genticos, etc.)
Deterministas (-BB)
Varianza de las estimas
Una vez que se ha aplicado un procedimiento de optimizacin y se
han obtenido unos parmetros ptimos p
*
, es importante
determinar el grado de confianza en los mismos.
Matriz de covarianza
Regiones de confianza de los parmetros
Isodistancias
En el caso de estimacin no lineal muchas de las medidas de la
imprecisin son aproximadas
Covarianza del error
(
(

|
.
|

\
|

|
.
|

\
|

=

=
N
1 t
m
'
m
p
) t ( y
Q
p
) t ( y
F
La matriz de informacin de Fisher es la inversa de la matriz de
covarianza del error de estimacin de los parmetros, calculados con
el mejor estimador lineal no sesgado.
Esta medida supone que los errores son solo de medida. Una
expresin de la matriz de covarianza de los errores de estimacin
(para el caso de una sola salida en el ajuste) mas ajustada viene dada
por:
1
*
F
d N
) p ( J
V

=
Regiones de confianza
{ }

= =
+
(
(

|
.
|

\
|

|
.
|

\
|

+
N
1 t
N
1 t
m
'
m
*
) CQ ( tr p
p
) t ( y
Q
p
) t ( y
' p ) p J(p E
Conocida la matriz de Fisher, la expresin:
Permite el clculo aproximado de regiones de confianza de los
parmetros estimados que pueden dibujarse como elipses
cuyos ejes coinciden on los vectores propios de la FIM
Intervalos de confianza
Estimada V, es posible determinar intervalos de confianza para
cada parmetro, para un determinado nivel de confianza:
ii
ii
V 035 . 3 p
V 147 . 2 p

90%
99%
Aunque en un entorno multiparamtrico deben tomarse con cierta
reserva, pues la regin de confianza conjunta no equivale a la caja
resultante de la individual de cada parmetro
Conjuntos de parmetros
factibles
y
Datos
experimentales
Limites
Respuesta
admisible
p
2

p
1

Se define una respuesta aceptable del modelo (por ejemplo con
bandas de error, o un valor mximo aceptable de J .
Se generan aleatoriamente valores de p dentro de un rango y se
hace la simulacin del modelo con los mismos.
Se incorporan al conjunto de parmetros aceptables los que
cumplen el criterio, definiendo la regin buscada
Conjunto
factible
Zona de
busqueda
Identificacin Global
| |

= =
= =
N
1 t
2
m
N
1 t
2
) , t ( y ) t ( y (
N
1
) t ( e
N
1
J
Criterio de minimizacin del error :Dado un conjunto de
datos experimentales u(t), y(t), buscar los parmetros
que minimizan la funcin de coste J :

Proceso
u
v
Modelo
y
y
m
e(t)
m
Identificacin global
| |

=
=
N
1 t
2
) t ( u ) ( M ) t ( y (
N
1
J

2
Isodistancia:
Lugar geomtrico de los
puntos del espacio
paramtrico con igual
valor de J
Todos los modelos sobre una isodistancia tienen la misma
validez respecto al criterio de suma de cuadrados de errores
. cte J ) ( f = =
Identificacin global

2
Isodistancia experimento 2
Isodistancia experimento 1
Modelos que explican
ambos experimentos
Las isodistancias dependen de los datos experimentales y
del nivel de exactitud J elegido
Isodistancias

2
Informan sobre la calidad de
los parmetros, y el rediseo de
experimentos

2
Exp 1
Exp 2
Nivel de calidad no
compatible con los
experimentos
Clculo de Isodistancias

+
=
N
1 t
2
1
1
) t ( u
aq 1
Kq
) t ( y (
N
1
J
a
x
x
Para cada valor de a
se resuelve una ecuacin
de segundo grado para
obtener el correspondiente
valor de K
Ejemplo con un modelo
sencillo de primer orden
Regiones de confianza
En un caso mas general, la construccin de isodistancias es
compleja. Una forma de construir las curvas de un criterio
dado, p.e. con un nivel de confianza del 100(1-) %, o sea,
los puntos para los que
) F
d N
d
1 )( p ( J J
d N , d ,
*

+ =
es establecer una regin
amplia y partiendo de puntos
del contorno, optimizar hasta
que J alcanza ese valor
F: distribucin F con d
y N-d grados de
libertad y nivel
Parametrizacin / Metodologa
Toma de datos experimentales (separar los de
calibracin y validacin)
Anlisis y depuracin de los datos
Seleccin de los parmetros a estimar
Identificabilidad estructural
Clculo de Sensibilidades
Posible reparametrizacin del modelo para linealizar
la estimacin
Estimas iniciales y rangos
Elegir la funcin de costo
Estimar los parmetros por optimizacin
Estimar los residuos y la regin de confianza de los
parmetros
Ejemplo en EcosimPro:
Reactor de Van der Vusse
D A 2
C B A

Reactor altamente no
lineal y difcil de
controlar
Parmetros a estimar:
Volumen 10 l
Masa de refrigerante 5 Kg
Resolucin con simulacin
Simulacin desde 1 a N
para calcular J (p)
Optimizador
p J
u(t), y(t)
| |
p p p
u(t)) g(x(t), (t) y )) t ( u ), t ( x ( f ) t ( x
) t , u , p ( y ) t ( y J min
m
N
1 j
2
m
p

= =
=

Proceso simulado
resultado
p
*

Reactor Van der Vusse
Validacin
Validar un modelo es obtener un grado de
confianza en el mismo para el fin al que se
destina
No hay una demostracin de la validez de
un modelo, sino unos resultados positivos en
un conjunto de test que nos dan esa
confianza
La validez de un modelo puede perderse por
un solo test negativo
Validacin
El conjunto de test positivos y negativos
permiten establecer el rango de validez del
modelo
Distintas situaciones implican distintas
tcnicas:
El proceso existe y se trata de construir un modelo
que reproduzca la realidad
El proceso no existe an y se trata de construir un
modelo para predecir su comportamiento y
optimizarlo cara al diseo
Validacin
Conjunto de pruebas de diferente naturaleza
que ayudan a validar el modelo
La validacin ha de hacerse a todos los
niveles de construccin del modelo:
Hiptesis
Formulacin
Codificacin
Resolucin numrica (verificacin)
Aplicacin
Niveles de validacin
Hiptesis
Modelado
Parametrizacin
Codificacin
Experimentacin
Est bien
codificado?
Las condiciones de
uso son las previstas?
Los datos son
correctos e
informativos?
Es un cdigo
robusto, rpido,..?
Se resuelve
adecuadamente?
Los resultados
corresponden a la
realidad?
Refleja bien los
fenmenos de
inters?
Toma de datos
/reconciliacin
Cmo es de
sensible la
solucin frente a
cambios en los
parmetros?
Rango de validez
Distintos problemas asociados
a un modelo
Que se supone conocido para estimar el resto?
Reconciliacin de datos
Estimacin de estados y perturbaciones
Estimacin de parmetros
Verificacin
Validacin
) t ), t ( u , x ( g ) t ( y
) t , p ), t ( u ), t ( x ( f
dt
) t ( x d
=
=
Reconciliacin de datos
) t ), t ( u , x ( g ) t ( y
) t , p ), t ( u ), t ( x ( f
dt
) t ( x d
=
=
El modelo se supone perfecto y se trata de estimar
las modificaciones en los datos experimentales que
hacen que estos se ajusten exactamente al modelo
Suele plantearse en
estado estacionario
Puede combinarse con estimacin de parmetros
Estimacin de estados con
horizonte deslizante
t-N
t
Qu estado inicial pasado en t-N y que mnimas perturbaciones
v(t-i) haran evolucionar el sistema de la forma mas prxima a
la que lo ha hecho al aplicarle los controles que le han sido
aplicados?
t-N
t
u
y
v
x
| |
V v
N
0 i
2
2
m
v , x
L ) i t ( v L
)) t ( u ), t ( x ( g ) t ( y
)) t ( v ), t ( u ), t ( x ( f ) 1 t ( x
) i t ( v ) i t ( y ) i t ( y min
i N t

=
= +
+

Con modelo perfecto

Verificacin
El modelo de simulacin representa
adecuadamente al modelo conceptual?
Codificacin
Errores tipo divisin por cero, etc.
Mtodos numricos de solucin
Precisin
Formulacin
q
h
F
c
i

c
) c c ( q
t d
c d
V
Fc qc ) F q ( c
t d
c d
V
Fc qc
t d
V d
c
t d
c d
V
V
Vc
c
F q
t d
V d
Fc qc
t d
) Vc ( d
i
i
i
i
=
= +
= +
=

=
=
Mezcla perfecta
constante
Causalidad
q
h
F
Causalidad fsica
h k F
F q
t d
h d
A
=
=
Causalidad
computacional
q h F
La causalidad fija el uso
del modelo
Qu pasa si?
Qu debo hacer para?
Computabilidad
q
1

h
1

F
1

h
2

F
2

0 q h h 0 h h ) h h sgn( k F
h k F ? h h h h k F
F F q
dt
dh
A F q
dt
dh
A
i max i 2 1 2 1 1 1
2 2 2 2 1 2 1 1 1
2 1 2
2
2 1 1
1
1
=
= < =
+ = =
q
2

Leyes +
restricciones
Validacin
Respuestas cualitativas del modelo
Comprobacin con datos
experimentales
Test estadsticos
Anlisis de sensibilidad
Capacidad de prediccin del modelo
Distorsin de parmetros
Respuestas cualitativas
Respuestas cualitativas del modelo a entradas tipo


u y
Model



Discusin y evaluacin
de respuestas tipo del
modelo con expertos en
el proceso
Respuestas cualitativas
Respuestas cualitativas del modelo a entradas tipo
Respuestas cualitativas
Test de Turing: Se puede discriminar
una respuesta del modelo y de la
realidad si se presentan en el mismo
formato?
Trazas de la evolucin de variables tipo
flujo, etc. a travs de los distintos
componentes
Comprobacin con datos
experimentales
Comparacin de las
respuestas del modelo y
datos experimentales
distintos a los usados en
la parametrizacin
( )

=

N
1 t
2
m
) t ( y ) t ( y
N
1
Proceso
u
v
Modelo(p)
y
y
m
y
modelo
experimental
t
condiciones iniciales
perturbaciones
Indices de error
( )

=

N
1 t
2
m
) t ( y ) t ( y
N
1
y
m
y
modelo
experimental
t
Medida numrica de las discrepancias entre la respuesta del
modelo y los datos experimentales
Pueden usarse para comparar varios modelos de un proceso y
decidir sobre cual es mas adecuado
Indices de error
Muchos ndices ponderan la
suma de los errores y el nmero
de parmetros d en el modelo

=
+
N
1 t
2
m
)) t ( y ) t ( y ( )
N
d 2
1 (

+
N
1 t
2
m
)) t ( y ) t ( y ( )
N d 1
N d 1
(
N
1
Akaike Information
Criterion AIC
Final Prediction Error FPE
Estima de la varianza del error de
prediccin con los datos nuevos
d 2
N
)) t ( y ) t ( y (
log N
N
1 t
2
m
+
|
|
|
|
.
|

\
|

=
Indices de error
Bayesian Information
Criterion BIC

=
+
N
1 t
2
m
)) t ( y ) t ( y ( ) N log
N
d 2
1 (
Rissamens Minimal
Description lenght
Penaliza mas la complejidad del
modelo
) N log( d
N
)) t ( y ) t ( y (
log N
N
1 t
2
m
+
|
|
|
|
.
|

\
|

=
Es consistente: La probabilidad de
seleccionar un modelo erroneo tiende
a cero con N
Indices de error
Test F para ver si el modelo j (con mas parmetros) es
significativamente mejor que el modelo i, con un nivel de
confianza
) d N /( )) t ( y ) t ( y (
) d d /( )) t ( y ) t ( y ( )) t ( y ) t ( y (
j
j mod
N
1 t
2
m
i j
j mod
N
1 t
2
m
i mod
N
1 t
2
m

|
|
.
|

\
|
(

=
= =
Debe compararse con la distribucin F(d
j
-d
i
, N-d
j
) con el nivel de
confianza
Errores
Los errores de la estimacin provienen de:
Errores de medida de los datos. Idealmente se
suelen suponer independientes, de media cero y
varianza constante. Para caracterizarlos pueden
usarse datos de las salidas con entradas
constantes.
Errores del modelo o la estima de parmetros. Si
el modelo fuera perfecto, los residuos deberan
tener las mismas caractersticas estadsticas que
los errores de medida.
Test estadisticos
u
v
y
Modelo
Proceso
y
m

e
Si el modelo es correcto los residuos no deben presentar
una estructura sistemtica, sino ser el resultado de las
perturbaciones aleatorias que actuan sobre el proceso
Residuos e(t) = y(t) - y
m
(t)
Test estadsticos
Inspeccin visual de los residuos
e
t
e
t
n de cambios de signo de los residuos (ncs)
Se ajustan a un modelo AR?
Test:
2 / N
2
N
ncs
Puede compararse con una distribucin N(0,1)
para ver si hay un sesgo en los signos
Test estadsticos
R
ue
(k) R
e
(k)
2
2
k k
No correlacin entre la entrada y los residuos: Los errores
deben ser independientes de un experimento particular
Blancura de los residuos
Lazo abierto, lazo cerrado
Varianza de los parmetros
Las regiones de confianza de los parmetros dan una medida de
la calidad de la calibracin y, por tanto, de la bondad el modelo.
(
(
(

22 21
12 11
v v
v v
V
Los trminos cruzados de la matriz de covarianza dan una
idea de la independencia de los parmetros, pues deben
estar incorrelacionados
Sensibilidad
Cuanto varia J ante un cambio unidad en p ?
| |
p p p
u(t)) g(x(t), (t) y )) t ( u ), t ( x ( f ) t ( x
) t , u , p ( y ) t ( y J min
m
N
1 j
2
m
p

= =
=

Puede obtenerse a partir del problema dual de

optimizacin en ciertos casos
Validacin
Capacidad de prediccin del modelo

Distorsiones de los parmetros

Coherencia de las distintas representaciones

Varianza de las estimaciones
{ }
var ( ,

)
( )
( )
G e
n
N
w
w
jwt v
u

Capacidad de prediccin
y(t+j)
u(t+j)
t
) j t ( y +
En ciertos casos, se utilizan frmulas de prediccin de
controladores predictivos tales como el DMC, GPC, etc.
Distorsin de parmetros
) t ), t ( u , x ( g ) t ( y
) t , p ), t ( u ), t ( x ( f
dt
) t ( x d
m
=
=
Tras la estimacin de parmetros se obtiene un
valor de los mismos p
*
(constante) que ajusta lo
mejor posible la respuesta del modelo a los datos
experimentales
) t , p ( y ) t ( y ) t ( e
*
m
*
=
Distorsin de parmetros
Butterfield 1986
Como habra que modificar el valor de los parmetros
del modelo para que sus respuestas coincidieran
exactamente con las del proceso?
t
p
El valor de la distorsin da
una medida de la credibilidad
del modelo
n ,..., 1 t ) t ( y )) t ( , t ( y min
*
m
= = +

p p
p
Supongamos que ahora los parmetros p pueden variar a lo
largo del tiempo,
Distorsin de parmetros
) t ), t ( u , x ( g ) t ( y ) t ( y
) t ), t ( p p ), t ( u ), t ( x ( f
dt
) t ( x d
p p
*
p
p
= =
+ =
t
p
y
modelo
experimental
t
Problema de ndice
Mtodos de solucin (1)
) t ), t ( u , x ( g ) t ( y
p
=
1 Calcular x
p
a partir de
) t ), t ( p p ), t ( u ), t ( x ( f
dt
) t ( x d
*
p
p
+ =
2 Calcular dx
p
/dt a partir de x
p

3 Calcular p(t) a partir de
Imprecisin en el clculo de la derivada
Mtodos de solucin (2)
) x x (
x
g
) t ), t ( u , x ( g ) t ( y
p
p
f
) x x (
x
f
) t , p ), t ( u ), t ( x ( f
dt
) t ( x d
) t ( y ) t ), t ( u , x ( g ) t ( y
) t ), t ( p p ), t ( u ), t ( x ( f
dt
) t ( x d
p
p , x
p
p
p , x
p
p , x
p
* p
p p
*
p
p
*
*
*

+ =

+ =
= =
+ =
Aproximacin lineal sobre la respuesta base p
*

Linealizacin sobre una
trayectoria
x base
x
tiempo
) t ( x
p
t
) t ( p
Mtodos de solucin (2)
) t ), t ( u , x ( g ) t ( y
) t ), t ( p p ), t ( u ), t ( x ( f
dt
) t ( x d
p
*
p
p
=
+ =
) t ), t ( u , x ( g ) t ( y
) t , p ), t ( u ), t ( x ( f
dt
) t ( x d
m
=
=

p
p
f
x
f
dt
d
) t , p ), t ( u ), t ( x ( f p
p
f
) x x (
x
f
) t , p ), t ( u ), t ( x ( f
dt
dx
dt
dx
dt
d
x x
*
*
*
*
p , x
p , x
p
*
p , x
p
p , x
p
*
p
p

+
= =

=
Metodos de solucin (2)

= =

+ =
= =
*
*
p , x
p
m m p
p
p , x
p
p m p
x
g
) t ( y ) t ( y ) t ( y ) t ( y
) t ), t ( u , x ( g ) x x (
x
g
) t ), t ( u , x ( g
) t ), t ( u , x ( g ) t ), t ( u , x ( g ) t ( y ) t ( y
Metodos de solucin (2)

=
*
*
*
p , x
p
m p
p , x
p , x
p
p
x
g
) t ( y ) t ( y
p
p
f
x
f
dt
d
x x
R
p
+
-
e
*
y
p
-y
m
Resolucin como un
problema de control
*
m m p
e ) t ( y ) t ( y ) t ( y ) t ( y = =
Si p es correcto:
Mtodos de solucin (3)
) t ), t ( p p ), t ( u ), t ( x ( f
dt
) t ( x d
*
p
p
+ =
Puede plantearse tambin como un problema de
optimizacin

+ +
N
1 t
p
2 2
p
p
)) t ( y ) t ( y ( p )) t ( x ) t ( x ( min
Multiplicador de
Lagrange
Problema de optimizacin dinmica
Se calculan las menores distorsiones de parmetros y estados compatibles
con la restriccin de igualdad de las salidas del modelo distorsionado y del
proceso
Distorsin de parmetros
Los valores de p(t), que suelen tener significado
fsico, pueden compararse con tolerancias esperadas
de variacin
Tambin puede compararse con un indicador funcin
de V(p)
V
p