Modeling of data

Given a set of observations, one often wants to condense and summarize the data by fifting it
to a model that depends on aajustable parameters. Sometimes the model is simply a
convenient class of functions, such as polynomials or Gaussians, and the fit supplies the
appropriate coefficients. Other times, the models parameters come from some underlying
theory that the data are supossed to satisfy, examples are coefficients of rate equations in a
complex network of chemical reactions, or orbital elements of a binay star.

Modeling can also be used as a kind of constrained interpolation, where you want to extend a
few data points into a continuous function, but with some underlying idea of what that
function should look like.

The basic approach in all cases is usually the same: You choose or desing a figure of merit
function, that measures the agreement between the data and the model with a particular
choice of parameters. The merit function is conventionally arranged so that small values
represent close agreement. The parameters of the model are then adjusted to achieve a
mnimum in the merit function, yielding best fit parameters. The adjustment process is thus a
problema in minimization in many dimensions.

This optimization was the subject of chapter 10, however, there exist special, more efficient,
methods that are specific to modeling, and we Will discuss these in this chapter.

There are important issues that go beyond the mere findinf of bets fit parameters. Data are
generally not exact. They are subject to measurement errors (called noise in the contexto f
signal-processing). Thus, typical data never exactly fit the model that is being used, even when
that model is correct. We need the means to asses whether or not the model is appropriate,
thatis, we need to test the goodnes off fit against some useful statistical standard. We usually
also need to know the accuracy whit which parameters are determined by the adta set, in
other words, we need to know the likely errors of the best fit parameters. Finally, it is not
uncommon in fifting data to discover that the merit function is not unimodal, with a single
minium. In some cases, we may be interested jn global, rather tan local questions. Not, how
good is this fit?, but rather, how sure am I that there is not a very much better fit in some
cornero f parameter space?

The important message we want to deliver is that fifting of parameters is not the end-all of
parameter stimation. To be genuinely useful a fifting procedure should provide (i) parameters,
(ii) error stimates on the parameters, and (iii) a statistical a measure of goodness of fit. When
the third tem suggest that the model is an unlikely match to the data, then tems (i) and (iI)
are probably worthless. Unfortunately, many practitiones of parameter estimation never
proceed beyond tem, they deem a fit aceptable if a graph of data and model looks good.
This approach is know as chi by eye. Lucklily its practitioners get what they deserve.

Least squares as maximun likehood estimator

Suposse that we are fifting N data points (x,y), to a model which has M adjustable parameters
a. The model predicts a functional relationship between the measured independent and
dependent variables, y
Where the dependence on the parameters is indicated explicitly on the right hand side.

What, exactly, do we want to minimize to get fifted values for the as?

The first thing that comes to mind is the familiar least squares fit minimize over a..am

But where does this come from? Wha general principles is it base on? The answer to these
questions takes us into the subject of maximun likelihood estimator.

Given a particular data set of x and y we have the intuitive feeling that some parameters sets
a,,, are very unlikely, those for which the model functions y looks nothing like the data- while
others may be very likely-those which closely resemble the data. How can we quantify this
intuitive feeling? How can we select fifted parameters that are most likely to be correct? It is
not meaningful to ask the questions, what is the probability that a particular set of fifted
parameters a..am is correct? The reason is that there is no statistical universo of models from
which the parameters are drawn. There is just one model, the correct one, and a statistical
universo of data sets that are drawn from it!

That being the case, we can, however, turn the question around, and ask, given a particular
set of parameters, what is the probability that this data set could have occurred? If the ys
thake on continous values, the probability Will always be zero unless we add the phrase,
..plus or minus some fixed y on each data point So lets always take phrase as understood. If
the probability of obtaining the data set is infinitesimally small, the we can conclude that the
parameters under consideration are unlikely to be right. Conversely, our intuition tells us
that the data set should not be too improbable for the correct choice if parameters.

In other words, we identify the probability of the data given the parameters as the likelihood
of the parameters given the data. This identification is entirely based on intuition. It has no
formar mathematical basis in and of itself, as we already remarked statistics is not a Branch of
mathematics!

Once we make this intuitive identification, however, it is only a small further step to decide to
fit for the parameters a,,,a precisely by findind those values that maximize the likelihood
defined in the above way. This formo f parameter estimation is maximun likelihood estimation.

We are now ready to make the connection to. Suppose that each data point has a
measurement error that is independently random and distributed as a normal distribution
around the true model y. And suppose that the standard desviations of these normal
distributions are the same for all points. Then the probability of the data set is the product of
the probabilities of each point.

Chi square fitting

We considerer the chi square statistic once before, in 12. Here it arises in a slightly different
context

If each data point has its own standard deviation, then equation is modified only by putting a
subscript i in the symbol o. That subscript also propagates docilely into 14, so that the
mximum likelihood estimate of the model parameters is obtained by minimizing the quantify
called chi square
To whatever extent the measurement errors actually are normally distributed, the quantify X is
correspondingly a sum of N squares of normally distributed quantities, each normalized to unit
variance. Once we have adjusted the a to minimize the value of X the terms in the sum are
nota ll statistically independent. However it turns out that the probability distribution for
different values of X at its mnimum can nevertheless be derived analytically, and is the chi
square distribution for N-M degrees of freedom. We learned how to compute this probability
function using the complete gamma function

Modelado de datos

Dado un conjunto de observaciones, a menudo se desea condensar y resumir los datos

convirtindolos en un "modelo" que depende de parmetros ajustables. A veces, el modelo es
simplemente una clase conveniente de funciones, como polinomios o gaussianos, y el ajuste
proporciona los coeficientes apropiados. Otras veces, los parmetros del modelo provienen de
alguna teora subyacente que los datos se suponen para satisfacer, ejemplos son coeficientes
de ecuaciones de velocidad en una red compleja de reacciones qumicas, o elementos orbitales
de una estrella binay.

El modelado tambin se puede utilizar como un tipo de interpolacin restringida, donde se

desea extender algunos puntos de datos en una funcin continua, pero con una idea
subyacente de cmo debe ser esa funcin.

El enfoque bsico en todos los casos es generalmente el mismo: usted elige o disea una figura
de funcin de mrito, que mide el acuerdo entre los datos y el modelo con una eleccin
particular de parmetros. La funcin de mrito se organiza convencionalmente de modo que
los valores pequeos representen un acuerdo cercano. Los parmetros del modelo se ajustan
para lograr un mnimo en la funcin de mrito, obteniendo los mejores parmetros de ajuste.
El proceso de ajuste es, por lo tanto, un problema de minimizacin en muchas dimensiones.

Esta optimizacin fue el tema del captulo 10, sin embargo, existen mtodos especiales, ms
eficientes, que son especficos para el modelado, y los discutiremos en este captulo.

Hay cuestiones importantes que van ms all de la mera constatacin de los parmetros de
ajuste de las apuestas. Los datos generalmente no son exactos. Estn sujetos a errores de
medicin (denominados ruido en el procesamiento de seal de contexto f). Por lo tanto, los
datos tpicos nunca se ajustan exactamente al modelo que se est utilizando, incluso cuando
ese modelo es correcto. Necesitamos los medios para evaluar si el modelo es apropiado o no,
es decir, tenemos que evaluar a los buenos contra un estndar estadstico til. Por lo general,
tambin necesitamos saber la precisin con qu parmetros estn determinados por el
conjunto adta, en otras palabras, necesitamos saber los posibles errores de los parmetros
que mejor se ajustan. Finalmente, no es infrecuente en los datos de Fifting descubrir que la
funcin de mrito no es unimodal, con un solo minio. En algunos casos, podemos estar
interesados en cuestiones globales, ms bien que locales. No, "qu tan bueno es esto?", Sino
ms bien, "qu tan seguro estoy de que no hay un ajuste mucho mejor en algn espacio de
parmetros cornero?

El mensaje importante que queremos transmitir es que la rfaga de parmetros no es el fin de

la estimacin de parmetros. Para ser realmente til, un procedimiento de fifting debera
proporcionar (i) parmetros, (ii) estimaciones de error en los parmetros, y (iii) una medida
estadstica de bondad de ajuste. Cuando el tercer tem sugiere que el modelo es una
coincidencia poco probable con los datos, entonces los tems (i) y (iI) son probablemente
intiles. Desafortunadamente, muchas prcticas de estimacin de parmetros nunca van ms
all del tem, consideran un ajuste aceptable si un grfico de datos y modelo "se ve bien". Este
enfoque se conoce como chi a ojo. Afortunadamente, sus practicantes obtienen lo que se
merecen.

Mnimos cuadrados como mximo estimador de la personalidad

Supongamos que estamos quitando N puntos de datos (x, y) a un modelo que tiene M
parmetros ajustables a. El modelo predice una relacin funcional entre las variables
independientes y dependientes medidas, y

Donde la dependencia de los parmetros se indica explcitamente en el lado derecho.

Qu es exactamente lo que queremos minimizar para obtener los valores de la quinta de los
a's?

Lo primero que viene a la mente es el ajuste familiar de mnimos cuadrados minimizando

sobre un ...

Pero, de dnde viene esto? Qu principios generales es base? La respuesta a estas

preguntas nos lleva al tema del estimador de mxima probabilidad.

Dado un conjunto de datos particular de xey, tenemos la sensacin intuitiva de que algunos
parmetros establecen un ,,, son muy poco probables, aquellos para los que el modelo
funciona y se parece en nada a los datos, mientras que otros pueden ser muy probables, los
que se parecen mucho los datos. Cmo podemos cuantificar esta sensacin intuitiva? Cmo
podemos seleccionar los parmetros de Fifted que "probablemente" sean correctos? No es
significativo hacer las preguntas, "cul es la probabilidad de que un conjunto particular de
parmetros de fifa a..am sea correcto? La razn es que no hay un universo estadstico de
modelos a partir del cual se dibujan los parmetros. Solo hay un modelo, el correcto y un
universo estadstico de conjuntos de datos que se extraen de l.

Siendo ese el caso, podemos, sin embargo, dar vuelta la pregunta y preguntar: "dado un
conjunto particular de parmetros, cul es la probabilidad de que este conjunto de datos
pueda haber ocurrido? Si ys tiene valores continuos, la probabilidad siempre ser cero a
menos que agreguemos la frase, "... ms o menos algo fijo y en cada punto de datos" As que
siempre tomemos la frase tal como se entiende. Si la probabilidad de obtener el conjunto de
datos es infinitesimalmente pequea, podemos concluir que los parmetros considerados son
"poco probables". Por el contrario, nuestra intuicin nos dice que el conjunto de datos no
debera ser demasiado improbable