Mtodo de Marquardt-Levenberg

Cuando la matriz ZtZ es casi singular se debe resolver un problema alternativo

de mnimos cuadrados, as que vamos a imponer que la suma de cuadrados o
energa de los elementos para cambiar el vector delta, debe ser limitado por
una cantidad finita digamos delta^2. Tambin podemos llamarla mtodo de los
mnimos cuadrados amortiguados.
La solucin surge a partir de resolver el multiplicador de Lagrange donde eTe
es minimizado.

Con este resultado evadimos singularidades en la matriz ZtZ mediante la

adicion de Beta en la diagonal principal y redujimos eficientemente los
eigenvalores de la matriz.
La solucin tiene varias caractersticas interesantes ya que combina el mtodo
llamado descenso agudo con el de minimos cuadrados

Despus de desarrollar la diferencia nos queda:

Y sustituyendo queda:

Ya que delta decrece en la direccin de S, llega a existir una

convergenciatiende a ocurrir, pero muy lentamente con el tamao de paso

El mtodo de el descenso mas agudo es optimo cuando S es muy grande

mientras que el mtodo de minimos cuadrados es pequeo.
El mtodo de Marquadt-Levenberg aproxima lo ms til de ambos mtodos.
Estas tcnicas determinan los parmetros de cambio del vector delta tras cada
iteracin
Marquadt prob que los vectores Delta y Delta g deben estar al menos a 90* de
cada uno para que haya convergencia.
En la figura 1 podemos observar los primero pasos en el intento de alcanzar un
minimo cuando utilizamos ya sea el mtodo del descenso ms agudo, el de
Marquadt-Levenberg o el de Gauss-Newton

Una eleccin particular de Beta permite al mtodo de mnimos cuadrados o al

del descenso ms agudo el dominar el parmetro de bsqueda. Poniendo Beta
igual con cero implica que el mtodo predominantes de mnimos cuadrados.
Si queremos acelerar la convergencia tendremos que involucrar un
escalamiento, Marquardt nos mostro como determinar una matriz diagonal D
tal que ZD^(-1) que pone unos en la diagonal de la matriz escalada

El elemento di de la matriz D es igual a la raz media de la suma de cuadrados

de los valores de los elementos en la i-esima columna de la matriz Z sin
escalar. De manera que la solucin delta^d debe ser reescalada de esta
manera:

Uno quizs concluya que la solucin minimiza la funcin de costo S porque la

suma la matriz ZtZ con beta en la diagonal principal es siempre positiva.
En particular notamos que la derivada parcial de S con respecto de delta es
igual a cero y es algo necesario pero no suficiente condicin por la
minimizacin de S. Para establecer la suficiencia requerimos el conocimienro
de la segunda derivada o la matriz Hessiana cuyos elementos son:

Esta matriz H debe ser positiva en orden que S sea mnimo

Si recordamos S y la sustituimos nos queda la matriz H expresada como:

Si el error llega a ser lineal y los parmetros cambian la matriz hessiana

desaparece y queda simplemente como

El mtodo de mnimos cuadrados es tambin relevante para los filtros de

deconvolucin. La adicin de una constante positiva a la diagonal principal de
la matriz ZtZ es conocida como prewhitening, desde la adicin del ruido
blanco a una seal.

En el caso del diseo de filtros, la restriccin es puesta en la potencia de la

matriz de ruido.
Una de las mayores ventajas de la inversin de los mnimos cuadrados tiene
una gran aplicacin a casi todos los problemas para cada modelo que puede
ser construido.
En general es mucho ms fcil resolver el problema que transforman un
modelo de parmetros en un set de datos sintticos. Habiendo encontrado un
mtodo para encontrar la respuesta f de los parmetros Theta, debemos
compilar la matriz Jacobiana de derivadas parciales Zij, estas derivadas pueden
ser determinadas por diferenciaciones normales si el modelos es lo
suficientemente simple.