Beruflich Dokumente
Kultur Dokumente
Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 1 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 3
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
6.1Transformações lineares ...................................................................................................................................................................25
6.2Operadores lineares...........................................................................................................................................................................26
x1
6.3Posto de uma matriz ..........................................................................................................................................................................27 x2
6.4Matrizes idempotentes ......................................................................................................................................................................28 x ou x x1 x2 xn T .
6.5Definições adicionais para matrizes..................................................................................................................................................28
6.6Matrizes singulares e não-singulares ................................................................................................................................................31
6.7Autovalores e autovetores.................................................................................................................................................................31
xn
6.8Formas Quadráticas...........................................................................................................................................................................32
6.8.1 Cálculo diferencial aplicado a formas quadráticas.................................................................................................................33 o conjunto de todos os vetores de dimensão n com elementos reais é representado
6.8.2 Normas ponderadas e a medida de distância de Mahalanobis ...............................................................................................34
6.9 Matrizes simétricas: positividade e autovalores ...............................................................................................................................35 n n
por . Diz-se então que x .
6.10 A inversa de uma matriz....................................................................................................................................................................39
6.11 O lema de inversão de matrizes ........................................................................................................................................................40
6.12 A pseudo-inversa de uma matriz.......................................................................................................................................................40 um escalar é um vetor de dimensão 1.
6.12.1 Exemplos de pseudo-inversas.................................................................................................................................................41
6.12.2 Uso de pseudo-inversão para a solução de sistemas lineares.................................................................................................42 vetor 0n: é o vetor nulo de dimensão n, com todos os elementos iguais a zero. O
6.13 Operadores de projeção ortogonal ....................................................................................................................................................43
6.13.1 Um exemplo de operador simétrico e idempotente................................................................................................................44 subscrito n é suprimido quando não há margem à dúvida.
6.14 Decomposição em valores singulares ...............................................................................................................................................46
6.15 Transformações contínuas.................................................................................................................................................................50 vetor 1n: é o vetor de dimensão n com todos os elementos iguais a 1.
6.16 Funcional...........................................................................................................................................................................................51
6.17 Funcional convexo ............................................................................................................................................................................51 vetor ei: é o vetor normal unitário de dimensão n (a dimensão deve ser indicada
6.18 Funcional convexo diferenciável ......................................................................................................................................................53
7 Mínimos Locais...........................................................................................................................................................................................54 pelo contexto) com todos os elementos iguais a 0, exceto o i-ésimo elemento que é
8 Expansão em Série de Taylor ......................................................................................................................................................................55
9 Condição Necessária de Otimalidade..........................................................................................................................................................56 igual a 1. Neste caso, 1 i n.
10 Condição Suficiente de Otimalidade...........................................................................................................................................................57
11 Referências bibliográficas ...........................................................................................................................................................................60
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 2 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 4
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
3 Matriz x X: x pertence a X
um arranjo ordenado de m.n escalares xij (i=1,2,...,m; j=1,2,...,n) é denominado x X: x não pertence a X
matriz de dimensão m n. As matrizes são descritas por letras maiúsculas do um conjunto pode ser especificado listando-se seus elementos entre colchetes
alfabeto romano expressas em itálico, e assumem a forma: X {x1 , x 2 ,..., x n }
x11 x12 x1n ou evidenciando uma ou mais propriedades comuns aos seus elementos
x 21 x 22 x2 n
X . X2 = {x X1 tal que P(x) é verdade} ou X2 = {x X1: P(x)}
x mi X x :x X .
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 5 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 7
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
as linhas da matriz X são vetores-linha descritos por x ( j ) x j1 x j2 x jn , S é um subconjunto de X, se x S implica x X. Neste caso, diz-se que S está
j=1,...,m. contido em X (S X) ou que X contém S (X S). Se S X e S não é igual a X,
um vetor é uma matriz com número unitário de linhas e/ou colunas. então S é um subconjunto próprio de X.
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 6 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 8
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
x + y = y + x (propriedade comutativa) x1 , y1 x2 , y2 x1 x 2 , y1 y2
x, y x, y
x ( y z) (x y ) z
(propriedade associativa)
( x) ( ) x por convenção, X n X X X
n vezes
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 9 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 11
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
5.2 Propriedades adicionais Diz-se então que (S,F) é um subespaço vetorial de (X,F) se S forma um espaço
vetorial sobre F através das mesmas operações definidas sobre (X,F).
0x=0
exemplos: 1. S {0}
0=0
n n
x + y= x+ z y=z 2. S é subespaço de X
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 10 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 12
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
um conjunto X de elementos de um espaço vetorial é convexo se, dados considere {x1, x2, ..., xn} um conjunto de vetores pertencentes a X. O conjunto
x1, x2 X, todos os pontos na forma x1 + (1 ) x2, com [0,1], pertencem S [x1, x2, ..., xn], chamado subespaço gerado pelos vetores {x1, x2, ..., xn},
consiste de todos os vetores em X escritos como combinação linear de vetores em
também a X.
{x1, x2, ..., xn}. Neste caso, S é um subespaço vetorial de X.
x2 um vetor x é linearmente dependente em relação a um conjunto de vetores
x2
{x1, x2, ..., xn} se x S [x1, x2, ..., xn].
x1 um vetor x é linearmente independente em relação a um conjunto de vetores
x1 {x1, x2, ..., xn} se x S [x1, x2, ..., xn].
X
X um conjunto de vetores {x1, x2, ..., xn} é linearmente independente se e somente se
n
Convexo Não-Convexo ai x i 0 implica ai = 0, i=1,...,n.
i 1
exemplos:
um conjunto de vetores linearmente independentes {x1, x2, ..., xn} forma uma base
1. normalmente, (sub-)espaços vetoriais lineares são convexos. para X se X [x1, x2, ..., xn].
2. o conjunto vazio é convexo, por definição. neste caso, diz-se que X tem dimensão n. Se n é finito, então X é um espaço
3. dados X e Y convexos, então X Y é convexo. vetorial de dimensão finita.
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 13 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 15
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 14 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 16
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
5.10 Produto interno uma quase-norma satisfaz todas as propriedades de norma, com exceção do
segundo axioma (desigualdade triangular), o qual assume a forma:
considere x,y X e . O produto interno x,y é um número real que
x y b x y , x, y X , com b .
satisfaz:
n
Exemplos de normas e relações entre normas: X
x,y = y,x 1
n p
p
x+y,z = x,z + y,z x p
xi ,p 1 é um número real.
i 1
x,y = x,y x nx
2
x1 2
n T x nx .
para X e x,y X, tem-se que x x1 x2 xn e x1
1
T 1 n 2 1
y y1 y2 y n , e o produto interno assume a forma: x, x 2 é a conhecida norma euclidiana, pois x xi2 x, x 2 .
2
i 1
n
x, y xi y i xT y relação entre produto interno e norma euclidiana (desigualdade de Cauchy-
i 1
2
Schwartz-Buniakowsky): x, y x, x y, y x, y x 2
y 2
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 17 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 19
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
2. x y x y , x, y X (desigualdade triangular); 1
n
2
p=2 x 2
xi
3. x x, x X, . x2 i 1
+1
p=+
toda vez que se associa uma norma a um espaço vetorial (sendo que a este espaço
1 +1 x1 x
já está associado um campo), diz-se que se tem um espaço vetorial normado. p=+ max xi
i
1
uma semi-norma satisfaz todas as propriedades de norma, com exceção do
n n x 1
primeiro axioma. Para X , o subespaço linear X0 , cujos elementos p
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 18 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 20
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
5.12 Ângulo entre dois vetores 5.16 Vetores ortonormais gerados a partir de vetores linearmente
n independentes
para qualquer inteiro n 2, dados dois vetores x,y X , x,y 0, o co-seno
do ângulo formado pelos vetores x e y é dado na forma:
apesar de todo conjunto de vetores ortonormais não-nulos ser linearmente
xT y independente, nem todo conjunto de vetores linearmente independentes é
cos .
x2 y2
ortonormal, mas pode passar por um processo de ortonormalização, como segue.
dado um conjunto de m vetores n-dimensionais (m n) linearmente independentes
5.13 Ortogonalidade e ortonormalidade entre dois vetores
{x1, x2, ..., xm}, é sempre possível estabelecer uma combinação linear adequada
T
se cos 0 , isto implica que x, y x y 0 . Então diz-se que x e y são destes vetores que produza m vetores n-dimensionais mutuamente ortogonais
ortogonais entre si, condição representada na forma: x y . {u1, u2, ..., um} que geram o mesmo espaço. Além disso, se os vetores ui (i=1, ...,
m) apresentarem norma unitária, eles são mutuamente ortonormais.
n
além disso, se x,x = y,y = 1, então os vetores x, y X são ortonormais
um conjunto de vetores ortonormais {u1, u2, ..., um} pode ser obtido a partir de um
entre si.
conjunto de vetores linearmente independentes {x1, x2, ..., xm} através do processo
de ortogonalização de Gram-Schmidt, o qual é dividido em duas etapas:
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 21 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 23
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 22 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 24
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
m n
6 Transformações e funcionais (A) e (A) são subespaços de e , respectivamente.
sejam X e Y espaços vetoriais lineares, e seja D um subconjunto de X. A regra que dim ( A) + dim ( A) = n
n m
associa cada elemento x D X a um elemento y Y é chamada de (A) (AT) no e (AT) (A) no
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 25 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 27
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 26 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 28
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 29 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 31
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
n
Traço x ,x 0 tal que ( I A)x = 0 se e somente se det I A 0;
dada uma matriz A de dimensão n n, o traço de A, representado por tr(A), é a
det I A é o polinômio característico de A;
soma dos elementos da diagonal de A, ou seja:
Como o grau de ( ) é n, a matriz A possui n autovalores.
n
tr A aii
i 1 6.8 Formas Quadráticas
Adjunta n n n
Definição: Para qualquer y e A AT , QA (y) y T Ay é uma forma
dada uma matriz A de dimensão n n, a adjunta de A, representada por adj(A), é quadrática associada a A.
dada na forma:
Propriedades:
adj(A) = { aij }
Q A (y) 2 Ay
onde aij = cji, o cofator do elemento aji. 2
Q A (y) 2A
A.adj A = det A . I 1 adj A A e QA são chamadas de:
são válidas as seguintes igualdades: A
adj A . A = det A . I det A n
semi-definida positiva se Q A ( y ) y T Ay 0, y .
T n
definida positiva se Q A ( y ) y Ay 0, y ,y 0.
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 30 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 32
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
n 6.9 Matrizes simétricas: positividade e autovalores
semi-definida negativa se Q A ( y ) y T Ay 0, y .
n n n n n n n
definida negativa se Q A ( y ) y T Ay 0, y ,y 0. uma matriz quadrada A é dita ser simétrica se AT A( ou ).
n n T
se a matriz quadrada é tal que A , então ela será hermitiana se A * A,
6.8.1 Cálculo diferencial aplicado a formas quadráticas
ou seja, se A for idêntica ao transposto de seu complexo conjugado.
n n n n
Dados x ,y e A :
matrizes simétricas só admitem autovalores reais.
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 33 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 35
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 34 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 36
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
este resultado é muito útil no caso da matriz A estar presente em formas min i, para deixar a matriz definida positiva
i 1,..., n
quadráticas: max para deixar a matriz definida negativa
i,
i 1,...,n
T T T T T T
Q A (x ) x Ax x T T x T x (T x ) n m
seja uma matriz A de dimensão n m (A ) e uma matriz B de dimensão
T
fazendo y T x x Ty , resulta: m n
m n (B ). Então, os autovalores não-nulos de AB e BA são os mesmos e
T 2 2 2
Q A ( x) x Ty
y y 1y1 2y 2 nyn têm as mesmas multiplicidades. Além disso, se x é um autovetor de AB para
n algum autovalor 0, então y = Bx é um autovetor de BA. Isto implica que AAT e
como a matriz T tem posto completo, então y pode ser qualquer. Logo:
A>0 i > 0 para i=1,...,n ATA têm os mesmos autovalores e todos são positivos.
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 37 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 39
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
1 T 1
A 1 é definida positiva; vale a seguinte propriedade: A AT .
todos os autovalores de A são reais positivos;
n
6.11 O lema de inversão de matrizes
y T Ay 0, y ,y 0;
assuma que A e C são matrizes quadradas arbitrárias para as quais existe a inversa,
é possível decompor A na forma: A = BTB, com B não-singular;
e B é uma terceira matriz tal que BCBT tem a mesma dimensão de A. Então o
det(Ak) > 0, k=1,...,n, onde Ak é a k-ésima sub-matriz principal líder.
chamado lema de inversão de matrizes é dado na forma:
se ocorrer i >0 e j < 0 para i j e i,j {1,...,n}, então a matriz é dita ser
1 1 1 1 1
indefinida. A BCB T A A 1B BT A 1B C BT A
n n a matriz C geralmente tem dimensões menores que a matriz A.
se A é uma matriz simétrica com autovalores 1, 2, ..., n, então a matriz
A + In terá como autovalores 1+ , 2+ , ..., n+ , e os autovetores de A e de 6.12 A pseudo-inversa de uma matriz
A + In serão os mesmos. m n n m
a pseudo-inversa de uma matriz A é uma matriz M tal que valem
sendo assim, é possível “corrigir” os autovalores de uma matriz simétrica
as seguintes propriedades:
indefinida ou singular, sem alterar seus autovetores, deixando a matriz definida
AMA = A
positiva ou definida negativa, na forma:
MAM = M
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 38 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 40
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
AM e MA são matrizes simétricas quando múltiplas soluções são possíveis, como no caso acima, pode-se adotar
a notação adotada para a matriz M é: M A . aquela solução que otimiza algum critério. Por exemplo, a solução com norma
pode-se demonstrar que existe uma única pseudo-inversa para cada matriz. euclidiana mínima é aquela que toma y = 0.
valem as seguintes propriedades: supondo que posto(A) = n m, então a seguinte expressão representa uma solução
1 + 1
0+ = 0T ( A)+ = A , se 0 para a equação matricial (1): x AT A AT b . Repare que, sob a condição
+ + + T + T T T + T 1 T
(A ) = A A = (A A) A = A (AA ) posto(A) = n m, A A A é a pseudo-inversa de A, de modo que é possível
(A+)T = (AT)+ + 1
A = A , se A é quadrada e não-singular expressar a solução na forma:
(AA+)T = AA+ e (A+A)T = A+A T + T T + T x A b (3)
A AA = A e AA (A ) = A
no entanto, para posto(A) = n < m, a equação matricial (1) nem sempre tem
solução exata, e nestes casos o que se obtém é o mínimo de Ax b 2 .
6.12.1 Exemplos de pseudo-inversas
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 41 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 43
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
aT x xˆ ~
x
A , se a 0
caso vetorial (m > 1 e n = 1): A = a aT a onde x̂ x
X e~ X.
A 0 T , se a 0
neste caso, diz-se que x̂ é a projeção ortogonal de x em X.
6.12.2 Uso de pseudo-inversão para a solução de sistemas lineares de todas as decomposições na forma x x x , onde x X , aquela em que
a pseudo-inversa de A, de modo que é possível expressar a solução na forma: todo operador de projeção ortogonal é idempotente, sendo que a seguir iremos
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 42 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 44
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
as projeções ortogonais podem ser expressas através de transformações lineares, além disso, a matriz A pode ter elementos reais ou complexos. Neste estudo,
de modo que sempre é possível obter P. iremos considerar apenas matrizes com elementos reais.
n
assuma que X [x1, x2, ..., xk] é um subespaço do , gerado pelos vetores em termos geométricos, os valores singulares de uma matriz A correspondem aos
n
xi , i = 1,...,k < n. Seja A uma matriz que tem como colunas os vetores comprimentos dos semi-eixos do hiperelipsóide E = {Ax : x 2
1}
n n m
xi , i = 1,...,k < n. O objetivo é obter o operador P de projeção ortogonal ao seja uma matriz A de dimensão n m (A ) e de posto r, com r min(n,m).
n
subespaço X, de modo que sua aplicação a um vetor qualquer x produza Então, A pode ser expressa na forma:
xˆ Px e ~x I P x , onde x̂ X e ~ x X. 0 T
A=U V
T~ 0 0
como, por definição, ~
x X , então tem-se que A x 0. n n m m
onde U e V são matrizes unitárias, tais que UTU = UUT = In e
a solução desta equação matricial é dada pela expressão (2) acima, produzindo r r
VTV = VVT = Im, e é uma matriz diagonal, com elementos
~ n
x I ( AT ) AT y I AA y , para um y arbitrário e sabendo que a
1 2 ... r > 0, denominados valores singulares da matriz A.
matriz ( AT ) AT é simétrica. repare que esta decomposição é sempre possível, independente de se ter n = m,
y = x é uma escolha possível, e como ~
x é único, então a expressão n < m ou n > m.
~
x I AA x
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 45 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 47
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
leva a que I P I AA e P AA . note também que o número de valores singulares positivos coincide com o posto
conclusão: da matriz A, o que implica que a decomposição em valores singulares representa
AA é o operador de projeção ortogonal ao subespaço gerado pelas colunas um método prático para se obter o posto da matriz A.
de A, ou seja, ao subespaço X. 0
é possível verificar também que UTAV = e que as colunas de U são
0 0
as matrizes I AA e I A A são operadores de projeção ortogonal aos
autovetores de AAT, enquanto que as colunas de V são autovetores de ATA.
subespaços que são os complementos ortogonais dos subespaços gerados pelas
0
colunas e linhas de A, respectivamente. como UUT = In, então , AV = U o que implica que:
0 0
6.14 Decomposição em valores singulares Av i i 1,..., r
i ui ,
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 46 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 48
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
se a matriz A for simétrica, então seus valores singulares correspondem aos 6.16 Funcional
valores absolutos de seus autovalores não-nulos (ver seção 6.9). uma transformação T: X é chamada de funcional sobre X.
para os propósitos deste curso, a principal motivação para o estudo de
decomposição em valores singulares é a possibilidade de propor um método 6.17 Funcional convexo
prático de cálculo da pseudo-inversa de uma matriz, independente de se ter n < m um funcional f: X é convexo sobre um subconjunto convexo X de um espaço
ou n > m. vetorial linear se e somente se
n m
seja uma matriz A de dimensão n m (A ) e de posto r, com r min(n,m),
f x 1 (1 ) x2 f ( x1 ) (1 ) f (x 2 )
0
que tenha uma decomposição em valores singulares tal que UTAV = . para todo x1, x2 Xe [0,1].
0 0
Então, a pseudo-inversa da matriz A pode ser obtida na forma: Extensão 1: O funcional f é estritamente convexo se a desigualdade acima for
1 estrita, com (0,1).
0 T
A+ = V U
0 0 Extensão 2: Um funcional f é (estritamente) côncavo se f é (estritamente)
1 1 1 1
onde diag( 1 , 2 ,..., r ). convexo, de modo que max f min ( f ) .
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 49 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 51
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 50 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 52
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 53 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 55
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
tal que f(x0) f(x), x N x0 , . Prova: Por absurdo, suponha que x* é mínimo local de f(x) e que f (x*) 0 . Para
x0 é um MÍNIMO GLOBAL se f(x0) f(x), x . n
> 0 suficientemente pequeno, é possível definir um x tal que
Interpretação Geométrica x x* f ( x*) . Portanto:
f(x)
f (x) f ( x*) f (x*) T x x * f ( x*) f ( x*)T f ( x*)
T 2
f ( x*) f ( x*) f ( x*) f ( x*) f ( x*)
Logo, em uma vizinhança de x*, x tal que f(x) < f(x*). ABSURDO!
x01 x02 x
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 54 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 56
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
n 1 T
Prova: Para > 0 suficientemente pequeno, é possível definir um x tal que Definindo f ( x) x Ax b T x , a aplicação da condição necessária de
2
n
x x* d , onde d é uma direção arbitrária. Portanto:
otimalidade ao problema min f ( x ) produz:
x
T 1 2
f (x ) f ( x*) f ( x*) x x * x x* T f ( x*) x x *
2 f (x ) Ax b 0 x* A 1b
2
1 T 2 2
f ( x*) d f ( x*) d f ( x*) dT f ( x*)d
2 2 2
0
Como, por hipótese, f (x) A 0 (condição suficiente de otimalidade), então
n x * é um ponto de mínimo global, portanto solução do problema.
Como d é qualquer, então existe uma vizinhança de x* tal que f(x) > f(x*).
Logo, x* é um mínimo local.
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 57 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 59
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
n
Conclusão: Suponha que x* é tal que f (x*) 0 . Então x* é 11 Referências bibliográficas
ANDERSON, B.D.O. & MOORE, J.B. “Optimal Control – Linear Quadratic Methods”, Prentice-Hall, 1989.
2 n
(a) um mínimo global de f(x) se f (x) 0 x , ou seja, f(x*) f(x) ATHANS, M. & FALB, P.L. “Optimal Control: An Introduction to the Theory and Its Application”, McGraw Hill, 1966.
BAZARAA, M. S., SHERALY, H. D. & SHETTY, C. “Nonlinear Programming: Theory and Algorithms”, 2nd edition, John Willey
n & Sons, 1992.
x .
BRONSON, R. “Theory and Problems of Matrix Operations”, Schaum’s Outline Series, McGraw Hill, 1989.
FERREIRA, P.A.V. “Notas de Aula - Curso EA932: Sistemas de Controle II”, 1997.
2 n
(b) um mínimo global estrito de f(x) se f (x ) 0 x , ou seja, f(x*) < f(x) FRANKLIN, G.F., POWELL, J.D. & EMAMI-NAEINI, A. “Feedback Control of Dynamic Systems”, 3rd. edition, Addison-Wesley
Publishing Company, 1994.
n GOLUB, G.H. & VAN LOAN, C.F. “Matrix Computations”, Johns Hopkins Series in the Mathematical Sciences, Johns Hopkins
x ,x x*.
University Press, 3rd edition, 1996.
HAYKIN, S. “Adaptive Filter Theory”, Prentice Hall, Third Edition, 1996.
2 n KIRK, D.E. “Optimal Control: An Introduction”, Prentice-Hall, 1970.
(c) um máximo global de f(x) se f (x) 0 x , ou seja, f(x*) f(x)
KWAKERNAAK, H. & SIVAN, R. “Linear Optimal Control Systems”, John Wiley & Sons, 1972.
n LEVINE, W.S. (ed.) “The Control Handbook”, CRC Press, 1996.
x .
LEWIS, F.L. & SYRMOS, V.L. “Optimal Control”, 2nd edition, John Wiley & Sons, 1995.
LUENBERGER, D. G. “Linear and Nonlinear Programming”, 2nd edition, Addison Wesley, 1984.
2 n
(d) um máximo global estrito de f(x) se f (x ) 0 x , ou seja, f(x*) > f(x) LUENBERGER, D.G. “Optimization by Vector Space Methods”, John Wiley & Sons, 1969 (Paperback, 1997).
LUENBERGER, D.G. “Introduction to Dynamic Systems – Theory, Models, and Applications”, John Wiley & Sons, 1979.
n
x ,x x*. MARDIA, K.V., KENT, J.T. & BIBBY, J.M. “Multivariate Analysis”, Academic Press, 1979.
OGATA, K. “Modern Control Engineering”, Third Edition, Prentice Hall, 1997.
PERES, P.L.D. “Notas de Aula - Curso IA600: Controle Ótimo”, 1993.
SAGE, A.P. & WHITE III, C.C. “Optimum Systems Control”, 2nd edition, Prentice-Hall, 1977.
SKELTON, R.E. “Dynamic Systems Control: Linear Systems Analysis and Synthesis”, John Wiley & Sons, 1988.
STRANG, G. “Linear Algebra and Its Applications”, Harcourt Brace College Publishers, 1988 (4th edition, 2000).
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 58 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 60