Commande Optimale

Commande Optimale
Edouard Laroche
ENSPS - 3A ISAV
laroche@lsiit.u-strasbg.fr
http://eavr.u-strasbg.fr/perso/edouard/Student/
E. Laroche
ENSPS - ISAV
Commande Optimale
Objectifs et Evaluation
Objectifs
Connaissance des methode de commande optimale
Capacite `a mettre en oeuvre une telle commande
Evaluation
Bureau detude en simulation
E. Laroche
ENSPS - ISAV
Commande Optimale
Plan
Generalites sur les syst`emes dynamiques
Introduction `a la commande optimale
Commande Lineaire Quadratique
Commande Lineaire Quadratique Gaussienne
Etude dun cas pratique
E. Laroche
ENSPS - ISAV
Commande Optimale
Notations
hermicien dun vecteur o` u dune matrice M
H
= (M

)
T
= (M
T
)

derivee dun vecteur par rapport `a un vecteur

_
y(x)
x
_
i,j
=
y
i
(x)
x
j
E. Laroche
ENSPS - ISAV
Commande Optimale
Introduction sur les syst`emes dynamiques
Dierents syst`emes
Syst`eme `a temps continu x = f(x, u, t) / `a temps discret x
k+1
= f(x
k
, u
k
, t
k
)
Syst`emes `a temps variant x = f(x, u, t) / `a temps invariant x = f(x, u)
Syst`eme lineaire LTV x = A(t)x + B(t)u ou LTI x = Ax + Bu
Proprietes
Commandabilite, stabilisabilite
Observabilite, detectabilite
E. Laroche
ENSPS - ISAV
Commande Optimale
Dierents types dasservissement
retour statique detat
retour statique de sortie
retour dynamique detat
retour dynamique de sortie
remarque : equivalence entre retour dynamique et retour statique
E. Laroche
ENSPS - ISAV
Commande Optimale
Proprietes des syst`emes asservis
Stabilite
Valeurs singuli`eres (reponses frequentielles)
Performances : bande passante
Robustesse
Marge de module
Roll-o
E. Laroche
ENSPS - ISAV
Commande Optimale
Introduction `a la Commande Optimale
Syst`eme
Syst`eme `a temps continu x = f(x, u, t)
avec x(t
0
) = x
0
Crit`ere
Minimiser J(x
0
, t
0
, u) = (x(t
f
), t
f
) +
_
t
f
t
0
(x(t), u(t), t)dt
La commande optimale est u = arg
u
min J(x
0
, t
0
, u)
La valeur optimale du crit`ere est

J(x
0
, t
0
) = J(x
0
, t
0
, u)
E. Laroche
ENSPS - ISAV
Commande Optimale
Contraintes
Sur le temps nal : libre ou impose
Sur letat nal x
f
X
f
Sur la commande u U
Principe doptimalite de Bellman
Notons u
[t
1
,t
f
]
la commande sur [t
1
, t
f
] avec t
0
< t
1
< t
f
Principe doptimalite de Bellman: la trajectoire optimale sur [t
0
, t
f
] contient la
trajectoire optimale sur [t
1
, t
f
] avec comme condition initiale x(t
1
).
Formulation mathematique :

J(x
0
, t
0
) = min
u
[t
0
,t
1
]
_
_
t
1
t
0
(x(t), u(t), t)dt +

J(x
1
, t
1
)
_
Application : recherche recursive dun chemin optimal
E. Laroche
ENSPS - ISAV
Commande Optimale
Principe du maximum de Pontriaguine
Lagrangien L(x, u, p, t) = (x, u, t) + p
T
f(x, u, t) (p : etat adjoit)
La solution optimale du probl`eme sans contrainte verie le principe du
maximum :

L
x
= p
T
: equation adjointe, avec p(t
f
) =

x
(x(t
f
), t
f
) dans le cas dun
etat nal libre ;

L
u
= 0 ; il sagit de la condition de transversabilite dans le cas o` u aucune
contrainte nest imposee sur u ;

L
p
= x
T
, avec x(t
0
) donne ; il sagit de lequation du syst`eme x = f(x, u, t).
E. Laroche
ENSPS - ISAV
Commande Optimale
Equation dEuler-Lagrange
Un syst`eme mecanique denergie cynetique T et denergie potentielle U se
comporte de mani`ere `a minimiser laction S =
_
t
f
t
0
(T U)dt (Principe de
moindre action de Maupertuis)
Syst`eme q = u
Crit`ere J(q, q) =
_
t
f
t
0
L(q(t), q(t))dt avec L = T U
Exercice : en appliquant le principe du mamimum de Pontriaguine, demontrez
lequation dEuler-Lagrange
d
dt
L
q

L
q
= 0
E. Laroche
ENSPS - ISAV
Commande Optimale
Commande bang-bang
Il sagit des commandes `a temps minimal avec des contraintes intervalle sur les
commandes
La commande optimale est alors toujours egale au maximum ou au minimal
Exemple illustratif :
Syst`eme lineaire `a une entree x = Ax + bu, x(t
0
) = x
0
co ut J =
_
t
f
t
0
dt = t
f
t
0
(temps minimal)
contrainte sur lentree 1 u(t) 1
contrainte sur letat nal x(t
f
) = 0
temps nal libre (toujours le cas pour un temps minimal)
E. Laroche
ENSPS - ISAV
Commande Optimale
Application du principe du maximum
Le Lagrangien est L(x, u, p, t) = 1 + p
T
Ax + p
T
bu
Le crit`ere secrit J =
_
t
f
t
0
L(x, u, p, t)dt. La commande minimisant le crit`ere
est u(t) = sign(b
T
p(t)).
Lequation adjointe est p = A
T
p avec p(t
f
) libre (car x(t
f
) impose)
Equation detat x = Ax bsign(b
T
p)
Syst`eme integrateur double
x
1
= x
2
, x
2
= u
A =
_
0 1
0 0
_
; B =
_
0
1
_
. (1)

exp(At) = I + At +
1
2
A
2
t
t
+ =
_
1 t
0 1
_
(2)
E. Laroche
ENSPS - ISAV
Commande Optimale
Resolution
p = A
T
p p(t) = exp(A
T
(t t
f
))p(tf)
p
1
(t) = p
1
(t
f
) (3)
p
2
(t) = (t
f
t)p
1
(t
f
) + p
2
(t
f
) (4)
u(t) = sign(p
2
(t)) (5)

x(t) = exp(A(t t
f
))x(t
f
) +
_
t
t
f
exp(A(t ))bu()d (6)
=
_
t
f
t
_
t
1
_
sign((t
f
)p
1
(t
f
) + p
2
(t
f
))d (7)
E. Laroche
ENSPS - ISAV
Commande Optimale
Caracterisation des points de commutation x(t
s
) denis par
(t
f
t
s
)p
1
(t
f
) + p
2
(t
f
) = 0.
x(t
s
) =
_
t
f
t
s
_
t
s

1
_
sign((t
s
)p
1
(t
f
))d (8)
= sign(p
1
(t
f
))
_
t
f
t
s
_
t
s

1
_
(9)
= sign(p
1
(t
f
))
_

1
2
(t
f
t
s
)
2
t
f
t
s
_
(10)
Pour p
1
(t
f
) > 0, les points de commutation appartiennent `a la branche de
parabole dequation x
1
=
1
2
x
2
2
avec x
2
> 0 ; pour p
1
(t
f
) < 0, ils
appartiennent `a la parabole dequation x
1
=
1
2
x
2
2
avec x
2
< 0. Le lieu complet
est deni par x
1
+
1
2
x
2
|x
2
| = 0.
Loi de commande optimale u(t) = sign(x
1
+
1
2
x
2
|x
2
|)
Representation des trajectoires dans lespace detat
E. Laroche
ENSPS - ISAV
Commande Optimale
Commande Lineaire Quadratique
Horizon ni
Position du probl`eme
Syst`eme x = A(t)x + B(t)u
Crit`ere J(x
0
, u) =
1
2
x
T
(t
f
)Sx(t
f
) +
_
t
f
t
0
1
2
_
x
T
(t)Q(t)x(t) + u
T
(t)R(t)u(t)
_
dt
avec Q = Q
T
0 et R = R
T
> 0
Formulation du probl`eme par Pontriaguine avec
L(x, u, p, t) = p
T
A(t)x + p
T
B(t)u +
1
2
(x
T
Q(t)x + u
T
R(t)u)

L
u
= B
T
(t)p + R(t)u = 0
p =
L
x
= A
T
(t)p Q(t)x
p(t
f
) = Sx(t
f
)
E. Laroche
ENSPS - ISAV
Commande Optimale
Reformulation
u(t) = R
1
(t)B
T
(t)p(t)
x(t) = A(t)x(t) B(t)R
1
(t)B
T
(t)p(t)
p = A
T
(t)p Q(t)x
syst`eme Hamiltonien :
d
dt
_
x(t)
p(t)
_
=
_
A(t) B(t)R
1
(t)B
T
(t)
Q(t) A
T
(t)
_ _
x(t)
p(t)
_
(11)
Resolution
ecrivons p(t) = P(t)x(t) avec P(t
f
) = S
alors, p(t) =
_
A
T
(t)P(t) + Q(t)
_
x(t)
ce qui donne (

P + PA + A
T
P PBR
1
B
T
P + Q)x = 0
on obtient une equation (dierentielle) de Riccati :

P + PA + A
T
P PBR
1
B
T
P + Q = 0 avec P(t
f
) = S
Solution : u(t) = K(t)x(t) avec K(t) = R(t)
1
B(t)
T
P(t).
E. Laroche
ENSPS - ISAV
Commande Optimale
Horizon inni
Position du probl`eme
On a necessairement x(t
f
) = 0 et la ponderation sur x(t
f
) na plus de sens
J(x
0
, u) =
_

t
0
1
2
_
x
T
(t)Q(t)x(t) + u
T
(t)R(t)u(t)
_
dt
Syst`eme LTI x = Ax + Bu
Solution
u(t) = Kx(t)
avec K = R
1
B
T
P
et P solution de lequation algebrique de Riccati
PA + A
T
P PBR
1
B
T
P + Q = 0
E. Laroche
ENSPS - ISAV
Commande Optimale
Commande LQ `a temps discret : horizon ni
Position du probl`eme
x(k + 1) = A(k)x(k) + B(k)u(k)
J =
1
2

k=n
k=0
x
T
(k)Q(k)x(k) + u
T
(k)R(k)u(k)
Resolution par le Lagrangien
L =

k=n
k=0
1
2
x
T
(k)Q(k)x(k) +
1
2
u
T
(k)R(k)u(k) + p
T
(k +
1) (x(k + 1) + A(k)x(k) + B(k)u(k))

L
u(k)
= R(k)u(k) + B
T
(k)p(k + 1) = 0

L
x(k)
= Q(k)x(k) p(k) + A
T
(k)p(k + 1) = 0

L
p(k+1)
= x(k + 1) + A(k)x(k) + B(k)u(k) = 0
Reformulation
Commande u(k) = R
1
(k)B
T
(k)p(k + 1) avec u(n) = 0 et donc
p(n + 1) = 0.
Lequation adjointe pour k = n donne p(n) = Q(n)x(n), on choisit alors
p(k) = P(k)x(k) avec P(n) = Q(n)
E. Laroche
ENSPS - ISAV
Commande Optimale
Solution
u(k) = K(k)x(k) avec
K(k) =

R
1
(k)B
T
(k)P(k + 1)A(k) et

R(k) = R(k) + B
T
(k)P(k + 1)B(k).
Determination de P(k)
P(k) = Q(k) + A
T
(k)P(k + 1)(A(k) B(k)K(k))
ce qui est equivalent `a P(k) = Q(k) + A
T
(k)M(k + 1)A(k)
avec lequation de Riccati discr`ete M(k + 1) =
P(k + 1) P(k + 1)B(k)(R(k) + B
T
(k)P(k + 1)B(k))
1
B
T
(k)P(k + 1)
calcul `a rebours `a partir de P(n) = Q(n)
E. Laroche
ENSPS - ISAV
Commande Optimale
Commande LQ `a temps discret : horizon inni
Position du probl`eme
x(k + 1) = Ax(k) + Bu(k)
J =
1
2

k=0
x
T
(k)Qx(k) + u
T
(k)Ru(k)
Solution
u(k) = K(k)x(k)
avec K = (R + B
T
PB)
1
B
T
PA
et P solution de lequation algebrique de Riccati discr`ete
P = Q+ A
T
(P PB(R + B
T
PB)
1
B
T
P)A
E. Laroche
ENSPS - ISAV
Commande Optimale
Propriete de robustesse : marge de module 1
Dierence de retour : par des manipulations `a partir de lequation de Riccati, on
obtient lequation de la dierence de retour :
(I + B
T
(sI A
T
)
1
K
T
)R(I + K(sI A)
1
B) =
R + B
T
(sI A
T
)
1
Q(sI A)
1
B
Inegalite de Kalman multivariable : en frequentiel (s = j) et en notant
H(j) = (jI A)
1
B, on obtient :
(I + KH(j))
H
R(I + KH(j)) = R + H
H
(j)QH(j) R
Dans le cas particulier o` u R = I et en ecrivant Q = L
T
L (factorisation de
Choleski), on obtient :
(I + KH(j))
H
(I + KH(j)) = I +
1

(LH(j))
H
(LH(j))
Marge de module : on en deduit :
i
(I + KH(j)) =
_
1 +
1

2
i
(LH(j)) 1
E. Laroche
ENSPS - ISAV
Commande Optimale
Reglage des ponderations
Remarque : la multiplication des ponderations Q et R par un meme scalaire ne
modie pas le regulateur
Restriction `a des ponderations diagonales
Methodologie iterative
ponderations initiales : matrices identite.
Regler globalemnt la dynamique en multipliant Q ou R par un scalaire
Ajuster les dynamiques sur les dierents etats en ajustant les elements de Q
Ajuster les dunamiques des actionneurs en ajustant les elements de R
Schema de regulation
Prise en compte des signaux de consigne
Ajout dun terme integral
E. Laroche
ENSPS - ISAV
Commande Optimale
Commande Lineaire Quadratique Gaussienne
Formulation du probl`eme
Syst`eme dynamique stochastique
_
x(t) = Ax(t) + Bu(t) + v(t)
y(t) = Cx(t) + w(t)
(12)
o` u v et le bruit de mesure w sont des bruits blancs centres de variance
E{v
T
v} = V = V
T
0 et E{w
T
w} = W = W
T
> 0
Crit`ere
J(x
0
, u) = lim
t
f

E
_
1
t
f
_
t
f
t
0
_
(x(t))
T
Qx(t) + (u(t))
T
Ru(t)
_
dt
_
, (13)
avec Q = Q
T
0 et R = R
T
> 0
E. Laroche
ENSPS - ISAV
Commande Optimale
Principe de separation
La solution du probl`eme LQG est donnee par les solutions de deux probl`emes
connus :
le probl`eme destimation optimale de letat dun syst`eme dynamique
stochastique (ltre de Kalman donnant une estimee x de x)
le probl`eme de commande LQ optimale en supposant x connu, donnant un
retour detat de gain K.
La commande LQG est nalement u = K x
E. Laroche
ENSPS - ISAV
Commande Optimale
Structure de la commande
Equation de lobservateur

x(t) = Ax(t) + Bu(t) + L(y(t) Cx(t)) (14)

gain de Kalman : L = C
T
W
1
avec la solution de lequation algebrique de
Riccati : A
T
+ A C
T
W
1
C + V = 0
Equations du regulateur :
_

x(t) = (A BK LC) x(t) + Ly(t)
u(t) = K x(t)
(15)
equivalent `a un transfert u = C(s)y avec
C(s) = K(sI A + BK + LC)
1
L.
Suivi de consigne : on peut facilement integrer un signal de sonsigne y

avec
u = C(s)(y

y).
E. Laroche
ENSPS - ISAV
Commande Optimale
Retour sur le principe de separation
Equations du syst`eme boucle avec u = w K
c
x :
_
_
_
x = Ax BK x + Bw

x = LCx + (A BK LC) x

y
= Cx C x
(16)
Avec
x
= x x, les equations du syst`eme secrivent :
_
_
_
x = (A BK)x BK
x
+ Bw

x
= (A LC)
x

y
= C
x
(17)
matrice detat bloc-triangulaire : ses valeurs propres = celles de A BK +
celles de A LC. On retrouve le principe de separation des modes de la
commande des modes dobservation.
E. Laroche
ENSPS - ISAV
Commande Optimale
Methode de reglage
Reglage du retour detat
Reglage du ltre de Kalman
Recouvrement du gain de boucle (LTR pour loop transfer recovery)
E. Laroche
ENSPS - ISAV
Commande Optimale
Formulation standard
Representation lineaire fractionnaire (LFR ou LFT ou produit de Redheer ou
star product)
Soit un syst`eme dynamique dentrees v et u et de sorties z et y
_
_
x(t)
z(t)
y(t)
_
_
=
_
_
A B
1
B
2
C
1
D
11
D
12
C
2
D
21
D
22
_
_
_
_
x(t)
v(t)
u(t)
_
_
(18)
boucle avec un correcteur K(s) dentree y et de sortie u
_
x
K
(t)
u(t)
_
=
_
A
K
B
K
C
K
D
K
_ _
x(t)
y(t)
_
(19)
Linterconnexion des deux syst`emes est un syst`eme dentree v et de sortie z.
E. Laroche
ENSPS - ISAV
Commande Optimale
Principe de la formulation standard : synthetiser le correcteur permettant de
minimiser une norme sur le transfert entre v et z : K(s) = arg min ||T
zw
(s)||
n
Norme H
2
. Soit G(s) = C(sI A)
1
B un syst`eme LTI strictement propre. Sa
norme H
2
est ||G(s)||
2
=
_
_
1
2
_

tr [G
H
(j)G(j)] d
_
Norme H

: ||G(s)||

= max

(G(j)) o` u est la valeur singuli`ere maximale.

Formulation standard de la commande LQ
Formulation standard de la commande LQG
E. Laroche
ENSPS - ISAV
Commande Optimale
Forme LQG equivalente
Principe
Soit un correcteur LTI nordre n
K
Est-il possible de le mettre sous une forme LQG : estimateur detat + retour
detat ?
Applications
retouche de correcteurs
interpolation de correcteurs (par interpolation des gains de la forme LQG)
E. Laroche
ENSPS - ISAV
Commande Optimale
Parametrisation de Youla dun correcteur LQG
Le mod`ele syst`eme + correcteur secrit :
_
_
_
x = (A BK)x BK
x
+ Bw

x
= (A LC)
x

y
= C
x
(20)
il presente :
n p oles non commandables (les valeurs propres de A LC)
n p oles non observables (les valeurs propres de A BK)
ces p oles sont distincts ; tous les p oles sont donc soit non commandables soit
non observables
le transfert entre w et
y
est donc nul
on peut donc ajouter nimporte quel transfert stable entre
y
et w sans
changer la dynamique du correcteur
on appelle param`etre de Youla ce transfert
E. Laroche
ENSPS - ISAV
Commande Optimale
Cas dun correcteur de meme ordre que le syst`eme
meme ordre param`etre de Youla statique : w = D
N

y
le correcteur LQG secrit alors
_

x = (A LC BK BD
N
C) x + (L + BD
N
)y
u = (K + D
N
C) x + D
N
y
(21)
Trouver les matrices de gain K et L ainsi que la metrice T du changement de
rep`ere x
K
= T x tel que les 2 representations detat soient identiques du point
de vue entree-sortie
Ce qui secrit :
T
1
A
K
T = A LC BK BD
N
C (22)
T
1
B
K
= L + BD
N
(23)
C
K
T = K D
N
C (24)
D
K
= D
N
(25)
E. Laroche
ENSPS - ISAV
Commande Optimale
La solution est donnee par :
D
N
= D
K
(26)
K = C
K
T D
K
C (27)
L = T
1
B
K
BD
K
(28)
0 = TBC
K
T T(A BD
K
C) + A
K
T + B
K
C (29)
La derni`ere equation est une equation algebrique de Riccati non symetrique
(GNARE pour Generalized Non-symetric Algebraic Riccati Equation)
Cas dun correcteur dordre superieur : ajouter des modes non observables ou
non commandables `a la representation detat du syst`eme pour obtenir un
mod`ele dordre n
K
E. Laroche
ENSPS - ISAV
Commande Optimale
Bureau detude
Pendule inverse
Commande LQ puis LQG
Mise en oeuvre des connaissances de cet enseignement mais aussi des autres
cours dautomatique
Methodologie
synth`ese de la commande `a partir du mod`ele linearise autour du point de
fonctionnement nominal
evaluation des performances et de la robustesse par analyse frequentielle sur le
mod`ele lineaire
validation nale du correcteur par simulation sur le mod`ele non-lineaire
E. Laroche
ENSPS - ISAV