Das Pontryaginsche Maximums Prinzip

Cumali Oruc
01.07.2014

Kapitel IV (Teil I)
In diesem Kapitel verallgemeinern wir unsere Ergebnisse aus Kapitel 2 und 3, in dem wir
uns nicht mehr nur auf die Linearitt beschrnken. Dieser Teil des Kapitels ist in fnf Unterkapitel unterteilt. Die ersten vier Unterkapitel von Kapitel IV dienen uns als Vorarbeit fr
das Pontryaginsche Maximums-Prinzip, welches wir erst im letzten Unterkapitel behandeln
werden. Der erste Unterkapitel handelt von der Variationsrechnung und der Euler-LagrangeDifferentialgleichung, der darauffolgende von der Hamiltonschen Dynamik und anschlieend
ein kleines Beispiel. Dann beschftigen wir uns mit Lagrange-Multiplikatoren und der Optimierung unter Nebenbedingungen. Und zu guter Letzt nehmen wir uns das Pontryaginsche
Maximums-Prinzip vor.

IV.I. Variationsrechnung und Euler-Lagrange-Differentialgleichung.

Wir beginnen diese Arbeit damit einige Methoden der Variationsrechnung zu betrachten. Dazu
machen wir zuerst einige
1. Definitionen und Voraussetzungen. (i) Sei eine glatte Funktion
L( , ) : Rn Rn R, (x, v) 7 L(x, v)
gegeben. Diese Funktion wird auch Lagrangefunktion genannt.
(ii) Es wird T > 0 und x0 , x1 Rn als gegeben vorausgesetzt. Wir definieren die Menge

(
)

X := x() : [0, T ] Rn , t 7 x(t) x(0) = x0 x(T ) = x1

(iii) Zum Schluss definieren wir das Funktional

T 
h i
h
i

I : X R, x() 7 I x() := L x(t) , x(t)

dt
0

f
1

Die Methoden der Variationsrechung, die wir betrachten werden, haben ihren Ursprung in dem
2. Grundproblem der Variationsrechnung. Dieses Problem besteht darin eine Kurve x ()
X zu finden, welche das Funktional I minimiert.

Die Frage ist nun: Was knnen wir ber x () sagen, bzw. wie lsst sich x () charakterisieren?
Auf diese Frage knnen wir mit dem nchsten Satz, der uns eine notwendige Bedingung liefert,
eine Antwort geben. Bevor wir zum besagten Satz kommen, betrachenten wir aber die unten
aufgefhrten
3. Definitionen und Notationen. (i) Zuerst erinnern wir an folgende Notationen:
Lxi (x, v) :=

L(x, v)
L(x, v)
und Lvi (x, v) :=
f ur alle i {1, ..., n}
xi
vi

(ii) Nun setzen wir:





x L(x, v) := Lx1 (x, v), ...., Lxn (x, v) und v L(x, v) := Lv1 (x, v), ...., Lvn (x, v)
(iii) Bei dem Vektor (x,v) bezeichnen wir den Untervektor x als Position und den Untervektor v
als Geschwindigkeit.

Kommen wir nun zur Kernaussage dieses Unterkapitels:

4. Satz (Euler-Lagrange-Differentialgleichung). Sei x () X eine Lsung des Grundproblems der Variationsrechnung. Dann gilt fr x () folgende Gleichung:





d

v L x (t) , x (t) = x L x (t) , x (t)

(E-L)
dt
Bemerkung: (i) Die Differentialgleichung (E L) ist ein System mit n Differentialgleichungen
zweiter Ordnung.
(ii) Wir knnen den Satz zeigen, in dem wir fr ein beliebiges und festes i {1, ..., n} beweisen,
dass folgende Gleichung erfllt ist:
 



d

Lvi x (t) , x (t) = Lxi x (t) , x (t)

dt
Beweis: Der Beweis ist in drei Teile gegliedert.
(i) In diesem Teil werden wir ein bichen Vorarbeit leisten. Wir definieren zuerst die Menge

(
)

Y := y() : [0, T ] Rn , t 7 y(t) y(0) = 0 y(T ) = 0

und fordern zudem, dass y() Y beliebig aber fest ist. Als nchstes konstruieren wir die
Funktion
h
i
i() : R R, 7 i( ) := I x () + y()
Wir zeigen jetzt, dass diese Funktion in = 0 ihr Minimum annimmt (wir verwenden dabei,
die Voraussetzung dieses Satztes, nmlich dass x () das Funktional I minimiert):
h
i
h
i
h
i
i( ) = I x () + y() I x () = I x () + 0 y() = i(0) R
2

Da i in = 0 also minimal ist, muss fr i somit gelten, dass die notwendige Bedingung i(0) = 0
(Analysis I) erfllt ist.
(ii) Nun berechnen wir i( ) R und betrachten dann erneut i(0). Wir definieren zuerst
z (t) := x (t) + y(t) und berechnen damit i( ):
h

i( ) = I x () + y()

= I z ()

T 


= L z (t) , z (t) dt
0

Offensichtlich gilt:



 

 

d 
d

z (t) , z (t) =
x (t) + y(t) , x (t) + y(t)

= y(t) , y(t)

d
d
Daher gilt nun (Kettenregel):
d
i ( ) =
d
0

 T 
 

L z (t) , z (t) dt
0

T
=

 

 d

L z (t) , z (t)
z (t) , z (t)
dt
d


T  
 

=
L z (t) , z (t) y(t) , y(t)

dt
0

T 
=




 

x L z (t) , z (t) , v L z (t) , z (t)

y(t) , y(t)

dt



T 





=
x L z (t) , z (t) y(t) + v L z (t) , z (t) y(t)

dt
0

T  X
n 
0


 X
n 




z (t) , z (t) yi (t) +

Lvi z (t) , z (t) yi (t)
dt

i=1

i=1

T  X
n 
0

L xi

L xi






z (t) , z (t) yi (t) + Lvi z (t) , z (t) yi (t)

dt

i=1


n T 




X

=
Lxi z (t) , z (t) yi (t) + Lvi z (t) , z (t) yi (t) dt
i=1 0
n T 

X
 


=
L xi
x (t) + y(t) , x (t) + y(t)

yi (t)
i=1 0

+ Lvi




 

x (t) + y(t) , x (t) + y(t)

yi (t) dt

Im vorletzten
Schritt
haben
wir
eine
Verallgemeinerung
der
Additionsregel
fr
Integrale
(
f1 +

f2 dx = f1 dx + f2 dx) verwendet. Fr = 0 gilt


 
 


 

0
0

z (t) , z (t) = x (t) + 0 y(t) , x (t) + 0 y(t) = x (t) , x (t)

3

und damit:
0

0 = i (0) =

n T 
X

Lxi





0
0
z (t) , z (t) yi (t) + Lvi z (t) , z (t) yi (t) dt

Lxi






x (t) , x (t) yi (t) + Lvi x (t) , x (t) yi (t) dt

i=1 0

n T 
X

i=1 0

Diese Gleichung gilt fr alle y() Y da wir dies als beliebig angenommen hatten.
(iii) Zum Schluss leiten wir aus obiger Aussage die Behauptung her. Sei zuerst ein beliebiges
j {1, ..., n} gegeben. Dann definieren eine Funktion :
: [0, T ] R , t 7 (t) mit (0) = (T ) = 0
Zu guter Letzt konstruieren wir ein y() Y folgendermaen:
yi (t) 0 f ur alle i 6= j und yj (t) = (t)
Wegen (0) = (T ) = 0 gilt nach partieller Integration:
T

Lvj x (t), x (t)

(t)dt
= Lvj x (t), x (t)

iT T d 



(t)
Lvj x (t), x (t)
(t) dt
dt
0

T
=




d

Lvj x (t), x (t)

(t) dt
dt

Mit obiger Wahl von y() Y folgt dann:


n T 




X

0=
Lxi x (t), x (t) yi (t) + Lvi x (t), x (t) yi (t) dt
i=1 0
T 

L xj x

(t), x (t)

yj (t) + Lvj x

(t), x (t)


yj (t) dt

T
=

Lxj

T




x (t), x (t) (t)dt + Lvj x (t), x (t) (t)dt

T
=

Lxj

T 



d

x (t), x (t) (t) dt

Lvj x (t), x (t)
(t) dt
dt

T
=



 



d

Lxj x (t), x (t) (t)

Lvj x (t), x (t)
(t) dt
dt


T  



d

=
Lxj x (t), x (t)
Lvj x (t), x (t)
(t) dt
dt
0

Nehmen wir an, dass es eine Teilmenge E [0, T ] gibt, mit

L xj

d
Lv > 0 t E
dt j
4

Dann knnen wir so whlen, dass

(t) > 0 t E und (t) 0 t
/E
Damit gilt:

T 
Lxj

 d



x (t), x (t)
Lvj x (t), x (t)
(t) dt > 0
dt

Dies ist ein Widerspruch zur Gleichheit des Integrals mit 0. Daher folgt:



 d

Lxj x (t), x (t)

Lvj x (t), x (t)
0 t [0, T ]
dt
Wegen der Bemerkung folgt schlielich die Behauptung.

Wir wollen nun die Euler- Lagrange- Differentialgleichung umformen in ein System von 2 n
Differentialgleichungen erster Ordnung.

IV.II. Hamiltonsche Dynamik.

5. Definitionen. (i) Sei x() X eine Kurve. Dann setzen wir:


p : [0, T ] Rn , t 7 p(t) := v L x(t) , x(t)

(ii) Die Kurve p() wird verallgemeinerter Impuls genannt.

(iii) Weiter setzen wir:
v : Rn Rn Rn , (x, p) 7 v(x, p)
(iv) Als nchstes definieren wir:


H : Rn Rn R , (x, p) 7 H(x, p) := p v(x, p) L x, v(x, p)
(v) Wir bezeichnen H als das hamiltonsche dynamische System oder einfach als Hamiltonfunktion.

Nun klren wir noch einige

6. Notationen. (i) Folgende Notation ist analog zu der aus 3 :
Hxi (x, p) :=

H(x, p)
H(x, p)
und Hpi (x, p) :=
f ur alle i {1, ..., n}
xi
pi

(ii) Auch diese ist analog:





x H(x, p) := Hx1 (x, p), ...., Hxn (x, p) und p H(x, p) := Hp1 (x, p), ...., Hpn (x, p)

f
Fr den kommenden Satz werden wir die folgende Annahme bentigen:
5

 7. Hypothese. Wir nehmen an, dass

n

v(, ) : R R R : x, p R :


p = v L(x, v) v = v(x, p)

f
Nun kommen wir zur eigentlichen Aussage dieses Unterkapitels:
8. Satz (Hamiltonsche Dynamik). Sei x() eine Lsung
der Euler-Lagrange Differentialgle

ichung und sei p() wie in 5 definiert. Dann lst x() , p() die hamiltonsche Differentialgleichung (H)



x(t)

= p H x(t) , p(t)


p(t)

= x H x(t) , p(t)


Insbesondere ist die Abbildung t 7 H x(t) , p(t) konstant.
Beweis: (i) Zuerst zeigen wir die erste Gleichung. Wegen der Definition der Hamiltonfunktion
gilt




x H(x, p) = x p v(x, p) x L x , v(x, p)




= p x v(x, p) L x , v(x, p) x x , v(x, p)
(1)





 
= p x v(x, p) x L x , v(x, p) , v L x , v(x, p)
x x , x v(x, p)




= p x v(x, p) x L x , v(x, p) v L x , v(x, p) x v(x, p)
(2)


= p x v(x, p) x L x , v(x, p) p x v(x, p)
(3)


= x L x , v(x, p)
p
Wir haben dabei folgendes benutzt:
(1) Kettenregel
(2) x x = E (Einheitsmatrix)
(3) nach 7 ist fr alle x, p Rn die Gleichung p = v L(x, v) eindeutig lsbar nach v = v(x, p),
d.h. es gilt:


v L x, v(x, p) = v L(x, v) = p

x
Daraus knnen wir folgern, dass





d
v L x(t) , x(t)

= x L x(t) , x(t)

p(t)

=
Def. dt
(4)





= x L x(t) , v x(t) , p(t)
= x H x(t) , p(t)
(5)

(6)

p
wobei:
(4) Euler-Lagrange-Gleichung
(5) Hypothese :




p(t) = v L x(t) , x(t)

x(t)

= v x(t) , p(t)
6

(6) Gleichung aus (i):



x H(x, p) = x L x, v(x, p)
x
Damit haben wir schon mal gezeigt, dass


p(t)

= x H x(t) , p(t)
(ii) Nun zeigen wir die andere Gleichung. Es gilt:


p H(x, p) = v(x, p) + p p v(x, p) p L x , v(x, p)
(7)





= v(x, p) + p p v(x, p) L x , v(x, p) p x , v(x, p)
(1)





 
= v(x, p) + p p v(x, p) x L x , v(x, p) , v L x , v(x, p)
0 , p v(x, p)
(8)


= v(x, p) + p p v(x, p) v L x , v(x, p) p v(x, p)
= v(x, p)
(3)

p
Bei dieser Folgerung haben wir die unten aufgefhrten Regeln verwendet:
(7) Produktregel
(8) p x = 0 (Nullmatrix)
x
Also folgt p H(x, p) = v(x, p) und somit haben wir




p H x(t) , p(t) = v x(t) , p(t)
Wegen der Hypothese bzw. (5) knnen wir schlielich folgern, dass


x(t)

= p H x(t) , p(t)
(iii) Zu guter Letzt gilt:



 d
d 
H x(t) , p(t) = H x(t) , p(t)
x(t) , p(t)
dt
dt





 
= x H x(t) , p(t) , p H x(t) , p(t)
x(t)

, p(t)





= x H x(t) , p(t) x(t)
+ p H x(t) , p(t) p(t)






 


= x H x(t) , p(t) p H x(t) , p(t) + p H x(t) , p(t) x H x(t) , p(t)
=0


Damit ist die Abbildung t 7 H x(t) , p(t) konstant.

Im nchsten Unterkapitel wenden wir den gerade bewiesenen Satz und die Euler-LagrangeGleichung auf ein physikalisches Beispiel an.

IV.III. Ein physikalisches Beispiel.

In diesem Beispiel geht es darum die optimale Geschwindigkeit zu berechnen, mit der das
Integral der (unten definierten) Lagrangefunktion L minimiert wird. Fr unser Rechenbeispiel
bentigen wir nun folgende
9. Annahmen und Definitionen. (i) Die Lagrangefunktion sei definiert als




m v(t)2
L x(t) , v(t) :=
V x(t)
2
2

(ii) Der Ausdruck mv(t)

wird hierbei interpretiert als kinetische Energie.
2
(iii) V ist die potentielle Energie.
(iv) Die Variable x() (in Abhngigkeit von t, wobei t die Zeit darstellt) ist die Ortskoordinate.

() fr die Beschleuni(v) Die Variable v() = x()

steht fr die Geschwindigkeit und v()
=x
gung.
(vi) Wir nehmen an, dass x() das Grundproblem der Variationsrechnung lst.

10. Rechnungen und Folgerungen. Aus obiger Definition knnen wir sofort folgern, dass








x L x(t) , v(t) = x V x(t) = V x(t) und v L x(t) , v(t) = m v(t)




Wegen v(t) = x(t)

folgt v L x(t) , v(t) = v L x(t) , x(t)

= p(t) und somit haben wir

p(t) = m v(t) = m x(t)

Mit der Euler-Lagrange-Gleichung gilt dann







 


d
v L x(t) , x(t)

= x L x(t) , x(t)

= x V x(t)
= F x(t)
mx
(t) = p(t)

=
dt
Dies ist das zweite Newtonsche Gesetz: Kraf t = M asse Beschleunigung, wobei die Kraft
meistens mit F bezeichnet wird. brigens wird p() als Impuls bezeichnet. Wegen v(t) =
ist die Hamiltonfunktion dann
x(t)

= p(t)
m




 p(t)2


p(t)
p(t)  p(t)2 m  p(t) 2
H x(t) , p(t) = p(t)
L x(t) ,
=

+V x(t) =
+V x(t)
m
m
m
2
m
2m
was der Summe aus potentieller und kinetischer Energie entspricht. Mit der hamiltonschen
Dynamik gilt dann



x(t)

= p H x(t) , p(t) = p(t)


 m


p(t)

= x H x(t) , p(t) = V x(t)

(bzw. ist es zu lsen um auf x(t) zu kommen).

Im nchsten Unterkapitel beschftigen wir uns mit der

IV.IV. Optimierung und Lagrange Multiplikatoren.

Wir fangen an mit der Optimierung ohne Nebenbedingungen. Folgende Aussage sollte bekannt
sein:
f (x). Dann
11. Satz. Sei f () : Rn R, x 7 f (x) eine glatte Funktion und sei f (x ) = max
n
xR

gilt f (x ) = 0.
Beweis: Siehe Vorlesung zur Analysis 2.


Allgemein treten bei Optimierungs-Problemen aber sehr hufig Nebenbedingungen auf. Die
Variations- und Optimierungstheorie verfolgt dabei zwei Grundprinzipien, nmlich
Bedingungen bringen neue Lagrange-Multiplikatoren und
Bedingungen enthalten verwertbare Informationen.
Damit wir nun zur Optimierung unter Nebenbedingungen bergehen knnen machen wir die
12. Definition und Annahme. (i) Sei h() : Rn R, x 7 h(x) eine differenzierbare Funktion. Dann definieren wir die Menge

)
(

D := x Rn h(x) 0

(ii) Sei f () : Rn R, x 7 f (x) eine glatte Funktion. Dann nehmen wir ab jetzt an, dass
x D und
f (x ) = maxf (x)
xD

f
Die Frage, der wir nun nachgehen ist: Lsst sich x D mit Hilfe der Gradienten darstellen
und wenn ja, wie?
13. Satz (Lagrange Multiplikatoren). Seien f () und x wie in 12 und sei g() : D
R, x 7 g(x) := h(x). Dann gilt

 

, R : 6= 0 6= 0 f (x ) = g(x )
Beweis: Wir machen eine Fallunterscheidung:

1. Fall: x D.

Hier ist x eine lokale Extremstelle, also gilt nach 12 , dass f (x ) = 0. Daraus folgt
1 f (x ) = f (x ) = 0 = 0 g(x )
Damit haben wir:

 

, R : 6= 0 6= 0 f (x ) = g(x )
Zudem betrachten wir nun ein Bild ber den Gradienten von f am Rand von D. ber den
Gradienten am Rand wissen wir hier nicht viel. Im Allgemeinen steht der Gradient hier nicht
senkrecht:

2. Fall: x D = x Rn h(x) = 0 .

Hier knnen wir nicht sagen, dass f (x ) = 0. Fr n = 1 kann man sich dies mit folgendem
Bild leicht klarmachen:
(

Was wir aber sagen knnen ist, dass der Gradient von g senkrecht zu D steht, da es hier sein
Maximum annimmt. Damit ist folgende Grafik gerechtfertigt:

Wir zeigen nun durch einen Widerspruchsbeweis, dass f (x ) senkrecht auf D steht:
Angenommen f (x ) steht nicht senkrecht auf dem Rand. Dann wrde es (mit dem Satz ber
implizit definierte Funktionen) ein ein y D, sodass f (x ) < f (y ). Dies steht im Wider10

spruch dazu, dass f (x ) = maxf (x). Daher muss f (x ) senkrecht auf dem Rand stehen.
xD

Damit muss f (x ) aber auch Parallel zu g(x ) verlaufen (falls g(x ) 6= 0), d.h.
R : f (x ) = g(x )
Siehe dazu folgende Graphik:

Allgemeiner gilt sogar (der Fall g(x ) = 0 wird hier mitbercksichtigt):


 

, R : 6= 0 6= 0 f (x ) = g(x )

Kommen wir nun zum finalen Unterkapitel, nmlich dem

IV.V. Pontryaginschen- Maximums-Prinzip.

Wir machen zuerst wichtige
14. Definitionen und Voraussetzungen. (i) Seien A Rm , x0 Rn und sei
f (, ) : Rn A Rn , (x, a) 7 f (x, a)
(ii) Wir setzen ab jetzt voraus, dass () A, wobei wir mit A die M enge der zul
assigen Steuerungen
bezeichnen und dies weiterhin definiert ist als

(
)

A := () : [0, ) A, t 7 (t) () ist messbar

(iii) Eine Dynamik oder ein dynamisches System wird beschrieben durch die Differntialgleichung

x() : [0,) R , t 7 x(t)

x(t)

= f x(t) , (t)
x(0) = x0

(iv) Sei die lauf ende Auszahlung

r(, ) : Rn A R , (x, a) 7 r(x, a)
11

(ODE)

(v) und die Endauszahlung

g() : Rn R , x 7 g(x)

(vi) Nun definieren wir die Auszahlungsf unktion als

T 
h i
h
i

P : A R, () 7 P () := r x(t) , (t) dt + g(x(T )).

(P)

(vii) Zum Schluss wird die Hamiltonf unktion der Steuerungstheorie konstruiert:
(H)

H(, , ) : Rn Rn A R , (x, p, a) 7 H(x, p, a) := f (x, a) p + r(x, a).

f
15. Grundproblem. Das Grundproblem dieses Themas ist es eine optimale Steuerung ()
zu finden, so dass wir die Auszahlungsfunktion maximieren zu knnen, d.h. so dass gilt
h
i
h
i

P () = max P () .
()A

f
Bemerkungen: Die Differentialgleichung (ODE) ist eine zustzliche Beschrnkung fr die Kurven x(). Wir bearbeiten zwei Varianten dieses Grundproblems. In der ersten Variante betrachten wir weiterhin einen festen Endzeitpunkt t = T . Die Bedingung x(T ) = x1 wird hier aber
nicht mehr gefordert. Zum Zeitpunkt t = T betrachten wir also einen freien Endpunkt, d.h.
(im Allgemeinen) xa (T ) = xa 6= xb = xb (T ). Zur anderen Variante spter mehr.
16. Satz (Pontryaginsche-Maximums-Prinzip mit fixem Zeitpunkt- und freiem Endpunktproblem). Sei optimal fr (ODE) und (P ) und sei x die zugehrige Trajektorie. Dann gibt
es eine Kurve (Kostatus) p () : [0, T ] Rn , t 7 p (t), so dass folgende Gleichungen gelten:


x (t) = p H x (t) , p (t), (t) ,
(ODE)


p (t) = x H x (t) , p (t), (t) ,





H x (t) , p (t), (t) = max H x (t) , p (t), a f ur alle t [0, T ],

aA


p (T ) = g x (T ) .


Auerdem gilt, dass die Abbildung t 7 H x (t) , p (t), (t) konstant ist.
Bemerkung: (i) Fr (ODE) mssen wir zeigen, dass fr alle 1 i n gilt




x i (t) = Hpi x (t) , p (t), (t) = f i x (t), (t)

(ADJ)
(M)
(T)

(ii) Fr (ADJ) ist hnlich zu zeigen, dass fr alle 1 i n gilt

i

p (t) = Hxi x (t) , p (t), (t) =

n
X

p (t)

fxji





x (t), (t) rxi x (t), (t)

j=1

Beweis: Siehe Appendix (der Literatur).


12

 17. Definitionen. (i) Die Gleichung (ADJ) heit adjungierte Gleichung.

(ii) (M ) heit M aximierungs P rinzip.
(iii) (T ) nennen wir die T ransversalit
ats Bedingung.

(iv) x () nennen wir Status des optimierten Systems.

(v) p () nennen wir Kostatus des optimierten Systems.

Fr die nchste Variante bentigen wir des weiteren folgende

h
i
18. Definitionen. (i) Sei = () der Zeitpunkt an dem die Kurve x() zum ersten
mal den Wert/Vektor x1 annimmt, d.h. dass fr alle t [0, ) gilt x(t) 6= x1 und x( ) = x1 .
(ii) Die Auszahlungsf unktion sei jetzt wie folgt definiert
h i
h
i 

P : A R, () 7 P () := r x(t) , (t) dt.

(P)

f
Bemerkung: Wir betrachten hier also Kurven x() die einen Festen Vektor x1 annehmen. Jedoch
wird hier nicht gefordert, dass dies zum Zeitpunkt t = T geschehen muss. Im Allgemeinen
ist
h
i

der Zeitpunkt an dem x1 angenommen wird unterschiedlich, da es wegen = () von der

Steuerung () abhngt.
Kommen wir zu unserem letzten
19. Satz (Pontryaginsche-Maximums-Prinzip mit freiem Zeitpunkt -und fixem Endpunktproblem). Seien die Voraussetzungen wie in 16 . Dann gibt es einen Kostatus p () : [0, ]
Rn , t 7 p (t), so dass (ODE), (ADJ) und (M ) gelten (letzteres fr alle 0 t ). Des weiteren gilt fr alle 0 t , dass


H x (t) , p (t), (t) 0.
Beweis: Siehe Appendix (der Literatur).

Literatur
http://math.berkeley.edu/~evans/control.course.pdf

13