Optimierung Fragen V2

Nur die Kästen ankreuzen die richtig sind! Wie bei dem multiple choice Teil der echten Klausur
muss man nicht Begründen (es hilft aber sich zu überlegen, warum es stimmt oder nicht. Man sollte
im Normalfall immer eine Antwort darauf haben außer bei den ganz abgefahrenen Sachen wo leider
nur auswendig lernen hilft.)

1. Gradientenverfahren
1. ∇f (x) = 0 ist eine notwendige Bedingung 
2. Ist f konkav, ist ∇f (x) = 0 eine hinreichende Bedingung 
3. Die Gleichung ∇f (x) = 0 führt oft zu einem nicht linearen Gleichungssystem das gelöst werden
muss 
4. Der Startpunkt für den Gradientenabstieg kann beliebig gewählt werden 
5. Der Startpunkt hat Einfluss auf die Schrittanzahl die das Verfaahren benötigt 
6. Der direkte Weg zum Optimum muss nicht immer der kürzeste sein 
7. Die Wahl der Schrittweite ist wichtig für Konvergenz und Effizienz 
8. Besonders bei flachen Gradienten sollte man die Schrittweite möglichst klein wählen 
9. Oft ist es besser suboptimale Schrittweiten zu wählen die die Konvergenz garantieren als die
optimalste Schrittweite zu bestimmen 
10. Die Reduktion des Funktionswertes in jedem Schritt garantiert Konvergenz 
11. Die Differenzierbarkeit der Funktion ist nur wichtig um den gradienten zu bestimmen, nicht für
die Konvergenz des Verfahrens 
12. Das CG Verfahren braucht immer genau n Schritte zum Ziel 
13. Dass CG Verfahren kann zum lösen linearer Gleichungssysteme benutzt werden 
14. Für kleinere Konditionszahlen ist das CG Verfahren effizienter 
15. Umso allgemeiner die Funktion, umso besser läuft das CG Verfahren ab 

2. Newton und Quasi-Newton Verfahren

1. Beim Newton Verfahren werden in Richtung mit schwacher Krümmung größerer Schritte erzielt

2. Bei quadratischen Zielfunktionen ist das Newton Verfahren nach einem einzigen Schritt fertig 
3. Die Konvergenzordnung des Newton-Verfahrens ist in jedem Fall quadratisch
4. Das berechnen der Hesse-Matrix ist aufwendiger als die Invertierung 
5. Damit die Abstiegsrichtung in die richtige Richtung geht, muss Hf (x) positiv definit sein 
6. Die Hesse-Matrix ist immer symmetrisch 
7. Welche der folgenden Anforderung muss die Approximation B der Hesse-Matrix erfüllen?
• B muss Symmetrisch sein 
• B muss positiv definit sein 
• Die Tangentengleichung muss gelten 
8. Statt der Hesse-Matrix selbst, ist es sinnvoller direkt die Inverse der Hesse-Matrix zu approx-
imieren 
9. Die Wolfe-Bedingungen bei Quasi-Newton Verfahren sind wie beim Gradientenabstieg nur für die
Effizienz wichtig 
10. Beim Newton Verfahren ist die Schrittweitenbestimmung nicht wichtig 
11. Das Newton Verfahren kann nur streng konvexe Funktionen optimieren 
12. Lineare Residuen entsprechen einem quadratischen Optimierungsproblem 
13. Das Gauss-newton verfahren eignet sich besonders gut für eine Zielfunktion aus einer Summe
von Fehlertermen 
14. In der Jakobimatrix steht die Ableitung der Zielfunktion 
15. Jeder Iterationsschritt vom Gauss-Newton Verfahren muss

1
ein lineares Gleichungssystem lösen 
16. Das Gauss-Newton verfahren approximiert wieder die Hesse-Matrix und nutzt dabei die spezielle
Form der Problemstruktur von least square Problemen aus 

3. Optimierung mit Nebenbedingungen

1. Die Lösung des Problems ohne Nebenbedingungen ist immer eine untere Schranke für das Prob-
lem mit Nebenbedingungen 
2. Mit Nebenbedingungen liegt das Optimum immer auf dem Rand der gültigen Menge 
3. Im Minimum sind ∇f und ∇c orthogonal 
4. Manche Funktionen besitzen erst durch Nebenbedingungen ein Optimum da sie sonst unbeschränkt
sind und beliebig kleiner werden könnten 
5. Das ∇f und ∇c parallel stehen ist eine hinreichende Bedingung 
6. Man kann immer wenn ∇f und ∇c parallel stehen durch die Vorzeichen von beiden Gradienten
eine Aussage darüber treffen ob es sich um ein Minimum oder Maximum handelt 
7. Ist der Lagrange-multiplier λ = 0, so ist die Nebenbedingung inaktiv 
8. Bei Ungleichheitsbedingungen spielt das Vorzeichen von λ eine Rolle 
9. Strenge Komplementarität liegt vor, wenn c und λ gleichzeitig 0 sind 
10. Ohne strenge Komplementarität kann man nicht mehr aktive
Nebenbedingungen an λ ablesen 
11. Die KKT Bedingungen sind in jedem Fall eine hinreichende Bedingung 
12. Für alle x und λ gilt: q(λ) ≤ f (x) 
13. Bei starker Dualität minimiert das duale Problem auch das primale 

4. Lineare Programme
1. Bei linearen Programmen muss nur die Zielfunktion linear sein 
2. Falls es ein Minimum gibt, so liegt es auf dem Rand des von den Nebenbedingungen aufgespannten
Polyeders 
3. Ohne Nebenbedingungen hat ein lineares Programm immer garantiert eine Lösung 
4. Ist der Polyeder die leere Menge, ist das lineare Programm ungültig 
5. Ist der Polyeder in negativer Richtung von c offen, ist das lineare Programm ungültig 
6. Jedes lineare Programm lässt sich in Standardform überführen 
7. Die KKT Bedingungen sind bei linearen Programmen hinreichend 
8. Das duale Problem eines linearen Programms ist ein quadratisches Programm 
9. Ist das duale Problem lösbar, so auch das primale 
10. Ist das eine Problem unbeschränkt, so ist das andere ungültig 
11. Das Simplex Verfahren benötigt die Standardform 
12. Die Basislösung ist die optimalste Lösung 
13. Eine initiale Basislösung lässt sich durch lösen eines linearen Programms finden 
14. Um den Aufwand der invertierung zu reduzieren, zerlegt man die Matrix B in eine obere und
untere Dreiecksmatrix 

2
5. Problemstellungen und Nicht lineare Optimierung
5.1 Betrachte das folgende Problem:
max3 f (x) = 10x1 + 7x2 + 9x3
x∈R

s.t. 500 − 2x1 − 9x2 − 8x3 ≥ 0

300 − x1 − 2x2 − 3x3 ≥ 0
2000 − 18x1 − 9x2 − 6x3 ≥ 0
50 − x1 ≥ 0
40 − x2 ≥ 0
70 − x3 ≥ 0
x1 ≥ 0
x2 ≥ 0
x3 ≥ 0

5.1.1. Das Problem befindet sich in Standardform 

5.1.2. Es handelt sich um ein Lineares Programm 
5.1.3. Die Dimension des Lösungsraums in Standardform beträgt 8 
5.1.4. Die Dimension von λ in Standardform beträgt 6 
5.1.5. Eine Innere Punkte Methode kann zum lösen dieses Problems genutzt werden 

5.2 Geben Sie die Minimalitätsbedingungen für folgendes Problem an:

f (x) = 3x21 + 2x1 x2 + 1.5x22 , s.t. 5 − x1 − x2 ≥ 0

5.2.1. Die Funktion lässt sich in die Form f (x) = 12 x> Qx + g > x überführen. Geben sie dabei
die Matrix Q und den Vektor g an.
5.2.2. Die Nebenbedingung ist aktiv 
5.2.3. Das Problem erfüllt die Vorraussetzungen für starke dualität  (Selber keinen Plan lol :D)

5.3 Sei
min c> x, s.t. Ax − b = 0, x ≥ 0
x
ein lineares Programm in der Standardform. Geben sie die zu dieser Problemstellung passenden
KKT Bedingungen an.

5.4 Sei
min f (x), s.t. c(x) = 0, x ≥ 0
x
ein nicht lineares Programm in der Standardform. Geben sie die zu dieser Problemstellung passenden
KKT Bedingungen an. Was muss geändert werden um die KKT Bedingungen zu glätten?

5.5 Sei f(x) = 21 x> Qx + g > x eine linear quadratische Funktion mit Nebenbedingungen c(x) = Ax + b
und der positiv definiten Matrix Q. Geben sie an welche der folgenden Matrizen die KKT Matrix
für dieses Problem darstellt:

Q −A>
 
(1)
0 A
 
Q A
(2)
−A> 0
Q −A>
 
(3)
A 0
Q −A>
 
(4)
A −Q
5.5.1. Matrix Nummer: stimmt
5.5.2. Durch die KKT Matrix kann garantiert das globale Optimum von f (x) bestimmt werden 

5.6 Führen Sie für das folgende NLP einen Schritt des Newton-Verfahrens aus: f (x) = x1 + x2 ,
c(x) = 2 − x21 − x22 mit Startwerten x1 = 0, x2 = −2, λ = 1.

3
6. Kombinatorische Optimierung
1. Für viele Probleme in der kombinatorischen Optimierung gibt es Verfahren, die das Optimum in
Polynomieller Laufzeit finden 
2. Das Bipartite Graph Matching Problem lässt sich in polynomieller Laufzeit lösen 
3. Beim Maximum Flow Problem sucht man den maximalen Schnitt zwischen Quelle und Senke 
4. Bei Integer linearen Programmen liegen die Optima auf den Ecken der gültigen Menge 
5. Das Simplex-Verfahren kann nicht benutzt werden um ein Integer linear Program exakt zu lösen

6. Durch relaxieren und rounding erhält man garantiert die globale optimale Lösung 
7. Bipartite Graph Matching kann durch den Simplex Algorithmus gelöst werden 
8. Durch hinzufügen neuer Nebenbedingungen bei einem Integer linear Program ist es in manchen
fällen möglich auf die exakte Ganzzahlige Lösung zu runden