Prof. Dr.-Ing. U.

Klingauf Otto-Berndt-Straße 2, 64287 Darmstadt

Institut für Flugsysteme Telefon (06151) 16-21042
und Regelungstechnik Telefax (06151) 16-21050
Fachbereich 16 (Maschinenbau)
Simon Mehringskötter, M.Sc. Telefon (06151) 16-21067

Klausur im Fach
MACHINE LEARNING ANWENDUNGEN

17. Februar 2020

Zeit: 10:00 bis 11:00 Uhr

Name: ………………………………….
1 2 3 ∑
Vorname: ………………………………

Matr.-Nr.: ……...………………………

Fachbereich: …………………………..

Wiederholer (freiwillige Angabe): Nein Ja

………………………………… …………………………………………
(Platznummer) (Unterschrift)

Hinweise:
1) Zugelassene Hilfsmittel:
a) Taschenrechner
b) Sprachwörterbuch (z.B. Deutsch-Englisch)
2) Ein eingeschaltetes Mobiltelefon, Smartwatch oder andere elektronische Geräte werden als
Täuschungsversuch gewertet. Die ausgeschalteten Geräte müssen in der Tasche verstaut werden.
3) Diese Klausur besteht aus 15 Blättern (inkl. Deckblatt)
4) Alle Aufgaben werden auf den Aufgabenblättern gelöst. Es darf kein eigenes Papier verwendet
werden.
5) Bitte legen Sie einen Lichtbildausweis und einen gültigen Studierendenausweis bereit.
6) Eine vorzeitige Abgabe ist nicht möglich.
7) Maximalpunktzahl: 79
Klausur Machine Learning Application, 17. Februar 2020 Blatt 2

Aufgabe 1: Grundlagen (26 Punkte)

Teil I: Regression

Anhand einer 20-dimensionalen Eingabe 𝑥 soll eine 5-dimensionale Ausgabe 𝑦 mittels linearer
Regression vorhergesagt werden.

a) [3] Formulieren Sie die Modellfunktion 𝑓 𝑥 𝑦. Wie viele lernbare Parameter hat diese Funktion?

b) [4] Gegeben sein ein Trainingsdatensatz mit 10000 Datenpunkten, repräsentiert als eine
Eingabematrix 𝑿 der Größe 10000 20 und eine Ausgabematrix 𝒀 der Größe 10000 5.
Formulieren Sie die quadratische Fehlersumme (Residual Sum of Squares, RSS) als Zielfunktion.

c) [3] Wie können die optimalen Parameter bzgl. der Zielfunktion aus b) bestimmt werden?
Beschreiben Sie kurz ein geeignetes Verfahren.
Klausur Machine Learning Application, 17. Februar 2020 Blatt 3

Teil II: Klassifikation mit neuronalem Netzwerk

Anhand von Bildern soll klassifiziert werden, ob ein Werkstück fehlerhaft ist oder nicht. Die Bilder sind
20x20 Pixel groß und grauwertig, d.h., jeder Pixel wird durch eine einzige Zahl repräsentiert. Zur
Klassifikation soll ein neuronales Netz mit vollständig verbundenen Schichten eingesetzt werden. Es
umfasst eine versteckte Schicht, die 100 Neuronen enthält.

a) [4] Wie viele trainierbare Parameter haben die Schichten des Netzes?

b) [2] Wie viele trainierbare Parameter hätte eine Faltungsschicht (Convolutional Layer), welche die
Eingabedaten mit 16 Filtern der Größe 5x5 verarbeitet?

c) [2] Es sei ein Trainingsdatensatz von 40000 Datenpunkten und ein Validierungsdatensatz von
10000 Datenpunkten gegeben. Korrekte und fehlerhafte Werkstücke sind zu gleichen Anteilen
enthalten. Das neuronale Netz aus Teil a) wird mit Gradientenabstieg trainiert und erreicht auf
dem Trainingsdatensatz eine Genauigkeit von 99%, auf dem Validierungsdatensatz hingegen
nur 90%. Erläutern Sie kurz, wie dieses Problem genannt wird und wie es zustande kommt.

d) [2] Wie könnte die Performanz auf dem Validierungsdatensatz gesteigert werden? Beschreiben Sie
einen möglichen Lösungsansatz.
Klausur Machine Learning Application, 17. Februar 2020 Blatt 4

Teil III: Anomalieerkennung

Um den korrekten Ablauf eines Produktionsprozesses zu überwachen, werden die Endprodukte durch
Sensoren überwacht, die 100-dimensionale Daten liefern. Vorhanden ist ein Datensatz, der den
Regelbetrieb widerspiegelt. Ziel ist es, Anomalien zu erkennen, die von diesem Regelfall abweichen. Die
genaue Art dieser Anomalien ist vorab nicht bekannt, und es liegen dahingehend auch keine
Trainingsdaten vor.

a) [4] Nennen Sie zwei Modelle/Algorithmen des maschinellen Lernens, mit denen dieses Problem
gelöst werden kann. Mit welcher Zielfunktion werden diese Modelle trainiert?

b) [2] Gegeben ist ein trainiertes Modell, nach welchem Kriterium könnten Anomalien erkannt
werden?
Klausur Machine Learning Application, 17. Februar 2020 Blatt 5

Aufgabe 2: Analyse von Kugellagern eines Asynchronmotors (27 Punkte)

Auf einem Prüfstand wird der Verschleiß von Kugellagern eines Asynchronmotors untersucht. Die
Degradierung äußert sich in der Regel durch Ausbrüche, die in den Laufflächen (Innen- und Außenring)
oder an den Kugeln selbst auftreten. Das Ziel ist es einen Prognosealgorithmus zu entwickeln mit dem
der Ausfallzeitpunkt der Kugellager vorhergesagt werden kann. Zu diesem Zweck sollen Run-to-Failure
Kurven aufgenommen werden.

a) [8] Zur Entwicklung des Prognosealgorithmus soll nach dem OSA-CBM (Open System Architecture
for Condition Based Maintenance) Prozess vorgegangen werden. Benennen Sie die 7 Schritte
des OSA-CBM Prozesses in der korrekten Reihenfolge und erläutern Sie kurz was die einzelnen
Schritte bedeuten.
Klausur Machine Learning Application, 17. Februar 2020 Blatt 6

b) [6] Für die Bewertung der Algorithmen möchten Sie die Metriken „Accuracy“ und „Precision“
verwenden. Verdeutlichen Sie mithilfe des unten gezeichneten Bildes grafisch die beiden
Begriffe „Accuracy“ und „Precision“ und ordnen Sie der Matrix zusätzlich die Begriffe „Low
Bias“, „High Bias“, „Low Variance“ und „High Variance“ zu.

Accuracy

Precision

c) [2] Welche Sensoren/Parameter würden Sie vorschlagen, um den Verschleiß der Kugellager zu
erfassen. Nennen Sie zwei.
Klausur Machine Learning Application, 17. Februar 2020 Blatt 7

d) [5] Sie haben diverse Sensoren verbaut und messen eine Vielzahl von Parametern, aus denen Sie
2000 Merkmale extrahiert haben. Um die Dimension zu reduzieren, greifen Sie die
Hauptkomponentenanalyse (Principal Component Analysis (PCA)) auf. Erläutern Sie das
Verfahren für einen 2-dimensionalen Fall grafisch und in kurzen Worten. Ergänzen Sie hierfür
das untenstehende Koordinatensystem, beschreiben Sie was das Vorgehen ist und benennen Sie
eine Möglichkeit mit der man die Anzahl der verwendeten Hauptkomponenten festlegen kann.
Klausur Machine Learning Application, 17. Februar 2020 Blatt 8

e) [6] Sie haben 3 Run-to-Failure Kurven aufgenommen und diese normiert aufgetragen. Die zuvor
festgelegte Ausfallgrenze liegt bei 0,025. Beim genaueren Hinsehen stellen Sie jedoch fest, dass
alle 3 Kurven nicht wirklich optimal für die Prognose der verbleibenden Lebensdauer (RUL)
geeignet sind. Benennen Sie das jeweilige Problem der Kurven hinsichtlich ihrer Eignung für eine
Prognose.

Zeit
Klausur Machine Learning Application, 17. Februar 2020 Blatt 9

Aufgabe 3: Produktionsmanagement (26 Punkte)

Teil I: Predictive Maintenance

Gegeben sei ein zweidimensionaler Eingaberaum. Ihr Ziel ist es den Algorithmus der Self Organizing
Map (SOM) zu verwenden, um festzustellen, wie viele Cluster in Ihrem Datensatz enthalten sind. Der
zugrundeliegende Datensatz besteht aus 100 Datenpunkten.

a) [1] Bestimmen Sie die Anzahl der Neuronen, aus denen Ihr Netz bestehen soll. Wählen Sie hierzu
die in der Vorlesung genannte „Faustregel“.

b) [2] Bestimmen Sie rechnerisch für den angegebenen Datenpunkt D die Best Matching Unit (BMU)
unter den drei Neuronen Ni der SOM.

  X2 

  N2= (4,4.5) 
Klausur Machine Learning Application, 17. Februar 2020 Blatt 10

c) [1] Nennen Sie den Hyperparameter, der für die Anpassung der BMU an den betrachteten
Trainingsvektor verantwortlich ist. Welche Auswirkungen hat es, wenn Sie diesen
Hyperparameter zu groß oder zu klein wählen?

d) [1,5] Gegeben sei folgende Ausgabe einer SOM zur Dimensionsreduktion. Zeigen Sie exemplarisch
(1 Beispiel pro Fall):
o Welches der aufgeführten Signale ist redundant?
o Welches ist bedeutungslos?
o Welches ist relevant?
Kennzeichnen Sie die jeweiligen Fälle in der Abbildung.
Klausur Machine Learning Application, 17. Februar 2020 Blatt 11

Teil II: Predictive quality

Sie benötigen aus rechtlichen Gründen eine 100% Qualitätskontrolle in Ihrer Produktion. Ihren
Produktionsprozess möchten Sie durch den Einsatz von Machine Learning verbessern.

a) [4,5] Wie gehen Sie systematisch vor? Benennen Sie die Schritte des DMME (Data Mining
Methodology for Engineering Applications) Prozesses.

b) [1] Nennen Sie zwei wichtige Stolperfallen im Bereich Business Understanding für Ihren
Anwendungsfall

1.

2.

c) [1] Gehen Sie davon aus, dass Sie Ihr Problem datentechnisch abbilden können. Welche Kategorie
von Machine Learning Verfahren erscheint Ihnen angemessen und warum?
Klausur Machine Learning Application, 17. Februar 2020 Blatt 12

d) [1] Sie entscheiden sich für einen Klassifikationsalgorithmus. Nennen Sie einen Vor- und einen
Nachteil von Entscheidungsbäumen.

e) [2] Nach dem Trainieren Ihres Modells müssen Sie dessen Eignung bewerten. Gegeben ist die
Konfusionsmatrix. Berechnen Sie den Recall (Formel angeben) und diskutieren Sie dessen
Eignung in diesem Kontext kurz.

predicted class

NOK OK
true class

NOK 487 329

OK 30 11189

Teil III: Energy Forecasting

Sie sind Energiemanager in Ihrem Unternehmen und möchten die elektrische Leistung einer
Werkzeugmaschine prognostizieren.

a) [1,5] Welche Vorteile ergeben sich für Ihren Betrieb durch eine Lastprognose der
Werkzeugmaschinen? Was sind mögliche Nachteile? Nennen Sie zwei Vorteile und einen
Nachteil.
Klausur Machine Learning Application, 17. Februar 2020 Blatt 13

b) [0,5] In welchen Bereich des Machine Learning wird „Energy forecasting“ eingeordnet?

c) [1,5] Was sind die zwei typischen Feature-Arten von Time Series Forecasting? Welches weitere
Feature ist aus Ihrer Sicht für die Lastprognose einer Werkzeugmaschine hilfreich?

d) [2] Sie möchten nun den Datensatz zum Machine Learning vorbereiten. Gegeben sei folgender
Ausschnitt des zur Modellerstellung zur Verfügung stehenden Datensatzes. Tragen Sie die
Zielgröße (Target) zur Prognose von zwei Zeitschritten der „Electric load“ in die vorgegebenen
Felder ein.

Time (sec) Feature A Feature B Electric load (W) Zielgröße (Target)

100 8 5 110
101 3 2 199
102 7 4 145
103 9 6 132
104 5 8 185
105 4 3 210
106 3 4 204
107 1 6 310
Klausur Machine Learning Application, 17. Februar 2020 Blatt 14

Teil IV: Operational Control

a) [3] Skizzieren Sie das allgemeine Reinforcement Learning Schema und beschriften Sie alle
Elemente.

b) [0,5] Was versteht man im Kontext des Reinforcement Learnings unter einer Policy?

c) [0,5] Was ist mit einer greedy-Policy gemeint?

Klausur Machine Learning Application, 17. Februar 2020 Blatt 15

d) [1] Was ist der Vorteil der 𝜖-greedy Policy im Vergleich zur „reinen“ greedy-Policy? Wofür steht 𝜖
in diesem Zusammenhang?

e) [0,5] Nennen Sie die Kerninnovation, nach deren Einführung Reinforcement Learning Algorithmen
als Deep Reinforcement Learning Algorithmen bezeichnet wurden?