Technische Universität München

TUM School of Engineering and Design

KI-Batteriespeichermodell auf Basis neuronaler Netze -

Entwicklung einer neuen Datenvorverarbeitungspipeline und
Trainingsmethodologie

Daniel Jerouschek

Vollständiger Abdruck der von der TUM School of Engineering and Design der Technischen

Universität München zur Erlangung eines

Doktors der Ingenieurwissenschaften (Dr.-Ing.)

genehmigten Dissertation.

Vorsitz: Prof. Malte Jaensch, PhD

Prüfer*innen der Dissertation:

1. Prof. Dr.-Ing. Dr. h.c. Ralph Kennel

2. Prof. Dr.-Ing. Andreas Jossen

Die Dissertation wurde am 03.03.2022 bei der Technischen Universität München eingereicht

und durch die TUM School of Engineering and Design am 10.11.2022 angenommen.
Kurzfassung

Ein Bestandteil der Energiewende im Verkehrssektor ist die Elektrifizierung des An-
triebsstrangs. Fahrzeuge mit einem 48V-Mild-Hybrid Bordnetz bieten eine höhere Ener-
gieeffizienz als vergleichbare Fahrzeuge mit reinem verbrennungsmotorischem Antrieb.
Aufgrund der im Verhältnis zur gespeicherten Energie hohen Leistungen, besteht die
Herausforderung dieser Form des Bordnetzes aus einer exakten Spannungsprädiktion.
Für die Bordnetzstabilität ist die Spannungsprädiktion entscheidend und damit ein si-
cherheitsrelevanter Baustein in den Fahrzeugen. Die aktuell in der Industrie genutzten
Modelle basieren auf elektrischen Ersatzschaltbildmodellen, die neben messbaren phy-
sikalischen Größen zusätzlich abhängig vom Ladezustand der Batterie sind. In Bezug
auf diese beiden Punkte werden in der vorliegenden Arbeit alternative Modellierungsme-
thoden entwickelt. Zum einen basiert der Modellierungsansatz auf künstlichen neurona-
len Netzen, die mit Backpropagation Algorithmen trainiert werden. Zum anderen nutzen
die Netze ausschließlich physikalisch messbare Parameter als Input. Die Datenvorver-
arbeitung wird neben der Sequenzialisierung und Normalisierung um neuartige Algorith-
men zum Under- und Oversampling ergänzt. Das Undersampling wird auf kontinuierliche
Daten adaptiert, mit der Möglichkeit mehrere Features parallel dem Reduktionsprozess
zu unterstellen. Die dabei erzeugte Flexibilität im Multi Feature Undersampling ist für un-
ausgewogene Datensätze ein wichtiges Kriterium, um schnell und präzise Datenvertei-
lungen zu erlangen, die für das Training neuronaler Netze besser geeignet sind. Das an-
schließende Oversampling eliminiert die unterrepräsentierten Featurebereiche in einem
mehrstufigen Prozess, der auf kontinuierliche In- und Outputs angepasst ist. Die Zeit-
abhängigkeiten im Spannungsverhalten der Batterie werden durch rekurrente neuronale
Netze aufgegriffen. Insbesondere zeigen Long Short-Term Memory Zellen die Fähigkeit
selbst langsame elektrochemische Effekte zu modellieren. Ein Teil der Hyperparame-
ter wurde anhand von Vergleichsmodellen experimentell bestimmt, für den anderen Teil
wurden sinnvolle Parameterräume definiert. Dabei ist das Hyperparametertuning in eine
kaskadierte Pipeline gebettet, die unabhängige Parametergruppen mit einem Bayess-
chen Optimierungsframework sequenziell optimiert. Die Datenvorverarbeitung und das
Hyperparametertuning wurden im Rahmen dieser Arbeit anhand zweier Lithium-Ionen-
Batteriepacks erfolgreich verifiziert und über einen sehr großen Temperatur- und Leis-
tungsbereich validiert. Der gesamte Prozess zur Entwicklung eines Batteriemodells auf
Basis von neuronalen Netzen ist komplex und interdisziplinär. Die in dieser Arbeit entwi-
ckelte Datenverarbeitungs- und Hyperparametertuningpipeline stellen ein Tool dar, wel-
ches die Entwicklung solcher Modelle vereinfacht.

i
Abstract

One basic part of the energy transition in the transport sector is the electrification of
the powertrain. Vehicles with a 48V mild hybrid electrical power supply system offer hig-
her energy efficiency than comparable vehicles with a purely internal combustion engi-
ne drive. Due to the high power in relation to the stored energy, the challenge of this
form of vehicle electrical system consists of precise voltage prediction.Voltage predic-
tion is crucial for ensuring the stability of the vehicle electrical system and is therefore
a safety-relevant component in the vehicles. The models currently used in the industry
are based on electrical equivalent circuit models which, in addition to measurable phy-
sical quantities, are also dependent on the state of charge of the battery. With respect
to these two issues, alternative modeling methods are developed in the present work.
On the one hand, the modeling approach is based on artificial neural networks trained
with backpropagation algorithms. On the other hand, the networks use only physical-
ly measurable parameters as input. In addition to sequentialization and normalization
data preprocessing is complemented by novel algorithms for undersampling and over-
sampling. Undersampling is adapted to continuous data, with the possibility of subjecting
multiple features to the reduction process in parallel. The flexibility generated in the multi
feature undersampling is an important criterion for unbalanced datasets to quickly and
accurately obtain data distributions that are more suitable for neural network training.
The subsequent oversampling eliminates the underrepresented feature regions in a mul-
tistep process adapted to continuous inputs and outputs. Time dependencies in battery
voltage behavior are addressed by recurrent neural networks. In particular, Long Short-
Term Memory cells show the ability to model even slow electrochemical effects. One Part
of the hyperparameters were determined experimentally using comparative models, and
reasonable parameter spaces were defined for the other part. Here, the hyperparameter
tuning is embedded in a cascaded pipeline that sequentially optimizes independent pa-
rameter groups using a bayesian optimization framework. The data preprocessing and
hyperparameter tuning were successfully verified and validated over a very wide tem-
perature and power range using two lithium-ion battery packs in this work. The entire
process of developing a neural network-based battery model is complex and interdisci-
plinary. The data processing and hyperparameter tuning pipeline developed in this work
provide a tool that simplifies the development of such models.

ii
Vorwort und Danksagung

Die vorliegende Arbeit entstand während meiner Tätigkeit als Doktorand bei der IAV
GmbH in München in Kooperation mit dem Lehrstuhl für Elektrische Antriebssysteme
und Leistungselektronik (EAL) an der Technischen Universität München (TUM).

Mein besonderer Dank gilt an erster Stelle Prof. Dr.-Ing. Ralph Kennel für die Möglichkeit
zur Promotion und für die Betreuung dieser Arbeit. Vielen Dank für alle inneren und
äußeren Freiheiten, Ihre Unterstützung und das mir entgegengebrachte Vertrauen.

Bei Prof. Dr.-Ing. Andreas Jossen möchte ich mich ausdrücklich für die schnelle Erstel-
lung des umfangreichen Zweitgutachtens sowie für seine Unterstützung und wertvollen
Hinweise bedanken.

Des Weiteren danke ich Prof. Malte Jaensch für die Übernahme des Prüfungsvorsit-
zes.

Ein großes Dankeschön geht an meinen Mentor Dr. rer. nat. Ahmet Taskiran für die fachli-
chen Diskussionen, wertvolle Anregungen und das mir entgegengebrachte Vertrauen.

Dieser Dank gilt ebenso den Kolleginnen und Kollegen der IAV GmbH, die Zusammen-
arbeit hat mir große Freude bereitet.

Mein herzlicher Dank geht an meine Familie und Freunde. Bei meinen Eltern bedanke
ich mich vielmals für ihre fortwährende Unterstützung, ohne die mir meine Ausbildung
so nicht möglich gewesen wäre.

Für den bedingungslosen Rückhalt und ihr Verständnis möchte ich mich ganz besonders
bei meiner Frau Viola bedanken. Ohne ihren Zuspruch wäre mir die Fertigstellung dieser
Arbeit nicht möglich gewesen. Ein ganz besonderer Dank gilt meiner Tochter Marie, die
mich in den letzten Zügen der Ausarbeitung meiner Dissertation maßgeblich motiviert
hat. Ich freue mich nun auf viele gemeinsame Abenteuer mit euch.

München, Daniel Jerouschek

iii
Inhaltsverzeichnis
Kurzfassung ..................................................................................................... i
Abstract........................................................................................................... ii
Vorwort und Danksagung .................................................................................. iii
1 Einleitung................................................................................................ 1
1.1 Motivation ............................................................................................... 1
1.2 Ziel der Arbeit.......................................................................................... 4
1.3 Einordnung der Arbeit............................................................................... 5
1.4 Methodik................................................................................................. 6
2 Stand der Technik .................................................................................... 7
2.1 Lithium-Ionen-Batterien ............................................................................ 7
2.1.1 Funktionsweise........................................................................................ 7
2.1.2 Aktivmaterialien ....................................................................................... 10
2.1.3 Leerlaufspannung und Überspannugen ...................................................... 11
2.1.4 Batteriekennwerte .................................................................................... 12
2.1.5 Batteriemanagementsystem...................................................................... 14
2.1.6 Modellierung ........................................................................................... 16
2.2 48 V Bordnetz ......................................................................................... 18
2.2.1 Einsatzzweck .......................................................................................... 19
2.2.2 Komponenten .......................................................................................... 21
2.3 Maschinelles Lernen ................................................................................ 22
2.3.1 Trainingsprozess...................................................................................... 22
2.3.2 Deep Learning......................................................................................... 25
2.3.3 Recurrent Neural Networks ....................................................................... 26
2.3.4 Transformer............................................................................................. 34
2.3.5 Hyperparameter ...................................................................................... 38
3 Daten ..................................................................................................... 43
3.1 Batterie Samples ..................................................................................... 43
3.2 Datengenerierung .................................................................................... 45
3.2.1 CAN-Daten ............................................................................................. 45
3.2.2 HiL-Prüfeinrichtung .................................................................................. 45
4 Datenverarbeitungspipeline ....................................................................... 46
4.1 Auswahl der Features ............................................................................... 47
4.2 Datenvorverarbeitung ............................................................................... 48
4.2.1 Sequenzialisierung................................................................................... 48
4.2.2 Split........................................................................................................ 49
4.2.3 Balancing................................................................................................ 49
4.2.4 Normalisierung ........................................................................................ 58

iv
5 Training und Hyperparametertuning ........................................................... 59
5.1 Trainingsbasierte Hyperparameter ............................................................. 61
5.1.1 Unabhängige Parameter ........................................................................... 61
5.1.2 Tuning Parameter..................................................................................... 62
5.2 Modellbezogene Hyperparameter .............................................................. 63
5.2.1 Recurrent Neural Networks ....................................................................... 63
5.2.2 Transformer............................................................................................. 65
5.3 Hyperparametertuning des LTO-Batterie Modells......................................... 66
5.3.1 Auswahl des Balancings ........................................................................... 66
5.3.2 Begründung für Wahl der Hyperparameter .................................................. 74
5.3.3 Modellparametertuning ............................................................................. 77
5.4 Hyperparametertuning des LFP-Batterie Modells......................................... 81
5.4.1 Auswahl des Balancings ........................................................................... 81
5.4.2 Begründung für Wahl der Hyperparameter .................................................. 86
5.4.3 Modellparametertuning ............................................................................. 89
5.5 Zwischenfazit .......................................................................................... 93
6 Verifikation und Validierung ....................................................................... 95
6.1 Verifikation .............................................................................................. 96
6.2 Validierung .............................................................................................. 96
6.2.1 Messungen der HiL-Prüfeinrichtung ........................................................... 96
6.2.2 Validierungsergebnisse............................................................................. 101
6.3 Vergleich Modellierungsansätze ................................................................ 111
7 Zusammenfassung und Ausblick................................................................ 115
7.1 Zusammenfassung................................................................................... 115
7.2 Ausblick .................................................................................................. 117

v
Abbildungsverzeichnis
Abbildung 1 Zusammenhang der Begrifflichkeiten künstliche Intelligenz, Data Mi-

ning, maschinelles Lernen und Deep Learning ................................ 2

Abbildung 2 Funktionsweise einer Lithium-Ionen-Batterie mit Anode, Separator,

Kathode und den Ableitern ............................................................ 8

Abbildung 3 Schema der Verarbeitung des Training, Validation und Test Set in

der gesamten Datenverarbeitungs- und Trainingspipeline.................. 24

Abbildung 4 Aufbau eines aufgeschlüsselten RNN Neurons ................................ 26

Abbildung 5 Schematische Struktur einer RNN Zelle .......................................... 27

Abbildung 6 Schematische Struktur einer LSTM Zelle ........................................ 29

Abbildung 7 Schematische Struktur einer GRU Zelle .......................................... 30

Abbildung 8 Verhalten von Loss und Validation Loss bei Overfitting (a) und kei-

nem Overfitting (b)........................................................................ 32

Abbildung 9 Beispielhaftes neuronales Netz mit (a) und ohne (b) Dropout ............ 33

Abbildung 10 Modellarchitektur eines Transformers.............................................. 35

Abbildung 11 Multi-Head Attention Modul ........................................................... 36

Abbildung 12 Scaled Dot-Product Attention Mechanismus .................................... 37

Abbildung 13 Einordnung der einzelnen Maßnahmen in die Datenverarbeitungspi-

peline.......................................................................................... 46

Abbildung 14 Prinzipielle Funktionsweise von Undersampling (a) und Oversamp-

ling (b). ....................................................................................... 50

Abbildung 15 Graphische Darstellung eines exemplarischen Datensatzes vor (grau)

und nach (schwarz) dem Undersampling......................................... 55

Abbildung 16 Prozess des Hyperparametertunings untergliedert in anwendungs-

und batteriespezifische Schritte ..................................................... 59

Abbildung 17 LTO-Batterie - Datenverteilung der Features Temperatur, Spannung

und Strom vor und nach einem Undersampling der Daten mit den

Undersampling Parametern Imean _Tmean _Umean _50/20 .................... 69

Abbildung 18 LTO-Batterie - Vergleich der Datenverteilung anhand des Features

Temperatur bei unterschiedlichen Undersampling Parametern ........... 71

vi
Abbildung 19 LTO-Batterie - Datenverteilungen von verschiedenen Oversampling

Parametern für ausgewählte MFU Datensätze ................................. 72

Abbildung 20 LTO-Batterie - Vergleich der Trainingsperformance verschiedener Op-

timierer ....................................................................................... 75

Abbildung 21 LTO-Batterie - Vergleich der Trainingsperformance zweier Modelle

mit aktiver und inaktiver Batchnormalisierung .................................. 76

Abbildung 22 LTO-Batterie - Modellparametertuning in 34 Trials des Optuna-Algorithmus 77

Abbildung 23 LTO-Batterie - Fünfmalige Wiederholung des Trainings ..................... 78

Abbildung 24 LTO-Batterie - Loss, Validation Loss und MAXE im Verlauf eines Trai-

nings mit 1000 Epochen................................................................ 79

Abbildung 25 LFP-Batterie - Datenverteilung der Features Temperatur, Spannung

und Strom vor und nach einem Undersampling der Daten mit den

Undersampling Parametern Imean _Tmean _Umean _50/20 ................... 82

Abbildung 26 LFP-Batterie - Vergleich der Datenverteilung anhand des Features

Temperatur bei unterschiedlichen Undersampling Parametern ........... 83

Abbildung 27 LFP-Batterie - Datenverteilungen von verschiedenen Oversampling

Parametern für ausgewählte MFU Datensätze ................................. 84

Abbildung 28 LFP-Batterie - Vergleich der Trainingsperformance verschiedener Op-

timierer ....................................................................................... 87

Abbildung 29 LFP-Batterie - Vergleich der Trainingsperformance zweier Modelle

mit aktiver und inaktiver Batchnorm ................................................ 88

Abbildung 30 LFP-Batterie - Modellparametertuning in 15 Trials des Optuna-Algorithmus 89

Abbildung 31 LFP-Batterie - Fünfmalige Wiederholung des Trainings ..................... 90

Abbildung 32 LFP-Batterie - Loss, Validation Loss und MAXE im Verlauf eines

Trainings mit 1000 Epochen........................................................... 91

Abbildung 33 Validierung und Verifizierung im Rahmen des V-Modells mit den je-

weiligen Entwicklungsstufen .......................................................... 95

Abbildung 34 LTO-Batterie - Streudiagramm des Validation Set ............................. 98

Abbildung 35 LFP-Batterie - Streudiagramm des Validation Set ............................. 99

Abbildung 36 Stromprofil bei 0°C und mittlerem Ladezustand................................ 100

vii
Abbildung 37 LTO-Batterie - Validierung des Modells mit dem Profil „Val_LTO_5“

bei mittlerem Ladezustand und einer Temperatur von durchschnitt-

lich -18°C .................................................................................... 102

Abbildung 38 LTO-Batterie - Validierung des Modells mit dem Profil „Val_LTO_2“

bei niedrigem Ladezustand und einer Temperatur von durchschnitt-

lich 1°C ....................................................................................... 104

Abbildung 39 LTO-Batterie - Validierung des Modells mit dem Profil „Val_LTO_1“

bei niedrigem Ladezustand und einer Temperatur von durchschnitt-

lich -23°C .................................................................................... 105

Abbildung 40 LFP-Batterie - Validierung des Modells mit dem Profil „Val_LFP_8“

bei mittlerem Ladezustand und einer Temperatur von durchschnitt-

lich 53°C ..................................................................................... 107

Abbildung 41 LFP-Batterie - Validierung des Modells mit dem Profil „Val_LFP_1“

bei niedrigem Ladezustand und einer Temperatur von durchschnitt-

lich –23°C.................................................................................... 108

viii
Tabellenverzeichnis
Tabelle 1 Kennwerte der Batteriesamples ......................................................... 44

Tabelle 2 Parameterräume für das Hyperparametertuning von Transformern ......... 65

Tabelle 3 Subjektive Bewertung der Wichtigkeit von generischen Undersampling

Features.......................................................................................... 67

Tabelle 4 LTO-Batterie - MAXE von RNN und Transformer Modellen für verschie-

dene Balancing Kombinationen .......................................................... 73

Tabelle 5 LTO-Batterie - MAXE von RNN und Transformer Modellen für weitere

Balancing Kombinationen .................................................................. 73

Tabelle 6 LTO-Batterie - Parameterräume für das Hyperparametertuning mit den

jeweiligen Ergebnissen des Tunings.................................................... 74

Tabelle 7 LTO-Batterie - Fehlermetriken des finalen LTO-Batterie Modells ............. 80

Tabelle 8 LFP-Batterie - MAXE von RNN und Transformer Modellen für verschie-

dene Balancing Kombinationen .......................................................... 85

Tabelle 9 LFP-Batterie - MAXE von RNN und Transformer Modellen für weitere

Balancing Kombinationen .................................................................. 85

Tabelle 10 LFP-Batterie - Parameterräume für das Hyperparametertuning mit den

jeweiligen Ergebnissen des Tunings.................................................... 86

Tabelle 11 LFP-Batterie - Fehlermetriken des finalen LFP-Batterie Modells............. 92

Tabelle 12 Subjektive Einschätzung bezüglich des Einflusses der Parameter auf

die Güte des Modells ........................................................................ 93

Tabelle 13 LTO-Batterie - Fehlermetriken Validierung ........................................... 106

Tabelle 14 LFP-Batterie - Fehlermetriken Validierung ........................................... 109

Tabelle 15 Fehlermetriken der finalen Batterie Modelle über das gesamte Validati-

on Set ............................................................................................. 111

Tabelle 16 Fehermetriken in vergleichbaren Modellen .......................................... 113

ix
Akronyme
A
Adam - Adaptive Moment Estimation................................................................... 39
AEKF - Adaptive-Extended-Kalman-Filter ............................................................ 18
ANFIS - Adaptiven Neuro-Fuzzy-Inferenzsystem.................................................. 18
ASHA - Asynchronous Successive Halving Algorithm........................................... 62

B
BEV - Battery Electric Vehicle ............................................................................. 18
BGD - Batch Gradient Descent ........................................................................... 39
BMS - Batterie-Management-System .................................................................... 3
BN - Batchnormalisierung................................................................................... 76
BP - Backpropagation......................................................................................... 27
BPTT - Backpropagation Through Time Algorithmus ............................................ 27

C
CNN - Convolutional Neural Network................................................................... 25

D
DCR - Direct Current Resitance .......................................................................... 17
DEC - Diethylcarbonat.......................................................................................... 9
DEKF - Dual-Extended-Kalman-Filter .................................................................. 18
DM - Diskriminative Modell ................................................................................. 25
DMC - Diemthylcarbonat....................................................................................... 9

E
EIS - Elektrochemische Impedanzspektroskopie .................................................. 17
ESB - Ersatzschaltbildmodell .............................................................................. 16

F
FFNN - Feed Forward Neural Networks............................................................... 17
FUS - Focused-Undersampling ........................................................................... 50

G
GAN - Generative Adversarial Network................................................................ 25
GD - Gradientenabstiegsverfahren ...................................................................... 39
GM - Generative Modell...................................................................................... 25
GRU - Gated Recurrent Unit ............................................................................... 18
GT - Ground Truth.............................................................................................. 23

H
HPPC - Hybrid Pulse Power Characterization ...................................................... 17

x
 I
ICV - Internal Combustion Enginge Vehicle.......................................................... 18

K
KF - Kalman-Filter.............................................................................................. 13
KI - Künstliche Intelligenz...................................................................................... 1

L
LFP - Lithium-Eisenphosphat................................................................................ 9
LIB - Lithium-Ionen-Batterie .................................................................................. 3
LMO - Lithium-Mangan-Oxid............................................................................... 11
LR - Learningrate ............................................................................................... 76
LSTM - Long Short-Term Memory....................................................................... 17
LTO - Lithium-Titanat .......................................................................................... 10
LU - Language Understanding ............................................................................ 34
LUT - Look-up-Tables ......................................................................................... 17

M
MAE - Mean Absolute Error ................................................................................ 24
MAPE - Mean Absolute Percentage Error ............................................................ 25
MAXE - Max Absolute Error ................................................................................ 24
MFU - Multi-Feature-Undersampling.................................................................... 50
MHEV - Mild-Hybrid-Fahrzeug .............................................................................. 3
MLP - Multi Layer Perceptron.............................................................................. 25
MSE - Mean Square Error................................................................................... 23

N
NCA - Lithium-Nickel-Cobalt-Oxid ....................................................................... 11
NLP - Natural Language Processing................................................................ 1, 34
NMC - Lithium-Nickel-Mangan-Cobalt-Oxid.......................................................... 11
NN - Neuronales Netzwerk ................................................................................... 1

O
OCV - Open-Circuit-Votlage................................................................................ 11

P
PHEV - Plug-In Hybrid Vehicle ............................................................................ 18

R
RNN - Rekurrentes Neuronales Netzwerk............................................................ 17
RUS - Random-Undersampling........................................................................... 50

S
SEI - Solid-Electrolyte-Interphase........................................................................ 10

xi
SGD - Stochastic Gradient Descent..................................................................... 39
SMOTE - Synthetic Minority Oversampling Technique .......................................... 55
SOC - State-of-Charge......................................................................................... 3
SOF - State-of-Function...................................................................................... 15
SOH - State-of-Health ........................................................................................ 14
SOP - State-of-Power ......................................................................................... 13
SOS - State-of-Safety......................................................................................... 15

T
TBPTT - Truncated Backpropagation Through Time Algorithmus .......................... 27

xii
1. Einleitung

1.1. Motivation

Künstliche Intelligenz (KI) ist eine branchenübergreifende Schlüsseltechnologie mit viel-

fältigen Einsatzmöglichkeiten in der Industrie und Forschung. Nach dem Mooreschen
Gesetz verdoppelt sich alle 12 bis 24 Monate die Komplexität integrierter Schaltkreise
und damit die Rechenleistung von Computern. Mit der Entwicklung der Rechenleistung
wurden in den letzten Jahren Möglichkeiten geschaffen, große Datenmengen effizient
zu verarbeiten und für eine schwache KI zu nutzen. Seit den 1950er Jahren wird an
KI-Systemen geforscht. Dabei ergab sich eine deutliche Dynamisierung in den letzten
Jahren. Neben bestehenden Algorithmen werden somit laufend neue Ansätze vorgestellt
und erprobt.

Im Allgemeinen werden Algorithmen, die spezielle Fragen auf Basis von vorher selbst
erlernten Zusammenhängen beantworten können, als „schwache KI“ bezeichnet. Die
sogenannte „starke KI“ kann Probleme genereller Art lösen, ist aber bis jetzt noch nicht
realisiert worden. Abbildung 1 zeigt die Zusammenhänge der im Sprachgebrauch oft
diffus verwendeten Begriffe KI, Data Mining, maschinelles Lernen und Deep Learning.
Data Mining ist eine wichtige Grundlage für KI-Produkte. Deep Learning dagegen ist ein
Teilgebiet des maschinellen Lernens. Je nachdem ob gelabelte Daten vorhanden sind
oder nicht, spricht man bei den algorithmischen Ansätzen des maschinellen Lernens von
überwachtem oder unüberwachtem Lernen.

Der große Vorteil von maschinellem Lernen ist, dass die zum Teil sehr großen Daten-
mengen verarbeitet werden und dann für das Lernen der Zusammenhänge im Daten-
satz genutzt werden. Das Lernen erfolgt nicht regelbasiert aber automatisiert, wodurch
ein Einsatz von Fachleuten aus dem zu lernenden Gebiet nicht notwendig ist. Der Algo-
rithmus bleibt auch während dem Einsatz lernfähig und kann richtige Entscheidungen in
Sekundenschnelle treffen. Zudem können aufgrund der hochkomplexen Strukturen Zu-
sammenhänge erkannt werden, die höchst nichtlinear und von Menschen schwer bzw.
nicht zu erkennen sind.

In einigen Gebieten werden KI-Algorithmen bereits erfolgreich eingesetzt. Googles KI

„Alpha Zero“ schlug 2017 das bis dahin beste Schachprogramm „Stockfish“ in 100 Par-
tien Schach 28-mal, ohne dabei ein einziges Mal zu verlieren [1]. Im Feld der Computer-
linguistik (engl. Natural Language Processing (NLP) nutzen Online-Übersetzungsdienste
riesige Datenmengen um neuronale Netze (NN) zu trainieren. Die dabei erzielten Ergeb-
nisse sind nicht perfekt, weisen aber eine derartige Güte auf, sodass sie im alltäglichen
Gebrauch oft genutzt werden. Auch in lebenswichtigen Anwendungen, wie der Krebs-

1
diagnose, zeigen KI-Systeme die gleiche Güte in der Analyse wie Fachärzte. Jedoch
benötigen die Maschinen deutlich weniger Zeit dafür [2]. Die Energiewende ist ein wei-
teres gegenwärtiges Problem, welches mithilfe von KI effizienter gelöst werden kann.

Abbildung 1 Zusammenhang der Begrifflichkeiten künstliche Intelligenz, Data Mining, maschinelles Lernen und Deep
Learning

2
Einen wichtigen Beitrag zur Energiewende leistet die Elektrifizierung des Verkehrssek-
tors. Um diesen Schritt zu erfüllen, ist die Entwicklung und Produktion von vielen ver-
schiedenen und großen elektrischen Energiespeichern notwendig. Neben batteriebe-
triebenen Elektrofahrzeugen, mit ihren Nachteilen in Bezug auf die Infrastruktur, Kos-
ten und Reichweite, besteht eine vielversprechende Lösung zur Reduzierung der CO2 -
Emissionen in der Hybridisierung von Fahrzeugen mit Verbrennungsmotor. Ein Mild-
Hybrid-Fahrzeug (MHEV) mit einem 48-V-Bordnetz ist eine kostengünstige und effektive
Elektrifizierungsvariante [3]. Eine elektrische Maschine sorgt für die Energierückgewin-
nung beim Bremsen und unterstützt den Verbrennungsmotor beim Beschleunigen sowie
bei der Lastpunktanpassung. Außerdem können riemengetriebene Verbraucher elektrifi-
ziert und mit der gewonnenen Energie betrieben werden. Die rekuperierte Energie muss
in einem elektrischen Energiespeicher, meist in Form einer Lithium-Ionen-Batterie (LIB),
gespeichert werden.

Die Anforderung bezüglich des Reifegrades, der Energie- und Leistungsdichte, der Si-
cherheit sowie der Kosten erfüllen derzeit LIB, im Vergleich zu den anderen Batterietech-
nologien, am ausgewogensten. Trotz der Vorteile einer LIB ist das Entwicklungspotential
in dieser Technologie noch immer groß. Alternative Anoden- und Kathodenmaterialien,
optimiertes Packaging und Kühlung sowie ein effizientes Batterie-Management-System
(BMS) sind vielversprechende Entwicklungsbereiche in der LIB-Forschung. Insbesonde-
re durch ein intelligentes und leistungsfähiges BMS, mit den Zustandsschätzern zum
Lade- und Leistungszustand, können die Potentiale der Zellchemie einer Batterie voll-
umfänglich genutzt werden.

In Bezug auf die Batteriekapazität führt bei MHEV-Bordnetzen die hohe angewandte
Leistung dazu, dass die Vorhersage von Leistungsfähigkeit und Spannung kritischer ist
als die Schätzung des Ladezustands (engl. State-of-Charge (SOC)). Durch eine besse-
re Spannungsvorhersage kann das System häufiger unbegrenzt betrieben werden. Im
Energiemanagement eines Bordnetzes werden die kumulierten Anforderungen der Ver-
braucher hinsichtlich der Leistung und des Stroms in Bezug auf die Bordnetzstabilität
geprüft. Dazu wird die geforderte Leistung an das BMS weitergeben, welches daraufhin
eine zu erwartende Spannung schätzt. Liegt diese Spannung innerhalb der festgelegten
Grenzen, können die Verbraucher uneingeschränkt arbeiten. Werden Spannungsgren-
zen überschritten, müssen Maßnahmen zur Leistungsreduzierung bzw. Leistungserhö-
hung eingeleitet werden. Durch eine genauere Spannungsprädiktion kann eine größere
Nutzbarkeit des Speicherinhalts sichergestellt werden.

Die Kombination der beiden Schlüsseltechnologien KI und Batterietechnik birgt großes

Potential, mithilfe dessen die Energiewende schneller und effizienter gestaltet werden
kann.

3
1.2. Ziel der Arbeit

Der im Kapitel 2.1.6 beschriebene Stand der Technik zur Batteriemodellierung zeigt un-
terschiedliche Modellierungstechniken für State-of-Power Predictions. Modelle auf Basis
neuronaler Netze sind in der Literatur selten zu finden, insbesondere ist keine Anleitung
zum Aufbau dieser Modelle und der damit eng verbundenen Datenvorverarbeitung vor-
handen. Die Fortschritte in der Rechengeschwindigkeit der Chips sowie die stetige Wei-
terentwicklung neuer Modelle und Algorithmen im Bereich des maschinellen Lernens
versprechen eine erfolgreiche Anwendung von künstlicher Intelligenz in der Batteriemo-
dellierung.

Der Lernfortschritt in einem NN kommt ausschließlich durch die eingegebenen Roh-

daten zustande. Derartige Black-Box Modelle erfordern in der reinsten Form keinerlei
technisch-wissenschaftliches Wissen über das zu modellierende Sample. Das Knowhow
in der Batteriemodellierung kann genutzt werden, um die richtigen Input-Features zu
wählen, die Datenverarbeitung zu optimieren und zu plausibilisieren. Diese Vorteile durch
Wissen sind allerdings für Batterien allgemeingültig und müssen nicht auf die einzelne
zu modellierende Zelle mit ihren Eigenschaften, ihrer Leistung, der Zellchemie sowie der
Größe etc. angepasst werden. Somit kann ein Modell mit dem in dieser Arbeit entwickel-
ten Schema erstellt werden, ohne auf Expertenwissen zurückgreifen zu müssen. Durch
die vermehrten Einsatzgebiete und Varianten der Lithium-Ionen-Batterien werden im-
mer häufiger Batteriemodelle benötigt. Eine manuelle Parametrierung der State-of-the-
Art Modelle ist sehr aufwändig und oft nicht vereinbar mit den immer kürzer werdenden
Entwicklungszeiten. Daher ist eine standardisierte und teilweise automatisierte Modellie-
rungstechnik ein Beitrag zur Entwicklungsgeschwindigkeit, ohne dabei Einschränkungen
bei der Modellgüte hinnehmen zu müssen. Dabei rückt das Wissen über NN in den Vor-
dergrund, unabhängig von der Anwendung und dem Batteriesample.

Auf Basis dessen können für diese Dissertation folgende vier Ziele formuliert werden:

1. Die Nutzbarkeit von KI für die Batteriemodellierung ermöglichen: Eine Kernauf-

gabe besteht darin, die kürzlich in der Forschung entstandenen Vorteile der KI auf
den Anwendungsfall Batterie zu transferieren. Wichtige Bestandteile sind dabei die
schnelle automatisierte Modellierung, die Güte der Modelle und die Möglichkeit der
Adaption an aktuelle Bedingungen. Die theoretischen Vorteile sollen anhand der
Applikation verifiziert und verdeutlicht werden.

2. Eine geregelte Vorgehensweise zur Datenverarbeitung und Modellierung von NN

im Batteriekontext etablieren: Die Modelle lernen aus den Daten, welche in das
Netz eingespeist werden. Dementsprechend ist die Datenvorverarbeitung ein zen-
traler Bestandteil der Modellierung. Das Einlesen der Rohdaten und das Entfernen
der Datenanomalien soll automatisiert erfolgen. Ein- und Ausgangsfeatures sind

4
 zu bestimmen und eine schnelle effiziente Datenstruktur muss aufgebaut werden.
Die Datenaufbereitung mit der damit verbundenen Reduzierung, Normalisierung
und Verteilungsoptimierung soll mit einem für Batteriemodelle optimiertem Algo-
rithmus durchgeführt werden. Der Algorithmus soll sowohl die in der Literatur gän-
gigen Methoden nutzen als auch bei Notwendigkeit neu entwickelte Ansätze mit
einbeziehen. Unterschiedliche NN sollen verglichen werden und daraus konkrete
Modellierungsansätze vorgeschlagen werden. Trainingsparameter sollen insofern
möglichst pauschal erarbeitet werden, andernfalls ein Hyperparametertuning Al-
gorithmus entwickelt werden. Dafür müssen alle Hyperparameter erläutert und die
Parameteroptionen eingegrenzt werden. Der Tuning Algorithmus soll schnell und
präzise arbeiten.

3. Die Verifikation der Datenverarbeitung und Modellierung in einer Applikation: Die

Verifikation des vorherigen Ziels soll anhand der Modellierung von zwei spezi-
ellen Anwendungsfällen nachgewiesen werden. Ziel ist es, je ein Batteriespan-
nungsmodell zu erstellen, welches in der State-of-Power Prädiktion im Mild-Hybrid-
Fahrzeugbordnetz genutzt werden kann, ohne dabei auf eine vorhergehende SOC
Schätzung zurückgreifen zu müssen. Dabei wird die Funktion der Pipeline sowie
die Implementierung der dafür verwendeten Algorithmen im Rahmen dieser Mach-
barkeitsstudie nachgewiesen.

4. Die Validierung des für die Verifikation erstellten Modells: Die in der Verifikation
erstellten Modelle müssen in einem Rahmen validiert sein, der die tatsächlichen
möglichen Arbeitspunkte der Batterie abdeckt. Die vom Trainingsdatensatz sepa-
rierten Validierungsmessungen werden mit Testsamples an Prüfstanden erzeugt.
Die aus der Validierung resultierende Modellgüte wird mit anderen Modellierungs-
techniken verglichen.

1.3. Einordnung der Arbeit

Die Arbeit darf nicht als allgemeingültiges Batteriemodell für bestimmte Zellchemien,
Batteriegrößen oder Anwendungsfälle verstanden werden, sondern als ein Tool zur Pa-
rametrisierung eines Batteriemodells auf Basis von NN inklusive der damit verbundenen
Datenvorverarbeitung.

In Abgrenzung zu vielen Batteriemodellen wird in dieser Arbeit weder der SOC model-
liert noch auf den SOC als Input zurückgegriffen. SOC-Modellierungen sind in der Lite-
ratur vielfach in einigen verschiedenen Ausführungsformen diskutiert worden, wie auch
in Kapitel 2.1.6 beschrieben wird. Die übliche Modellierungsmethode mit SOC als Input
geht mit einem Verlust an Flexibilität im Entwicklungsprozess und einer begrenzten ma-
ximalen Modellgüte einher, weshalb in dieser Arbeit untersucht wird, inwiefern dieses
vermieden werden kann.

5
1.4. Methodik

Die Entwicklung eines neuen Modellierungsansatzes benötigt eine systematische Vor-

gehensweise. Die im Folgenden dargestellten Schritte werden sequentiell abgearbeitet,
wobei die einzelnen Schritte im Entwicklungsprozess iterativ wiederholt werden können:

• Kapitel 2: Um das Ziel „Die Nutzbarkeit von KI für Batteriemodellierung ermöglichen“

zu erreichen, wird in Kapitel 2.1 und 2.2 der aktuelle Stand der Technik in Bezug
auf die Anwendung im Batterie- bzw. Fahrzeugbordnetzbereich anhand von aktueller
Literatur diskutiert. Die Erkenntnisse aus dem physikalischen Verhalten werden ge-
nutzt, um Technologien im Feld der KI so auszuwählen, dass sie sinnvoll anwendbar
sind. Die ausgewählten Methoden werden in Kapitel 2.3 beschrieben.

• Kapitel 3: Grundlage für das Training von NN sind Daten, die zunächst erhoben wer-
den müssen. Die Trainingsdaten werden ergänzt um Validierungsdaten, welche se-
parat an einem HIL Prüfstand erfasst werden.

• Kapitel 4: In diesem Kapitel werden Algorithmen vorgestellt und entwickelt, die zum
Erreichen des Ziels „Eine geregelte Vorgehensweise zur Datenverarbeitung und Mo-
dellierung von NN im Batteriekontext etablieren“ dienen. In der Literatur übliche Ver-
fahren zum Splitten der Datensätze, der Sequenzialisierung und der Normalisierung
wurden ergänzt durch neu entwickelte Algorithmen. Insbesondere das Under- und
Oversampling wurde speziell für diesen Anwendungsbereich um Methoden erwei-
tert, welche die besonderen Gegebenheiten der Batteriemodellierung, wie die Anzahl
und den Einfluss der Features auf die Modellgüte, variabel austesten und somit das
Optimum finden kann. Zusammen mit der Auswahl der Features entsteht eine Daten-
verarbeitungspipeline, die auf die Eingangsdaten geregelt angewendet werden kann.

• Kapitel 5: Hier wird beschrieben, wie und in welcher Reihenfolge die Hyperparameter
des NN getuned werden. Das Tuning wird an zwei konkreten Batterie Samples durch-
geführt. Zusammen mit der Anwendung der Datenverarbeitungspipeline wird das Ziel
der erfolgreichen Verifikation angestrebt.

• 6: Anschließend werden die Modelle mit den am Prüfstand erhobenen Daten verifi-
ziert und validiert, sowie in Relation zur Modellgüte von herkömmlichen Batteriemo-
dellen gestellt.

6
2. Stand der Technik

Dieses Kapitel beschreibt die relevanten Grundlagen zu Lithium-Ionen-Batterien und de-

ren Anwendung im 48 V Fahrzeugbordnetz. Dabei wird vorranging auf die physikalischen
Eigenschaften, welche das Spannungs- und Leistungsverhalten beeinflussen eingegan-
gen. Die Theorie hinter Deep Learning wird in Hinblick auf die in Kapitel 5 erstellten
neuronalen Netze erläutert.

2.1. Lithium-Ionen-Batterien

Die Komplexität der Lithium-Ionen-Batterie wird stark von ihren physikalischen und che-
mischen Eigenschaften beeinflusst und ist daher grundlegend für die Modellierung. Das
BMS überwacht die Zustände der Batterie sowohl mit Hilfe von Sensoren als auch mit
Zellmodellen.

2.1.1. Funktionsweise

Lithium-Ionen-Batterien sind galvanische Zellen, die aufgrund der zwei verschiedenen

Elektroden und dem Elektrolyten aus elektrischer Sicht eine Spannungsquelle darstel-
len. Durch die Redoxreaktionen wird die gespeicherte chemische Energie in elektrische
Energie umgewandelt. Der Aufbau von LIB Zellen besteht aus dem Aktivmaterial, wel-
ches direkt die Kapazität der Zelle bestimmt sowie aus weiteren Komponenten, die für
einen sicheren und optimalen Betrieb der Zelle integriert werden. Abbildung 2 zeigt den
grundsätzlichen Aufbau und die Funktionsweise einer Lithium-Ionen-Batterie Zelle. Bei
der geladenen Batterie sind die Lithium-Ionen Li+ in der Anode interkaliert, gehen wäh-
rend der Entladung im Elektrolyt in Lösung und diffundieren durch den Separator zur
Kathode. Dort werden die Lithium-Ionen interkaliert. Der Fluss der Elektronen e− findet
über die Ableiter und den externen Kreislauf statt. In Laderichtung dreht sich die Fluss-
richtung der Lithium-Ionen und Elektronen entsprechend um. [4]

7
Abbildung 2 Funktionsweise einer Lithium-Ionen-Batterie mit Anode, Separator, Kathode und den Ableitern

8
Die zugrundeliegende Oxidation der Lithium-Eisenphosphat-Batterie (LFP) Kathode ist
in Gleichung 2.1 für den Ladefall dargestellt.

Laden
LiFePO4 −−−−→ FePO4 + Li+ + e− (2.1)

Gleichung 2.2 zeigt exemplarisch die Reduktion an der Graphit Anode.

Laden
C6 + Li+ + e− −−−−→ LiC6 (2.2)

Die daraus resultierende Redoxreaktion ist in Gleichung 2.3 sowohl für den Lade- als
auch für den Entladefall gegeben.

Entladen
FePO4 + LiC6 −
−−
↽ −−
−−−−
−⇀− LiFePO4 + C6 (2.3)
Laden

Die Wahl der Materialien beeinflusst die elektrischen Eigenschaften der Zelle. Die Io-
nenleitfähigkeit des Elektrolyten bestimmt maßgeblich die mögliche Lade- und Entlade-
rate. Flüssige Elektrolyte finden aufgrund der hohen technologischen Reife, der hohen
Ionenleitfähigkeit und der großen thermischen Stabilität derzeit einen großen Anwen-
dungsbereich. Die Elektrolytlösung besteht typischerweise aus einem Solvat (Lithium-
hexaflourphosphaten LiPF6 ) und einem Lösungsmittel wie Diethylcarbonat (DEC) oder
Dimethylcarbonat (DMC). [5]

Der Separator ist eine poröse Membran, die eine Ionen Diffusion zulässt, aber elek-
trisch isoliert. Damit wird eine Trennung der beiden Aktivmaterialien sowohl räumlich als
auch elektrisch gewährleistet. Bezeichnenderweise werden Separatoren aus Polypropy-
len oder Polyethylen [6] mit einer Dicke von weniger als 25 µm hergestellt [7].

Die Stromableiter dienen zur Kontaktierung der Zelle bzw. des Aktivmaterials mit dem
angeschlossenen externen Stromkreis. Durch die Auswahl der Materialien, Kupfer auf
der Anodenseite und Aluminium auf der Kathodenseite, wird ein möglichst kleiner elek-
trischer Widerstand realisiert [8]. Dieser Widerstand wirkt sich direkt auf die Überspan-
nungen unter Belastung aus.

9
2.1.2. Aktivmaterialien

Es existieren einige verschiedene Aktivmaterialen, die in LIB eingesetzt werden. Die

folgenden beschriebenen Anoden- und Kathodenmaterialien beziehen sich auf die in
dieser Arbeit modellierten Batteriesamples.

• Graphit: Graphit ist das kommerziell am häufigsten verwendete Anodenmaterial (Bé-

guin et al. 2005). Die Vorteile von Graphit liegen in den niedrigen Herstellkosten und
den guten elektrochemischen Eigenschaften. Graphit ist eine Modifikation von Koh-
lenstoff und besteht aus Graphen-Schichten. Während der Lithium De-/Interkalation
lagern sich die Lithium-Ionen zwischen den Graphen-Schichten ein, wobei sich das
Material nur gering mechanisch ausdehnt. Graphit kommt in der Natur makrokristallin
oder als amorpher Kohlenstoff vor. Die synthetische Herstellung von Graphit erfolgt in
der Flake Form [9]. In Kombination mit den gängigen Kathodenmaterialien begünstigt
das niedrige Elektrodenpotential von 0,05 V gegenüber Li/Li+ ein hohes Spannungs-
niveau [4]. Die theoretische Kapazität von Graphit liegt bei 372 mAh/g, welche bei an-
deren Lithium-Legierungen wie Silizium Li4 · 4 Si mit 4200 mAh/g oder Zinn Li4 · 4 Sn
mit 994 mAh/g deutlich größer ist [10]. Die Solid-Electrolyte-Interphase (SEI) ist ei-
ne Passivierungsschicht an der Anode, die zum einen für einen stabilen Betrieb der
Zelle notwendig ist, andererseits aber auch Gefahren in sich birgt. Die SEI bildet sich
initial in den ersten Zyklen einer Zelle, vor allem aus der Zersetzung des Elektrolyten.
Dabei werden ca. 8-15 % des zyklisierbaren Lithiums in Abhängigkeit von der Elek-
trolytzusammensetzung sowie der Menge an Aktivmaterial verbraucht [11]. In erster
Linie dient die SEI als Schutz vor der elektrochemischen Reduktion des Elektroly-
ten sowie als Schutz vor einer chemischen Reaktion zwischen Anode und Elektrolyt.
[12]. Während der Zyklisierung der Zelle wächst die SEI weiter. Dabei verliert die Zel-
le zyklisierbares Lithium und indessen sinkt die Leitfähigkeit der SEI [12]. Durch die
mögliche exotherme Dekomposition der SEI-Schicht erhöht sich zusätzlich die Gefahr
eines Thermal Runaways [13].

• LTO: Ein weniger weit verbreitetes Material für Anoden ist Lithium-Titanat (LTO)
Li4 Ti4 O12 . Nachteile von LTO Anoden sind die geringere Energiedichte und die ho-
hen Kosten. Dem gegenüber stehen die höhere Sicherheit und die Leistungsfähigkeit.
Durch das im Vergleich zu Graphit Anoden höhere Potential von 1,6 V gegenüber
Li/Li+ reduziert sich die gesamte Zellspannung und dadurch auch die Energiedichte
der Zelle. Die theoretische spezifische Kapazität von 175 mAh/g ist verglichen mit
Graphit deutlich geringer [10]. Die Interkalation der Lithium-Ionen erfolgt unter einer
sehr geringen mechanischen Ausdehnung, was einen positiven Effekt auf die Alte-
rung der Zelle hat. Aus diesem Grund können Zellen mit LTO Anoden sowohl eine
sehr große zyklische Stabilität als auch sehr hohe Stromraten erreichen [14]. Auf-
grund des hohen Potentials gegenüber Li/Li+ entsteht nahezu keine SEI-Schicht [15].
Die fehlende SEI-Schicht und die Tatsache, dass LTO Anoden selbst bei Tempera-
turen um 100°C keinerlei gasförmige Dekompositionspodukte erzeugen, führen zu

10
 einer sehr hohen Sicherheit in Bezug auf Thermal Runaways [16].

• NMC: Das am weitesten verbreitete Kathodenmaterial ist Lithium-Nickel-Mangan-

Cobalt-Oxid (NMC), häufig in der Form LiNi1/3 Co1/3 Mn1/3 O2 (1:1:1-NMC). Eine Erhö-
hung des Nickelanteils zu 6:2:2-NMC sowie 8:1:1 führt zu einer größeren spezifischen
Kapazität mit tendenziell niedrigerer Stabilität [17]. Neben der Tendenz nickelreiche
Materialien zu verwenden sinkt der Anteil an Kobalt. Die Reduzierung des Kobaltan-
teils hat keinen Einfluss auf die Stabilität und die Sicherheit der Zelle [18]. Außerdem
können Probleme durch den Einsatz von Kinderarbeit und gefährlichen Arbeitsbedin-
gungen beim Abbau von Kobalt vermieden werden [19]. Die theoretische spezifische
Kapazität von 1:1:1-NMC liegt bei 280 mAh/g und ist damit höher als die von ande-
ren Kathodenmaterialien wie LFP, Lithium-Mangan-Oxid (LMO) oder Lithium-Nickel-
Cobalt-Oxid (NCA) [17]. NMC hat mit einem Potential von 3,8 V gegenüber Li/Li+ eine
hohe Spannungslage, was wiederum eine hohe Energiedichte begünstigt [20]. NMC
Kathoden weisen eine sehr gute Performance auf, Stromraten bis zu 10 C sind hier
üblich [21]. Die thermische Stabilität von NMC ist besser als die von anderen Katho-
den mit Schichtstrukturen, wie NCA oder LCO, aber schlechter als die oktaedrische
Phosphat Struktur von LFP [13].

• LFP: LFP LiFePO4 wurde durch das Doping von Kohlenstoffpartikeln und der damit
verbundenen besseren Hochstromfähigkeit zu einem konkurrenzfähigen Kathoden-
material [17, 22]. Sowohl die Schnelladefähigkeit als auch die thermische Sicherheit
bieten Vorteile gegenüber anderen Materialien [13]. LFP ist bis zu 250°C thermisch
stabil, es gibt keine Sauerstoffentwicklung und es hat die besten Überladeeigenschaf-
ten [23]. Die Volumenänderung während der Zyklisierung beträgt nur 6,77 % [24], was
eine große Lebensdauer begünstigt [25]. Die niedrige Energiedichte von LFP Katho-
den resultiert zum einen aus der im Vergleich zu NMC geringen theoretischen spe-
zifischen Kapazität von 170 mAh/g [17] und zum anderen aus dem relativ niedrigen
Potential gegenüber Li/Li+ von 3,4 V [20].

2.1.3. Leerlaufspannung und Überspannugen

Die Differenz der beiden Potentialkennlinien der Aktivmaterialien bestimmt die Leerlauf-
spannung (engl. open-circuit-votlage (OCV)) einer Zelle. Die Nenn-OCV addiert sich bei
C-LFP Zellen auf ca. 3,2 V, sowie bei LTO-NMC Zellen auf ca. 2,4 V. Durch das hohe Po-
tential der LTO Anode gegenüber Li/Li+ , liegt die Spannung der LTO-NMC Zelle deutlich
unterhalb der von einer C-LFP Zelle. Des weiteren ist der Verlauf der OCV Kennlinie von
LFP-Zellen im mittleren SOC Bereich sehr flach.

Die tatsächlich an den Batteriepolen gemessene Spannung Upol ist für die meisten An-
wendungsfälle die entscheidende Größe, da anhand dieser die Betriebsstrategie der
Zelle bzw. des Batteriepacks ausgelegt und angepasst wird. Diese setzt sich zum einen
aus der OCV und zum anderen aus Überspannungen Uover zusammen, die sich je nach
aktueller und vergangener Belastung der Zelle einstellen.

11
 Upol = OCV + Uover (2.4)

Die Überspannungen der Zelle setzen sich aus drei Effekten zusammen:

• Widerstände: Es tritt ein instantaner Spannungsabfall unter Belastung durch ohm-

sche Widerstände in Ableitern, Aktivmaterialien und dem Elektrolyten auf. Der Wider-
stand ist stark temperaturabhängig.

• Diffusionsüberspannungen: Der Ausgleich von Konzentrationsunterschieden im Elek-

trolyten und den Aktivmaterialien geschieht aufgrund der Diffusion. Die auftretende
Spannung ist strom-, zeit- und temperaturabhängig.

• Durchtrittsüberspannung: Die Überspannung entsteht durch den Phasenübertritt

bei Redoxreaktionen im Aktivmaterial, welche durch die Butler-Volmer-Gleichung be-
schrieben werden kann. Die auftretende Spannung ist strom-, zeit- und temperatur-
abhängig.

Aufgrund der vielen nichtlinearen Abhängigkeiten, ist die aus dem Betrieb der Zelle resul-
tierende Spannung eine komplexe Größe der Batterie. Sie ist sowohl von den aktuellen
als auch von vergangenen Belastungen und den Stati der Zelle abhängig.

2.1.4. Batteriekennwerte

Der Ladezustand der Batterie ist ein sowohl für die Modellierung der Batterie als auch
für die Berechnung der entnehmbaren Energiemenge verwendeter Status. Viele interne
Batterieparameter und Effekte, wie der Innenwiderstand oder die Diffusion, sind abhän-
gig von der Lithiumkonzentration in den Aktivmaterialien und damit indirekt abhängig vom
SOC. Der SOC wird berechnet mit der noch entnehmbaren Kapazität Qent im Verhältnis
zur Nennkapazität Qnenn :

Qent
SOC = (2.5)
Qnenn

Der SOC ist eine Hilfsgröße, die physikalisch nicht direkt gemessen werden kann. Für
die exakte Bestimmung müsste die Batterie komplett entladen werden und dabei der
gemessene Strom über die Zeit integriert werden.
Z SOC0
Qent = IBatt dt (2.6)
SOCini

In der realen Anwendung im Fahrzeug ist eine Entladung der Batterie zur Bestimmung
des SOCs zu aufwändig oder nicht möglich, da die Batterie weiter belastet und geladen
wird. Ist der initiale SOC bekannt, kann das Amperestundenzählen den SOC in Echtzeit

12
berechnen. Nachteil dieses Verfahrens ist, dass Fehler in der Strommessung durch die
Integration akkumuliert werden. Dies ist vor allem für lange Berechnungszeiträume nicht
zu vernachlässigen. [26]

Eine weitere Möglichkeit der Bestimmung des SOCs besteht über die OCV. Ist die OCV
Kennlinie der Batterie bekannt, kann anhand einer Ruhespannungsmessung bestimmt
werden, welcher SOC vorliegt. Dafür müssen alle Prozesse, die Überspannungen verur-
sachen, abgeklungen sein. Dies bedeutet, dass die Batterie für mehrere Stunden nicht
belastet werden darf. Da die OCV Methode in den meisten Applikationen unpraktikabel
ist und die Amperestundenbilanzierung die Problematik der Fehlerintegration hat, wird
der SOC meist mithilfe anderer Verfahren geschätzt.

Adaptive modellbasierte Filtermethoden kombinieren das Amperestundenzählen mit mo-

dellbasierten Methoden, um die SOC Schätzung zu korrigieren. Dabei gibt es Ansätze,
die unter anderem einen Kalman-Filter KF [27], einen extended Kalman-Filter [28] oder
unscented Kalman-Filter [29] nutzen.

Der State-of-Power (SOP) einer Batteriezelle gibt an, wieviel elektrische Leistung un-
ter Berücksichtigung der geltenden Rahmenbedingungen einer Zelle entnommen oder
zugeführt werden kann. Auf Zellebene sind die Rahmenbedingungen bestimmt durch
die vom Hersteller definierten Strom- und Spannungsgrenzen, die einen sicheren Be-
trieb der Zelle gewährleisten. Darüber hinaus können die Rahmenbedingungen für gan-
ze Batteriepacks je nach Anwendungsfall verschärft werden. Gelten für den Strom die
maximalen Grenzen Imax_dis und Imax_charge sowie für die Spannung die Grenzen Umin
und Umax , so kann die maximale Entladeleistung Pmax_dis wie folgt dargestellt werden:

max_dis ∗ U wenn U > Umin ,
I
Pmax_dis = (2.7)
I ∗ U sonst.
min

Analog dazu wird die maximale Ladeleistung Pmax_charge definiert zu:


max_charge ∗ U wenn U < Umax ,
I
Pmax_charge = (2.8)
I ∗ U sonst.
max

Die Leistungsfähigkeit einer Batterie ist zudem von der Dauer der Belastung abhängig.
Durch längere Belastungen kumulieren sich die Polarisationsüberspannungen und der
Ladezustand der Batterie ändert sich ggf. signifikant. Der tatsächliche Strom an der Bat-
terie ergibt sich aus der Superposition aller Strombedarfe der Verbraucher sowie der
Stromabgabe der Erzeuger. Die Spannung, die sich im Bordnetz einstellt, ist hingegen
rein von der Batterie als einzigen Spannungserzeuger abhängig. Damit ist die SOP-
Modellierung im Bordnetz in erster Linie eine Frage der Spannungsreaktion der Batterie

13
auf die superpositionierten Strombedarfe und –abgaben der Verbraucher bzw. Erzeuger.
Die Leistungsfähigkeitsprognose der Batterie wird somit zu einer Abfrage im Bordnetz,
ob die Spannungsgrenzen Umax und Umin bei einem zeitlich abhängigen Bordnetzstrom
IBN (t) eingehalten werden:

Umin < U (IBN (t) ) < Umax (2.9)

Um die Vergleichbarkeit verschiedener Zellen bezüglich des Stromes herzustellen, wird

die C-Rate eingeführt. Die C-Rate wird definiert über das Verhältnis zwischen Strom I
und Nennkapazität Qnenn .

|I|
Crate = (2.10)
Qnenn

Die maximale C-Rate unterscheidet sich je nach Zellchemie in Entlade- und Laderich-
tung [30].

2.1.5. Batteriemanagementsystem

Das Batteriemanagement-System (BMS) vereinigt verschiedene Funktionalitäten in ei-

nem übergeordneten System, um die Zellen sicher und effizient betreiben zu können.
Pro Energiespeicher, der aus mehreren hundert Zellen bestehen kann, wird ein
(Master-) BMS eingesetzt, welches alle einzelnen Zellen und Module überwacht. [31]

Die wesentlichen Funktionen eines BMS kann in sieben Kategorien unterteilt

werden [32]:

• Zustandsmessung: Die physikalisch messbaren Größen Spannung, Strom und Tem-

peratur werden über Sensoren erfasst und an die weiteren Funktionen weitergege-
ben. Diese Sensoren sind meist an jeder einzelnen Zelle bzw. an jedem Modul in-
tegriert. Strom wird meist mit hochgenauen Shunts gemessen, die Temperatur mit
Thermistoren [32].

• Status Schätzung: Die gemessenen Werte aus der Zustandsüberwachung werden

an einen Micro Controller gesendet, der die zusätzlichen Status schätzt und über-
wacht. Einer der wichtigsten Status ist der SOC, der angibt wie viel Kapazität an-
teilig an der Gesamtkapazität entnommen werden kann [33, 34]. Neben der direk-
ten Aussagekraft des SOCs über die entnehmbare Kapazität, können anhand des
SOCs auch andere Batterieparameter wie Impedanz und Innenwiderstand genauer
geschätzt werden. Die unterschiedlichen Herangehensweisen für eine SOC-Modellierung
werden in Kapitel 2.1.6 diskutiert. Der Gesundheitszustand (engl. State-of-Health
(SOH)) der Batterie definiert sich über die aktuelle Restkapazität der Batterie im Ver-
hältnis zur Nominalkapazität. Sowohl durch Zyklisierung als auch während der Lage-

14
 rung verlieren Batterien aufgrund von internen Alterungsmechanismen zyklisierbare
Kapazität [25]. Durch die Alterung steigt auch der Innenwiderstand der Zelle. Der
Innenwiderstand [35] sowie die Impedanz [36] werden geschätzt und für weitere Mo-
delle wie die Leistungsschätzung [37], den Funktionsstatus (engl. State-of-Function
(SOF)) und den Sicherheitszustand (engl. State-of-Safety (SOS)) [38] genutzt.

• Sicherheit: Durch die Wahl der Komponenten und deren chemische Eigenschaf-
ten werden die elektrischen Betriebsbereiche einer Zelle festgelegt. Die gemesse-
nen Werte werden permanent mit den Spannungs- und Stromgrenzen verglichen.
Bei einer Verletzung dieser Extrema werden Maßnahmen eingeleitet, um den siche-
ren Betrieb der Zelle zu gewährleisten. In erster Linie werden Maßnahmen zur Re-
duzierung der Leistung ergriffen, die einen weiteren Betrieb der Zelle ermöglichen. In
zweiter Instanz kann die Zelle oder das gesamte Batteriepack durch ein Trennelement
vom externen Stromkreis getrennt werden und somit vor Über- oder Unterspannun-
gen sowie vor zu großen Strömen geschützt werden [39]. Thermisch wird zum einen
der absolute Wert getrackt und dementsprechend an das thermische Management
Anweisungen zum Heizen oder Kühlen gegeben. Zum anderen wird aber auch der
Temperaturgradient beobachtet, da dieser ein Indikator für einen Thermal Runaway
darstellt [40].

• Ladekontrolleinheit: In der Ladekontrolleinheit wird die Strategie und Methode für

das (Ent-) Laden festgelegt und überwacht. Neben den maximalen Stromraten wer-
den auch Optimierungen hinsichtlich der Ladezeit und dem Einfluss auf die Alterung
der Zelle durch das Laden vorgenommen [39].

• Thermisches Management: Das thermische Management nutzt zum einen die Mess-
werte der Temperatur als auch thermische Modelle, um das Heizen und Kühlen zu
steuern. Die einzelnen Zellen in den Batteriepacks werden aktiv durch einen Heiz-
/Kühlkreislauf mit einem Liquid direkt umströmt oder durch Kühlplatten indirekt tem-
periert [41]. Ziel ist es, einen möglichst optimalen Temperaturbereich der Zellen zu
erreichen. Typischerweise liegt der in Bezug auf Alterungseffekte optimale Tempera-
turbereich von Batterien während dem Betrieb im Bereich von 20°C bis 45°C [42] und
während der Lagerung bei 25°C [43]. Außerdem kann ein thermisches Event erkannt
und durch Kühlung verzögert werden.

• Balancing: Die Temperaturinhomogenitäten zwischen den Zellen führen zu

Innenwiderstands- und Alterungsdifferenzen [44]. Zusätzlich gibt es in der Herstel-
lung der Batterien Differenzen in Bezug auf ihre Kapazität und den Innenwiderstand
der Zellen, die zwar noch im Toleranzbereich sind, aber einen Einfluss auf das Zellver-
halten im Verbund haben [45]. Diese Abweichungen der Batterieparameter führen im
Betrieb zu Abweichungen im SOC und SOH, wodurch die nutzbare Ladungsmenge
des Batteriepacks und damit auch die Leistung sinken [44]. Um den Ladungsdiffe-
renzen entgegenzuwirken, werden Balancing-Schaltungen integriert. Die Methoden
werden danach klassifiziert, ob das Verfahren dissipativ ist. Dissipative Systeme sind

15
 mit geringerem Aufwand zu integrieren und ebenso weniger fehleranfällig, jedoch ist
der thermische Einfluss auf das Gesamtsystem hier nicht zu vernachlässigen [44].
Nicht dissipative Systeme leiten die Energie direkt an andere Zellen weiter [46, 47].
Das Balancing der Zellen wird vom BMS, je nach festgestelltem Bedarf, getriggert.

• Topologie und Schnittstellen: Die Topologie von BMS in Energiespeichern kann

zentralisiert, modularisiert oder dezentralisiert aufgebaut sein. Zentrale BMS nutzen
Sensoren, um die Zustände der einzelnen Zellen zu erfassen. Wohingegen modula-
risierte BMS auf eine Master–Slave Verwaltung zurückgreifen. Ein dezentrale BMS
besteht aus mehreren gleichen BMS Einheiten, die ausschließlich miteinander kom-
munizieren [48, 49]. Die Kommunikation nach außen, zu anderen Steuergeräten oder
übergeordneten Steuergeräten, findet meist über CAN-Bus statt [39].

2.1.6. Modellierung

Die nicht messbaren Zustände einer Batterie, wie der SOC, SOH und SOP, sind wichtige
Kenngrößen für ein BMS. Im Gegensatz zu physikalischen Größen (Spannung, Strom
und Temperatur) können diese Zustände nicht direkt gemessen werden und müssen mit
Modellen geschätzt werden.

In der Literatur werden die unterschiedlichen Modellierungsansätze für den SOC breit
diskutiert. Einen etablierten und seit Langem weit verbreiteten Ansatz stellt die Model-
lierung mit einem Ersatzschaltbildmodell (ESB) dar. ESBs modellieren die makroskopi-
schen Effekte der elektrochemischen Prozesse, welche in einer Batteriezelle während
der Ladung und Entladung auftreten. Die Spannungspolarisierung, die durch nichtlinea-
re Effekte aufgrund von Diffusion, Ladungstransfer und die elektrochemische Doppel-
schicht entstehen, werden mit einem oder mehreren RC-Gliedern modelliert. Instantane
Spannungsabfälle werden durch einen einfachen Widerstand dargestellt. Die Kompo-
nenten des ESB werden in Abhängigkeit von Umgebungsfaktoren parametriert. In der
Implementierung werden die einzelnen Parameter der Komponenten per Interpolation
aus Look-Up-Tables generiert. Für das Parameter-Fitting müssen hochgenaue Messun-
gen durchgeführt werden, die einem bestimmten Schema folgen. Madani et al. [50] ha-
ben ein ESB mit zwei RC Gliedern auf eine LTO-Batterie angewendet. Bei einer Unter-
suchung von Farmann [51] verdeutlichte sich, dass eine hohe Anzahl an RC-Gliedern
theoretisch einen Genauigkeitsvorteil bringen sollte, jedoch mehr als zwei RC-Glieder
tatsächlich keinen merkbar positiven Effekt liefern. Physikochemische Modelle basieren
auf den fundamentalen Gleichungen aller physikochemischen Effekte in der Batteriezel-
le. Dadurch sind die Modelle inhärent genauer und für weitere Abschätzungen wie die
Alterung interpretierbar, jedoch sind sie sehr rechenintensiv [32].

Eine weitere Methode zur SOC-Modellierung ist der Einsatz von adaptiven modellbasier-
ten Filtermethoden. Der Kalman-Filter schätzt Systemzustände anhand von fehlerbehaf-
teten Beobachtungen und minimiert den Fehler der Zielgröße. Ding et al. [28] haben den
SOC einer LFP-Batterie mit einer Weiterentwicklung des KF, den extended-KF, model-

16
liert. Meng et al. [34] nutzen sowohl KF als auch extended-KF und unscented-KF für eine
kaskadierte SOC-Modellierung.

Die aktuelle Literatur weist zusätzlich zu den klassischen ESB und KF Modellen eben-
so erste datengestützte Modellierungsansätze auf. Neben den Anwendungen von fuzzy
logic [52] und feed forward neural networks (FFNN) [53] zeigen aktuelle Forschungen
gute Ergebnisse im Bereich von RNN. Der Vorteil von RNN ist die Möglichkeit, Zeitab-
hängigkeiten in die Modellierung zu integrieren. Da zu lange Betrachtungszeiträume bei
einfachen RNNs die Ergebnisse verschleiern lassen (vgl. vanishing gradients), nutzen
aktuelle Modellierungsansätze [54, 55] Long Short-Term Memory (LSTM) erfolgreich zur
SOC-Modellierung.

Vidal et al. [56] zeigten in ihrer Untersuchung, dass RNNs bessere Modellierungser-
gebnisse liefern als FFNNs, jedoch ähnliche Ergebnisse wie Modelle mit KF hervorbrin-
gen.

Die SOH-Modellierung bedient sich an den gleichen Ansätzen wie die SOC-Modellierung.
In der Literatur finden sich sowohl Beispiele für die Modellierung des SOHs mit einem
ESB [57], als auch mit modellbasierten Filtermethoden wie KF und deren Weiterentwick-
lungen [58, 59], sowie datengestützte Modelle auf Basis von NN [60, 61, 62].

Die Modellierung des SOP kann je nach Anwendungsfall, wie in Kapitel 2.1.4 bereits aus-
geführt wurde, entweder über die tatsächliche Leistungsfähigkeit (vgl. Gleichungen 2.7
und 2.8) oder über die Einhaltung der Spannungsgrenzen (vgl. Gleichung 2.9) erfolgen.
Im Nachfolgenden werden sowohl Spannungsmodelle als auch reine Leistungsschät-
zungen als SOP-Modelle aufgefasst.

Farmann et al. [63, 51] haben die SOP-Modellierung in zwei grundlegende Methoden
unterteilt. Zum einen sind das Prädiktionen basierend auf adaptiven charakteristischen
Look-up-Tables (LUT), welche in Abhängigkeit von Batterieparametern SOC, Tempe-
ratur, Dauer des Leistungspulses, angeforderte Leistung und Spannung eine mögliche
Leistungsfähigkeit ausgeben. Die Parametrierung dieser LUTs ist mit einer Vielzahl von
spezifizierten Messungen, wie Hybrid Pulse Power Characterization (HPPC) und Elek-
trochemische Impedanzspektroskopie (EIS) relativ aufwändig. Dagegen ist die Rechen-
geschwindigkeit des Modells in der Anwendung auf dem BMS sehr hoch. In der Ver-
gangenheit wurden einige dieser LUTs aufgestellt [64, 65, 66]. Zum anderen wird von
den Autoren die modellbasierte Prädiktion genannt. Ähnlich wie bei der SOC Schätzung
wird dafür ein ESB Modell mit einem Widerstand und ggf. mehreren RC-Gliedern para-
metriert. Beispielsweise wird in [67] eine Leistungsprognose auf einem einzelnen Wider-
stand, dem Direct Current Resitance (DCR), aufgebaut. Ein einzelner Widerstand kann
die Anforderung, die elektrochemischen Prozesse in der Batterie so genau wie mög-
lich nachzustellen, nicht erfüllen. Aufgrund der Komplexität der Prozesse innerhalb einer

17
Batterie ist die Modellierung nur mit sehr großem Aufwand und mehreren zusätzlichen
RC-Gliedern möglich. Daher werden die ESB um KF ergänzt, um den Schätzungsfehler
zu minimieren. Neben den Ansätzen mit einem klassischen KF [68] sind in der Literatur
ebenso Erweiterungen zum KF, wie dem adaptive-extended-KF (AEKF) [69] oder dem
dual-extended-KF (DEKF) [70], erfolgreich validiert worden.

Die datengestützte Modellierung ist in der SOP-Prädiktion verglichen mit der SOC- oder
SOH-Modellierung noch nicht in gleichem Umfang in der Literatur zu finden. Haiying et al.
[71] haben ein SOP-Modell mit einem FFNN aufgestellt, welches jedoch keine zeitliche
Abhängigkeit in den Eingangsvariablen besitzt. Fleischer et al. [72, 73, 74] haben eine
Spannungsprognose mit einem Adaptiven Neuro-Fuzzy-Inferenzsystem (ANFIS) auf ei-
ne KF SOC-Schätzung aufgebaut. Die Idee hinter ANFIS ist, die Vorteile der Fuzzylogik
und der künstlich neuronalen Netzwerke zu vereinen, um somit eine effektive Modellie-
rung für nichtlineare Verhaltensmuster zu schaffen. Zeitliche Abhängigkeiten können in
diesem Ansatz nicht berücksichtigt werden. Zhao et al. [75] haben eine Spannungspro-
gnose mit einem RNN implementiert. Die Modellierung erfolgt mit zwei Gated Recurrent
Unit (GRU) Schichten mit je 30 hidden Units. Als Eingangsfeature dienen der SOC, die
Leistung, die Temperatur und die Spannung im vorherigen Zeitschritt. Damit kann die
zeitliche Abhängigkeit der Spannungsentwicklung während der Belastung der Zelle ab-
gebildet werden. Modelliert werden zwei Batterien, eine Panasonic NCA und eine Sony
NMC Zelle, anhand von dynamischen Batteriemessungen im Temperaturbereich von -
10°C bis 25°C. In der Dissertation von Carlos Vidal [76] wird ein RNN Spannungsmodell
sowohl mit LSTM Zellen als auch mit GRU Zellen trainiert und anschließend mit der her-
kömmlichen ESB Modellierung verglichen. Die RNN Modelle bestehen aus zwei Layern
mit jeweils zehn bis zwölf hidden Units. Als Inputfeatures dienen der SOC, der Strom und
die Temperatur. Das ESB ist ein Modell dritter Ordnung mit einem nichtlinearen Wider-
stand, parametrisiert mit einem HPPC Test Verfahren. Der Vergleich der Modellierungs-
ansätze zeigt, dass das LSTM Modell das Spannungsverhalten der Batterie deutlich
besser schätzt als das ESB. Dieses Verhalten ist vor allem bei kälteren Temperaturen zu
beobachten. Im Vergleich der RNN Technologien zeigt das LSTM Netzwerk eine leicht
bessere Genauigkeit gegenüber dem GRU Netzwerk.

2.2. 48 V Bordnetz

Neben den klassischen 12 V Bordnetzen in verbrennungsmotorisch angetriebenen Fahr-

zeugen (engl. Internal Combustion Enginge Vehicle (ICV)), den Hochvolt-Bordnetzen
von Plug-In Hybriden Fahrzeugen (engl. Plug-In Hybrid Vehicle (PHEV)) und batterie-
elektrische Fahrzeuge (engl. Battery Electric Vehicle (BEV)) werden 48 V Bordnetze als
leistungsstarke Ergänzung eingesetzt.

18
2.2.1. Einsatzzweck

48 V Bordnetze dienen in erster Linie dazu, den Antriebsstrang zu elektrifizieren und

dadurch Emissionen einzusparen. Die Kraftstoffeinsparungen werden erzielt, indem die
rekuperierte und zwischengespeicherte Bremsenergie anschließend für das Boosten,
Segeln oder den Start-Stopp Betrieb verwendet wird. Hybride Antriebssysteme, die die-
se Funktionalitäten aufweisen, jedoch nicht in der Lage sind weite Strecken rein elek-
trisch zu bewerkstelligen, werden oft als MHEV bezeichnet [77].

Die Auslegung der E-Maschine ist abhängig von der Topologie. MHEVs in einer seriell-
Hybriden Topologie müssen aufgrund der Leistungsübertragung aus dem Verbrenner
sehr groß dimensioniert werden, für seriell-parallel-Hybride Topologien werden zwei E-
Maschinen benötigt. Aus diesen Gründen werden MHEVs in der Regel als parallel-
Hybride Topologie ausgeführt [3].

Die E-Maschine kann an verschiedenen Stellen im Antriebsstrang verbaut werden. Fol-

gend werden die möglichen Topologien aufgelistet und beschrieben:

• P0-Hybrid: Der 12 V Generator wird an gleicher Stelle ersetzt durch eine 48 V E-

Maschine, die sowohl generatorisch als auch motorisch über den Riemen mit dem
Verbrennungsmotor betrieben werden kann [78]. Der Vorteil bei dieser Bauweise liegt
in der einfachen Integration in den Antriebsstrang. Jedoch kann nur eine begrenzte
Leistung über den Riemen übertragen werden [79].

• P1-Hybrid: In dieser Topologie ist die E-Maschine direkt auf der Kurbelwelle des Mo-
tors verbaut. Die starre mechanische Verbindung mit der Antriebswelle ermöglicht
zwar höhere Leistungen, jedoch kann die E-Maschine nicht betrieben werden, ohne
dass sich der Verbrennungsmotor mitdreht [79].

• P2-Hybrid: Die E-Maschine ist zwischen der Kupplung und dem Getriebe angeord-
net. Daraus ergibt sich die Möglichkeit das Fahrzeug rein elektrisch anzutreiben. Aus
diesem Grund ist der Einsatz von Motor-Aus-Segeln und elektrischem Kriechen mög-
lich [79]. Eine Spezialform stellt ein E-Doppelkupplungsgetriebe dar, wobei die E-
Maschine im Getriebe am Eingang einer der beiden Wellen angebracht ist [80].

• P3-Hybrid: Die E-Maschine ist am Getriebeausgang angebracht. Dabei können die

Übersetzungen des Getriebes nicht genutzt werden. Ansonsten besitzt dieser Hybrid
ähnliche Eigenschaften wie ein P2-Hybrid [77].

• P4-Hybrid: In dieser Bauweise wird ein Allradsystem realisiert, indem eine Achse
vom Verbrennungsmotor und eine andere von der E-Maschine angetrieben wird. Hier
ist eine sehr leichte Integration möglich, da kein Eingriff auf den herkömmlichen An-
triebsstrang stattfindet [77].

Das Kraftstoffeinsparpotential hängt von der Bauart ab. Bei P0 und P1 Topologien wer-

19
den zwischen 4 % und 8 % Kraftstoff eingespart. Bei P2, P3 und P4 Topologien sind es
bis zu 15 % [78]. Die tatsächliche Einsparung ist von der Auslegung der Komponenten
und der Betriebsstrategie abhängig.

Der größte Teil der Einsparung wird durch das Rekuperieren der Bremsenergie erreicht
[81]. Beim Rekuperieren wird die E-Maschine generatorisch betrieben und somit elektri-
sche Leistung erzeugt. Die Energie, welche sonst durch mechanische Bremsen in Wär-
me umgewandelt worden wäre, wird nun in der Batterie zwischengespeichert [82]. Der
Wirkungsgrad der Rekuperation ist abhängig von der gewählten Topologie. Je näher
die E-Maschine an der angetriebenen Achse liegt und somit weniger Komponenten zwi-
schengelagert die Effizienz mindern, desto höher ist der Wirkungsgrad. P3 und P4 Topo-
logien erreichen 91 %, P2 85 %, P1 79 %, und P0 72 %. Für das elektrische Fahren und
Boosten gelten die gleichen Wirkungsgrade, da die Kraft über die gleichen Komponenten
hin zur Achse übertragen wird [82]. Reines elektrisches Fahren kann nur von Topologi-
en unterstützt werden, in denen die E-Maschine mit einer Kupplung vom Motor getrennt
werden kann [79]. Die Unterstützung des Verbrennungsmotors durch die E-Maschine
beim Beschleunigen kann von allen Topologien gewährleistet werden. Dadurch wird die
Verbrennungskraftmaschine in einem effizienteren Betriebspunkt betrieben und die aus
der Rekuperation gewonnene Energie kann abgegeben werden [83]. Eine weitere Funk-
tionalität, die bereits in den Micro-Hybriden eingesetzt wird, ist das Start-Stopp-System.
Hier wird der Verbrennungsmotor in Standphasen abgestellt und das Bordnetz rein aus
den Batterien versorgt. Dabei ist immer sicherzustellen, dass das Fahrzeug startfähig
bleibt [82]. Weiteres Einsparpotential bringt das Motor-Aus-Segeln mit sich. In diesem
Zustand wird der Verbrennungsmotor während der Fahrt auch bei großen Geschwin-
digkeiten ausgeschaltet und das Fahrzeug rollt mit verminderter Reibung aus (passives
Segeln) oder die Geschwindigkeit wird durch den Antrieb der E-Maschine gehalten (akti-
ves Segeln). Die CO2 Emissionseinsparung bei realen Geschwindigkeitsprofilen, wie im
WLTP-Zyklus, liegt beim Einsatz von aktivem und passivem Segeln je nach Fahrzeug-
klasse zwischen 12 % und 14 %. [84] Die Start-Stop Funktionalität bringt eine erhebliche
CO2 Einsparung im urbanen Umfeld mit sich. Das Segeln hingegen ist vor allem auf extra
urbanen Straßen bzw. auf Autobahnen effizient [81].

Die beschriebenen Betriebsmodi des MHEV verfolgen das Ziel der Kraftstoffeinsparung.
Im Vergleich zu einem Fahrzeug mit einem Dieselmotor werden mit einem MHEV Sys-
tem ca. 9 % Kraftstoff und Harnstoff eingespart. Ein HEV spart im Vergleich ca. 22 %
ein [85]. Die Vorteile eines MHEV liegen in der einfachen Integration und den damit ver-
bundenen geringen Kosten. Dadurch, dass die VDE-Kleinspannungsgrenze von 60 V
nicht überschritten wird, können die 48 V Komponenten im Vergleich zu 12 V Kompo-
nenten ohne erhöhte Schutz- und Sicherheitseinrichtungen verbaut werden. Durch die
einfache Integrierbarkeit sowie die schnell zu erreichenden großen Stückzahlen dient der
MHEV als Einstieg in die Elektrifizierung des Antriebes. Große Stückzahlen sind durch
kleine Markteintrittsbarrieren möglich, da beispielsweise im Gegensatz zu BEVs oder

20
PHEVs keine Ladeinfrastruktur aufgebaut werden muss. Das Gewicht der zusätzlichen
Komponenten wird teilweise durch die kleineren Leitungsquerschnitte im 48 V Bordnetz
kompensiert. Neben den Vorteilen der CO2 Emissionseinsparung gibt es auch kundenre-
levante Vorteile. Ein elektrischer Zusatzverdichter erzeugt mehr Drehmoment im unteren
Drehzahlbereich, wodurch ein komfortableres Fahrgefühl entsteht [86]. Die Leistungsfä-
higkeit des 48 V Bordnetzes ermöglicht eine weitere Verbesserung des Komforts durch
Komponenten wie die elektrische Servolenkung oder die Wankstabilisierung [87].

2.2.2. Komponenten

Ein MHEV besteht im Kern aus den drei Komponenten E-Maschine, DC/DC Wandler
sowie Batterie und kann um elektrische Verbraucher erweitert werden.

Der DC/DC Wandler koppelt das 12 V Bordnetz mit dem 48 V Bordnetz. Die meisten
elektrischen Verbraucher sind auf der 12 V Seite, aber die Energie wird auf der 48 V
Seite in das System eingebracht. Somit wird der DC/DC Wandler meist im Buck-Mode
betrieben, um die Spannung im 12 V Bordnetz zu halten. In Ausnahmefällen, wie dem
Verbrennungsmotorstart mit der 48 V E-Maschine, kann der Wandler auch im Boost-
Mode betrieben werden, um die großen Leistungen im 48 V System zu dämpfen. Üblich
sind Leistungen von 1 kW bis 3 kW. [87]

Die 48 V E-Maschine dient als direkter Ersatz für den 12 V Generator und je nach Aus-
legung des 48 V Bordnetzes auch als Ersatz für den Anlasser. Das Energiemanage-
mentsystem entscheidet über den Betriebsmodus und die geforderte Leistung [87]. Die
E-Maschinen werden typischerweise auf 10 kW – 15 kW Leistung ausgelegt. Eine hö-
here Leistung würde nicht zu signifikant mehr rekuperierbarer Energie während dem
WLTP-Zyklus führen [88, 89].

Die Batterie dient im 48 V System als Puffer, um die beim Rekuperieren gewonnene
Energie zwischenzuspeichern und für die Betriebsmodi Segeln, Motorstart und Boost
bzw. für die elektrischen Verbraucher vorzuhalten. Somit hat die Kapazität der Batterie
einen direkten Einfluss auf die CO2 Emissionen eines MHEV. Die Abwägung zwischen
mehr Gewicht und größerem Speicher resultiert in einem optimalen Energieinhalt von
0,3 kWh [81].

Ein zweiter Auslegungsparameter der Batterie ist die maximale Leistungsfähigkeit. Die
Anforderung ist, dass die Rekuperationsleistung der E-Maschine von der Batterie aufge-
nommen werden kann. Bei einer Leistung von 15 kW und einem Batterieenergieinhalt
von 0,5 kWh wird die Batterie mit 30 C geladen.

15 kW
= 30 C (2.11)
0, 5 kWh

21
Im Vergleich zu den Anforderungen bei einem BEV, ist diese Ladeleistung deutlich mehr
herausfordernd. Der „Taycan“ von Porsche kann bei einem Batterieenergieinhalt von 95
kWh mit maximal 350 kW geladen werden, was zu einer maximalen C-Rate von 3,68 C
führt [90].

350 kW
= 3, 68 C (2.12)
95 kWh

Die hohen Stromraten stellen sowohl eine Herausforderung in der Funktionsweise der
Batterie als auch in der Modellierung dar. Die Hochstromfähigkeit der Batterien wird
durch die Diffusion im Aktivmaterial und die Leitfähigkeit begrenzt [91]. Des weiteren
altern Batterien bei hohen C-Raten schneller [30].

2.3. Maschinelles Lernen

Maschinelles Lernen ist ein Teilgebiet der künstlichen Intelligenz, welches sich mit dem
Lernen von Computern anhand von Daten beschäftigt. Dabei wird in drei algorithmische
Ansätze unterteilt:

• Unüberwachtes Lernen: Anhand der ungelabelten Inputdaten extrahiert das Modell

Merkmale, ohne dabei überwacht zu werden.

• Reinforcement Lernen: Ein Agent bewegt sich in einer bestimmten Umgebung und
interagiert mit dieser. Vom Diskriminator bekommt er abhängig vom Status eine Be-
lohnung bzw. Bestrafung. Ziel ist es, dass der Agent die Nutzenfunktion maximiert,
um so implizit das bestrebte Verhalten zu erlernen.

• Überwachtes Lernen: Das Modell wird anhand von gelabelten Daten trainiert. Für
jeden Input ist ein Label (Ground Truth) vorhanden, mit dem Ziel, dass das Modell
jeden dieser Punkte möglichst genau prädiziert.

Bei diskreten Ergebnisräumen, spricht man von Klassifikation, bei kontinuierlichen Er-
gebnisräumen von Regression. Da in der vorliegenden Arbeit gelabelte, kontinuierliche
Daten vohranden sind, wird vor allem das überwachte Lernen mit Regressionsmodellen
betrachtet.

2.3.1. Trainingsprozess

Die Abbildung 3 zeigt den Trainingsprozess von überwachtem Lernen mit gelabelten Da-
ten. In der Datenvorverarbeitung werden die Rohdaten vorverarbeitet, um ein möglichst
genaues und effizientes Training zu erreichen. Nach der Datenvorverarbeitung werden
die benötigten Features bestimmt und extrahiert. Die resultierenden Daten werden dann

22
dreigeteilt und für verschiedene Phasen des Trainings bzw. der Validierung eingesetzt.
Somit wird sichergestellt, dass jeder Datenpunkt jeweils exklusiv in einem der drei Da-
tensätze vorkommt.

• Training Set: Diese Daten werden verwendet, um das Netz zu trainieren. Das Netz
lernt aus den vorhandenen Daten Muster und Zusammenhänge, indem die Gewichte
und Biases mit dem Backpropagation Through Time Algorithmus angepasst werden.
Die Gleichverteilung der Daten ist für das Training wichtig, da sonst eine algorithmi-
sche Voreingenommenheit in das Modell übertragen wird. Unterrepräsentierte Da-
tenbereiche werden als unwahrscheinlich, bzw. als unwichtig eingestuft, überreprä-
sentierte Bereiche als besonders wahrscheinlich gesehen. Algorithmen zum Under-
und Oversampling optimieren das Trainingsdatenset dahingehend. Mithilfe der Ver-
lustfunktion wird der Loss (vgl. Formel 2.13) aus dem Trainingsdatensatz einer Epo-
che bestimmt.

• Validation Set: Das Validation Set wird für das Hyperparamertuning benutzt. Nach
jeder Epoche die trainiert wird, werden Fehlermetriken wie der Validation Loss auf
Basis des Validation Sets berechnet, die dann Einfluss auf die Wahl der Hyperpara-
meter haben. Die Validierungsdaten überschneiden sich nicht mit den Trainingsdaten
und können daher als ungesehene Daten zur Modellvalidierung genutzt werden.

• Test Set: Mit dem Test Set wird das final trainierte Modell bewertet. Die Daten soll-
ten eine ähnliche Verteilung wie Validation und Training Set haben. Die vom Modell
prädizierten Werte können direkt mit der Ground Truth aus dem Test Set verglichen
werden.

Das Kreuzvalidierungsverfahren, bei welchem während des Trainingsprozesses dyna-

misch Datenblöcke zwischen Training Set und Validation Set getauscht werden, weist ei-
ne ähnliche Performance auf wie die last block Validierung. In der last Block Validierung
wird ein Datensatz fest als Training Set verwendet und ein anderer fest als Validation Set
[92].

Der Loss wird anhand der Verlustfunktion floss aus der Ground Truth GT und dem ge-
schätzten Wert des Modells YP red berechnet:

Loss = floss (GT, YP red ) (2.13)

Die Metrik wird sowohl für das Trainingsdatenset als Training-Loss als auch für das Vali-
dationsset als Validation-Loss berechnet. Anhand dieser beiden Metriken kann abgelei-
tet werden, wie der Trainingsfortschritt ist und ob Overfitting vorliegt.

Um trainierte Modelle mit anderen zu vergleichen, werden für das Training Set separate
Metriken berechnet. In der Literatur werden oft die mittlere quadratische Abweichung
(engl. Mean Square Error (MSE)) und der mittlere absolute Fehler (engl. Mean Absolute

23
Abbildung 3 Schema der Verarbeitung des Training, Validation und Test Set in der gesamten Datenverarbeitungs- und
Trainingspipeline

Error (MAE)) als beschreibende Metrik angegeben:

n
1 X
M SE = ∗ (Yi − Ŷi )2 (2.14)
N
i=1

n
1 X
M AE = ∗ |Yi − Ŷi | (2.15)
N
i=1

Um die Spannungsstabilität im Bordnetz sicherzustellen, ist es wichtig die Extremwer-

te vorherzusagen, damit dementsprechend Maßnahmen eingeleitet werden können. Da
ein Modell, welches einen guten M SE oder M AE aufweist, nicht zwingend auch die Ex-
tremwerte gut prädiziert, wird der maximale absolute Fehler (engl. Max Absolute Error
(MAXE)) als zusätzliche maßgebliche Metrik im Testdatensatz eingeführt.

M AXE = max (Yi − Ŷi ) (2.16)

i∈[1,n]

Für eine besser Vergleichbarkeit von Modellierungsansätzen wird der MAE oft auf die
Nennspannung Unenn referenziert. Der mittlere absolute prozentuale Fehler (engl. Mean

24
Absolute Percentage Error (MAPE)) berechnet sich zu:

M AE
M AP E = (2.17)
Unenn

2.3.2. Deep Learning

Werden Modelle mit mehreren Schichten trainiert, spricht man vom Deep Learning. Der
ersten Schicht wird der Input übergeben. In den tieferen Schichten werden abstrakte
Muster trainiert, die dann in der letzten Schicht, dem Output, resultieren.

Es existieren verschiedene Netzwerktypen, die je nach den zu modellierenden Gege-

benheiten angewandt werden.

• Multi Layer Perceptron: Ein Multi Layer Perceptron (MLP) ist ein einfaches Feed
Forward Neural Network, welches aus drei oder mehr Schichten besteht. Alle Neuro-
nen sind mit jedem Neuron der vorhergegangen bzw. nachfolgenden Schicht vernetzt.
Daher ist es ein vollvernetztes neuronales Netzwerk. Die Neuronen, außer die der In-
put Schicht, werden über eine nichtlineare Funktion aktiviert. Dabei wird meist auf
tanh oder sigmoid Funktionen zurückgegriffen. Durch diese Aktivierungsfunktionen
können MLP sämtliche Funktionen approximieren [93].

• Convolutional Neural Network: Convolutional Neural Network (CNN) sind eine der
bekanntesten Netzwerktypen, basierend auf der mathematischen Operation, der Fal-
tung (Convolution) von Matrizen. Neben den Faltungsschichten werden in einem CNN
auch Pooling-Schichten und Vollvernetzte Schichten genutzt. Das Pooling soll die
Komplexität für die folgenden Schichten reduzieren und dabei helfen die dominanten
Merkmale zu extrahieren. Die Performance ist vor allem in Bild- und Sprachverarbei-
tungsanwendungen sehr gut [94].

• Generative Adversarial Networks: Bei Generative Adversarial Network (GAN) wer-

den zwei Modelle simultan trainiert, das generative Modell (GM) und das diskriminati-
ve Modell (DM). Das GM lernt die Verteilung der Input Daten und erzeugt synthetische
Daten im Raum der Input Daten. Das DM klassifiziert die ausgegebenen Punkte vom
GM in die Kategorien „real“ oder „synthetisch“. Während dem Training konkurrieren
die beiden Modelle miteinander, wobei beide versuchen den Fehler zu minimieren.
Dadurch wird das GM darauf trainiert Punkte zu erzeugen, die von den Input Daten
nicht zu unterscheiden sind [95, 96]. Das DM soll die synthetischen Punkte erkennen.
Dieser Netzwerktyp wurde bereits erfolgreich in Applikationen wie Style Transfer, Bild-
einfärbung und bei der Erzeugung neuer Daten eingesetzt [93].

• Recurrent Neural Networks: RNNs sind künstliche neuronale Netze, in denen nicht
nur die Schichten untereinander verbunden sind, sondern auch Verbindungen zwi-
schen Neuronen derselben oder vorhergegangenen Schicht existieren. Dies gibt dem

25
 Netz die Möglichkeit persistent Informationen zu speichern. Somit können sequenzi-
elle Daten eingelesen und im Netz verarbeitet werden [97].

Im Hinblick auf die in dieser Arbeit betrachtete Zeitreihenprognose, wird im nächsten

Kapitel genauer auf den Aufbau von RNN sowie deren Sonderformen eingegangen.

2.3.3. Recurrent Neural Networks

In diesem Kapitel wird zunächst auf die Funktionsweise der RNN eingegangen sowie
anschließend die häufig verwendeten GRU, LSTM, Dropout Layern und Dense Layern
erläutert. Abbildung 4 zeigt den Aufbau von einem Neuron in einem RNN. Jedes Neuron
besteht aus mehreren RNN Zellen, welche die Inputs x0−t zu einem Zellzustand C und
dem Ausgang h weiterverarbeiten. Der Input wird in Form von sequenzierten Daten ge-
speist. Der Output der letzten Schicht ist der letzte Wert des Ausgangs ht . Der Ausgang
eines Neurons wird, wie bei einem FFNN, mit w gewichtet und an das nächste Neuron
als Output ot übergeben. Die sequenzierten Inputs entsprechen in der Regel Ausschnit-
ten aus der zeitlichen Reihenfolge der Daten. Die Sequenzlänge t gibt vor, wie viele RNN
Zellen pro Neuron vorhanden sind. Das RNN lernt anhand der Sequenzen das zeitliche
Verhalten der Daten und schätzt bei der Eingabe einer neuen Sequenz den letzten Wert.

Abbildung 4 Aufbau eines aufgeschlüsselten RNN Neurons

26
Backpropagation (BP) ist das Verfahren, welches angewandt wird, um das Netz zu trai-
nieren. Die gelabelten Daten werden zuerst durch das Netz propagiert und anschlie-
ßend das Ergebnis mit dem Label verglichen. Der entstandene Fehler hat Einfluss auf
die Anpassung der Gewichte bei der Backpropagation. Je nach Größe des Fehlers und
Einfluss des einzelnen Neurons auf das Ergebnis wird das Gewicht der Neuronenverbin-
dung aktualisiert. Bei RNN wird ein Backpropagation Through Time Algorithmus (BPTT)
angewendet. Die Zeitreihen werden während der BP aufgefalten und die Fehlerberech-
nung findet in jedem Zeitschritt statt. Die berechneten Fehler werden addiert und für
das Gradientenabstiegsverfahren verwendet [98]. Der Aufwand einen einzelnen Para-
meter bei BPTT zu aktualisieren ist hoch, daher wird oft der Algorithmus der Truncated
Backpropagation Through Time (TBPTT) verwendet. Bei TBPTT werden die Sequenzen
in Truncs unterteilt, die dann einzeln berechnet werden. Die Länge der Truncs gibt die
maximale Zeitabhängigkeit vor [99].

Funktionsweise Recurrent Neural Network Zellen

Der Aufbau einer einzelnen RNN Zelle ist in Abbildung 5 dargestellt. Der Input xt wird
zusammen mit ht−1 über die Aktivierungsfunktion tanh zum Output ht verarbeitet.

yt = σ(W hy hy + c) (2.18)
xh hh
ht = σ(W xt + W ht−1 + b) (2.19)

Abbildung 5 Schematische Struktur einer RNN Zelle

27
RNN Zellen können nur unzureichend Langzeitabhängigkeiten nachbilden. Der Butterfly
Effekt der Chaos Theorie [100] beschreibt die sensitive Abhängigkeit der initialen Bedin-
gungen. So können kleine Änderungen am Eingang eine große Veränderung am Aus-
gang des Netzes verursachen [101]. Zusätzlich führt das vanishing gradients Problem zu
einem verschwimmen der Gradienten innerhalb der Zeitabhängigkeit. Dies haben zuerst
Hochreiter [102] und Bengio [103] beschrieben. Während der BPTT werden die Gradi-
enten wegen der Kettenregel mit rekurrenten Matrix Multiplikationen berechnet. Sind die
Gradienten kleiner als eins, tendieren diese exponentiell gegen 0 zu konvergieren [104].
Die Lösung dieser Problematik wird in den nächsten Sektionen beschrieben. Sind die
Gradienten in der BPTT größer als eins, explodieren die Werte. Das damit einhergehen-
de Problem ist das exploding gradients Problem, dem mit Hilfe von Gradient clipping,
einem Verfahren, bei welchem die Gradienten begrenzt werden, entgegengewirkt wer-
den kann [104].

Long Short-Term Memory Zellen

LSTM Zellen wurden initial von Hochreiter et al. [105] in ihrer Thesis eingeführt. In die-
sem Ansatz wird das vanishing gradient Problem damit gelöst, dass ein zusätzlicher
Status zu jeder Zelle hinzugefügt wird. Abbildung 6 zeigt die Struktur einer LSTM Zelle.
Der versteckte Zustandsvektor ht ist stark vom Zellzustand Ct abhängig. Der Zellzustand
ermöglicht es dem Netzwerk Informationen über einen längeren Zeitraum zu speichern,
ohne auf das vanishing gradient Problem zu stoßen. Das Forgetgate ft , das Inputgate
it und der vorherige Zellzustand Ct−1 haben direkte Auswirkungen auf den Zellzustand
Ct . Das Forgetgate wird mit dem vorherigen versteckten Zustand ht−1 , dem Inputvektor
und einer Aktivierungsfunktion berechnet. Der Kandidat für das Aktualisierungsgate Ct
hat die gleichen Inputs, wird aber mit einer tanh Funktion aktiviert. Das Inputgate it und
das Outputgate ot werden ähnlich wie das Forgetgate berechnet. W und U beschreiben
die entsprechenden Matrizen, b ist der Vorspannungsvektor und σ ist die Aktivierungs-
funktion.

ft = σsig (Wf xt + Uf ht−1 + bf ) (2.20)

it = σsig (Wi xt + Ui ht−1 + bi ) (2.21)
ot = σsig (Wo xt + Uo ht−1 + bo ) (2.22)
C
ft = σtanh (WC xt + UC ht−1 + bc ) (2.23)
ct = ft ct−1 + it C
ft (2.24)
ht = ot σtanh (ct ) (2.25)

28
Abbildung 6 Schematische Struktur einer LSTM Zelle

29
Gated Recurrent Units

GRUs wurden zuerst von Cho et al. [106] vorgeschlagen. Die Struktur einer GRU Zel-
le ist ähnlich der einer LSTM Zelle, jedoch beinhaltet sie ein Outputgate weniger. Da-
durch können die Matrix Berechnungen während dem Fitting und dem BPTT schneller
durchgeführt werden als beim LSTM. Typischerweise sind die Trainingszeiten pro Epo-
che kürzer, jedoch ist die Genauigkeit geringer. Der versteckte Zustandsvektor ht ist
stark abhängig vom Aktualisierungsgate zt , dem vorherigen versteckten Zustandsvektor
ht−1 und dem Kandidaten für den versteckten Zustandsvektor het . Der Kandidat für den
versteckten Zustandsvektor het wird mit einer tanh Funktion aktiviert und zusätzlich mit
dem Resetgatevektor rt multipliziert. Der Resetgatevektor rt und der Aktualisierungsga-
tevektor zt werden mit dem vorherigen versteckten Zustand ht−1 und dem Inputvektor xt
berechnet. W und U beschreiben die entsprechenden Matrizen, b ist der Biasvektor und
s ist die Aktivierungsfunktion.

zt = σsig (Wz xt + Uz ht−1 + bz ) (2.26)

rt = σsig (Wr xt + Ur ht−1 + br ) (2.27)
het = σtanh (Wh xt + Uh (rt ht−1 ) + bh ) (2.28)
ht = (1 − zt )ht−1 + zt het (2.29)

Abbildung 7 Schematische Struktur einer GRU Zelle

30
Dense Layer

Dense Layer sind vollvernetzte FFNN Layers, die oft genutzt werden um lineare Pro-
bleme zu fitten [107]. Wird eine nichtlineare Aktivierungsfunktion, wie beispielsweise
tanh [108], genutzt, kann auch nichtlineares Verhalten gefitted werden. Nutzt man die-
se Schichten im Anschluss an GRUs oder LSTMs, werden die abstrakten Outputs der
RNNs weiterverarbeitet. Es wurde gezeigt, dass ein bis drei Dense Layer nach den RNN
Schichten die Performance der Netze verbessern [109, 108].

Dropout

Das Trainieren von neuronalen Netzen hat das Ziel, die Input-Daten möglichst gut zu ge-
neralisieren. Wie in den ersten 20 Epochen der Abbildung 8 (b) zu sehen ist, kommt es
am Anfang eines Trainings in der Regel zu einem Underfitting, bei dem die Datenpunk-
te nur unzureichend genau geschätzt werden. Im weiteren Verlauf des Trainings sollten
sowohl der Loss als auch der Validation Loss weiter abnehmen, bis eine Art Sättigung
erreicht ist. In Teil (a) ist ein typischer Verlauf von Overfitting mit dem charakteristischen
Anstieg des Validation Loss im Verlauf des Trainings zu sehen. Das Trainingsdatenset
wird dabei so genau nachgeahmt, dass eine Generalisierung, wie sie in der Validierung
geprüft wird, nicht auftritt. Diese Art der trivialen Abbildung der Eingangsdaten auf die
Ausgangsdaten ist begünstigt durch geringe Datenmengen und großen NN mit vielen
hidden Layern und vielen hidden Units. Eine pauschale Aussage darüber, ob Overfit-
ting auftreten wird oder nicht, kann nicht gemacht werden. Daher wird dem Effekt mit
Dropouts präventiv entgegengewirkt.

31
Abbildung 8 Verhalten von Loss und Validation Loss bei Overfitting (a) und keinem Overfitting (b)

32
Srivastava et al. haben 2014 [110] Dropouts zur Vermeidung von Overfitting eingeführt.
Dropout Layer können nach jedem hidden Layer hinzugefügt werden, um die Robustheit
der jeweiligen und vorhergegangenen Schichten zu verbessern. Abbildung 9 zeigt das
Prinzip hinter Dropout. Es werden zufällig Neuronen ausgesucht, welche während des
Trainings nicht beachtet werden. Die Dropout Rate gibt an, wie viele Neuronen in jeder
Iteration anteilig ausgelassen werden. Eine Konsequenz ist hier, dass das Netz weniger
sensitiv auf kleine Änderungen am Eingang reagiert. Wird die Gefahr der Entstehung
eines Overfittings reduziert, ist es möglich mit höheren Lernraten zu trainieren und damit
den Lernprozess zu beschleunigen.

(a) Mit Dropout (b) Ohne Dropout

Abbildung 9 Beispielhaftes neuronales Netz mit (a) und ohne (b) Dropout

33
2.3.4. Transformer

Die von Vaswani et. al. [111] vorgestellten Transformer zeigen im Bereich der Computer-
linguistik (NLP) deutlich bessere Ergebnisse als LSTM oder andere RNN. Zum Beispiel
wurden mit dem vortrainierten BERT [112] in Anwendungen des Sprachverständnisses
(engl. Language Understanding, LU) LSTMs deutlich übertroffen. Der Transformer von
Radfar et al. [113] aus dem Bereich der spoken language understanding kann Audio Se-
quenzen interpretieren. Außerhalb der Sprach- und Bildverarbeitung wird in der Literatur
keine weitere Anwendung diskutiert. Die Fähigkeit der Transformer, Sequenzen zu ver-
arbeiten und Regressionsprobleme zu lösen, lässt auf eine mögliche Anwendung in der
Spannungsprädiktion bei Batterien schließen.

Transformer haben, wie die meisten Modelle der neuronalen Sequenztransduktion, eine
Encoder-Decoder Struktur. Im Gegensatz zu RNNs greifen Transformer nicht auf das
Prinzip der rekurrenten Strukturen zurück, sondern bauen auf dem Attention Mechanis-
mus auf.

Wie in Abbildung 10 zu sehen ist, sind Transformer in einer Encoder-Decoder Struktur

aufgebaut. Da Transformer keine Rekurrenz enthalten, wird mithilfe von positional Enco-
ding die Information der Reihenfolge des Inputs dem Encoder-Decoder übergeben. Eine
Encoder Schicht verarbeitet die Inputs anhand eines Multi-Head Attention Moduls und
einem vollvernetztem FFN zu einer Repräsentation des Eingangs. Der Aufbau der Deco-
der Schicht ist ähnlich dem des Encoders, sieht aber zusätzlich ein Multi-Head Attention
Modul für die Verarbeitung des Inputs aus dem Encoder vor. Der Ausgang des Decoders
wird mit einer Softmax Funktion zu Ausgabe Wahrscheinlichkeiten aktiviert. Die Encoder
und Decoder werden aus N-fach gestapelten Encoder-Decoder Schichten gebildet.

34
Abbildung 10 Modellarchitektur eines Transformers
35
Die in der Encoder-Decoder Struktur verwendeten Multi-Head Attention Module beste-
hen aus mehreren Scaled Dot-Product Attention Mechanismen, die jeweils aus den Que-
ries q, Keys k und Values v ihre eigenen Projektionen berechnen. Wie in Abbildung 11
gezeigt, werden die parallel ausgeführten Projektionen zu einem Ausgang verkettet.

Abbildung 11 Multi-Head Attention Modul

36
Der Scaled Dot-Product Attention Mechanismus aus Abbildung 12, bildet ein Skalarpro-
dukt aus den normierten Querys q und Keys k, das dann mit einer Softmax Funktion die
Gewichte der Values v aktiviert.

Abbildung 12 Scaled Dot-Product Attention Mechanismus

37
Durch die Attention Mechanismen entstehen kurze Pfade zwischen langen Zeitabhän-
gigkeiten innerhalb des Netzwerks. Je kürzer diese Pfade sind, desto einfacher kann ein
Modell einen Zusammenhang zwischen zwei Punkten erkennen.

Wie in Kapitel 2.3.3 beschrieben, werden bei Transformern Dropout Layer mit der Dro-
pout Rate dr eingefügt, um die Gefahr von Overfitting zu reduzieren. Zusätzlich zum
Dropout wird nach jedem Sub-Layer eine Normalisierungsschicht integriert [111].

2.3.5. Hyperparameter

Die Güte von NN ist nicht nur abhängig von den Daten, die in das Netz gespeist wer-
den, sondern auch von den Hyperparametern, die zu Beginn des Trainings festgelegt
werden. Hyperparameter sind von den Modellparametern zu unterscheiden. Modellpa-
rameter, wie die Gewichte und der Bias, werden während dem Training automatisch vom
Algorithmus angepasst. Das Hyperparametertuning findet manuell, meist mit Hilfe von
Such- und Optimierungsalgorithmen statt.

Trainingsbasierte Hyperparameter

Die folgenden Hyperparameter beziehen sich auf das Training des Modells und müssen
im Voraus festgelegt werden:

• Sequenzlänge: Die Sequenzlänge hat Einfluss auf die Anzahl der Sequenzen, die
zeitliche Abhängigkeit der Modellierung und die Performance des Trainings. Durch
die obligatorische zeitliche Aneinanderreihung der Messpunkte ergeben sich bei grö-
ßeren Sequenzlängen weniger Sequenzen. Dieser Einfluss ist zu beachten, wenn nur
wenige Rohdatenpunkte vorliegen, die viele zeitliche Unterbrechungen enthalten. Für
die zeitliche Abhängigkeit der Modellierung sind zum einen die zugrundeliegenden
physikochemischen Effekte zu berücksichtigen und zum anderen die typischen Be-
lastungsszenarien in der jeweiligen Applikation. Bei schnellen, volatilen Belastungs-
änderungen sind kürzere Sequenzlängen ausreichend. Um längere Effekte in der Bat-
terie abzubilden, wird die Sequenzlänge größer gefasst. Die Anzahl der RNN Zellen je
Neuron ist gleich der Sequenzlänge, somit steigt der Rechenaufwand mit steigender
Sequenzlänge.

• Verlustfunktion: Mit der Backpropagation wird versucht die Verlustfunktion zu mini-

mieren. Die Verlustfunktion berechnet sich aus der Schätzung des Netzes Ŷi und der
GT Yi . Oft wird bei Regressionsproblemen der MSE verwendet [109].

• Lernrate: Die Lernrate η beeinflusst maßgeblich die Geschwindigkeit sowie die Ge-
nauigkeit des Optimierungsverfahrens, da sie die Änderung der Gewichte und der
Bias während des Lernprozesses definiert. Lernraten werden häufig im Bereich zwi-
schen 0,01 und 0,9 verwendet. Grundsätzlich hängt die Wahl der richtigen Lernrate
immer vom zu lösenden Problem, dem verwendeten Netz und den Trainingsdaten

38
 ab. Wird die Lernrate zu groß gewählt, werden die Gewichte schneller und in größe-
ren Schritten geändert. Dies kann zur Folge haben, dass ein Minimum übersprungen
wird. Eine kleine Lernrate führt dazu, dass die Verlustfunktion nur langsam gegen
das Minimum konvergiert, was lange Trainingslaufzeiten zur Folge hat. Der Anwender
muss einen Kompromiss aus Trainingslaufzeit und Genauigkeit finden. Um diesem
Problem entgegenzuwirken, können variable Lernraten implementiert werden. Varia-
ble Lernraten nehmen stufenweise ab. Anfangs werden Sie größer gewählt, um sich
schneller an das globale Minimum heranzutasten und fallen während der Trainings-
laufzeit ab, um eine Konvergenz in kleinen Schritten gegen das Minimum sicherzu-
stellen [114].

• Optimierer: Die Optimierung der Gewichte wird durch das Gradientenabstiegsverfah-

ren (GD) realisiert. Häufig werden aber modifizierte GD genutzt, um die Effizienz des
Optimierungsverfahrens zu erhöhen. Sie unterscheiden sich in der Anzahl der Daten,
die verwendet werden, um den Gradienten zu berechnen. Auch hier muss ein Kom-
promiss zwischen Genauigkeit und Lernzeit getroffen werden [115]. In der Literatur
wird der Optimierer Adaptive Moment Estimation (Adam) im Vergleich zu AdaGrad,
RMSprop und anderen GD Algorithmen als Optimierer für Regressionsprobleme emp-
fohlen [116]. Adam ist ein Algorithmus zur gradientenbasierten Optimierung stochas-
tischer Zielfunktionen erster Ordnung, basierend auf adaptiven Schätzungen von Mo-
menten niedrigerer Ordnung [117].

• Batchgröße: Mit Stochastic Gradient Descent (SGD) wird die Backpropagation für
jeden einzelnen Datenpunkt aus dem Training Set durchgeführt. Im Kontrast dazu
steht der Batch Gradient Descent (BGD), bei dem nur einmal pro Epoche das Upda-
ten der Modellparameter stattfindet. SGD ist sehr rechen- und daher zeitaufwändig,
wohingegen mit BGD die Gefahr besteht, dass weniger erfolgreich generalisiert wer-
den kann und somit die Modelle ungenauer werden [118]. Um die beiden Nachteile
der Verfahren zu minimieren, wurde das sogenannte Mini-Batch stochastic gradient
descent Verfahren eingeführt. Hier wird in einem Schritt eine Teilmenge (Batch) des
Datensatzes verarbeitet und pro Batch einmal die BP durchgeführt. Bei Regressions-
modellen wurde festgestellt, dass mit einem Mini-Batch SGD keine Generalisierungs-
lücke entsteht [119]. Mini-Batch SGD werden in der Praxis häufig angewendet [120].
Die Batchgröße gibt an, wie viele Datenpunkte pro Batch gebündelt werden.

• Batchnormalisierung: Die von Ioffe et al. [121] eingeführte Batchnormalisierung

dient der Limitierung der kovariablen Verschiebung dadurch, dass jede Schicht des
NN normalisiert wird. Eine Normalisierung der Eingangsdaten macht eine Batchnor-
malisierung nicht obsolet.

39
• Epochen: Eine Trainingsepoche ist abgeschlossen, wenn jeder Eingangsdatenpunkt
für das Training einmal verwendet wurde. Je mehr Epochen trainiert werden, desto
besser kann das Netz die Input Daten abbilden. Ein zu langes Training kann dazu
führen, dass Overfitting entsteht, oder das Netz in eine Art Sättigung läuft und nicht
mehr dazulernt. An diesem Punkt kann das Training unterbrochen werden.

Modellbezogene Hyperparameter RNN

Bei einem RNN gibt es hauptsächlich die folgenden drei zu tunenden modellbezogenen
Hyperparameter:

• Anzahl Schichten: Die Anzahl der Schichten in einem Deep Neural Network hängt
nicht nur von der Anzahl der Inputs und Outputs ab, sondern auch von der Größe
des Training Set und dessen Komplexität. Durch die richtige Wahl der Anzahl der
Schichten können die Ergebnisse verbessert und eine geringere Trainingszeit erreicht
werden. Bis zu drei hidden Layers können die Genauigkeit eines Netzes erhöhen,
jedoch wird die Trainingszeit vielfach erhöht [122].

• Anzahl Neuronen: Die Anzahl der Neuronen pro Schicht ist in Abhängigkeit von der
Anzahl der Schichten zu dimensionieren. Je mehr Neuronen pro Schicht vorhanden
sind, desto komplexer ist das Netz. Das Training dauert länger und die Tendenz zum
Overfitting steigt [122, 123].

• Dropout Rate: Wie in Kapitel 2.3.3 beschrieben gibt die Dropout Rate an, welcher
Anteil der Neuronen während dem Training auf zufälliger Basis ignoriert wird. Mit einer
erhöhten Dropout Rate kann man bei großen Netzen das Risiko eines Overfittings
reduzieren.

Modellbezogene Hyperparameter Transformer

Für Transformer existieren spezielle modellbezogene Hyperparameter, die sich von de-
nen der RNNs unterscheiden:

• Anzahl der Stacks: Die Anzahl der Stacks N gibt an, wie viele Stacks aus Multi-
Head Attention Modulen und FFNN pro Encoder-Decoder verwendet werden.

• Länge des Input Vektors: Der Input Vektor der Länge dmodel wird mit den durch das
Training erlernten Query-, Key- und Value-Matrizen zu den entsprechenden Vektoren
multipliziert.

• Größe von Query, Key und Value: Die Größe der Vektoren von Query q und Key
k sind ausschlaggebend dafür, welche Range das Skalarprodukt betrachtet, um die
Value Vektoren v zu gewichten. Die Größe dieser Vektoren ist abhängig von dmodel
und der Anzahl der Attention Heads h.

40
• Anzahl der Attention Heads: Die Anzahl der Heads h sagt aus, wie viele Attention
Heads pro Attention Layer parallel berechnet werden.

• Dropout Rate: Die Dropout Rate dr gibt an, wie in Kapitel 2.3.3 beschrieben, welcher
Anteil der Neuronen während dem Training auf zufälliger Basis ignoriert wird.

• Positional Encoding Length: Die positional Encoding length peperiod gibt an, wel-
cher Zeitraum beim positional Encoding betrachtet wird. Der Betrachtungszeitraum
ist analog zur Sequenzlänge der RNNs zu sehen.

Tuning

Das Hyperparametertuning der hier erklärten Hyperparameter wird durch einen oder
eine Kombination der folgenden Algorithmen durchgeführt. Dabei ist darauf zu achten,
dass sich einige Hyperparameter gegenseitig beeinflussen, jedoch nicht alle Hyperpa-
rameter gleichzeitig in einem Durchgang optimiert werden können. Der Parameterraum
wächst je Parameter um eine weitere Dimension. Eine zeitgleiche Optimierung aller Pa-
rameter würde zu viel Rechenzeit beanspruchen. Daher werden Hyperparameter, wel-
che wenig Einfluss auf andere haben, primär festgelegt.

• Rastersuche: Die Rastersuche ist eine erschöpfende Suche, die in einem definierten
Parameterraum alle möglichen Kombinationen testet. Für kontinuierliche Parameter
werden Schrittweiten und Grenzen definiert, um sie in eine diskrete endliche Form zu
transferieren. Die Optimierung vieler Parameter stellt ein Problem für die Rastersuche
dar, da die Anzahl der zu untersuchenden Punkte um die Potenz der Dimensionalität
steigt. Ein Lösungsansatz ist, die Suche für unabhängige Parameter parallel laufen
zu lassen. Aufgrund der Diskretisierung kann nicht sichergestellt werden, dass das
Optimum erreicht wird.

• Zufallssuche: In der Zufallssuche werden die zu testenden Kombinationen zufällig

ausgewählt. Das Verfahren kann sowohl für diskrete als auch kontinuierliche Para-
meter angewandt werden. Die Zufallssuche kann die Performance der Rastersuche
übertreffen, vor allem bei einer kleinen Anzahl an Hyperparametern [124].

• Bayes‘sche Optimierung: Die Bayes´sche Optimierung ist eine globale Optimie-

rungsstrategie, die mit einer zufälligen Initialisierung beginnt. Der Algorithmus setzt
eine A-priori-Wahrscheinlichkeitsverteilung auf, welche das Verhalten der Funktion er-
fasst. Mit den Evaluierungen wird die A-priori Funktion verwendet, um die A-posteriori-
Wahrscheinlichkeitsverteilung zu wählen. Diese Wahrscheinlichkeitsverteilung erzeugt
die Erfassungsfunktion, die dann den nächsten zu testenden Punkt schätzt. Damit
nutzt die Bayes´sche Optimierung die Ergebnisse der getesteten Kombinationen und
ist somit der Zufallssuche sowie der Rastersuche überlegen [125, 126]. Optuna ist ein
open-source Hyperparameterframework, welches die Bayes´sche Optimierung nutzt.
Dem Optuna Algorithmus wird eine Zielfunktion vorgegeben, die unter Berücksichti-
gung der definierten Parameterräume minimiert wird. Zusätzlich wird eine intelligente

41
 Pruning-Methode bereitgestellt, die wenig vielversprechende Parameterzweige ab-
bricht [127].

Die Hyperparametersuche für Transformer wurde von Vaswani et al. [111] als eine kas-
kadierte Rastersuche ausgeführt. Dabei werden die einzelnen Parameter in Kaskaden
getuned. Die Ergebnisse der vorhergehenden Kaskade werden für die nachfolgenden
Kaskaden als Information genutzt. Ein Nachteil ist, dass Abhängigkeiten von Parame-
tern nicht erkannt werden, wodurch potentielle Optimierungsminima nicht gefunden wer-
den.

42
3. Daten

In diesem Abschnitt wird zuerst auf die modellierten Batteriepacks, deren Aufbau und
Zelleigenschaften eingegangen. Anschließend wird erläutert, wie die Daten erhoben
wurden und in welchem Umfang diese vorliegen.

3.1. Batterie Samples

In dieser Arbeit wurde die Modellierungsmethodik auf zwei unterschiedliche Batterie-

packs angewandt. Beide Batterien werden in 48 V MHEV Bordnetzen mit dem Zweck
der Energiepufferung eingesetzt (vgl. Kapitel 2.2). Das jeweils integrierte zentralisierte
BMS empfängt von den Sensoren die Temperatur, den Strom sowie die Spannungsda-
ten der Zellen und nutzt diese für die in Kapitel 2.1.5 beschriebenen Funktionen. Zur
Vereinfachung und leichteren Lesbarkeit werden die beiden Batteriesysteme fortan nur
noch verkürzt als LTO- und LFP-Batterie bezeichnet.

In Tabelle 1 sind die Eigenschaften der zwei Batteriepacks gegenübergestellt. Die LFP-
Batterie weist zum einen eine mit 20 Ah deutlich höhere Kapazität im Vergleich zu der
11 Ah Kapazität der LTO-Batterie auf. Zum anderen ist das Spannungsniveau der LFP
um ca. 2 V höher. Des Weiteren zeigt sich das Spannungsverhalten der beiden Batte-
rien sehr unterschiedlich und die Batteriepacks werden in zwei verschiedenen MHEV
Topologien betrieben. Dabei ist die Leistungsfähigkeit der Batterien auf die Anforderung
bezüglich des Bordnetzes abgestimmt.

43
 Tabelle 1 Kennwerte der Batteriesamples

LTO LFP

Zellen seriell 20 14

Zellen parallel 1 1

Anode LTO Graphit

Kathode NMC LFP

Nominalspannung 44,0 V 46,2 V

Kapazität 11 Ah 20 Ah

Energieinhalt 484 Wh 924 Wh

Obere Spannungsgrenze 52 V 52 V

Untere Spannungsgrenze 38 V 38 V

Maximaler Strom 350 A 600 A

44
3.2. Datengenerierung

3.2.1. CAN-Daten

Die Daten, welche zum Trainieren und Testen genutzt werden, sind aus Testfahrzeug-
messungen bereitgestellt worden. Diese Fahrzeuge wurden unter kundenorientierten
Bedingungen, bezogen auf die Fahrzeuggeschwindigkeit, die Umgebungstemperatur,
die Fahrercharakteristiken und das Nutzungsverhalten bewegt. Die Daten beinhalten die
vom BMS intern gemessenen Größen Strom, Terminalspannung und Temperatur, wel-
che über einen CAN-Bus mit einer Abtastrate von 10 Hz verschickt und aufgezeichnet
werden.

Insgesamt werden Messdaten mit einer Länge von ca. 2.600 h für die LFP und ca. 5.500
h für die LTO-Batterie verarbeitet. Der aufgezeichnete Temperaturbereich liegt dabei zwi-
schen -23°C und 60°C für beide Batterien. Da diese Messdaten reine Aufzeichnungen
realer Fahrprofile sind, erweisen sich die Daten für das Training eines NN in ihrer ur-
sprünglichen Form als nicht geeignet. In den Messdaten ist ein natürlicher Datenbias
vorhanden, welcher während der Datenvorverarbeitung eliminiert werden soll.

Die Rundung der Daten erfolgt bei der Temperatur auf ganze Zahlen in der Einheit °C, bei
der Spannung auf 20 mV und beim Strom auf 25 mA. Ungenauigkeiten in der Messung
und Unterschiede der Batterien in Bezug auf die Alterung, Produktion und Verbindungs-
widerstände etc. würden bei höheren Genauigkeiten zu inkonsistenten Daten führen.
Insgesamt ist die Genauigkeit der Daten für diese Art der Modellierung ausreichend.

3.2.2. HiL-Prüfeinrichtung

Für das Test Set werden Messungen an einem Hardware-in-the-loop Prüfstand durch-
geführt. Ein Vorteil durch diesen Typ der Messung ist, dass Umweltbedingungen, wie die
Temperatur und der Ladezustand, vorkonditioniert werden können. Im ersten Schritt wer-
den die Batterieprüflinge mit einem Paar aus parallelgeschalteten DC-Spannungsquellen
und –senken elektrisch konditioniert. Zunächst wird die Batterie im CC/CV Verfahren mit
einem Strom von 1 C und einem Abschaltstrom von 0,02 A geladen. Die anschließende
Entladung erfolgt bei einem Strom von 1 C, kontrolliert durch ein Ah-Counting. Ist die
elektrische Konditionierung abgeschlossen, werden die Batterieprüflinge in einer Klima-
kammer thermisch konditioniert.

Das Einmessen der Validierungsmessungen erfolgt an einem Prüfstand mit einer 9 kW

starken DC-Spannungsquelle und einer 17 kW starken elektronischen Last, ansteuerbar
per USB-Schnittstelle mit der Systementwicklungssoftware LabVIEW. Die Aufzeichnung
der Ströme, Spannungen und Temperaturen erfolgt, wie in den Fahrzeugmessungen,
anhand der vom BMS gemessenen und verschickten Werte mit einer Abtastrate von 10
Hz.

45
4. Datenverarbeitungspipeline

Die Rohdaten müssen zum einen in ein für das Netz kompatible Format gebracht wer-
den. Zum anderen werden die Daten so aufbereitet, dass das Netz möglichst effizient
lernen kann. Dazu werden zuerst die Input- und Output Variablen bestimmt und defi-
niert, um anschließend die Datenvorverarbeitung durchführen zu können. Die generier-
ten Datensets werden anschließend sowohl für das Training als auch für die Validierung
genutzt. Beim Hyperparametertuning wird, je nach dem zu tunenden Parameter, eine
rekursive Schleife zwischen Validierung und Undersampling bzw. Training angesetzt.

Abbildung 13 Einordnung der einzelnen Maßnahmen in die Datenverarbeitungspipeline

46
4.1. Auswahl der Features

In der Literatur werden Batterien auf der Basis von den Variablen Strom I, Spannung U ,
Temperatur T und SOC modelliert. Die drei zuerst genannten Variablen sind rein phy-
sikalisch messbare Größen, daher einfach und genau zu erzeugen. Der SOC ist eine
Hilfsvariable, die selbst auf einem Modell basiert und somit durch den Modellierungsfeh-
ler eine Ungenauigkeit an das Modell weitergibt. Somit ist diese Art der Modellierung von
der Genauigkeit und Verfügbarkeit eines SOC-Modells abhängig. Für Spannungsmodel-
le wird die direkte Information des SOC, die verfügbare Ladungsmenge, nicht benötigt.
Anstatt dessen wird der SOC genutzt, um andere Variablen zu parametrieren sowie um
die Ruhespannung über die OCV Kennlinie zu bestimmen. Neuronale Netze sind dazu
fähig, diese Abhängigkeiten zu erkennen, ohne den SOC explizit als Input zu nutzen.
Bei volatilen Stromprofilen, wie sie in der MHEV-Anwendung vorkommen, ist eine Unter-
scheidung zwischen Überspannung und Ruhespannung anspruchsvoll.

Um dem Netz die Information der Spannungslage zu übergeben, wird eine zusätzliche
Variable eingeführt. Der Spannungstrend Utrend wird als Mittelwert der Spannungen in
der aktuellen Sequenz berechnet. Während des Trainings wird die teacher forcing Me-
thode [128] angewandt, wobei die Ground Truth, die Spannung U , von einem vorange-
gangen Schritt als Eingang für das Modell genutzt wird. In dieser Arbeit wird die Ground
Truth indirekt über den berechneten Spannungstrend Utrend in das Modell eingeführt.
Teacher forcing Algorithmen konvergieren im Allgemeinen schneller, bergen aber das
Problem des Exposure Bias [129]. Das Problem resultiert aus dem Unterschied zwi-
schen dem Input während des Trainings sowie dem Input für die Inferenz. Ein Fehler in
der Prädiktion wirkt sich demnach direkt auf den Modell Input und somit auf die nächste
Prädiktion aus, was zu Instabilitäten in der Inferenz führt. Um diesem Effekt entgegen-
zuwirken, wird der Spannungstrend nicht für jede Sequenz neu berechnet, sondern nur
nach einer konstanten Zeit aktualisiert. Diese Zeitspanne ist länger als die Sequenzlän-
ge zu wählen. Mit diesem Updateprozess ist das Verfahren Scheduled Sampling [130],
bei welchem über eine Wahrscheinlichkeitsverteilung entschieden wird sowie ob die GT
oder die Prädiktion verwendet wird, nicht notwendig.

Gleichung 4.1 beschreibt die Bildung des Umean während der Validierung mit dem Test
Set. Für die ersten 70 s wird der Umean als Durchschnittswert der Spannungen in der ers-
ten Sequenz berechnet. Nach den ersten 70 s eines jeden Test Sets ist der Umean gleich
seinem vorherigen Wert, mit einer Anpassung nach je 60 s an den Durchschnittswert der
aktuellen Sequenz.

47
 


mean(U (t = 0)) wenn t < 70 s,

Umean(t) = Umean (t = t − 1) wenn t ≥ 70 s, (4.1)


mean(U (t)t−1 ) wenn t ≥ 70 s ∧ t mod 60 = 0.

t−128

Stehen für ein Modell viele Features zur Auswahl kann eine L1 und L2 Regulierung
helfen, um die Features mit dem größten Einfluss zu bestimmen [131]. Da im Fall der
Batteriemodellierung nur wenige Features zur Auswahl stehen, ist eine Reduktion der
Anzahl dieser nicht notwendig.

Neben dem Spannungstrend wird auf weitere generische Features in den Trainingsdaten
verzichtet. Es wird davon ausgegangen, dass das neuronale Netz wichtige Zusammen-
hänge zwischen den Features, wie beispielsweise der Leistung, den Kennzahlen sowie
dem maximalen Strom innerhalb der Sequenz, selbst erkennt und nutzt.

4.2. Datenvorverarbeitung

Das Datenvorverarbeitung stellt sicher, dass die Rohdaten so gefiltert und transformiert
werden, damit ein effizientes Training möglich ist. Die Reihenfolge der durchzuführenden
Methoden ist einzuhalten.

Die Rohdaten liegen nach der Feature-Auswahl in einem Array Xroh ∈ Rs×n mit s Daten-
punkten und n Features vor.

4.2.1. Sequenzialisierung

RNN wie LSTM und GRUs basieren auf zeitlich sequenzierten Daten, die als Input in das
Modell eingegeben werden. Für das Modell müssen dafür die Rohdaten in Sequenzen
abgebildet werden, resultierend in einer Eingangsmatrixdimension von X ∈ Rm×n mit n
Features und der Sequenzlänge m.

Die Sequenzen werden aus m zeitlich aufeinanderfolgenden Punkten der Rohdaten

gebildet. Wird zwischen zwei benachbarten Punkten eine zeitliche Diskrepanz festge-
stellt, wird die Sequenz verworfen. Der Sequenzialisierungsprozess verläuft iterativ mit
einer Verschiebelänge von 1. Durch diese Verschiebelänge, treten zwar Teilsequenzen
mehrfach auf, jedoch werden dadurch alle möglichen Sequenzen extrahiert. Sequen-
zen, die ähnliche Eigenschaften besitzen werden gegebenenfalls während dem Under-
sampling verworfen. Die einzelnen Sequenzen werden zu einer Matrix mit der Dimension
X ∈ Rm×n×s1 verkettet, wobei s1 die Anzahl der Sequenzen abbildet.

48
4.2.2. Split

Nach der Sequenzierung werden die Daten in ein Training, Validation und Test Set aufge-
teilt. Die Messungen vom Prüfstand dienen als Test Set und werden zuerst separiert. Die
Messdaten der Fahrzeugmessungen werden in Trainings- und Validierungsdaten aufge-
teilt.

Um die Generalisierungsgüte des Modells feststellen zu können, ist es wichtig, dass der
Validierungsdatensatz eine ähnliche Verteilung wie die ursprünglichen Rohdaten auf-
weist. Um dies zu gewährleisten, erfolgt die Auswahl der Sequenzen bei großen Daten-
mengen und dem damit verbundenen Gesetz der großen Zahlen für das Validierungsset
zufällig.

Häufig wird ein Splitverhältnis zwischen Training und Validation Set von 80/20 verwen-
det, ist aber bei großen Datensätzen weniger wichtig [132]. Da während dem Under-
und Oversampling Sequenzen aus dem Trainingsdatensatz verworfen bzw. hinzugefügt
werden, ist das endgültige Verhältnis der beiden Datensätze unterschiedlich zu dem
Splitverhältnis.

4.2.3. Balancing

Das Klassenungleichgewicht des Trainingsdatensatzes wird mit dem Balancing Verfah-

ren bearbeitet. Eine ungleiche Verteilung in den Trainingsdaten würde dazu führen, dass
das Modell aufgrund des eingebrachten Bias nicht ausreichend generalisiert. Neben
dem Ansatz die Datenverteilung zu verändern, existieren zudem Ansätze, welche die
Probleme detektieren und diese während des Trainings angehen. Dazu zählen Ansätze
wie beispielsweise das „Balancen des Losses“. Dabei wird anhand der Häufigkeitsvertei-
lung der jeweiligen Klasse während der Kreuzentropie der Loss gebalanced [93]. Diese
Algorithmen sind ausschließlich anwendbar auf Klassifikationsprobleme.

Die Ansätze bezüglich der Änderung der Datenverteilung werden häufig benutzt, da sie
leicht implementierbar und anwendbar, sowie unabhängig von der Wahl des Modells sind
[133]. In der Literatur wird häufig auf die Ungleichverteilung bei Klassifikationsproblemen
eingegangen, meist jedoch nur unter der Berücksichtigung von entweder Over- oder von
Undersampling Methoden [134].

Die Abbildung 14 zeigt schematisch den Effekt des Under- und Oversamplings auf die
Klassenverteilung. Beim Undersampling werden überrepräsentierte Daten eliminiert, um
einen Ausgleich der Daten zu erzeugen. Durch das Oversampling werden Daten in un-
terrepräsentierten Bereichen künstlich erzeugt und dem Set hinzugefügt oder überpro-
portional oft verwendet, um das Netz zu trainieren.

Elhassan et al. [135] zeigen, dass das Undersampling in der Performance Vorteile ge-

49
genüber dem Oversampling hat, eine Kombination beider Methoden jedoch am effizien-
testen ist.

(a) Undersampling (b) Oversampling

Abbildung 14 Prinzipielle Funktionsweise von Undersampling (a) und Oversampling (b).

Undersampling

In der Literatur wird weitgehend zwischen Random-Undersampling (RUS) und Focused-

Undersampling (FUS) Methoden unterschieden. Beim FUS wird die Grenze zwischen
zwei Klassen bereinigt, um eine exaktere Abgrenzung zu erlangen [135, 136]. Die RUS
Methode entfernt zufällig Datenpunkte von überrepräsentierten Klassen. Der Nearest
Neighbour Undersampling Algorithmus ist ein oft verwendeter RUS Algorithmus [137,
138]. Dieser entfernt Daten, die in der näheren Umgebung bereits in ähnlicher Weise
vorkommen. Zusätzlich werden Datenpunkte, die sich von ihrer näheren Umgebung nur
durch das Label unterscheiden, ebenfalls entfernt. Die Entfernung der Anomalien erhöht
zwar die Robustheit des Modells, ist aber nur auf Klassifikationsprobleme anwendbar.
Eine Erweiterung dazu ist der Tomek–Link [139], der die Entfernung zweier Punkte als
Entscheidungsfaktor für das Eliminieren der Datenpunkte sieht. Diese genannten Metho-
den sind bisher nur bei Klassifikationsproblemen angewandt worden. Torgo et al. [140]
haben eine auf Regressionsmodelle anwendbare Undersampling Methode vorgeschla-
gen, die eine Funktion bestimmt, welche die Wichtigkeit des jeweiligen Datenpunktes auf
das Ergebnis schätzt und auf diese Weise die Daten aussortiert. Der Fokus dieser Me-
thode liegt auf dem Vorhersagen von seltenen extremen Werten, wie Wirtschaftskrisen
oder meteorologischen Ereignissen.

Für das in dieser Arbeit erstellte Regressionsmodell, welches auf der gesamten Feature
Breite eine gute Generalisierung erreichen soll, wurde ein Algorithmus zum mehrdimen-
sionalen Feature Undersampling Multi-Feature-Undersampling (MFU) entwickelt. Dieser
Algorithmus beschränkt sich nicht nur auf Batterieanwendungen, er kann auch auf an-
dere Regressionsdatensätze angewendet werden, die eine ungleiche Datenverteilung
innerhalb der Feature Bereiche aufweisen.

Die Besonderheit des Algorithmus besteht darin, dass nicht nur die Verteilung der Zielva-

50
riable verbessert wird, sondern auch Eingangsvariablen sowie eigens für das Balancing
definierte Variablen optimiert werden. Ein lediglich auf die Zielvariable bezogener RUS-
Algorithmus würde dazu führen, dass Zustände aus dem Training Set, die zur besse-
ren Generalisierbarkeit notwendig sind, möglicherweise entfernt werden. Im Beispiel der
Spannungsprädiktion wäre dies der Fall, wenn häufig auftretende Spannungsbereiche so
minimiert werden, dass beispielsweise die wenigen Daten, die bei tiefen Temperaturen
vorhanden sind, nicht berücksichtigt werden. Das Modell würde hier lediglich auf häufig
vorkommende Temperaturen trainiert werden und somit weiterhin mit einem Datenbias
versehen sein.

Der MFU basiert auf einer Abwandlung des eindimensionalen RUS. Hierbei wird die Mi-
noritätsklasse nicht zwischen zwei Klassen bzw. Features bestimmt, sondern innerhalb
einzelner Feature Bereiche identifiziert, die überrepräsentiert sind. Der Wertebereich
des ausgewählten Features wird in m gleich große Bins unterteilt, die jeweils mit einer
maximalen Anzahl an Datenpunkten, dem Bin Limit binlimit befüllt werden. Die Daten
werden sequenziell den Bins zugeordnet. Wird ein Datenpunkt einem Bin zugeordnet,
das die maximale Anzahl an Datenpunkten erreicht hat, wird dieser Datenpunkt verwor-
fen. Würde das RUS nur auf ein einzelnes Feature angewendet werden, verbessert sich
die Datenverteilung des gewählten Features. Allerdings kann somit kein Rückschluss auf
die Verteilung anderer Features gezogen werden. Dieser Nachteil kann durch das MFU
ausgeglichen werden.

Ein sequenzielles, eindimensionales Undersampling von mehreren Features führt zu

zwei grundlegenden Problemen. Zum einen wird die resultierende Datenmenge sehr
klein, da das Bin Limit bei jeder Iteration verringert werden muss. Zum anderen führt das
unabhängige Undersampling der Features dazu, dass sich die Datenverteilung der zu-
erst genutzten Features durch nachgehende Undersamplings zum Negativen verändern
kann. Die Lösung dieser beiden Probleme ist das MFU. Beim MFU wird das Undersamp-
ling nicht nur auf ein Feature angewandt, sondern auf alle n ausgewählten Balancing
Features. Somit werden mn Bins erzeugt, welche gleichzeitig befüllt werden. Das Auffül-
len der Bins erfolgt, wie beim eindimensionalen Undersampling, durch die sequenzielle
Verarbeitung der Eingangsdaten. Die Auswahl der Balancing Features bestimmt für wel-
che Features eine bessere Verteilung erzielt werden soll.

Der Algorithmus kann in folgende sechs Schritte unterteilt werden:

1. Definition der n Balancing Features, anhand derer eine gleichmäßigere Datenver-

teilung hergestellt werden soll.

2. Unterteilung jedes Features in binrange m gleichgroße Wertebereiche anhand der

jeweiligen minimal und maximal vorkommenden Werte im Trainingsdatenset.

3. Erzeugung eines Arrays A mit mn Elementen (Bins). Die Bingrenzen werden durch

51
 die Unterteilung der Featurebereiche aus 2. festgesetzt. Initial hat jedes Bin den
Wert 0.

4. Definition des Bin Limits binlimit .

5. Auffüllen der Bins und Erzeugung des Filtervektors F . Jede Sequenz der Ein-
gangsdaten Datain wird einem entsprechenden Bin, je nach Wert der Features,
zugeordnet.

a. Ist der Wert des Bins größer als das Bin Limit binlimit , dann wird der Filter-
vektor F um ein F alse erweitert und der Wert des Bins bleibt bestehen.

b. Ist der Wert des Bins kleiner oder gleich dem Bin Limit binlimit , dann wird der
Filtervektor F um ein T rue erweitert und der Wert des Bins inkrementiert.

6. Der Filtervektor F wird auf die Eingangsdaten Datain angewendet und somit wer-
den nur die Sequenzen berücksichtigt, welche in einem noch nicht überfüllten Bin
zugeordnet wurden.

52
Der Pseudocode in Algorithmus 1 zeigt die algorithmische Funktionsweise des MFU.

Algorithmus 1 Multi-Feature-Undersampling Algorithmus

Input: n ▷ Anzahl der Undersampling Features
Input: m ▷ Anzahl der Bins pro Feature
Input: binlimit ▷ Anzahl der Datenpunkte pro Bin
Input: kin ▷ Anzahl der Datenpunkte vor dem Undersampling
Input: kout ▷ Anzahl der Datenpunkte nach dem Undersampling
Ensure: Datain ∈ Rkin ▷ Input Datensatz
Ensure: Dataout ∈ Rkout ▷ Output Datensatz
n
Ensure: binarray ∈ Rm ▷ Bin-Array zur temporären Speicherung der Datenverteilung
Ensure: binvalue ← 0 ▷ aktuelle Anzahl Datenpunkte im Bin
Ensure: F ∈ Rkin ← 0 ▷ Filtervektor
1: for f eature = 1 : n do
2: f eaturemax ← Maximum value of DataIn in row f eature
3: f eaturemin ← Minimum value of DataIn in row f eature
4: f eaturerange ← f eaturemax − f eaturemin
f eaturerange
5: f eaturestep ← m
6: for o = 1 : m do
7: binborders ← f eaturemin + o × f eaturestep ▷ Berechne die Grenzen der Bins
8: end for
9: end for
10: for date in DataIn do
11: for each feature in date do
12: find bin where binbordera < date < binborderb ▷ Weise date einem Bin zu
13: end for
14: if binvalue < binlimit then
15: Append T rue to F ▷ Erzeuge den Filter
16: binvalue = +1
17: else
18: Append F alse to F
19: binvalue = +0
20: end if
21: end for
22: Dataout ← Datain (F ) ▷ Wende den Filter F auf den Datensatz Data an
23: return Dataout

53
Die Auswahl der Parameter für diesen Algorithmus stellt einen Zielkonflikt dar. Zum einen
sollen die Daten möglichst über ein breites Spektrum und alle Features gleichverteilt
sein. Zum anderen braucht das NN möglichst viele Daten, um das Verhalten zu erler-
nen. Die folgenden drei Parameter müssen unter der Berücksichtigung vorangegangener
Punkte gewählt werden:

• Features: Die Balancing Features stammen nicht nur aus den Input- und Output-
Variablen der Daten. Zusätzlich zu diesen können für jede Sequenz weitere Kenn-
zahlen bestimmt werden, welche eine Sequenz charakterisieren. Neben den Durch-
schnittswerten sind auch Minima und Maxima, deren Differenz und möglicherweise
die Varianz einer Größe, von Interesse. Die Balancing Features müssen selektiert
werden. Zu viele ausgewählte Features führen zu dem Effekt, dass zwei Datenpunkte
zum Datenset hinzugefügt werden, obwohl der zusätzliche Informationsgehalt mögli-
cherweise nur gering ist. Dies geschieht, wenn sich zwei Punkte grundsätzlich sehr
ähnlich sind, sich jedoch die Werte eines Features deutlich unterscheiden. Werden zu
wenige oder unwichtige Balancing Features gewählt, ist ein Ungleichgewicht in dem
fehlenden Feature durch das Undersampling nicht ausgleichbar. Aus diesem Grund
sollten die Balancing Features nach Relevanz mit dem Grundsatz „so wenige wie
möglich, so viele wie nötig“ ausgewählt werden. Die Wahl und Anzahl der Features
muss immer in Bezug zu den anderen Parametern getroffen werden.

• Bin Range: Die Bin Range m gibt an, in wie viele Bins der Feature Wertebereich un-
terteilt wird. Die Messgenauigkeit der Feature sollte höher sein als die resultierenden
Teilwertebereiche. Dementsprechend ist das Maximum der Bin Range vorgegeben.
Die minimale Bin Range ist dadurch begrenzt, dass eine kleine Bin Range Ungleich-
heiten weniger fein auflöst. Die Wahl der Bin Range zwischen den beschriebenen
Minima und Maxima ist abhängig von der Wahl der Balancing Features und dem Bin
Limit. Die Bin Range kann sich für jedes Feature unterscheiden, wird aber bei konti-
nuierlichen Features oft gleich gewählt.

• Bin Limit: Das Bin Limit l begrenzt die Anzahl der Sequenzen, die pro Bin abgespei-
chert werden. Wird das Limit zu groß gewählt, bleibt das Ungleichgewicht bestehen.
Wohingegen ein zu kleines Limit wichtige Daten möglicherweise nicht berücksichtigt.
Die Wahl des Bin Limits ist stark abhängig von der Bin Range.

Abbildung 15 stellt mit den grauen Punkten eine exemplarische Datenverteilung vor dem
Undersampling dar, sowie mit den schwarzen Punkten, welche nach dem Undersampling
weiterhin berücksichtigt werden.

Zur besseren Vergleichbarkeit werden im Folgenden die Undersampling Parameter in

der Form f eautres_f eatures_m/l zu jedem Datensatz angegeben. Ein Undersampling
das mit den Features Umean und Tmean sowie einer Bin Range von m = 50 und einem
Bin Limit von l = 20 durchgeführt wird, wird als Umean _Tmean _50/20 angegeben.

54
Abbildung 15 Graphische Darstellung eines exemplarischen Datensatzes vor (grau) und nach (schwarz) dem
Undersampling

Oversampling

Als Ergänzung zum Undersampling wird zusätzlich eine Oversampling Methodik auf den
Trainingsdatensatz angewandt. Ziel des nachgelagerten Oversamplings ist es, die un-
terrepräsentierten Klassen bzw. Feature Bereiche mit synthetischen Datenpunkten auf-
zufüllen. Dadurch kann eine homogenere Datenverteilung sichergestellt werden, ohne
dabei das Datenset unverhältnismäßig stark zu undersamplen.

In der Literatur wurden viele Oversampling Methoden diskutiert. Methoden wie ADASYN
[141] und instance-based learning [142] sind nur auf Klassifikationsprobleme anwend-
bar. Vimalraj et. al. [136] sehen die Synthetic Minority Oversampling Technique (SMO-
TE), initial eingeführt von Chawla et. al. [143], als den performantesten Algorithmus unter
den aktuell in der Literatur diskutierten Algorithmen.

Bei der einfachsten Form des Oversamplings, dem Random Oversampling, werden aus
der Minoritätsklasse zufällig Datenpunkte ausgewählt, die dann in vielfacher Ausfüh-
rung dem Training Set hinzugefügt werden. Durch diese Methode tendiert ein neuronales
Netz zum Overfitting, da bestimmte Datenpunkte häufiger vorkommen, somit wichtiger
erscheinen und dadurch direkt auf den Ausgang abgebildet werden. Eine Weiterentwick-
lung des Random Oversamplings, die SMOTE, vermeidet diese Gefahr. Der SMOTE Al-
gorithmus bestimmt in den vom Anwender definierten Minoritätsklassen für jeden darin
enthaltenen Datenpunkt mit Hilfe des k-Nearest-Neighbor-Algorithmus neue Datenpunk-
te. Ein zufällig ausgewählter Punkt der als nächste Nachbarn klassifizierten Objekte wird
dabei mit einer Zufallszahl zwischen 0 und 1 multipliziert. Torgo et. al. [140] haben den

55
SMOTE Algorithmus auf Regressionsprobleme adaptiert. Die Nachteile dieser Methode
liegen zum einen in den Eigenschaften des k-Nearest-Neighbor-Algorithmus und zum
anderen in der Sensitivität mancher Features auf die Zielvariable. Die Anzahl k der in
Betracht gezogenen Objekte ist nur schwer zu parametrieren und hängt dabei auch vom
Einzelfall ab. Ein zu hoch gewähltes k erweitert die Entfernung der Nachbarn derart,
dass nicht von einer Ähnlichkeit mit dem ursprünglichen Datenpunkt ausgegangen wer-
den kann. Wird andernfalls k zu klein gewählt, kann bei eng zusammenliegenden Punk-
ten die Robustheit des Datensatzes negativ beeinträchtigt werden. Das Problem der
Sensitivität mancher Features resultiert aus dem Berechnungsverfahren des k-Nearest-
Neighbor-Algorithmus. Ein Punkt kann als einer der nächsten Nachbarn gezählt werden,
obwohl die Entfernung der beiden Punkte in einem Feature weit ist. Wenn dieses Feature
stark sensitiv ist, führt das zu einer möglichen Änderung der Zielvariable.

Da SMOTE in der Literatur als vielversprechend gilt, jedoch die oben genannten Nach-
teile mit sich bringt, wurde der Algorithmus auf den Anwendungsfall dieser Arbeit an-
gepasst. Die Minoritätsklassen werden anhand eines Histogramms des Datensets nach
dem Undersampling ausgewählt. Dabei wird vor allem das Feature Temperatur fokus-
siert, da der Wert innerhalb einer Sequenz wenig Volatilität aufweist und für die Robust-
heit des Modells Daten in allen Temperaturbereichen wichtig sind.

Der Algorithmus bietet zudem die Möglichkeit, mehrere Minoritätsklassen zu definieren,

die individuelle Faktoren bzw. Schrittweiten in der Vervielfachung aufweisen können. Der
Algorithmus 2 zeigt das algorithmische Vorgehen beim mehrschichtigen Oversampling.
Jeder Datenpunkt in der Minoritätsklasse wird zur Verbesserung der Robustheit mit ei-
nem Temperatur- und Spannungsadditum beaufschlagt und anschließend dem Datenset
hinzugefügt. Das Additum ist ein künstlich erzeugtes Rauschen, das maximal so groß
gewählt ist, dass die ursprüngliche Feature Korrelation nicht beeinträchtigt wird. Der
Bereich, in dem sich das Additum befindet, ist abhängig von der Sensitivität des Fea-
tures. Inhomogene thermische Verteilungen im Batteriepack und der kleine temperatur-
abhängige Gradient ermöglichen eine sinnvolle Temperaturrange von rangetemp = ±2°C.
Die Zielvariable Spannung ist deutlich sensitiver auf kleine Veränderungen, weshalb die
Spannungsrange rangevolt auf ±0,05 V festgelegt wird. Die Quantität des Oversamplings
wird nach Bedarf an die jeweilige Minoritätsklasse angepasst, indem die step size adap-
tiert wird. Die Schrittweite stepsize gibt an, in welcher Schrittweite die Rauschvektoren
innerhalb der Spannungsrange rangevolt und Temperaturrange rangetemp gebildet wer-
den. Je kleiner die Schrittweite, desto mehr Duplikate werden dem Datenset hinzugefügt.

56
Algorithmus 2 Mehrschichtiger Oversampling Algorithmus
Input: M inorityClasses ▷ Minoritätsklassen, z.B. [T<5°C, T<-10°C]
Input: stepsize ▷ Schrittweite zur Erzeugung der Rauschvektoren
Input: rangevolt ▷ Spannungsrange des Rauschvektors
Input: rangetemp ▷ Temperaturrange des Rauschvektors
Input: kin ▷ Anzahl der Datenpunkte vor dem Oversampling
Input: kout ▷ Anzahl der Datenpunkte nach dem Oversampling
Ensure: Datain ∈ Rkin ▷ Input Datensatz
Ensure: Dataout ∈ R kout ▷ Output Datensatz
Ensure: Dataos ▷ Durch Oversampling erzeugte Daten
1: tempnoises = −rangetemp : stepsize : +rangetemp
2: voltnoises = −rangetemp : stepsize : rangetemp
3: for M inorityClass in M inorityClasses do
4: for data in Datain do
5: if data ∈ M inorityClass then
6: for tempnoise in tempnoises do
7: for voltnoise in voltnoises do
8: Datanew ← data + tempnoise + voltnoise ▷ Addiere Rauschvektoren
9: Append Datanew to Dataos ▷ Erzeuge Dataos
10: end for
11: end for
12: end if
13: end for
14: end for
15: Dataout ← Datain + Dataos ▷ Füge Dataos zu Datain hinzu
16: return Dataout

57
Die größte Gefahr beim Oversampling besteht darin, dass dem Datenset keine neuen
Informationen hinzugefügt werden und dadurch eine Tendenz zum Overfitting entsteht
[136]. Neben adäquaten Einstellung der Rauschterme, ist es wichtig darauf zu achten,
dass das Oversampling immer in Zusammenhang mit dem Undersampling betrachtet
wird und nur die Gesamtperformance bewertet wird.

Im Rahmen dieser Arbeit wurde in der Regel sowohl die Spannungsrange rangevolt als
auch die Temperaturrange rangetemp auf den gleichen Wert gesetzt. Die Minoritätsklas-
sen M inorityClasses werden ausschließlich über die Temperaturgrenzen definiert. Die
Temperaturgrenze ist so zu verstehen, dass unterhalb dieser ein Oversampling stattfin-
det. Um Datensätze mit verschiedenen Oversampling Parametern vergleichen zu kön-
nen wird folgende Form eingeführt und in Zusammenhang mit den jeweiligen Datensät-
zen angegeben:
range(rangevolt )/step(stepsize)/M C(M inorityClasses)
Ein Oversampling mit einer Temperatur- und Spannungsrange von 2, einer Schrittweite
von 1 und den Minoritätsklassen {−5, 5} wird als range(2)/step(1)/M C(−5/5) angege-
ben.

4.2.4. Normalisierung

Sowohl die absoluten Werte als auch die Range der Features unterscheiden sich deut-
lich. Der dadurch entstehende Bias würde zu einem langsamen Trainingsfortschritt, einer
numerischen Instabilität und einer schlechteren Generalisierung beim Training von neu-
ronalen Netzen führen.

Die Literatur ist sich uneinig über die beste Normalisierungsmethode in Bezug auf Klassi-
fikationsprobleme [144, 145]. Regressionsprobleme werden oft mit dem Min-Max Scaler
normalisiert [146, 147].

Da in keinem der Features des verwendeten Datensatzes extreme Ausreißer vorhanden

sind, stellt der Z-Scaler keinen Vorteil gegenüber dem Min-Max Scaler dar.

Mit dem Min-Max Scaler wird der Wertebereich jedes Features auf den Bereich [0, 1]
skaliert:

X[:, i] − min(X[:, i])

X̂[:, i] = (4.2)
max(X[:, i]) − min(X[:, i])

Die minimalen und maximalen Werte werden aus dem Trainingsdatenset bestimmt und in
der Normalisierung des Test- und Validierungsdatensets genutzt. Dadurch wird sicherge-
stellt, dass alle Daten mit derselben Berechnungsvorschrift verändert werden und somit
gleiche Feature Werte auf gleiche normalisierte Werte abgebildet werden.

58
5. Training und Hyperparametertuning

Für das Training wird zuerst das Modell mit dem TensorFlow framework initialisiert und
das Trainingsdatenset geladen. Die Gewichte und Bias werden in mehreren Batches
pro Epochen an die eingespeisten Trainingsdaten angepasst. Nach jeder Epoche wird
anhand der Validierungsdaten der Validation Loss berechnet und mit dem Test Set der
MAXE und der MAE ermittelt. Mithilfe dieser Metriken findet das Hyperparametertuning
statt. Dieses optimiert sowohl die trainingsbasierten als auch die modellbezogenen Pa-
rameter dahingehend, dass das Modell möglichst in der gesamten Feature Breite das
reale Verhalten der Batterie darstellt. Die Ergebnisse des Tunings werden mit Metriken
und Fehlerdiagrammen bewertet.

Im Hyperparametertuning werden die Datensets, resultierend aus der Datenvorverar-

beitung, auf konkrete Modelle angewandt. Ziel ist es, alle möglichen Hyperparameter
so einzustellen, dass ein Modell entsteht, welches die größte Modellierungsgenauigkeit
aufweist. Dabei ist auch darauf zu achten, dass manche Hyperparameter deutlichen
Einfluss auf die Performance des Trainings haben. Um die Dauer eines Trainings im
angemessenen Rahmen zu halten, wird allen Hyperparametern ein Parameterraum zu-
gewiesen. Im nächsten Schritt werden Hyperparameter identifiziert, die festgelegt wer-
den können, ohne auf ein extensives Training zurückgreifen zu müssen (Kapitel 5.1). In
einem weiteren Schritt werden je Batterie, neun Datensätze mit unterschiedlichen Ba-
lancingparametern miteinander verglichen und der Datensatz mit dem besten Verhältnis
zwischen Modellgüte und Trainingsgeschwindigkeit ausgewählt (Kapitel 5.3 und 5.4). An-
schließend werden die trainingsbasierten Hyperparameter vorgetuned, um anschließend
ein erstes Tuning der modellbezogenen Hyperparameter durchzuführen. Dieser Schritt
wird mit den gewonnenen Erkenntnissen rekursiv wiederholt. Vidal et al. [76] zeigen,
dass das Training von 50 gleichen Netzen nicht zu 50 gleichen Validierungsergebnissen
führt. Aus diesem Grund wird das Netz mit den im Hyperparametertuning bestimmten
Hyperparametern fünfmal trainiert, um das beste Netz zu finden.

Abbildung 16 Prozess des Hyperparametertunings untergliedert in anwendungs- und batteriespezifische Schritte

In Abbildung 16 wird dieser Prozess visualisiert. Der Schritt „Definition Parameterrah-

59
men“ ist unabhängig von der zu modellierenden Batterie auf die Anwendung anzupas-
sen. Wohingegen die Prozessschritte „Bestimmung des Balancings“ und „Optimierung“
für jedes Batteriesample einzeln auszuführen sind. Die resultierenden Hyperparameter
können in jedem Fall als Anhaltspunkt für weitere Modellierungen genutzt werden.

60
5.1. Trainingsbasierte Hyperparameter

In erster Instanz werden die trainingsbasierten Hyperparameter getuned. Diese sind un-
tergliedert in Parameter, die unabhängig von anderen Parametern pauschal definiert
werden und in Parameter, die im Tuningalgorithmus berücksichtigt werden müssen. Die-
se Parameter sind unabhängig von der Verwendung des Modelltypen.

5.1.1. Unabhängige Parameter

Die nachfolgenden Parameter werden aufgrund von Erfahrungswerten und aktuellen Er-
kenntnissen der Wissenschaft pauschal definiert und im Trainingsprozess nicht mehr
verändert.

• Verlustfunktion: Bei Regressionsproblemen wird in der Regel der mean-squared-

error (MSE) als Verlustfunktion verwendet [109, 76]. Da sich der Einsatz des MSE
bewährt hat, wird er in dieser Arbeit verwendet.

• Batchgröße: Die Batchgröße hat einen Einfluss auf die Trainingsgeschwindigkeit und
auf den benötigten Arbeitsspeicher. Je kleiner ein Batch ist, desto häufiger müssen
die Gewichte angepasst werden. Die Erfahrungen im Umgang mit der Batchgröße
sowie Erkenntnisse aus der Literatur zeigen, dass auch bei großen Batches keine
Generalisierungslücke auftritt [119]. Aus diesem Grund wird die Batchgröße so groß
gewählt, wie es der Trainingsrechner ermöglicht. In dem vorliegenden Fall einer NVI-
DIA RTX 2080 Ti, ist die maximal mögliche Batchgröße auf 1024 begrenzt.

• Sequenzlänge: Die Sequenzlänge wirkt sich auf den für die Berechnung erforderli-
chen Speicherplatz sowie die Rechengeschwindigkeit direkt aus. In Anbetracht der
Tatsache, dass Batterieeffekte stark zeitabhängig sind, zeigt sich eine große Se-
quenzlänge als vorteilhaft. Die internen Effekte der Diffusion, des Ladungstransfers,
der elektrochemischen Doppelschicht und der Leitfähigkeit haben unterschiedliche
Zeitabhängigkeiten. Für die Modellierung dieser Effekte reichen die Zeitkonstanten
von Millisekunden bis Stunden und sind abhängig vom SOC und der Temperatur. Um
einen Kompromiss zwischen Rechenkosten und Modellgenauigkeit zu finden, wurde
die Sequenzlänge auf 128 Datenpunkte festgelegt. Die Daten wurden mit einer Abta-
strate von 10 Hz aufgezeichnet, was bedeutet, dass jede Sequenz die letzten 12,8 s
der Aufzeichnung darstellt [148, 149].

• Updatezeit: Die Updatezeit für Utrend ist auf 60 s festgelegt. Sie unterliegt dem Ziel-
konflikt, dass sich einerseits eine zu kurze Updatezeit zu einem Prädiktionsdrift ent-
wickeln kann, da sich Schätzfehler kumulieren. Andererseits weisen zu lange Upda-
tezeiten zu große Abweichungen von der aktuellen Spannung auf. 60 s hat sich dabei
als eine funktionierende Zykluslänge gezeigt.

61
• Initialisierungszeit: Mit einer Initialisierungszeit von 70 s wird das Netz auf die aktu-
elle Spannung initialisiert. Dadurch setzt der Updateprozess im ersten Zyklus aus.

• Pruning: Der Hyperparametertuningframework Optuna unterstützt intelligente Pru-

ning Methoden, um wenig vielversprechende Parameterzweige abzubrechen. Akiba
et al. [127] sehen den Asynchronous Successive Halving Algorithm (ASHA), vorge-
stellt von Li et al. [150], als Stand der Technik.

• Anzahl der Trials: Die Anzahl der Trials pro Optuna-Lauf wurde an die jeweilige Si-
tuation, in Abhängigkeit von der Anzahl und Fülle der Variablen, angepasst.

5.1.2. Tuning Parameter

Für die folgenden Parameter werden Parameterräume definiert, die dann im Hyperpra-
metertuning untersucht werden. Im Unterschied zu den unabhängigen Hyperparame-
tern, werden diese Parameter in Abhängigkeit von den anderen Hyperparametern getu-
ned.

• Lernrate: Wie in Kapitel 2.3.5 beschrieben, beeinflusst die Lernrate maßgeblich die
Genauigkeit und Geschwindigkeit des Trainings. Laut Kriesel et al. [114] liegen Lern-
raten in der Regel zwischen 0,01 und 0,9, was sich in dieser Arbeit als deutlich zu
groß herausgestellt hat. Die Erfahrung zeigt, dass in unserer Anwendung eine Lern-
rate im Bereich von

0, 0001 < η < 0, 001 (5.1)

zielführend ist.

• Optimierer: Laut Rana et al. [116] wird der Adam Optimierer für Regressionsproble-
me empfohlen. In Abbildung 20 und Abbildung 28 ist eine Vergleichsserie von Trai-
nings mit den Optimierern Adam, AdaGrad, RMSprop und SGD zu sehen. Adam und
RMSprop zeigen sowohl für die LTO-Batterie als auch für die LFP-Batterie Daten ähn-
lich gute Ergebnisse, wobei der Adam Optimierer den RMSprop leicht übertrifft. Aus
diesem Grund wird das Hyperparametertuning mit Adam durchgeführt.

• Batchnormalisierung: Li et al. [151] sehen eine Disharmonie zwischen der Batchnor-

malisierung und der Anwendung von Dropouts. Um diese Aussage zu bewerten, wur-
de ein Vergleich von Modellen mit und ohne Batchnormalisierung angestellt. Dieser
ist in Abbildung 21 und in Abbildung 29 dargestellt. Da eine Batchnormalisierung in
diesem Fall das Ergebnis um bis zu 38 % verbessert, wird im Folgenden sowohl die
Batchnormalisierung als auch Dropout Layer genutzt.

• Anzahl der Epochen: Die Anzahl der Epochen variiert je nach Datenmenge, Netz-
größe und Rechenleistung. Komatsuzaki et al. [152] sprechen sich bezogen auf Trans-
formermodelle für lediglich eine Epoche aus. Fleischer et. al [73] trainieren das AN-
FIS Modell in 30 Epochen, Zhao et al. [75] trainieren 800 Epochen und Vidal [76] bis

62
 zu 20.000 Epochen. Im Rahmen der in dieser Arbeit verwendeten neuronalen Netze
und Datenmengen, hat sich ein Training über 100 Epochen als ausreichend heraus-
gestellt. Bei mehr als 100 Epochen stellt sich entweder ein Overfitting ein oder der
Validation Loss stagniert. Letzteres Verhalten zeigt der Verlauf eines beispielhaften
Trainings über 1000 Epochen in Abbildung 24 und Abbildung 32. Aus diesem Grund
wird die Anzahl der Epochen auf 100 begrenzt.

5.2. Modellbezogene Hyperparameter

Jeder der modellbezogenen Hyperparameter ist abhängig von den jeweils anderen Hy-
perparametern. Dementsprechend müssen diese in einem zusammenhängenden Opti-
mierungsverfahren getuned werden. Die Parameterräume sollen so groß wie notwendig
und so klein wie möglich gewählt werden, damit die Optimierung mit einer rechenzeit-
verträglichen Anzahl an Iterationen durchgeführt werden kann.

5.2.1. Recurrent Neural Networks

Die elektrochemischen Prozesse in der Batterie weisen eine starke Zeitabhängigkeit auf.
Um eine Zeitreihenprognose zu ermöglichen, sind rekurrente NN notwendig. Wie in Ka-
pitel 2.3.3 bereits erläutert wurde, stoßen simpleRNNs bei größeren Zeitreihen auf das
vanishing gradients Problem. Aus diesem Grund werden ausschließlich die Weiterent-
wicklungen der simpleRNNs, LSTM und GRU in die Optimierung miteinbezogen. Sowohl
mit LSTM Zellen [153, 55] als auch mit GRU Zellen [154, 54] sind erfolgreiche Batterie-
modelle erstellt worden.

Karsoliya et al. [122] haben untersucht, welche Anzahl an hidden Units und hidden Layer
für NN benötigt werden, um zum einen gute Ergebnisse zu liefern und zum anderen den
Rechenaufwand gering zu halten. Die Grundaussage ist, dass es keine allgemeingül-
tige Daumenregel für diese beiden Parameter gibt. Jedoch gehen sie davon aus, dass
der Einsatz von null bis drei hidden Layer sinnvoll ist. Eine größere Menge würde zu
einem zu beträchtlichen Rechenaufwand führen. Die Autoren sind sich darüber einig,
dass die Anzahl der hidden Units sowohl von dem speziellen Anwendungsfall, von der
Datenmenge und -beschaffenheit als auch der Anzahl der Layer abhängt.

Anhand dieser Erkenntnisse sowie den im Rahmen der vorliegenden Arbeit gewonnenen
Erfahrungen wurde die Anzahl der hidden Layer auf einen bis drei begrenzt. Die Anzahl
der hidden Units wird während des Tunings aufgrund der Rechenperformance sowie von
Speichergründen auf 128 begrenzt und in den hidden Layer konstant gehalten. Srivasta-
va et al. [110] sehen eine Dropout Rate im Bereich von

0, 2 < dr < 0, 5 (5.2)

als üblich an, empfehlen jedoch diese stets in Abhängigkeit von der Anzahl der hidden

63
Units festzulegen. Mit bis zu 128 hidden Units sind möglicherweise kleine Dropout Raten
ebenso zielführend, was in dieser Arbeit zu einem Parameterraum von

0 < dr < 0.4 (5.3)

führt. Das Dropout Layer wird zwischen dem letzten RNN Layer und dem ersten Dense
Layer bzw. dem Output eingefügt.

Ein bis drei Dense Layer sind üblich und bringen einen Performancevorteil [109, 108].
Um die Wirksamkeit zu beweisen und gleichzeitig den Rechenaufwand zu beschränken,
wird der Parameterraum für die Anzahl der Dense Layer auf null bis zwei gesetzt. Zur
Vereinfachung wird in den Dense Layern dieselbe Anzahl an hidden Units verwendet wie
in den RNNs.

64
5.2.2. Transformer

Die jüngsten Forschungen zeigen, dass die Transformer in gewissen Anwendungsberei-

chen deutlich bessere Ergebnisse liefern als LSTMs [112, 113]. Im Bereich der Regres-
sionsprobleme sind in der Literatur keine Transformer-Modelle zu finden. Vaswani et al.
[111] sehen in ihrer Einführung der Transformer den Vorteil, dass sich durch die Attention
Mechanismen einfach und genau lange Zeitabhängigkeiten darstellen lassen. Die Pfade
in der Modellierung sind auch für lange Zeitabstände kurz, somit wäre es denkbar, dass
beispielsweise der Einfluss von großen Strompeaks aus langer Vergangenheit auf den
aktuellen Zustand erkannt werden. Zudem kann durch die hohe Parallelisierung Rechen-
zeit eingespart werden. Des Weiteren ist die Komplexität des Transformer Algorithmus
im Vergleich zu RNNs geringer, wenn die Sequenzlänge kleiner als die Dimension des
Inputvektors ist. Da sich die Transformer zur Zeitreihenprognose eignen und jüngst gute
Ergebnisse gezeigt wurden, werden im Rahmen dieser Arbeit die Transformer zusätzlich
als Modelltyp in Betracht gezogen.

Die Parameterräume für die Transformer-Hyperparameter orientieren sich an dem Vor-

schlag von Vaswani et al. [111]. In Tabelle 2 sind die für das Hyperparametertuning
verwendeten Parameterräume eingetragen.

Tabelle 2 Parameterräume für das Hyperparametertuning von Transformern

Parameter Parameterraum

N {2, 4, 6, 8}

Dmodel {256, 512, 1028}

q {16, 32, 64, 128, 512}

k {16, 32, 64, 128, 512}

v {16, 32, 64, 128, 512}

h {1, 4, 8, 16, 32}

dr {0,0, 0,1, 0,2}

peperiod {128}

Um eine bessere Vergleichbarkeit zu gewährleisten, wird das Hyperparametertuning des

Transformers, wie bei den RNNs, mit dem Hyperparameterframework Optuna durchge-
führt.

65
5.3. Hyperparametertuning des LTO-Batterie Modells

Im nachfolgenden wird der Prozess und die Ergebnisse des Hyperparametertunings vor-
gestellt.

5.3.1. Auswahl des Balancings

Zunächst erfolgt die Auswahl der Under- und Oversamplingparameter, anhand derer die
Daten für das Training des Netzes bestimmt werden. Eine vollständige Raster- oder Zu-
fallsoptimierung ist in diesem Zusammenhang nicht praktikabel, da dies einen zu großen
Rechen- und Speicheraufwand bedeuten würde. Erfahrungswerte und augenscheinliche
graphische Betrachtungen führen in diesem Fall in kürzerer Zeit zu guten Ergebnissen.

Der erste Schritt besteht darin die möglichen Undersampling Features zu bewerten und
dementsprechend eine nicht zu große Anzahl an Features auszuwählen.

In Tabelle 3 sind die generischen Undersampling Features beschrieben sowie deren Be-
wertung in Bezug auf den Kontext der Spannungs- und Leistungsprädiktion einer Batterie
formuliert.

66
Tabelle 3 Subjektive Bewertung der Wichtigkeit von generischen Undersampling Features

Name Berechnung Bewertung Begründung

Tmean M ean(T ) Sehr wichtig Großer Einfluss der Temperatur auf das Verhalten
der Batterie

dU M ax(U ) − M in(U ) Wichtig Hohe Spannungsvolatilitäten beinhalten wichtige

Extremsituationen

Umean M ean(U ) Sehr wichtig Abbildung des Ladezustands mit Überproportiona-

lität in den Grenzbereichen

Umeandev Std(U ) Wichtig Hohe Spannungsvolatilitäten beinhalten wichtige

Extremsituationen

dI M ax(I) − M in(I) Wichtig Hohe Stromvolatilitäten beinhalten wichtige Ex-

tremsituationen

Imean M ean(I) Sehr wichtig Beachtung positiver und negativer Konstantbelas-

tungen

Imeandev Std(I) Wichtig Hohe Stromvolatilitäten beinhalten wichtige Ex-

tremsituationen

dIlast I(t = seqlen ) Eher unwichtig Reduktion der Infromationsdimension

dUlast U (t = seqlen ) Eher unwichtig Reduktion der Infromationsdimension

67
Im ersten Schritt erfolgt die Auswahl der Features:

• Tmean : Viele Messpunkte sind bei Temperaturen > 0°C und insbesondere >15°C auf-
gezeichnet worden, daher ist ein auf die Temperatur bezogenes Undersampling not-
wendig. Der Mittelwert der Temperatur innerhalb einer Sequenz spiegelt den Zustand
der Batterie wieder.

• Umean : Die Batterie wird im MHEV Bordnetz oft im mittleren Ladezustandsbereich

betrieben. Dadurch treten Spannungen aufgrund der Korrelation von OCV und SOC
Spannung häufig im mittleren Wertebereich auf. Ein Undersampling auf das arithme-
tische Mittel der Spannung hilft, um extreme Spannungswerte sowie extreme Lade-
zustände trotzdem gleichgewichtet abzubilden.

• Imean : Hohe absolute Ströme kommen nur in wenigen Fahrsituationen vor. Um diese
Extremwerte zu repräsentieren ist ein Undersampling auf das arithmetische Mittel
des Stromes sinnvoll. Zudem wird dabei sowohl der Lade- als auch der Entladefall
miteinbezogen.

Die restlichen Features beziehen sich vor allem auf extreme Volatilitäten in der Sequenz
(Imeandev , dI, Umeandev , dU ) oder reduzieren den Informationsgehalt (dIlast , dUlast ) und
werden daher anfänglich nicht berücksichtigt.

In Abbildung 17 sind die Datenverteilungen der einzelnen Eingangsfeatures vor und nach
dem Undersampling dargestellt. Die sehr häufigen Datenpunkte im Strombereich von -5
A bis 20 A und im Bereich um eine Spannung von 44 V sind nach dem MFU deutlich sel-
tener vertreten. Dies hat den Nebeneffekt, dass die seltenen Fälle, wie hohe und niedrige
Ströme, im Verhältnis häufig vorkommen. Das Ziel, eine ausgewogenere Datenverteilung
entlang der Features zu erreichen, ist damit durch den MFU erfüllt worden.

68
Vor dem Balancing Nach dem Balancing

Abbildung 17 LTO-Batterie - Datenverteilung der Features Temperatur, Spannung und Strom vor und nach einem
Undersampling der Daten mit den Undersampling Parametern Imean _Tmean _Umean _50/20

69
Das Undersampling wird für die ausgewählten Features anhand der neun Kombinationen
der beiden Parameter Bin Limit und Bin Range mit den Wertebereichen

l ∈ {20, 50, 100} (5.4)

und

m ∈ {10, 50, 100} (5.5)

durchgeführt.

In Abbildung 18 sind die Histogramme der Temperatur für die neun Kombinationen dar-
gestellt. Die Bewertung der Datenverteilungen erfolgt nach den Kriterien „Datenmenge“
und „Gleichverteilung“. Eine zu große Datenmenge verlangsamt das Training. Zu wenige
Daten führen dagegen zu einer schlechteren Generalisierbarkeit. Durch den nachfolgen-
den Schritt des Oversamplings kann nicht abschließend beurteilt werden, welches MFU
am besten geeignet ist.

70
(a) Imean _Tmean _Umean _20/10 (b) Imean _Tmean _Umean _20/20

(c) Imean _Tmean _Umean _20/50 (d) Imean _Tmean _Umean _50/10

(e) Imean _Tmean _Umean _50/20 (f) Imean _Tmean _Umean _50/50

(g) Imean _Tmean _Umean _100/10 (h) Imean _Tmean _Umean _100/20

(i) Imean _Tmean _Umean _100/50

Abbildung 18 LTO-Batterie - Vergleich der Datenverteilung anhand des Features Temperatur bei unterschiedlichen
Undersampling Parametern

71
Abbildung 19 zeigt die Auswahl der MFU, welche für die weitere Verarbeitung am vielver-
sprechendsten sind. Nach dem MFU besteht die Möglichkeit des Oversamplings, was im
Hinblick auf die stark unterrepräsentierten tiefen Temperaturen zielführend scheint. Im
Undersampling Datensatz Imean _Tmean _Umean _20/10 ist eine Minorität bei Temperatu-
ren < 5°C zu erkennen. Durch ein einstufiges Oversampling in diesem Bereich ergibt sich
ein Datensatz, der über eine ausreichende Menge an Daten verfügt sowie eine niedrige
Varianz der Temperaturverteilung aufzeigt. Die Datensätze Imean _Tmean _Umean _50/20
und Imean _Tmean _Umean _50/50 weisen eine größere Diskrepanz zwischen den niedri-
gen und milden Temperaturen auf. Hierbei wurde ein zweistufiges Oversampling für die
Minoritätsbereich T < 5C und zusätzlich für den Bereich T < −5C angewendet. Die
resultierenden Temperaturhistogramme sind ausgewogen und die Datenmenge ist aus-
reichend.

(a) Imean _Tmean _Umean _50/20 (b) Imean _Tmean _Umean _50/50
range(2)/step(1)/M C(−5/5) range(2)/step(1)/M C(−5/5)

(c) Imean _Tmean _Umean _20/10

range(2)/step(2)/M C(5)

Abbildung 19 LTO-Batterie - Datenverteilungen von verschiedenen Oversampling Parametern für ausgewählte MFU
Datensätze

72
Um die erzeugten Datensätze letztendlich vergleichen zu können, wurden damit die ers-
ten Netze trainiert. In Tabelle 4 sind die Ergebnisse der Trainings dargestellt. Trainiert
wurden in erster Linie ein RNN mit LSTM Zellen. Die modellbezogenen Hyperparame-
ter wurden in einer kurzen Optuna Variante getuned. Am schlechtesten schneidet das
Balancing Nr. 3 ab, was durch die geringe Datenmenge begründet werden kann. Das
Balancing Nr. 1 hat mit einem MAXE von 3,26 V eine bessere Generalisierbarkeit vorzu-
weisen als das Balancing Nr. 2. Zusätzlich zu den LSTMs wurden im Anschluss Trans-
former trainiert. Das Balancing Nr. 3 wurde dabei aufgrund der schlechten Performance
bei den LSTMs nicht berücksichtigt. Die Transformer weisen ebenso bei der Variante mit
Balancing Nr. 1 die besseren Ergebnisse auf.

Tabelle 4 LTO-Batterie - MAXE von RNN und Transformer Modellen für verschiedene Balancing Kombinationen

Nr. Undersampling Oversampling RNN Transformer

1 Imean _Tmean _Umean _50/20 range(2)/step(1)/M C(−5/5) 3,26 V 3,74 V

2 Imean _Tmean _Umean _50/50 range(2)/step(1)/M C(−5/5) 3,46 V 5,9 V

3 Imean _Tmean _Umean _20/10 range(2)/step(2)/M C(5) 4,10 V nan

Im nächsten Schritt werden von dem Balancing Nr. 2 zwei Varianten gebildet. Zum einen
wird das Oversampling reduziert auf ein einstufiges Verfahren (vgl. Tabelle 5 Balancing
Nr. 4) und zum anderen wird die Balancing Feature Kombination (vgl. Tabelle 5 Balan-
cing Nr. 5) geändert. Die Reduktion des Ovesamplings bringt, wie in Tabelle 5 zu se-
hen, im Vergleich zur Basisvariante keine Verbesserung mit sich. Jedoch ist der MAXE
bei der Variante mit dem Undersampling Imean _Tmean _dU _50/20 und dem zweistufigen
Oversampling range(2)/step(1)/M C(−5/5) bei 3,04 V. Die Auswahl des Balancings ist
damit abgeschlossen. Da die einstufige Oversampling Variante schlechter abschneidet
als die zweistufige, wird auf ein Transformer Training mit diesem Datensatz verzichtet.
Der Transformer, der mit dem finalen Datensatz trainiert wurde, erzielt den geringsten
MAXE im Vergleich der aller vorher trainierten Transformer, weist aber eine deutlich hö-
here Fehlerrate als das LSTM-Pendant auf. Da die Performance der Transformer mit
allen Balancing Varianten schlechter als die der RNNs ist, wird im Folgenden der Fokus
auf RNNs gesetzt.

Tabelle 5 LTO-Batterie - MAXE von RNN und Transformer Modellen für weitere Balancing Kombinationen

Nr. Undersampling Oversampling RNN Transformer

4 Imean _Tmean _Umean _50/20 range(2)/step(1)/M C(5) 3,87 V nan

5 Imean _Tmean _dU _50/20 range(2)/step(1)/M C(−5/5) 3,04 V 4,54 V

73
5.3.2. Begründung für Wahl der Hyperparameter

Nach der Wahl des Balancings müssen die Hyperparameter, wie in Kapitel 5.1.2 be-
schrieben, getuned werden. Tabelle 6 zeigt die zu tunenden Parameter mit deren Para-
meterräumen sowie das Ergebnis des Tunings.

Als vorläufig bestes RNN hat ein LSTM mit 100 hidden Layer, ein Dense Layer, zwei hid-
den Units und einer Dropout Rate von 0.19 abgeschnitten. Dieses NN wird im Folgenden
als Basis für die Auswahl der Modellparameter genutzt.

Tabelle 6 LTO-Batterie - Parameterräume für das Hyperparametertuning mit den jeweiligen Ergebnissen des Tunings

Parameterraum Ergebnis des Tunings

Optimizer {AdaGrad, Adam, RMSprop, SGD} Adam

Learning Rate {0,0001 : 0,001} 0,0002

Batchnormalisierung {On, Off} On

Die Wahl des Optimierers ist basierend auf vier Vergleichstrainings getroffen worden.
Vier Trainings und Validierungen wurden für vier gleiche NN mit dem gleichen Daten-
satz mit je einem anderen Optimierer durchgeführt. Wie in Abbildung 20 zu sehen ist,
schneiden im Vergleich zu Adam und RMSprop die Optimierer AdaGrad und SGD so-
wohl in Bezug auf den Loss als auch auf den MAXE schlechter ab. Im Loss sind zwi-
schen RMSprop und Adam kaum Unterschiede zu erkennen. Bezüglich des MAXEs ist
der Adam Optimierer zwar volatiler, jedoch in einigen Epochen mit Abstand am kleins-
ten.

74
Abbildung 20 LTO-Batterie - Vergleich der Trainingsperformance verschiedener Optimierer

75
Die Learningrate (LR) ist in zehn Trials in einem Bereich zwischen 0.0001 und 0.001
getestet worden. Bei keinem dieser LRs ist innerhalb der ersten 100 Epochen ein Over-
fitting festzustellen, wobei weder der Loss noch der Validation Loss in der zweiten Hälfte
des Trainings signifikant abnimmt. Insgesamt ist kein direkter Einfluss der LR auf das
Ergebnis erkennbar. Das Modell mit dem kleinsten MAXE wurde mit einer LR von 0.002
trainiert, somit wird im weiteren Verlauf des Hyperparametertunings die LR auf diesen
Wert festgesetzt.

Durch Vergleichstrainings konnte die Aussage von Li et al. [151] über die Disharmonie
von Batchnormalisierung und Dropout widerlegt werden. In Abbildung 21 sind zwei Trai-
nings von zwei gleichen LSTM Netzen mit einer Dropout Rate von 0,1 dargestellt. Der
Loss wird während des Trainings ohne Batchnormalisierung (BN) schneller kleiner als
mit BN. Jedoch wird in der Validierung ein deutlich kleinerer MAXE erreicht. Somit ist die
BN in diesem Anwendungsfall ein probates Mittel, um den Fehler zu minimieren.

Abbildung 21 LTO-Batterie - Vergleich der Trainingsperformance zweier Modelle mit aktiver und inaktiver
Batchnormalisierung

76
5.3.3. Modellparametertuning

Das finale Tuning der Modellparameter wurde unter der Berücksichtigung der vorher be-
stimmten Hyperparameter sowie der Auswahl des Datensatzes mit Optuna durchgeführt.
Die Parameterräume aus Kapitel 5.2 wurden Optuna als zu tunende Parameter überge-
ben und in 34 Trials getuned. Abbildung 22 zeigt das Ergebnis des Tunings. Ein LSTM
Netzwerk mit 100 hidden Units, in ein RNN Layer und zwei Dense Layern mit einer Dro-
pout Rate von 0.01 erreicht den kleinsten MAXE. Aufgrund der Größe des Datensatzes
konnte in keinem der Trials Overfitting festgestellt werden.

Abbildung 22 LTO-Batterie - Modellparametertuning in 34 Trials des Optuna-Algorithmus

77
Das bis dahin beste Modell wurde mit denselben modellbezogenen Parametern nach
dem Ansatz von Vidal et al. [56] fünf Mal trainiert. Durch die unterschiedlichen Initialisie-
rungen der Gewichte und Biases zwischen den Neuronen ergeben sich unterschiedliche
Trainingsverläufe. In diesem Fall kann der MAXE weiter minimiert werden. Abbildung 23
zeigt den Trainingsprogress mit einem Optimum in Epoche 20.

Abbildung 23 LTO-Batterie - Fünfmalige Wiederholung des Trainings

78
Abbildung 24 zeigt den Loss, Validation Loss und MAXE im Verlauf eines Trainings mit
1000 Epochen. Der über die gesamte Laufzeit sinkende Loss und Validation Loss deu-
tet daraufhin, dass kein Overfitting auftritt. Dagegen erreicht der MAXE sein Minimum
innerhalb der ersten 100 Epochen. Aus diesem Grund ist ein Training über mehr als 100
Epochen in der in dieser Arbeit vorgestellten Anwendung nicht zielführend.

Abbildung 24 LTO-Batterie - Loss, Validation Loss und MAXE im Verlauf eines Trainings mit 1000 Epochen

79
Die Tabelle 7 zeigt die Fehlermetriken des LTO-Modells mit dem geringsten MAXE.

Tabelle 7 LTO-Batterie - Fehlermetriken des finalen LTO-Batterie Modells

Balancing Konfiguration

Nr. 5

Undersampling Imean _Tmean _dU _50/20

Oversampling range(2)/step(1)/M C(−5/5)

Netzwerk Konfiguration

Netzwerktyp LSTM

Anzahl hidden Units 100

Anzahl RNN Layer 1

Anzahl Dense Layer 2

Dropout Rate 0,01

MAE 0,47 V

MAXE 2,77 V

80
5.4. Hyperparametertuning des LFP-Batterie Modells

Der Prozess des Hyperparametertunings wurde im vorherigen Kapitel 5.3 am Beispiel

der LTO-Batterie beschrieben und soll in diesem Abschnitt auf die LFP Batterie ange-
wandt werden. Ziel ist die Verifikation dieses Prozesses.

5.4.1. Auswahl des Balancings

Der erste Schritt, die Auswahl der Balancing Parameter, erfolgt wie bei der LTO-Batterie
unter der Voraussetzung gleicher Annahmen bezüglich der Wichtigkeit der Parameter.
Maßgeblich ist wieder Tabelle 3, mit der Schlussfolgerung, dass die Features Imean ,
Tmean , Umean für die ersten MFU genutzt werden.

Abbildung 25 zeigt die Datenverteilungen der einzelnen Eingangsfeatures vor und nach
dem MFU. Die Temperatur weist eine deutlich bessere Datenverteilung auf. Zu sehen
ist die Reduktion der überproportional häufigen Datenpunkte im Spannungsbereich von
rund 46 V. Zudem ist der Strompeak um 0 A deutlich kleiner. Das Ziel, eine ausgewoge-
nere Datenverteilung entlang der Features zu erreichen, ist auch für diesen Datensatz
durch den MFU erfüllt worden.

81
Vor dem Balancing Nach dem Balancing

Abbildung 25 LFP-Batterie - Datenverteilung der Features Temperatur, Spannung und Strom vor und nach einem
Undersampling der Daten mit den Undersampling Parametern Imean _Tmean _Umean _50/20

82
Das MFU wird, wie bei der LTO-Batterie, für die neun Varianten aus Bin Limits und Bin
Range durchgeführt. Aufgrund der guten Performance bei der LTO-Batterie wird zusätz-
lich ein MFU auf die Balancing Feature Kombination Imean , Tmean , dU angewandt. Die
sich daraus ergebenden acht Histogramme der Datenverteilung der Temperatur sind in
Abbildung 26 zu sehen.

(a) Imean _Tmean _Umean _20/10 (b) Imean _Tmean _Umean _20/20

1 (c) Imean _Tmean _Umean _20/50 (d) Imean _Tmean _Umean _50/10

1 (e) Imean _Tmean _Umean _50/20 (f) Imean _Tmean _Umean _50/50

1 (g) Imean _Tmean _Umean _100/20 (h) Imean _Tmean _dU _50/20

Abbildung 26 LFP-Batterie - Vergleich der Datenverteilung anhand des Features Temperatur bei unterschiedlichen
Undersampling Parametern

83
Die unterrepräsentierten Bereiche werden durch das gezielte Oversampling stärker ge-
wichtet. Die Abbildung 27 zeigt die Datensätze, für welche erste Modelle trainiert und an-
hand der Fehlermetriken bewertet werden. Das Ergebnis des MFU
Imean _Tmean _Umean _20/20 ist eine relativ gleichverteilte Temperaturhäufigkeit. Da bei
diesem Datensatz kein klarer Minoritätsbereich erkennbar ist, wird hier auf das Over-
sampling verzichtet. Das MFU Imean _Tmean _Umean _50/20 hat deutlich mehr Datenpunk-
te, jedoch ist eine Minorität bei Temperaturen < 0°C zu erkennen. Diese Minorität wird
mit einem einstufigen Oversampling aufgewertet. Der Datensatz Imean _Tmean _dU _50/20
wird mit einem zweistufigen Oversampling, jeweils für die Temperaturen zwischen -5°C
und 5°C, versehen.

(b) Imean _Tmean _dU _50/20

(a) Imean _Tmean _Umean _20/20 range(2)/step(1)/M C(−5/5)

(c) Imean _Tmean _Umean _50/20

range(2)/step(2)/M C(0)

Abbildung 27 LFP-Batterie - Datenverteilungen von verschiedenen Oversampling Parametern für ausgewählte MFU
Datensätze

84
Der Datensatz, mit der Balancing Konfiguration
Imean _Tmean _dU _50/20 range(2)/step(1)/M C(−5/5), weist im Gegensatz zur Modellie-
rung der LTO-Batterie bei der LFP-Batterie einen deutlich größeren MAXE auf. Vergleich-
bare Datensätze mit einem Imean _Tmean _Umean _50/20 Undersampling zeigen eine bes-
sere Performance, wobei der Datensatz mit einem Undersampling von
Imean _Tmean _Umean _20/20 insgesamt zu wenige Datenpunkte aufweist. Dies ermöglicht
eine Generalisierung nur minderwertig. Die Variante
Imean _Tmean _dU _50/20 range(2)/step(2)/M C(0) hat mit einem maximalen Fehler von
2,76 V das beste Modell trainiert. Wie in Tabelle 8 zu sehen ist, werden infolgedessen
zwei weitere ähnliche Datensätze hinsichtlich eines Verbesserungspotentials untersucht.
Auf ein Training von Transformer wurde in diesem Schritt wegen der schlechten Perfor-
mance bei den LTO-Batterie Datensätzen verzichtet.

Tabelle 8 LFP-Batterie - MAXE von RNN und Transformer Modellen für verschiedene Balancing Kombinationen

Nr. Undersampling Oversampling RNN Transformer

1 Imean _Tmean _Umean _20/20 - 4,10 V nan

2 Imean _Tmean _dU _50/20 range(2)/step(1)/M C(−5/5) 4,41 V nan

3 Imean _Tmean _Umean _50/20 range(2)/step(2)/M C(0) 2,76 V nan

Da im ersten Schritt die Modellgüte analog zur Datensatzgröße gestiegen ist, wird im
zweiten Schritt die Datensatzgröße weiter erhöht. Zum einen wird das Bin Limit bei Da-
tensatz Nr. 4 aus Tabelle 9 auf 50 erhöht. Zum anderen wird im Vergleich zu Datensatz
Nr. 2 in Datensatz Nr. 5 die Bin Range auf 100 erhöht und ein einstufige Oversampling
durchgeführt. Beide Datensätze erzeugen bessere Modelle, wobei der Datensatz Nr.
5 mit der Balancing Konfiguration Imean _Tmean _Umean _100/20 range(2)/step(1)/M C(0)
das beste Modell mit einem MAXE von 2,31 V erreicht. Der vielversprechendste Daten-
satz bildet zudem die Grundlage für das Training von Transformern. Wie in Abbildung 9
zu sehen ist, ist das beste Transformer Modell, getuned nach dem in Kapitel 2.3.5 vor-
gestellten Hyperparamtertuning-Algorithmus, auf einen MAXE von 2,66 V validiert und
somit zwar besser als das bisher beste Transformer-Modell, jedoch deutlich schlechter
als das beste RNN.

Tabelle 9 LFP-Batterie - MAXE von RNN und Transformer Modellen für weitere Balancing Kombinationen

Nr. Undersampling Oversampling RNN Transformer

4 Imean _Tmean _Umean _50/50 range(2)/step(2)/M C(0) 2,52 V 2,49 V

5 Imean _Tmean _Umean _100/20 range(2)/step(1)/M C(0) 2,31 V 2,66 V

85
5.4.2. Begründung für Wahl der Hyperparameter

Anschließend an die Wahl des Balancings müssen die Hyperparameter, wie in Kapitel
5.1.2 beschrieben, getuned werden. Die Tabelle 10 zeigt die zu tunenden Parameter mit
deren Parameterräumen sowie das Ergebnis des Tunings.

Für das weitere Hyperparametertuning wird das vorläufig beste Modell genutzt. In die-
sem Fall stellt das Modell ein LSTM mit fünf hidden Units jeweils in den zwei hidden Layer
und den zwei Dense Layern in Kombination mit einer Dropout Rate von 0.011 dar.

Tabelle 10 LFP-Batterie - Parameterräume für das Hyperparametertuning mit den jeweiligen Ergebnissen des Tunings

Parameterraum Ergebnis des Tunings

Optimizer {AdaGrad, Adam, RMSprop, SGD} Adam

Learning Rate {0,0001 : 0,001} 0,0002

Batchnorm {On, Off} On

Um den am besten geeigneten Optimierer auszuwählen, werden vier gleiche Modelle

trainiert und validiert. Das Ergebnis der Validierung ist in Abbildung 28 zu sehen. Der Op-
timierer AdaGrad konvergiert sehr langsam. Der Loss ist um eine Größenordnung größer
und der MAXE ist minimal bei 13,2 V. Das SGD schneidet ebenfalls deutlich schlechter
als die anderen beiden Optimierer ab, sowohl in Bezug auf den Loss als auch auf den
MAXE. Adam und RMSprop zeigen eine ähnliche Performance. Der RMSprop Optimierer
konvergiert schneller und der Adam Optimierer hat vergleichsweise den kleinsten MA-
XE von 2,46 V. Die Ergebnisse decken sich mit dem Vergleich der Optimierer in Kapitel
2.3.5.

86
Abbildung 28 LFP-Batterie - Vergleich der Trainingsperformance verschiedener Optimierer

87
Ähnlich wie bei dem LTO-Batterie Datensatz ergab die Gegenüberstellung der Lernraten
das Ergebnis, dass die Lernrate keinen großen Einfluss auf die Genauigkeit und die
Konvergenz der Modelle hat. Im Bereich zwischen 0.0001 und 0.001 konnte in zehn
Trials kein Overfitting festgestellt werden, jedoch ist eine positive Tendenz hin zu den
kleineren Lernraten erkennbar. Dabei liegt das Optimum zwischen 0.0002 und 0.0003.
Im Folgenden wird, wie bei der LTO, dieselbe Lernrate von 0.0002 verwendet.

Der Einfluss der Batchnormalisierung auf die Güte des Modells ist positiv, wie es bei der
LTO-Batterie ebenso festzustellen war. Abbildung 29 zeigt den Vergleich zwischen einer
aktiven und inaktiven Batchnormalisierung. Das Ergebnis zeigt, dass der Loss bei beiden
Varianten ähnlich ist, jedoch der minimale MAXE bei der aktivierten Batchnormalisierung
deutlich kleiner ist.

Abbildung 29 LFP-Batterie - Vergleich der Trainingsperformance zweier Modelle mit aktiver und inaktiver Batchnorm

88
5.4.3. Modellparametertuning

Das Hyperparametertuning der Modellparameter mit Optuna wird basierend auf den aus-
gewählten Datensets sowie den im vorherigen Kapitel bestimmten Parametern durchge-
führt. Es wurden 15 Trials trainiert. Davon wurden vier Trials vorzeitig abgebrochen, da
der Pruner diese Zweige als nicht aussichtsreich erkannt hat. Ein Overfitting konnte in
keinem der Trials festgestellt werden. Allerdings zeigten sich, wie in Abbildung 30 zu
sehen, deutliche Unterschiede im MAXE. Das Modell mit dem geringsten MAXE, ist ein
LSTM Netz mit fünf hidden Units, zwei RNN Layern sowie zwei Dense Layern mit einer
Dropout Rate von 0,11. Da dieses Modell nur fünf hidden Units hat gibt es wenige mo-
dellinterne Gewichte und Bias die eingestellt werden müssen. Hierdurch stellt sich das
Optimum bereits in Epoche zehn ein.

Abbildung 30 LFP-Batterie - Modellparametertuning in 15 Trials des Optuna-Algorithmus

89
Die randomisierte Initialisierung der Gewichte und Bias im NN führt zu unterschiedlichen
Verläufen im Trainingsprogress, auch wenn gleiche Netze trainiert werden. Dementspre-
chend wurde das beste NN mit fünf verschiedenen Initialisierungen trainiert. Das Ergeb-
nis der fünf Vergleichstrainings ist in Abbildung 31 dargestellt. Eine weitere Optimierung
konnte in diesem Fall jedoch nicht erreicht werden.

Abbildung 31 LFP-Batterie - Fünfmalige Wiederholung des Trainings

90
Abbildung 32 zeigt ein ähnliches Verhalten wie das Training von 1000 Epochen bei der
LTO-Batterie. Es tritt weder Oversampling auf, noch kann der MAXE nach über 100 Epo-
chen verbessert werden, womit auch in diesem Fall ein Training für 100 Epochen ausrei-
chend ist.

Abbildung 32 LFP-Batterie - Loss, Validation Loss und MAXE im Verlauf eines Trainings mit 1000 Epochen

91
Die Tabelle 11 zeigt die Fehlermetriken des LFP-Modells mit dem geringsten MAXE.

Tabelle 11 LFP-Batterie - Fehlermetriken des finalen LFP-Batterie Modells

Balancing Konfiguration

Nr. 5

Undersampling Imean _Tmean _Umean _100/20

Oversampling range(2)/step(1)/M C(0)

Netzwerk Konfiguration

Netzwerktyp LSTM

Anzahl hidden Units 5

Anzahl RNN Layer 2

Anzahl Dense Layer 2

Dropout Rate 0,11

MAE 0,34 V

MAXE 2,24 V

92
5.5. Zwischenfazit

Das Hyperparametertuning hat verdeutlicht, welche Parameter in welchem Umfang die

Güte des Modells beeinflussen. Zusätzlich konnte gezeigt werden, dass einige Para-
meter nicht für jeden Datensatz einzeln getuned werden müssen, sondern im Rahmen
dieser Anwendung auf einen bestimmten Wert festgelegt werden können.

Tabelle 12 Subjektive Einschätzung bezüglich des Einflusses der Parameter auf die Güte des Modells

Parameter Direkter Einfluss auf Güte des Modells

Undersampling (Bin Range, Bin Limit) +++

Oversampling (Minoritätsklassen, Range, Schrittweite) +++

Lernrate +

Optimierer ++

Batchnorm +

Netztyp ++

Anzahl hidden Units +

Anzahl RNN Layer +

Anzahl Dense Layer +

Dropout Rate +

93
In Tabelle 12 sind die Parameter und deren Einfluss auf die Güte des Modells auf-
getragen. Die Datenvorverarbeitung mit den Algorithmen zum Under- und Oversamp-
ling hat den größten Einfluss, sowohl auf die Güte als auch auf die Konvergenz der
zu trainierenden Modelle. Eine generelle Empfehlung zu den Parametern kann dabei
nicht gegeben werden. Es besteht eine große Abhängigkeit von der Datenverteilung und
-größenordnung der Rohdaten. Des Weiteren hat die Wahl des Optimierers einen ge-
wichtigen Einfluss auf das Ergebnis. Wobei die Untersuchungen zeigen, dass der Adam
Algorithmus am geeignetsten ist. Die Hyperparameter Lernrate und Batchnormalisie-
rung haben einen geringeren Einfluss, zeigen aber die besten Ergebnisse mit aktivierter
Batchnormalisierung und einer Lernrate von 0.0002. Der Einfluss der modellbezoge-
nen Parameter kann nicht für jeden Hyperparameter einzeln bewertet werden, da die-
se immer im Zusammenhang getuned werden. Pauschale Aussagen sind aus diesem
Grund nicht zu treffen. Der Modellierungsansatz mit Transformern ist in dieser Anwen-
dung nicht zu empfehlen, da sich die Performance in jedem Vergleich mit RNNs als
schlechter zeigt.

94
6. Verifikation und Validierung

Das spezifizierte Konzept, eine Pipeline zur Datenvorverarbeitung und Modellierung zu

erstellen und dessen Umsetzung, muss verifiziert werden. Der untere Bereich des V-
Modells in Abbildung 33 zeigt die theoretische Detaillierung der Spezifikation bis hin zur
Integration sowie den Test zur Verifikation. Am Ende dieses Prozesses wird die Anforde-
rung mit Anwendungsszenarien im finalen Abnahmetest validiert.

Abbildung 33 Validierung und Verifizierung im Rahmen des V-Modells mit den jeweiligen Entwicklungsstufen

95
6.1. Verifikation

Die Verifikation beginnt mit der Spezifikation des Systems. Das Modell soll das Span-
nungsverhalten der Batterie wiedergeben, auf der Basis von Deep-Learning Algorith-
men aufgebaut werden, nur auf physikalisch messbare Eingangsgrößen zurückgreifen
und aus Rohdaten erstellt werden können.

Der gesamte Systemtest wurde in Kapitel 5 beschrieben, wobei die einzelnen Bestand-
teile der Spezifikation anhand von zwei unterschiedlichen Batterie-Typen verifiziert wer-
den konnten.

Der Systementwurf beinhaltet die Auswahl der Eingangsfeatures in Kapitel 4.1, die Da-
tenvorverarbeitungspipeline in Kapitel 4.2, das Hyperparametertuning in Kapitel 2.3.5
sowie das Training der Transformer Modelle und der RNN Modelle in den Kapiteln 5.3
und 5.4. Dabei wird auf eine manuelle, nicht formale Verifikation durch dynamische Tests
zurückgegriffen.

Teile aus dem Systementwurf wurden im Feinentwurf detaillierter formuliert. Dazu zählt
das Balancing der Datenvorverarbeitungspipeline, insbesondere das in Kapitel 4.2.3 be-
schriebene Oversampling und entworfene MFU. Die implementierten Algorithmen wur-
den während dem Entwicklungsprozess ständig Modultests unterzogen.

6.2. Validierung

Während des Trainings und der Inferenz findet die Vorhersage nur innerhalb einer Se-
quenz statt, wobei die meisten Anwendungen eine Vorhersage über einen längeren Zeit-
raum erfordern. Da in dem vorgeschlagenen Ansatz auf den Teacher-Forcing-Algorithmus
verzichtet wird, untersucht dieser Abschnitt die Genauigkeit der vorhergesagten Span-
nung auf die nächsten Zeitschritte. Kleine Fehler zu Beginn könnten aufgrund der feh-
lenden Korrektur zur Ground Truth, zu einer Instabilität der Vorhersage führen.

Die trainierten Modelle müssen hinsichtlich der Fehlermetriken validiert werden, um eine
Aussage über die Verwendbarkeit dieser Modelle treffen zu können. Mit dieser ergebnis-
bezogenen Validierung wird die Übereinstimmung der Ergebnisse des Modells mit dem
realen Verhalten der Batterie geprüft.

6.2.1. Messungen der HiL-Prüfeinrichtung

Für die Validierung werden Messungen mit den Batteriesamples an einem Hardware-
in-the-Loop Prüfstand aufgenommen. Ein Vorteil gegenüber den zufällig entstehenden
CAN-Traces aus Versuchsfahrzeugen ist, dass die Umweltbedingungen und Batteriekon-

96
ditionen manuell eingestellt werden können. Somit kann sichergestellt werden, dass die
Validierung in einem breiten Spektrum stattfindet. Die Temperaturniveaus von

T ∈ {−25◦ C, 0◦ C, 25◦ C, 50◦ C} (6.1)

wurden mit niedrigen, mittleren und hohen Ladezuständen kombiniert, resultierend in

zwölf Validierungsmessungen je Batterie. Auf eine kontinuierliche Temperatur- und La-
dezustandsverteilung wurde verzichtet, um die Datenmenge und damit die Rechenzeit
klein zu halten. Der Erkenntnisgewinn aus Messungen zwischen den genannten Stütz-
stellen ist zu vernachlässigen, da keine weiteren schwer modellierbaren Extremsituatio-
nen auftreten. Eine strikte Einhaltung der Temperaturstufen ist ebenso zu vernachlässi-
gen, da sie sich negativ auf die Diversifizierung der Datenverteilung des Validation Sets
auswirken würde.

Abbildung 34 zeigt die Streudiagramme der zwölf Validierungsmessungen in Bezug auf

die Temperatur, die Spannung und den Strom für die LTO-Batterie. Die Temperaturnive-
aus sind in den ersten beiden Diagrammen durch die jeweils vier horizontalen Streifen
deutlich zu erkennen. Charakteristisch für die Polarisationsüberspannungen bei tieferen
Temperaturen ist, dass die Ströme absolut kleiner sind, sich die Spannung jedoch über
einen großen Bereich erstreckt. Am anderen Ende der Temperaturskala sind dement-
sprechend die Ströme tendenziell größer und die Spannungen weniger stark volatil. Die
zu erkennende Diagonalität im Streudiagramm Spannung/Strom ist durch die Laderich-
tung des Stromes und deren Auswirkung auf die Spannung zu begründen. Die Spannung
erstreckt sich im Validation Set in einem Bereich zwischen 39,8 V und 51,1 V, wodurch
die Batterie bis nahe an die Betriebsgrenzen validiert werden kann. Die Ströme sind ma-
ximal 230 A in Entladerichtung und 160 A in Laderichtung, dies entspricht einer C-Rate
von 21 C respektiv 15 C.

97
Abbildung 34 LTO-Batterie - Streudiagramm des Validation Set

98
Die Datenverteilung von Temperatur, Strom und Spannung im Validation Set der LFP-
Batterie ist in Abbildung 35 dargestellt. In Analogie zu der LTO-Batterie ist zu erkennen,
dass die Stromrange aufgrund der temperaturabhängigen Polarisationswiderstände mit
steigender Temperatur zunimmt und die Spannungsrange zugleich abnimmt. Die Tempe-
raturschritte sind auf dieselben Basiswerte aufgeteilt, wobei eine strikte Einhaltung der
Temperatur vernachlässigt wurde. Die Ströme sind begrenzt auf 525 A im Ladefall und
223 A in der Entladung, was einer maximalen C-Rate von 26 C entspricht. Im Validation
Set sind Spannungen aus dem gesamten Betriebsbereich der Batterie enthalten.

Abbildung 35 LFP-Batterie - Streudiagramm des Validation Set

99
Das für das Einmessen des Validation Set verwendete Stromprofil ist in Abbildung 36
beispielhaft für die LTO-Batterie bei einem Temperaturniveau von 0°C und einem mitt-
leren Ladezustand dargestellt. Das Basis-Stromprofil stammt aus einer realen, kunden-
orientierten Testfahrzeugmessung unter realen Umweltbedingungen. Das Ur-Profil wird
dann je nach Temperatur und Ladezustand so skaliert, dass die Spannungsgrenzen der
Batterie zwar möglichst erreicht, jedoch nicht überschritten werden. Somit kann in jeder
Kombination der größtmögliche Spannungsbereich abgedeckt werden. Das reale Profil
enthält neben großen, kurzzeitigen Volatilitäten sowohl Konstantstromphasen als auch
Ruhephasen. Das Profil beinhaltet neben Ladephasen (negative Ströme) auch Entlade-
phasen (positive Ströme). Die Länge des Profils ist auf 480 s begrenzt, um einerseits
die Datenmenge gering zu halten und andererseits das Modell über einen ausreichend
langen Zeitraum validieren zu können.

Abbildung 36 Stromprofil bei 0°C und mittlerem Ladezustand

100
6.2.2. Validierungsergebnisse

Die trainierten NN werden mit den Validierungsmessungen beaufschlagt, um somit ei-

ne Aussage über die Güte des Modelles zu erlangen. Daraus folgt zum einen ein Er-
kenntnisgewinn bezüglich der Stärken und Schwächen des Modells, zum anderen ist die
Vergleichbarkeit mit anderen Modelltypen gegeben.

Validierung LTO-Batterie

Die Spannungsprädiktionen werden für alle zwölf Validierungsmessungen mit den ge-
messenen Spannungen, der GT, verglichen. Dabei wird in erster Linie auf den Error,
der Differenz aus Prädiktion und GT geachtet und zusätzlich der qualitative Verlauf der
beiden Spannungen bewertet.

Abbildung 37 zeigt die Prädiktion auf die Messung bei -18°C und mittlerem SOC. Der
MAXE liegt bei knapp über 1 V und tritt zu einer Phase mit sehr hohen Belastungen
auf. Das exposure Bias Problem, bei welchem die fehlende direkte Rückkopplung der
GT zu einem Drift im Fehler führt, kann in diesem Fall selbst über acht Minuten Prä-
diktionshorizont nicht festgestellt werden. Die Feedback Prozedur der Spannung zum
Eingangsparameter Utrend , als Methode zur Kompensation des nicht einsetzbaren Tea-
cher Forcing Algorithmus, gibt der Prädiktion Stabilität. Der leicht erkennbare Bias nach
ca. 300 s ist nicht auf die Berechnung des Utrend zurückzuführen, sondern auf die in
diesem Profil auftretenden Volatilitäten.

101
Abbildung 37 LTO-Batterie - Validierung des Modells mit dem Profil „Val_LTO_5“ bei mittlerem Ladezustand und einer
Temperatur von durchschnittlich -18°C

102
Wie in Abbildung 38 zu beobachten, tritt im Gegensatz zu der Prädiktion von Profil Val_-
LTO_5 tritt im Profil Val_LTO_2 ein Error-Drift auf, der nicht auf das exposure Bias Pro-
blem zurückzuführen ist. Die Ursache in diesem Fall ist die Änderung des Ladezustands
über die untersuchte Zeitspanne von acht Minuten hinweg. Bei niedrigen Ladezuständen
wurden die Stromprofile so angepasst, dass die Entladeströme herunterskaliert werden,
jedoch die Ladeströme gleichbleiben. Das führt zu einem Nettoenergieeintrag der Batte-
rie und einer damit verbundenen Erhöhung der OCV. Eine Änderung des Ladezustands
erfolgt meist über einen längeren Zeitraum, besonders in hochvolatilen Stromverläufen
mit wenigen hohen Konstantstromphasen im Automotive Energiebordnetz. Somit kann
das NN den Zusammenhang zwischen Ladezustand und OCV bzw. Spannung nicht er-
lernen, weil zu wenige Daten mit signifikanten Ladezustandsänderungen innerhalb der
Sequenzlänge vorliegen. Der Utrend Updateprozess mit der indirekten Rückwirkung von
der OCV auf den Input des Netzes wirkt dem Fehlerdrift entgegen und wird mit einer
Updatezeit von 70 s zu selten durchgeführt, um den Trend umzukehren. Der maximale
absolute Fehler im gesamten Validierungsset ist die Folge dieses Fehlerdrifts in Kombi-
nation mit den hohen Belastungen im Stromprofil.

103
Abbildung 38 LTO-Batterie - Validierung des Modells mit dem Profil „Val_LTO_2“ bei niedrigem Ladezustand und einer
Temperatur von durchschnittlich 1°C

104
Der maximale absolute Fehler von 2,77 V tritt in der Messung bei niedrigem SOC und
-23°C, wie in Abbildung 39 dargestellt, auf. Eine starke Temperaturabhängigkeit im Feh-
ler kann nicht festgestellt werden, da das Validierungsprofil mit dem größten MAXE bei
der gleichen Temperatur wie das Profil mit dem kleinsten MAXE gemessen wurde. Das
Verhalten tritt auf, obwohl tiefe Temperaturen für die Spannungsprädiktion deutlich her-
ausfordernder sind, da hier die Polarisationsüberspannungen deutlich höher liegen.

Abbildung 39 LTO-Batterie - Validierung des Modells mit dem Profil „Val_LTO_1“ bei niedrigem Ladezustand und einer
Temperatur von durchschnittlich -23°C

105
Die Tabelle 13 zeigt die Fehlermetriken der Validierung des LTO-Modells. Über das ge-
samte Validation Set erreicht das LTO-Batterie Modell einen MSE von 0,41 V², einen
MAE von 0,47 V und einen MAXE von 2,77 V. Bezogen auf die Nominalspannung ergibt
sich ein maximaler relativer Fehler von 5,77 % und ein durchschnittlicher relativer Fehler
von 1,00 %.

Tabelle 13 LTO-Batterie - Fehlermetriken Validierung

Profil Ladezustand Mittelwert Mittelwert MSE MAE MAXE

Spannung Temperatur

Val_LTO_1 Niedrig 44,8 V -23 °C 0,67 V² 0,63 V 2,77 V

Val_LTO_2 Niedrig 43,3 V 1 °C 0,59 V² 0,58 V 2,68 V

Val_LTO_3 Niedrig 42,9 V 32 °C 0,28 V² 0,39 V 1,59 V

Val_LTO_4 Niedrig 43,1 V 53 °C 0,59 V² 0,54 V 2,22 V

Val_LTO_5 Mittel 45,1 V -18 °C 0,15 V² 0,30 V 1,19 V

Val_LTO_6 Mittel 44,0 V 0 °C 0,36 V² 0,44 V 2,57 V

Val_LTO_7 Mittel 44,4 V 30 °C 0,55 V² 0,62 V 1,84 V

Val_LTO_8 Mittel 44,7 V 56 °C 0,26 V² 0,37 V 1,39 V

Val_LTO_9 Hoch 47,6 V -17 °C 0,23 V² 0,35 V 2,17 V

Val_LTO_10 Hoch 44,9 V -3 °C 0,54 V² 0,59 V 2,64 V

Val_LTO_11 Hoch 47,6 V 27 °C 0,23 V² 0,35 V 1,56 V

Val_LTO_12 Hoch 46,3 V 49 °C 0,46 V² 0,51 V 1,93 V

Mittelwert 0,41 V² 0,47 V 2,05 V

Maximum 0,67 V² 0,63 V 2,77 V

106
Validierung LFP-Batterie

In Abbildung 40 ist die Validierungsmessung „Val_LFP_8“ zusammen mit der Prädiktion

sowie dessen Fehler bei einer Temperatur von 53°C und mittlerem Ladezustand darge-
stellt. Der maximale Fehler steigt bei einem MAE von 0,11 V nicht über 0,6 V. Im mittleren
Ladezustandsbereich ist die OCV-Kurve der LFP-Batterie im Allgemeinen flach und so-
mit annähernd konstant. Eine Änderung des SOCs während der Validierungsmessung
hat somit nahezu keinen Einfluss auf die Ruhespannung, was durch den fehlenden Drift
im Error verdeutlicht wird. Die langsame Spannungsänderung kann durch den Upda-
teprozess von Utrend aufgefangen werden. Die prädizierte Spannung ist im gleitenden
Mittelwert konstant kleiner als die GT, was auf eine initial falsche OCV Schätzung oder
Polaristationsspannungsschätzung zurückzuführen ist. Die größten Volatilitäten im Error
treten im Bereich mit hoch volatilen Stromkurven auf.

Abbildung 40 LFP-Batterie - Validierung des Modells mit dem Profil „Val_LFP_8“ bei mittlerem Ladezustand und einer
Temperatur von durchschnittlich 53°C

107
Der im Validation Set maximale absolute Fehler von 2,24 V ist in einer Messung mit
extremen Bedingungen aufgetreten. Die in Abbildung 41 dargestellte Messung ist mit
einer auf -23°C temperierten und niedrigem Ladezustand konditionierten Batterie durch-
geführt worden. Der maximale Fehler tritt bei Spannungsspitzen in einem Bereich von
über 52 V auf, welcher nur selten im Trainingsdatensatz vorhanden ist. Zudem ist die
Spannungsänderung zwischen OCV und der Spannungsspitze sehr groß. Hohe Ströme
in Kombination mit tiefen Temperaturen stellen schwer vorhersagbare Bedingungen in
der Batteriemodellierung dar. Der hohe MAE von 0,59 V ist auf diese Voraussetzungen
zurückzuführen, kann jedoch aufgrund der großen Spannungsrange zwischen ca. 42 V
und 52 V relativiert werden. Begünstigt durch die flache OCV-Kurve von LFP-Batterien
ist in dieser Prädiktion der Einfluss von Ladezustandsänderungen mit einem Errordrift
nicht festzustellen.

Abbildung 41 LFP-Batterie - Validierung des Modells mit dem Profil „Val_LFP_1“ bei niedrigem Ladezustand und einer
Temperatur von durchschnittlich –23°C

108
Wie in Tabelle 14 zu sehen, erreicht das LFP-Modell über das gesamte Validation Set
einen MSE von 0,21 V², einen MAE von 0,34 V und einen MAXE von 2,24 V. Bezogen
auf die Nominalspannung ergibt sich ein maximaler relativer Fehler von 4,67 % und ein
durchschnittlicher relativer Fehler von 0,71 %.

Tabelle 14 LFP-Batterie - Fehlermetriken Validierung

Name Ladezustand Mittelwert Mittelwert MSE MAE MAXE

Spannung Temperatur

Val_LFP_1 Niedrig 46,3 V -23 °C 0,58 V² 0,59 V 2,24 V

Val_LFP_2 Niedrig 45,6 V 4 °C 0,39 V² 0,56 V 1,25 V

Val_LFP_3 Niedrig 45,9 V 25 °C 0,05 V² 0,19 V 0,74 V

Val_LFP_4 Niedrig 45,6 V 51 °C 0,25 V² 0,46 V 0,89 V

Val_LFP_5 Mittel 46,2 V -23 °C 0,21 V² 0,32 V 1,54 V

Val_LFP_6 Mittel 46,6 V 6 °C 0,17 V² 0,31 V 1,34 V

Val_LFP_7 Mittel 46,1 V 26 °C 0,06 V² 0,20 V 0,90 V

Val_LFP_8 Mittel 46,3 V 53 °C 0,02 V² 0,11 V 0,59 V

Val_LFP_9 Hoch 45,8 V -15 °C 0,26 V² 0,37 V 2,19 V

Val_LFP_10 Hoch 46,1 V 5 °C 0,19 V² 0,30 V 1,66 V

Val_LFP_11 Hoch 46,5 V 26 °C 0,37 V² 0,53 V 1,91 V

Val_LFP_12 Hoch 46,3 V 54 °C 0,03 V² 0,17 V 0,41 V

Mittelwert 0,21 V² 0,34 V 1,30 V

Maximum 0,58 V² 0,59 V 2,24 V

109
Erkenntnisse der Validierung

Im Folgenden wird die Interpretation der Validierung in Bezug auf den vorgeschlagenen
Prozess der Modellierung mit NN im Allgemeinen sowie auf die beiden erstellten Modelle
diskutiert. Diese Erkenntnisse sind anhand der Validierung für die Modellierung mit NN
im vorgeschlagenen Prozess abzuleiten:

• Der Hyperparametertuningprozess ist mithilfe von performanten Rechnern und richtig

dimensionierten Datensätzen in einer annehmbaren Zeit umsetzbar.

• Die Modellierung der Spannung ist mit dem vorgeschlagenen Utrend Updateprozess
über längere Zeithorizonte mit akzeptablen Fehlern möglich. Das exposure Bias Pro-
blem tritt bei keiner Validierung auf.

• Die Batterien können in großen Temperatur-, Strom- und Ladezustandsbereichen mo-

delliert werden. Die Kombination von extremen Zuständen wie beispielsweise hohe
Ladeströme bei sehr niedrigen Temperaturen und hohem Ladezustand sind in die
Validierung inkludiert.

• Die elektrochemischen Effekte in der Batteriezelle führen zu einer exponentiellen

Spannungskurve, wohingegen die vorhergesagte Spannung eckiger bzw. sprunghaf-
ter ist. Der qualitative Verlauf der Spannung kann trotzdem nachgestellt werden.

• Der Optimierungsalgorithmus ist darauf ausgerichtet, den maximalen Fehler im Va-

lidation Set zu reduzieren. Dies führt zu Differenzen in den Verläufen zwischen der
Spannungsvorhersage und der GT. Eine Optimierung auf der Basis des MAE würde
dazu führen, dass die Prädiktion häufiger genauer, dafür der maximale Fehler größer
ist. Die Wahl der Optimierungsmetrik ist an die jeweilige Anwendung entsprechend
anzupassen.

• Die Polarisationsüberspannungen sind aufgrund der elektrochemischen Ursprünge

stark nichtlinear, was zu den größten Fehlern im Bereich großer Belastungen führt.
An diesem Problem leiden alle Modellierungstypen, wobei in der hier vorliegenden
Arbeit der maximale Fehler durch die MAXE Optimierung minimiert wurde.

• Aufgrund von Ungleichmäßigkeiten in der Produktion und in der Alterung zeigen un-
terschiedliche Batterien vom selben Typ ein ungleiches Verhalten. Die Trainingsdaten
entstammen vielen verschiedenen Batterien desselben Typs. Die damit verbundenen
Unterschiede machen einerseits das Modell robuster, andererseits können einzelne
Batterien stärkere Abweichungen zur Gesamtheit und damit zum Modell aufweisen.
Der Offset im Fehler am Anfang der Messungen bezieht sich mitunter auch auf diesen
Zusammenhang.

• Trotz der Unterschiede in der Größe der NN, beeinflusst durch die Anzahl der hid-
den Units und hidden Layers, kann von einer pauschalisierten Aussage bezüglich der
Korrelation zwischen Netzgröße und Zellchemie abgesehen werden.

110
In Tabelle 15 sind die Fehlermetriken der beiden Modelle dargestellt, wobei das LFP-
Batterie Modell in allen Metriken besser abschneidet als das LTO-Batterie Modell. Die
Ursache für den Unterschied kann sowohl durch die Anzahl und Verteilung der Daten
als auch durch das elektrochemische Verhalten der Zellchemien begründet werden.

Tabelle 15 Fehlermetriken der finalen Batterie Modelle über das gesamte Validation Set

Modell Mittelwert Mittelwert MSE [V²] MAE [V] MAXE [V]

Spannung [V] Temperatur [°C]

LTO-Batterie 44,9 16 0,41 0,47 2,77

LFP-Batterie 46,1 16 0,21 0,34 2,24

Das Modell der LTO-Batterie unterscheidet sich von dem LFP-Batterie Modell in zwei
Punkten, welche durch das spezielle elektrochemische Verhalten der Zelle zu erklären
sind.

Zum einen führt eine schnelle Ladezustandsänderung innerhalb der Validierungsmes-

sung zu einem Fehlerdrift beim LTO-Batterie Modell. Dieses Verhalten ist darauf zurück-
zuführen, dass der Utrend Updateprozess einer Spannungsänderung aufgrund einer La-
dezustandsänderung langsamer ist und somit die prädizierte Spannung im Vergleich zu
der gemessenen leicht versetzt ist. Dieses Verhalten kann bei dem LFP-Batterie Modell
nicht beobachtet werden, was durch die flache OCV-Kurve von LFP Zellen begründbar
ist. Eine Ladezustandsänderung hat im mittleren Bereich kaum einen Einfluss auf die
Spannung, wodurch die Geschwindigkeit des Updateprozesses eindeutig ausreichend
ist. Zum anderen ist die Temperaturabhängigkeit des Fehlers beim LFP-Batterie Modell
ausgeprägter als beim LTO-Batterie Modell. Dies ist auf die Temperaturabhängigkeit der
elektrochemischen Prozesse im Zellinneren der beiden Batterien zurückzuführen.

6.3. Vergleich Modellierungsansätze

Für eine abschließende Bewertung der in dieser Arbeit vorgeschlagenen Modellierungs-

methodik ist ein Vergleich mit ähnlichen Spannungs- und Leistungsmodellen in der Lite-
ratur anzustellen. Tabelle 16 zeigt eine Übersicht der Modelle, die in der Literatur vorge-
schlagen wurden. Die gezeigten Fehlerwerte sind immer in Relation zur Nennspannung
referenziert.

Das DCR Modell von Zheng et al. [67] ist nur auf sehr kleine Ströme mit bis zu C/3 und
einer Temperatur von mindestens 10°C validiert. In Relation zu den anderen Modellie-
rungsansätzen wird hier deutlich, dass diese Art der Modellierung nur in spezifischen,
einfachen Anwendungen möglich ist. Die Modelle mit einem KF zeigen gute Ergebnisse.
Der DEKF von Pei et al. [70] ist bis zu einer Temperatur von -10°C mit einem MAXE von
4,75 % validiert. Sun et al. [155] haben das extended-KF bei größeren Strömen bis 8C

111
mit einem MAXE von 2 % bei 25°C validiert. Das NN von Haiying et al. [71] hat einen
relativ kleinen MAXE von 1,01 % bei leicht modellierbaren Temperaturen von 25°C. Flei-
scher et al. [73] modellieren mit ANFIS in ähnlicher Genauigkeit wie das Modell mit dem
AEKF, allerdings bei niedrigeren Stromraten. Die GRU Modelle von Zhao et al. [75] und
die LSTM Modelle von Vidal [56] sind bei Temperaturen von mindestens -10°C auf einen
RMSE von unter 1,6 % validiert. Die maximalen Stromraten sind in beiden Fällen ähnlich,
der resultierende RMSE ist jedoch bei den LSTMs etwas niedriger.

Die in dieser Arbeit vorgestellten Modelle werden in der Tabelle 16 mit den Modellen aus
der Literatur verglichen. Dazu sind folgende drei Aspekte zu nennen.

• Die Modelle in der Literatur nutzen ausnahmslos den SOC der Batterie als Input für
das Modell. Sie setzen damit voraus, dass ein valides Ladezustandsmodell existiert.
Die Modelle aus dieser Arbeit benötigen den SOC nicht als Input, sollten aber nicht
weniger gut generalisieren.

• Hohe Stromraten führen zu überproportionalen Polarisationsüberspannungen und

verstärken somit die Nichtlinearität in diesen Bereichen. Für die meisten Anwen-
dungsfälle reichen Stromraten bis zu 10 C aus, jedoch werden in Hochleistungsan-
wendungen wie Mild-Hybrid-Bordnetzen bis zu 30 C (vgl. Formel 2.11) angefordert.
Die in dieser Arbeit betrachteten Stromraten betragen das drei- bis fünffache der an-
deren RNN Modelle.

• In Bezug auf die untersuchten Temperaturen werden die meisten Modelle minimal
bis -10°C validiert, das LSTM Samsung Modell von Vidal [56] sogar bis auf -20°C.
Diese Temperaturen sind für die meisten Anwendungen ausreichend. Im Automotive
Sektor werden Betriebstemperaturen bis zu -25°C betrachtet. Je tiefer die Temperatur
ist desto höher ist die Nichtlinearität des Spannungsverhaltens der Batterie, wodurch
die Prädiktion erschwert wird.

112
 Tabelle 16 Fehermetriken in vergleichbaren Modellen

Ref. Modelltyp Minmale Maximale MAPE RMSE MAXE

Temperatur [°C] C-Rate

[67] DCR 10°C C/3 1,80 % Na Na

[69] AEKF 25°C 8C <1 % Na 2%

[70] DEKF -10°C 3C na Na 4,75 %

[71] BP NN 25°C na Na na 1,01 %

[73] ANFIS 10°C 1,5 C Na <1,6 % 2%

[75] GRU Panasonic -10°C 6C 1,30 % <1,6 % 11,60 %

[75] GRU Sony -10°C 5C 1,00 % <1,4 % 6,10 %

[76] LSTM Panasonic -10°C 6C Na <1,5 % Na

[76] LSTM Samsung -20°C 6C Na <1,3 % Na

LTO-Batterie LSTM -25°C 20 C 0,98 % 1,30 % 5,60 %

LFP-Batterie LSTM -25°C 25 C 0,70 % 1,00 % 4,80 %

113
Zusätzlich zum Verzicht auf den SOC als Input verdeutlichen die drei genannten Aspek-
te, dass die in dieser Arbeit vorgestellten Modelle unter erschwerten Bedingungen vali-
diert wurden. Trotz dieser Umstände sind die Fehler mit einem RMSE von 1,30 % und
einem MAXE von 5,60 % beim LSTM Modell der LTO-Batterie kleiner als die der Modelle
von Zhao et al. [75] und ähnlich den Modellen von Vidal [76]. Das vorgeschlagene LSTM
Modell der LFP-Batterie zeigt indes mit einem RMSE von 1,00 % und einem MAXE von
4,80 % bessere Fehlermetriken als die übrigen Modelle.

114
7. Zusammenfassung und Ausblick

7.1. Zusammenfassung

Die fortschreitende Elektrifizierung des Antriebsstrangs führt zu einer großen Vielfalt

an Batteriepacks, die in Fahrzeugen eingesetzt werden. Eine schnelle und präzise Mo-
dellierung des Verhaltens ist für den Betrieb der Fahrzeuge sowohl aus der Sicht der
Sicherheit als auch des Energieverbrauchs sinnvoll.

Bisherige Modelle leiden an langen Entwicklungszeiten, bedingt durch den Prozess der
Modellierungs-Methodik. Im Speziellen sind Modelle, die von anderen Modellen abhän-
gen, nicht autark entwickelbar und in der Tendenz fehleranfälliger. Dem aktuellen Stand
der Technik zufolge sind vor allem SOP-Modelle abhängig vom SOC und somit von der
Güte und Entwicklungsgeschwindigkeit des SOC-Modells. In dieser Arbeit wurden die
Input Parameter bewusst auf physikalisch messbare Größen und direkte Berechnungen
aus diesen Größen begrenzt, um die Unabhängigkeit des Modells zu gewährleisten.

Für ein effizientes Training von NN müssen die Rohdaten aufbereitet werden. Under-
sampling und Oversampling Algorithmen werden genutzt, um die Datenverteilung der
einzelnen Features zu optimieren, ohne dabei einen Informationsverlust zu erleiden. Im
Anwendungsfall der Batteriemodellierung wird eine Regressionsanalyse angestellt. Die
Datenverarbeitung wird dadurch, im Gegensatz zu den in der Literatur häufig diskutier-
ten Klassifikationsproblemen, mit neuen Algorithmen durchgeführt. Das für diesen An-
wendungsfall entwickelte MFU adressiert die Herausforderung beim Undersampling von
stetigen Daten mit vielen unausgeglichenen Features. Durch die parallele Verarbeitung
von mehreren Features können selbst große, willkürlich aufgezeichnete Datensätze für
ein effizientes Training optimiert werden. Das entwickelte mehrstufige, auf die Regressi-
onsanalyse angepasste Oversampling ergänzt das MFU, sodass die trainierten NN auch
in Bereichen mit wenigen Datenpunkten eine gute Generalisierung aufweisen.

Nach der Datenvorverarbeitung ist das Hyperparametertuning entscheidend für die end-
gültige Güte eines Modells. Die Anzahl der Hyperparameter ist groß und in Verbindung
mit den oftmals stetigen Parameterräumen ist eine finale Bestimmung des globalen Op-
timums der Hyperparameter nicht möglich. In dieser Arbeit werden für das Hyperpa-
rametertuning Vorschläge für Werte und eingrenzende Parameterräume erarbeitet, die
sich im Laufe des Tunings als zielführend herausgestellt haben. Trotz der Eingrenzun-
gen müssen viele Hyperparameter für den speziellen Anwendungsfall getuned werden.
Die vorgeschlagene Hyperparametertuningpipeline kann den Prozess unterstützen und
beschleunigen.

115
Der gesamte Prozess zur Entwicklung eines Batteriemodells auf Basis von NN ist kom-
plex und interdisziplinär. Die Datenverarbeitungs- und Hyperparametertuningpipeline stel-
len ein Tool dar, welches die Entwicklung solcher Modelle vereinfacht. Um das bestmögli-
che Ergebnis zu erzielen, sollte die Reihenfolge der einzusetzenden Algorithmen befolgt
werden. Anschließend wird diskutiert inwiefern die in Kapitel 1.2 aufgestellten Ziele im
Rahmen dieser Arbeit erreicht wurden.

• Ziel 1: Die in vorliegender Arbeit durchgeführte Machbarkeitsstudie der Nutzbarkeit

von KI in Bezug auf die SOP-Modellierung von Batterien kann das Ziel 1 nicht vollum-
fänglich erreichen. Jedoch ist hiermit ein wichtiger Beitrag geleistet worden diesem
Ziel näher zu kommen. Durch die intensive Diskussion der Eingangs-, Trainings- und
Modellparameter konnten Einflussfaktoren auf die KI-Modellierung beleuchtet und an-
dere Entwickler dazu ermutigt werden in diesem Themengebiet weitere Forschungen
anzustellen.

• Ziel 2: Mit der in dieser Arbeit entwickelten Datenvorverarbeitungs- und Trainingspipe-

line konnte das Ziel 2 erfüllt werden. Die Rohdaten werden automatisiert eingelesen,
die Ein- und Ausgabeparameter extrahiert und in der Datenvorverarbeitung zu trai-
nierbaren Datensets zusammengesetzt. Mit dem MFU wurde ein neuer Algorithmus
kreiert, der es ermöglicht, die Datenverteilung eines Datensatzes anhand von mehre-
ren erzeugten Features zu optimieren. Das nachgeschaltete SMOTE wurde auf den
Anwendungsfall dahingehend angepasst, dass ein mehrstufiges Oversampling auf
Regressionsdaten angewandt werden kann. Die Sequenzialisierung und Normalisie-
rung sind mit Algorithmen, die dem Stand der Technik entsprechen, umgesetzt wor-
den. Neben den RNNs LSTM und GRU wurden auch Transformer Modelle trainiert
und miteinander verglichen. Die Parametrisierung ergab für einen Teil der Hyperpa-
rameter eindeutige pauschale Empfehlungen. Für den anderen Teil der Parameter
wurden jeweils Parameterräume definiert, die den Optimierungsbereich deutlich redu-
zieren. Das Tuning wurde mit einem performanten Hyperparametertuning Framework
implementiert.

• Ziel 3: Das Ziel der Verifikation wurde mit der Anwendung der Pipeline und der an-
schließenden Modellierung anhand von zwei Datensätzen zweier unterschiedlicher
Batterien erfüllt. Die Algorithmen für die Datenvorverarbeitung sind funktionsfähig und
effektiv. Die Prädiktion der Spannung erfolgt auch über mehrere Minuten problemlos,
ohne auf den SOC zurückgreifen zu müssen.

• Ziel 4: Die beiden Modelle wurden erfolgreich in einem weiten Temperatur-, Strom-
und Spannungsbereich validiert. Alle möglichen Arbeitspunkte der Batterien sind da-
mit abgedeckt. Die Güte der erarbeiteten Modelle wurde mit Modellen aus der Li-
teratur verglichen, mit dem Ergebnis, dass trotz größerer Validierungsbereiche eine
ähnliche Genauigkeit vorliegt.

116
7.2. Ausblick

Aufgrund der vielzähligen Forschungstätigkeiten im Bereich der beiden Schlüsseltech-

nologien „künstliche Intelligenz“ und „Batterie“ werden sich neue Möglichkeiten und Her-
ausforderungen ergeben. Die vorliegende Arbeit verbindet diese beiden Technologien
und soll als Motivation dienen, die Kombination von KI und Batterie zu forcieren. Das
maschinelle Lernen fungiert als Enabler für viele neue Möglichkeiten, die durch die stei-
genden Rechenleistungen und neuen Algorithmen entstehen. Der Beitrag der Elektrifi-
zierung des Antriebsstrangs auf dem Weg zur Energiewende kann durch diese neuen
Chancen effizienter und schneller erfolgen, was durch vorliegende Arbeit verdeutlicht
wird.

Ein weiterer Schritt wäre die Überführung der in dieser Arbeit herausgearbeiteten Bei-
träge in industrielle Anwendungen. Denkbar ist sowohl die Nutzung der neu entwickelten
Algorithmen zur Datenvorverarbeitung als auch die Übernahme der Vorschläge im Be-
reich des Hyperparametertunings. Für neue Anwendungsfälle ist eine Weiterentwicklung
der Algorithmen möglich. Beispielsweise birgt eine Adaption des Modells eines bestimm-
ten Batterietyps auf das einzelne in der Anwendung verbaute Batteriesample großes
Verbesserungspotential. Im Zuge dieser Anpassung ist ein fortlaufendes Training der
Modelle im Betrieb eine Möglichkeit zur Optimierung.

Neben der SOP-Modellierung sind SOC- und SOH-Modelle mit ähnlichen Herangehens-
weisen darstellbar. Die größte Fragestellung bei dieser Art der Modelle ist die Generie-
rung der GT. SOC und SOH sind nicht physikalisch messbar und daher fiktive modellierte
Größen, die für das Training erhoben werden müssen.

117
Literaturverzeichnis

[1] M. Hauck, “Mensch, ärgere dich nicht: 25 jahre ist es her, dass schachweltmeister
garri kasparow erstmals gegen die computersoftware "deep blue" verlor.
mittlerweile haben menschen keine chance mehr gegen die maschinen. hat das
spiel seinen reiz verloren?” 2021. [Online]. Available: https://www.sueddeutsche.
de/digital/schach-deep-blue-kasparow-ibm-1.5200655

[2] C. Witte, “Ki erkennt krebs besser als fachärzte: Diagnose dank artifici-
al intelligence: Bei einem internationalen wettbewerb haben ai-systeme bei
der erkennung von metastasen besser abgeschnitten als erfahrene pa-
thologen.” 2018. [Online]. Available: https://www.hannovermesse.de/de/news/
news-fachartikel/ki-erkennt-krebs-besser-als-fachaerzte

[3] D. S. Cardoso, P. O. Fael, and A. Espírito-Santo, “A review of micro and mild hybrid
systems,” Energy Reports, vol. 6, pp. 385–390, 2020.

[4] L. A. Pfaffmann, “Charakterisierung von graphitelektroden für lithium-ionen-

akkumulatoren mittels oso4 exposition, xps und rem,” Ph.D. dissertation,
Dissertation, Karlsruhe, Karlsruher Institut für Technologie (KIT), 2017 and
Deutsche Nationalbibliothek. [Online]. Available: urn:nbn:de:swb:90-801805

[5] E. Quartarone and P. Mustarelli, “Review—emerging trends in the design of elec-

trolytes for lithium and post-lithium batteries,” Journal of the Electrochemical So-
ciety, vol. 167, no. 5, p. 050508, 2020.

[6] C. F. J. Francis, I. L. Kyratzis, and A. S. Best, “Lithium-ion battery separators

for ionic-liquid electrolytes: A review,” Advanced materials (Deerfield Beach, Fla.),
vol. 32, no. 18, p. e1904205, 2020.

[7] J. Nunes-Pereira, C. M. Costa, and S. Lanceros-Méndez, “Polymer composites

and blends for battery separators: State of the art, challenges and future trends,”
Journal of Power Sources, vol. 281, pp. 378–398, 2015. [Online]. Available:
https://www.sciencedirect.com/science/article/pii/S0378775315002335

[8] M. Sterner and I. Stadler, “Energiespeicher - bedarf, technologien, integration,”

2017.

[9] K. N. V. Koch, “Elektrochemische und spektroskopische untersuchung von aktiv-

materialien für die anwendung in lithium- und natrium-ionen-batterien,” Ph.D. dis-
sertation, 2019.

118
[10] W.-J. Zhang, “A review of the electrochemical performance of alloy anodes for
lithium-ion batteries,” Journal of Power Sources, vol. 196, no. 1, pp. 13–24, 2011.

[11] John Christensen and John Newman, “Cyclable lithium and capacity loss in li-ion
cells,” Journal of the Electrochemical Society, vol. 152, no. 4, p. A818, 2005.

[12] F. Kindermann, “Implications of current density distribution in lithium-ion battery

graphite anodes on sei formation,” Ph.D. dissertation, München, 2017.

[13] J. A. G. Rheinfeld, “Performance and safety of lithium-ion electrodes and cells:

Modeling, simulation, and validation at elevated temperatures and currents,” Dis-
sertation, Technische Universität München, München, 2019.

[14] C. P. Sandhya, B. John, and C. Gouri, “Lithium titanate as anode material for
lithium-ion cells: a review,” Ionics, vol. 20, no. 5, pp. 601–620, 2014.

[15] K. Xu, A. von Cresce, and U. Lee, “Differentiating contributions to "ion transfer"
barrier from interphasial resistance and li+ desolvation at electrolyte/graphite in-
terface,” Langmuir : the ACS journal of surfaces and colloids, vol. 26, no. 13, pp.
11 538–11 543, 2010.

[16] I. Belharouak, G. M. Koenig, and K. Amine, “Electrochemistry and safety of

li4ti5o12 and graphite anodes paired with limn2o4 for hybrid electric vehicle li-
ion battery applications,” Journal of Power Sources, vol. 196, no. 23, pp. 10 344–
10 350, 2011.

[17] N. Nitta, F. Wu, J. T. Lee, and G. Yushin, “Li-ion battery materials: present and
future,” Materials Today, vol. 18, no. 5, pp. 252–264, 2015.

[18] H. Li, M. Cormier, N. Zhang, J. Inglis, J. Li, and J. R. Dahn, “Is cobalt needed in
ni-rich positive electrode materials for lithium ion batteries?” Journal of the Elec-
trochemical Society, vol. 166, no. 4, pp. A429–A439, 2019.

[19] S. Al Barazi, U. Näher, S. Vetter, P. Schütte, M. Liedtke, M. Baier, and G. Franken,

“Cobalt from the dr congo – potential, risks and significance for the global cobalt
market,” Commodity TopNews, no. 53, 2017.

[20] F. Wu, J. Maier, and Y. Yu, “Guidelines and trends for next-generation rechargea-
ble lithium and lithium-ion batteries,” Chemical Society reviews, vol. 49, no. 5, pp.
1569–1614, 2020.

[21] S.-L. Wu, W. Zhang, X. Song, A. K. Shukla, G. Liu, V. Battaglia, and V. Srinivasan,

119
 “High rate capability of li(ni 1/3 mn 1/3 co 1/3 )o 2 electrode for li-ion batteries,”
Journal of the Electrochemical Society, vol. 159, no. 4, pp. A438–A444, 2012.

[22] S.-Y. Chung, J. T. Bloking, and Y.-M. Chiang, “Electronically conductive phospho-
olivines as lithium storage electrodes,” Nature materials, vol. 1, no. 2, pp. 123–128,
2002.

[23] D. Doughty and A. Pesaran, “Vehicle battery safety roadmap guidance,” Ph.D. dis-
sertation, Golden, 2012.

[24] W.-J. Zhang, “Structure and performance of lifepo4 cathode materials: A review,”
Journal of Power Sources, vol. 196, no. 6, pp. 2962–2970, 2011.

[25] X. Han, L. Lu, Y. Zheng, X. Feng, Z. Li, J. Li, and M. Ouyang, “A review on the key
issues of the lithium ion battery degradation among the whole life cycle,” eTrans-
portation, vol. 1, p. 100005, 2019.

[26] J. Rivera-Barrera, N. Muñoz-Galeano, and H. Sarmiento-Maldonado, “Soc esti-

mation for lithium-ion batteries: Review and future challenges,” Electronics, vol. 6,
no. 4, p. 102, 2017.

[27] P. A. Topan, M. N. Ramadan, G. Fathoni, A. I. Cahyadi, and O. Wahyunggoro,

“State of charge (soc) and state of health (soh) estimation on lithium polymer
battery via kalman filter,” in 2016 2nd International Conference on Science and
Technology-Computer (ICST). IEEE, 27.10.2016 - 28.10.2016, pp. 93–96.

[28] N. Ding, K. Prasad, T. T. Lie, and J. Cui, “State of charge estimation of a com-
posite lithium-based battery model based on an improved extended kalman filter
algorithm,” Inventions, vol. 4, no. 4, p. 66, 2019.

[29] S. Peng, C. Chen, H. Shi, and Z. Yao, “State of charge estimation of battery energy
storage systems based on adaptive unscented kalman filter with a noise statistics
estimator,” IEEE Access, vol. 5, pp. 13 202–13 212, 2017.

[30] F. Malmir, B. Xu, and Z. Filipi, “A heuristic supervisory controller for a 48v hybrid
electric vehicle considering fuel economy and battery aging,” in A Heuristic Super-
visory Controller for a 48V Hybrid Electric Vehicle Considering Fuel Economy and
Battery Aging, ser. SAE Technical Paper Series. SAE International400 Common-
wealth Drive, Warrendale, PA, United States, 2019.

[31] P. Schmitz, “Elektrische verbindung von zylindrischen lithium-ionen-zellen zur her-

120
 stellung von energiespeichersystemen,” Dissertation, Technische Universität Mün-
chen, München, 2019.

[32] J. J. Sturm, “State-estimation of lithium-ion batteries using physicochemical mo-

dels and experimental characterization techniques,” Dissertation, Technische Uni-
versität München, München, 2021.

[33] W.-Y. Chang, “The state of charge estimating methods for battery: A review,” ISRN
Applied Mathematics, vol. 2013, no. 5, pp. 1–7, 2013.

[34] J. Meng, M. Boukhnifer, D. Diallo, and T. Wang, “A new cascaded framework

for lithium-ion battery state and parameter estimation,” Applied Sciences, vol. 10,
no. 3, p. 1009, 2020.

[35] Y.-H. Chiang, W.-Y. Sean, and J.-C. Ke, “Online estimation of internal resistan-
ce and open-circuit voltage of lithium-ion batteries in electric vehicles,” Journal of
Power Sources, vol. 196, no. 8, pp. 3921–3932, 2011.

[36] W. Waag, C. Fleischer, and D. U. Sauer, “On-line estimation of lithium-ion battery

impedance parameters using a novel varied-parameters approach,” Ph.D. disser-
tation.

[37] T. Feng, L. Yang, X. Zhao, H. Zhang, and J. Qiang, “Online identification of lithium-
ion battery parameters based on an improved equivalent-circuit model and its im-
plementation on battery state-of-power prediction,” Journal of Power Sources, vol.
281, pp. 192–203, 2015.

[38] E. Cabrera-Castillo, F. Niedermeier, and A. Jossen, “Calculation of the state of

safety (sos) for lithium ion batteries,” Journal of Power Sources, vol. 324, pp. 509–
520, 2016.

[39] H. Rahimi-Eichi, U. Ojha, F. Baronti, and M.-Y. Chow, “Battery management sys-
tem: An overview of its application in the smart grid and electric vehicles,” IEEE
Industrial Electronics Magazine, vol. 7, no. 2, pp. 4–16, 2013.

[40] Z. Y. Jiang, Z. G. Qu, J. F. Zhang, and Z. H. Rao, “Rapid prediction method

for thermal runaway propagation in battery pack based on lumped thermal
resistance network and electric circuit analogy,” Applied Energy, vol. 268, p.
115007, 2020. [Online]. Available: https://www.sciencedirect.com/science/article/
pii/S0306261920305195

[41] Y. Deng, C. Feng, J. E, H. Zhu, J. Chen, M. Wen, and H. Yin, “Effects of different

121
 coolants and cooling strategies on the cooling performance of the power lithium
ion battery system: A review,” Applied Thermal Engineering, vol. 142, pp. 10–29,
2018.

[42] YUAN Hao, WANG Li-Fang, WANG Li-Ye, “Battery thermal management system
with liquid cooling and heating in electric vehicles,” Journal of Automotive Safety
and Energy, vol. 3, no. 4, p. 371, 2012.

[43] P. Keil, S. F. Schuster, J. Wilhelm, J. Travi, A. Hauser, R. C. Karl, and A. Jossen,

“Calendar aging of lithium-ion batteries,” Journal of the Electrochemical Society,
vol. 163, no. 9, pp. A1872–A1880, 2016.

[44] J. Cao, N. Schofield, and A. Emadi, “Battery balancing methods: A comprehensive

review,” in IEEE Vehicle Power and Propulsion Conference, 2008. Piscataway,
NJ: IEEE, 2008, pp. 1–6.

[45] J. Gallardo-Lozano, E. Romero-Cadaval, M. I. Milanes-Montero, and M. A.

Guerrero-Martinez, “Battery equalization active methods,” Journal of Power
Sources, vol. 246, pp. 934–949, 2014. [Online]. Available: https://www.
sciencedirect.com/science/article/pii/S0378775313013669

[46] M.-Y. Kim, J.-H. Kim, and G.-W. Moon, “Center-cell concentration structure of a
cell-to-cell balancing circuit with a reduced number of switches,” IEEE Transactions
on Power Electronics, vol. 29, no. 10, pp. 5285–5297, 2014.

[47] A. M. Imtiaz and F. H. Khan, ““time shared flyback converter” based regenerative
cell balancing technique for series connected li-ion battery strings,” IEEE Transac-
tions on Power Electronics, vol. 28, no. 12, pp. 5960–5975, 2013.

[48] A. Reindl, H. Meier, and M. Niemetz, “Scalable, decentralized battery management

system based on self-organizing nodes,” in Architecture of computing systems –
ARCS 2020, ser. LNCS sublibrary: SL 1, Theoretical computer science and ge-
neral issues, A. Brinkmann, W. Karl, S. Lankes, S. Tomforde, T. Pionteck, and
C. Trinitis, Eds. Cham: Springer, 2020, vol. 12155, pp. 171–184.

[49] A. Hauser and R. Kuhn, “High-voltage battery management sys-

tems (bms) for electric vehicles,” 2015. [Online]. Available: http:
//dx.doi.org/10.1016/B978-1-78242-377-5.00011-X

[50] S. Madani, E. Schaltz, and S. Knudsen Kær, “An electrical equivalent circuit model
of a lithium titanate oxide battery,” Batteries, vol. 5, no. 1, p. 31, 2019.

122
[51] A. Farmann, “A comparative study of reduced-order equivalent circuit models for
state-of-available-power prediction of lithium-ion batteries in electric vehicles,” Dis-
sertations, RWTH Aachen University, 2019.

[52] X. Hu, S. E. Li, and Y. Yang, “Advanced machine learning approach for lithium-ion
battery state estimation in electric vehicles,” IEEE Transactions on Transportation
Electrification, vol. 2, no. 2, pp. 140–149, 2016.

[53] E. Chemali, P. J. Kollmeyer, M. Preindl, and A. Emadi, “State-of-charge estimati-

on of li-ion batteries using deep neural networks: A machine learning approach,”
Journal of Power Sources, vol. 400, pp. 242–255, 2018.

[54] F. Yang, W. Li, C. Li, and Q. Miao, “State-of-charge estimation of lithium-ion batte-
ries based on gated recurrent neural network,” Energy, vol. 175, pp. 66–75, 2019.

[55] A. Khalid, A. Sundararajan, I. Acharya, and A. I. Sarwat, “Prediction of li-ion battery

state of charge using multilayer perceptron and long short-term memory models,”
in 2019 IEEE Transportation Electrification Conference and Expo (ITEC). IEEE,
19.06.2019 - 21.06.2019, pp. 1–6.

[56] C. Vidal, P. Malysz, P. Kollmeyer, and A. Emadi, “Machine learning applied to elec-
trified vehicle battery state of charge and state of health estimation: State-of-the-
art,” IEEE Access, vol. 8, pp. 52 796–52 814, 2020.

[57] J. Sihvo, T. Roinila, and D.-I. Stroe, “Soh analysis of li-ion battery based on ecm
parameters and broadband impedance measurements,” in IECON 2020 The 46th
Annual Conference of the IEEE Industrial Electronics Society. IEEE, 10/18/2020
- 10/21/2020, pp. 1923–1928.

[58] M. Gholizadeh and A. Yazdizadeh, “Systematic mixed adaptive observer and ekf
approach to estimate soc and soh of lithium–ion battery,” IET Electrical Systems in
Transportation, vol. 10, no. 2, pp. 135–143, 2020.

[59] M. Zeng, P. Zhang, Y. Yang, C. Xie, and Y. Shi, “Soc and soh joint estimation of the
power batteries based on fuzzy unscented kalman filtering algorithm,” Energies,
vol. 12, no. 16, p. 3122, 2019.

[60] G.-w. You, S. Park, and D. Oh, “Real-time state-of-health estimation for electric
vehicle batteries: A data-driven approach,” Applied Energy, vol. 176, pp. 92–103,
2016.

[61] H. Chaoui and C. C. Ibe-Ekeocha, “State of charge and state of health estima-

123
 tion for lithium batteries using recurrent neural networks,” IEEE Transactions on
Vehicular Technology, vol. 66, no. 10, pp. 8773–8783, 2017.

[62] C. Zhang, Y. Zhu, G. Dong, and J. Wei, “Data–driven lithium–ion battery states
estimation using neural networks and particle filtering,” International Journal of
Energy Research, vol. 43, no. 8, p. 3681, 2019.

[63] A. Farmann and D. U. Sauer, “A comprehensive review of on-board state-of-

available-power prediction techniques for lithium-ion batteries in electric vehicles,”
Journal of Power Sources, vol. 329, pp. 123–137, 2016. [Online]. Available:
https://www.sciencedirect.com/science/article/pii/S0378775316310308

[64] O. Bohlen, “Impedance based battery monitoring,” Ph.D. dissertation, RWTH Aa-
chen University, 2008.

[65] A. BOEHM and J. WEBER, “Adaptives verfahren zur bestimmung der maximal
abgebaren oder aufnehmbaren leistung einer batterie,” Patent WO/2011/095 368,
03.01.2011. [Online]. Available: https://patentscope.wipo.int/search/de/detail.jsf?
docId=WO2011095368

[66] W. Waag, C. Fleischer, and D. U. Sauer, “Critical review of the methods for mo-
nitoring of lithium-ion batteries in electric and hybrid vehicles,” Journal of Power
Sources, vol. 258, pp. 321–339, 2014.

[67] L. Zheng, J. Zhu, G. Wang, D. D.-C. Lu, P. McLean, and T. He, “Experimental
analysis and modeling of temperature dependence of lithium-ion battery direct
current resistance for power capability prediction,” in 2017 20th International
Conference on Electrical Machines and Systems (ICEMS). IEEE, 2017. [Online].
Available: http://dx.doi.org/10.1109/icems.2017.8056426

[68] L. W. Juang, P. J. Kollmeyer, T. M. Jahns, and R. D. Lorenz, “Improved nonlinear

model for electrode voltage–current relationship for more consistent online battery
system identification,” IEEE Transactions on Industry Applications, vol. 49, no. 3,
pp. 1480–1488, 2013.

[69] F. Sun, R. Xiong, and H. He, “Estimation of state-of-charge and state-of-power

capability of lithium-ion battery considering varying health conditions,” Journal of
Power Sources, vol. 259, pp. 166–176, 2014.

[70] L. Pei, C. Zhu, T. Wang, R. Lu, and C. C. Chan, “Online peak power prediction ba-
sed on a parameter and state estimator for lithium-ion batteries in electric vehicles,”
Energy, vol. 66, pp. 766–778, 2014.

124
[71] W. Haiying, H. Zhonghua, H. Yu, and L. Gechen, “Power state prediction
of battery based on bp neural network,” in 2012 7th International Forum
on Strategic Technology (IFOST). IEEE, 2012. [Online]. Available: http:
//dx.doi.org/10.1109/ifost.2012.6357617

[72] C. Fleischer, W. Waag, Z. Bai, and D. U. Sauer, “Self-learning state-of-available-

power prediction for lithium-ion batteries in electrical vehicles,” in IEEE Vehicle
Power and Propulsion Conference (VPPC), 2012. Piscataway, NJ: IEEE, 2012,
pp. 370–375.

[73] ——, “Adaptive on-line state-of-available-power prediction of lithium-ion batteries,”

Ph.D. dissertation.

[74] ——, “On-line self-learning time forward voltage prognosis for lithium-ion batteries
using adaptive neuro-fuzzy inference system,” vol. 243, pp. 728–749.

[75] R. Zhao, P. J. Kollmeyer, R. D. Lorenz, and T. M. Jahns, “A compact methodolo-

gy via a recurrent neural network for accurate equivalent circuit type modeling of
lithium-ion batteries,” IEEE Transactions on Industry Applications, vol. 55, no. 2,
pp. 1922–1931, 2019.

[76] C. Vidal, “Deep neural networks for improved terminal voltage and state-of-charge
estimation of lithium-ion batteries for traction applications,” Dissertation, McMaster
University, 2020. [Online]. Available: http://hdl.handle.net/11375/25851

[77] K. Reif, K.-E. Noreikat, and K. Borgeest, Kraftfahrzeug-Hybridantriebe:

Grundlagen, Komponenten, Systeme, Anwendungen, ser. ATZ / MTZ-
Fachbuch. Wiesbaden: Vieweg+Teubner Verlag, 2012. [Online]. Available:
http://gbv.eblib.com/patron/FullRecord.aspx?p=1083174

[78] S. Hayslett, K. van Maanen, W. Wenzel, and T. Husain, “The 48-v mild hybrid:
Benefits, motivation, and the future outlook,” IEEE Electrification Magazine, vol. 8,
no. 2, pp. 11–17, 2020.

[79] R. Ellinger, C. Kaup, and T. Pels, “Potenziale und grenzen von 48-v-systemen,”
ATZextra, vol. 22, no. S1, pp. 16–21, 2017.

[80] U. C. Blessing, J. Meissner, M. Schweiher, and T. Hoffmeister, “Scalable hybrid

dual-clutch transmission,” ATZ worldwide, vol. 116, no. 12, pp. 4–9, 2014.

[81] M. Schudeleit, C. Sieg, and F. Küçükay, “The potential of 48v hev in real driving,”
2015.

125
[82] R. Bao, V. Avila, and J. Baxter, “Effect of 48 v mild hybrid system layout on po-
wertrain system efficiency and its potential of fuel economy improvement,” in SAE
Technical Paper Series, ser. SAE Technical Paper Series. SAE International400
Commonwealth Drive, Warrendale, PA, United States, 2017.

[83] A. Bongards, S. Mohon, D. Semenov, and W. Wenzel, “Comparing 48v mild hybrid
concepts using a hybrid-simulation-toolkit,” in 19. Internationales Stuttgarter Sym-
posium, ser. ATZ live, A. Wagner, M. Bargende, H.-C. Reuss, and J. Wiedemann,
Eds. Wiesbaden and [Heidelberg]: Springer Vieweg, 2019, pp. 1085–1100.

[84] Nahlbach, Körner, Kahnt, “Active engine-off coasting using 48v: Economic reduc-
tion of co2 emissions: Baden-baden, 14. and 15. october 2015 = 17th international
congress eliv 2015,” 17. Internationaler Kongress ELIV 2015, vol. 2249, 2015.

[85] J. Benajes, A. García, J. Monsalve-Serrano, and S. Martínez-Boggio, “Optimization

of the parallel and mild hybrid vehicle platforms operating under conventional and
advanced combustion modes,” Energy Conversion and Management, vol. 190, pp.
73–90, 2019.

[86] S. Barth, M. Fischer, and J. Böttcher, “Analyse kundenrelevanter vorteile der 48-v-
hybridisierung,” MTZ Motortech Z, vol. 79, no. 12, pp. 52–57, 2018.

[87] Hans-Martin Fischer and Dr. Reiner Korthauer, “48-volt-bordnetz: Schlüsseltech-

nologie auf dem weg zur elektromobilität,” 2015.

[88] A. D. Wearing, J. Haybittle, R. Bao, J. W. Baxter, C. Rouaud, and O. Taskin, “Deve-

lopment of high power 48v powertrain components for mild hybrid light duty vehicle
applications,” in 2018 IEEE Energy Conversion Congress and Exposition (ECCE).
Piscataway, NJ: IEEE, 2018, pp. 3893–3900.

[89] A. Fatemi, T. Nehl, X. Yang, L. Hao, S. Gopalakrishnan, A. Omekanda, and C. Na-

muduri, “Design of an electric machine for a 48-v mild hybrid vehicle,” in 2018 IE-
EE Energy Conversion Congress and Exposition (ECCE). Piscataway, NJ: IEEE,
2018, pp. 2278–2285.

[90] C. Suarez and W. Martinez, “Fast and ultra-fast charging for battery electric vehic-
les – a review,” in ECCE 2019. Piscataway, NJ: IEEE, 2019, pp. 569–575.

[91] A. Eftekhari, “Lithium-ion batteries with high rate capabilities,” ACS Sustainable
Chemistry & Engineering, vol. 5, no. 4, pp. 2799–2816, 2017.

126
 [92] C. Bergmeir and J. M. Benítez, “On the use of cross-validation for time series
predictor evaluation,” Information Sciences, vol. 191, pp. 192–213, 2012.

[93] A. Lahiani, “Deep learning solutions for cancer drug development in digital patho-
logy,” Ph.D. dissertation, München, 2020.

[94] S. Albawi, T. A. Mohammed, and S. Al-Zawi, “Understanding of a convolutional

neural network,” in Proceedings of 2017 International Conference on Engineering
& Technology (ICET’2017). Piscataway, NJ: IEEE, 2017, pp. 1–6.

[95] I. J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair,

A. Courville, and Y. Bengio, “Generative adversarial networks,” 2014. [Online].
Available: https://arxiv.org/pdf/1406.2661

[96] A. Radford, L. Metz, and S. Chintala, “Unsupervised representation learning

with deep convolutional generative adversarial networks.” [Online]. Available:
https://arxiv.org/pdf/1511.06434

[97] S. Gessulat, “A deep learning model for the proteome-wide prediction of peptide
tandem mass spectra,” Ph.D. dissertation, München, 2020.

[98] P. J. Werbos, “Backpropagation through time: what it does and how to do it,” Pro-
ceedings of the IEEE, vol. 78, no. 10, pp. 1550–1560, 1990.

[99] Ilya Sutskever, “Training recurrent neural networks,” Dissertation, University of

Toronto, Toronto, 2013. [Online]. Available: https://www.cs.utoronto.ca/~ilya/pubs/
ilya_sutskever_phd_thesis.pdf

[100] E. N. Lorenz, “Deterministic nonperiodic flow,” Journal of the Atmospheric

Sciences, vol. 20, no. 2, pp. 130–141, 1963.

[101] M. Madondo and T. Gibbons, Learning and modeling chaos using lstm recurrent
neural networks, 2018. [Online]. Available: http://micsymposium.org/mics2018/
proceedings/mics_2018_paper_26.pdf

[102] S. Hochreiter, Untersuchungen zu dynamischen neuronalen Netzen, 1991.

[Online]. Available: https://scholar.google.de/citations?user=tvuh3wmaaaaj&hl=
de&oi=sra

[103] Y. Bengio, P. Simard, and P. Frasconi, “Learning long-term dependencies with gra-
dient descent is difficult,” IEEE transactions on neural networks, vol. 5, no. 2, pp.
157–166, 1994.

127
[104] O. Scheel, “Using deep neural networks for scene understanding and behaviour
prediction in autonomous driving,” Ph.D. dissertation, Technische Universität Mün-
chen, München, 2020.

[105] S. Hochreiter and J. Schmidhuber, “Long short-term memory,” Neural computation,

vol. 9, no. 8, pp. 1735–1780, 1997.

[106] K. Cho, B. van Merrienboer, C. Gulcehre, D. Bahdanau, F. Bougares,

H. Schwenk, and Y. Bengio, “Learning phrase representations using rnn
encoder-decoder for statistical machine translation,” 2014. [Online]. Available:
https://arxiv.org/pdf/1406.1078

[107] A. M. Javid, S. Das, M. Skoglund, and S. Chatterjee, “A relu dense layer to impro-
ve the performance of neural networks,” in ICASSP 2021 - 2021 IEEE Internatio-
nal Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE,
6/6/2021 - 6/11/2021, pp. 2810–2814.

[108] F. Altche and A. de La Fortelle, “An lstm network for highway trajectory prediction,”
in IEEE ITSC 2017. Piscataway, NJ: IEEE, 2017, pp. 353–359.

[109] I. Goodfellow, Y. Bengio, and A. Courville, “Deep learning,” Ph.D. dissertation,

Cambridge, Massachusetts and London, England, 2016. [Online]. Available:
http://www.deeplearningbook.org/

[110] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan
Salakhutdinov, “Dropout: A simple way to prevent neural networks from overfitting,”
Journal of Machine Learning Research, vol. 15, no. 56, pp. 1929–1958, 2014.
[Online]. Available: http://jmlr.org/papers/v15/srivastava14a.html

[111] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez,

L. Kaiser, and I. Polosukhin, “Attention is all you need,” 2017. [Online]. Available:
https://arxiv.org/pdf/1706.03762

[112] J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “Bert: Pre-training of deep
bidirectional transformers for language understanding,” 2018. [Online]. Available:
https://arxiv.org/pdf/1810.04805

[113] M. Radfar, A. Mouchtaris, and S. Kunzmann, “End-to-end neural transformer

based spoken language understanding,” 2020. [Online]. Available: https:
//arxiv.org/pdf/2008.10984

128
[114] David Kriesel, “Ein kleiner überblick über neuronale netze,” Ph.D. dissertation,
2007. [Online]. Available: erhÃd’ltlichaufhttp://www.dkriesel.com

[115] S. Ruder, “An overview of gradient descent optimization algorithms,” Ph.D.

dissertation, Dublin, 2016. [Online]. Available: https://arxiv.org/pdf/1609.04747

[116] M. Rana, M. M. Uddin, and M. M. Hoque, “Effects of activation functions and opti-
mizers on stock price prediction using lstm recurrent networks,” in Proceedings of
2019 3rd International Conference on Computer Science and Artificial Intelligence
;, ser. ICPS. New York, New York: The Association for Computing Machinery,
2019, pp. 354–358.

[117] D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” Ph.D.
dissertation, University of Amsterdam, Amsterdam, 2014. [Online]. Available:
https://arxiv.org/pdf/1412.6980

[118] X. Qian and D. Klabjan, “The impact of the mini-batch size on the
variance of gradients in stochastic gradient descent,” 2020. [Online]. Available:
https://arxiv.org/pdf/2004.13146

[119] H. Wang, K. Ren, and J. Song, “A closer look at batch size in mini-batch training
of deep auto-encoders,” in 2017 3rd IEEE International Conference on Computer
and Communications (ICCC). Piscataway, NJ: IEEE, 2017, pp. 2756–2761.

[120] L. Bottou, F. E. Curtis, and J. Nocedal, “Optimization methods for large-scale

machine learning,” Ph.D. dissertation, Lehigh University Bethlehem, Bethlehem,
2016. [Online]. Available: https://arxiv.org/pdf/1606.04838

[121] S. Ioffe and C. Szegedy, “Batch normalization: Accelerating deep network

training by reducing internal covariate shift,” 2015. [Online]. Available: http:
//arxiv.org/pdf/1502.03167v3

[122] S. Karsoliya, “Approximating number of hidden layer neurons in multiple hidden

layer bpnn architecture,” International Journal of Engineering Trends and Techno-
logy, vol. 3, no. 6, pp. 714–717, 2012.

[123] J. M. Alvarez and M. Salzmann, “Learning the number of neurons in deep net-
works,” Ph.D. dissertation, 2018/10/11.

[124] P. Liashchynskyi and P. Liashchynskyi, “Grid search, random search, genetic

algorithm: A big comparison for nas,” 2019. [Online]. Available: http://arxiv.org/pdf/
1912.06059v1

129
[125] A. Klein, S. Falkner, S. Bartels, P. Hennig, and F. Hutter, “Fast bayesian
optimization of machine learning hyperparameters on large datasets,” vol. 54, pp.
528–536, 2017. [Online]. Available: http://proceedings.mlr.press/v54/klein17a.html

[126] T. Agrawal, “Hyperparameter optimization in machine learning: Make your machine

learning and deep learning models more efficient,” Ph.D. dissertation, Berkeley
CA, 2021.

[127] T. Akiba, S. Sano, T. Yanase, T. Ohta, and M. Koyama, “Optuna,” in KDD’19, A. Te-
redesai, V. Kumar, Y. Li, R. Rosales, E. Terzi, and G. Karypis, Eds. New York, NY:
Association for Computing Machinery, 2019, pp. 2623–2631.

[128] R. J. Williams and D. Zipser, “A learning algorithm for continually running fully
recurrent neural networks,” Neural computation, vol. 1, no. 2, pp. 270–280, 1989.

[129] T. He, J. Zhang, Z. Zhou, and J. Glass, “Quantifying exposure bias for open-ended
language generation,” 2019. [Online]. Available: https://arxiv.org/pdf/1905.10617

[130] S. Bengio, O. Vinyals, N. Jaitly, and N. Shazeer, “Scheduled sampling for

sequence prediction with recurrent neural networks,” 2015. [Online]. Available:
https://arxiv.org/pdf/1506.03099

[131] O. Demir-Kavuk, M. Kamada, T. Akutsu, and E.-W. Knapp, “Prediction using step-
wise l1, l2 regularization and feature selection for small data sets with large number
of features,” BMC Bioinformatics, vol. 12, no. 1, 2011.

[132] P. S. Crowther and R. J. Cox, “A method for optimal division of data sets for use
in neural networks,” in Knowledge-Based Intelligent Information and Engineering
Systems, R. Khosla, R. J. Howlett, and L. C. Jain, Eds. Berlin, Heidelberg: Sprin-
ger Berlin Heidelberg, 2005, pp. 1–7.

[133] P. Skryjomski and B. Krawczyk, “Influence of minority class instance types on

smote imbalanced data oversampling,” in Proceedings of the First International
Workshop on Learning with Imbalanced Domains: Theory and Applications, ser.
Proceedings of Machine Learning Research, L. Torgo, B. Krawczyk, P. Branco,
and N. Moniz, Eds., vol. 74. ECML-PKDD, Skopje, Macedonia: PMLR, 2017, pp.
7–21. [Online]. Available: http://proceedings.mlr.press/v74/skryjomski17a.html

[134] N. Nnamoko and I. Korkontzelos, “Efficient treatment of outliers and class imbalan-
ce for diabetes prediction,” Artificial intelligence in medicine, vol. 104, p. 101815,
2020.

130
[135] Elhassan AT, Aljourf M, Al-Mohanna F, and Shoukri M, Classification of Imbalance
Data using Tomek Link (T-Link) Combined with Random Under-sampling
(RUS) as a Data Reduction Method, 2016, vol. 01. [Online]. Available:
https://www.researchgate.net/profile/mohamed_shoukri/publication/326590590_
classification_of_imbalance_data_using_tomek_link_t-link_combined_with_
random_under-sampling_rus_as_a_data_reduction_method

[136] S. Vimalraj and P. Dr.R, “A review on handling imbalanced data,” 2018.

[137] Yuriko Okazaki, Shinichiro Okazaki, Shingo Asamoto, and Pang-jo Chun,
“Undersampling strategy for machine-learned deterioration regression model in
concrete bridges,” Journal of Advanced Concrete Technology, vol. 18, no. 12, pp.
753–766, 2020. [Online]. Available: https://www.jstage.jst.go.jp/article/jact/18/12/
18_753/_article/-char/ja/

[138] M. Beckmann, N. F. F. Ebecken, and B. S. L. Pires de Lima, “A knn undersampling

approach for data balancing,” Journal of Intelligent Learning Systems and Applica-
tions, vol. 07, no. 04, pp. 104–116, 2015.

[139] I. Tomek et al., “An experiment with the edited nearest-nieghbor rule,” 1976.

[140] L. Torgo, P. Branco, R. P. Ribeiro, and B. Pfahringer, “Resampling strategies for

regression,” Expert Systems, vol. 32, no. 3, pp. 465–476, 2015.

[141] H. He, Y. Bai, E. A. Garcia, and S. Li, “Adasyn: Adaptive synthetic sampling ap-
proach for imbalanced learning,” in IEEE International Joint Conference on Neural
Networks, 2008. Piscataway, NJ: IEEE, 2008, pp. 1322–1328.

[142] H. Dubey and V. Pudi, “Class based weighted k-nearest neighbor over imbalance
dataset,” in Advances in Knowledge Discovery and Data Mining, ser. Lecture Notes
in Computer Science / Lecture Notes in Artificial Intelligence, D. Hutchison, T. Ka-
nade, and J. Kittler, Eds. Berlin/Heidelberg: Springer Berlin Heidelberg, 2013,
vol. 7819, pp. 305–316.

[143] N. V. Chawla, K. W. Bowyer, L. O. Hall, and W. P. Kegelmeyer, “Smote: Synthetic

minority over-sampling technique,” J. Artif. Int. Res., vol. 16, no. 1, pp. 321–357,
2002.

[144] A. Ali and N. Senan, “The effect of normalization in violence video classification
performance,” IOP Conference Series: Materials Science and Engineering, vol.
226, p. 012082, 2017.

131
[145] Gökhan AKSU, Cem Oktay GÜZELLER, and Mehmet Taha ESER, “The
effect of the normalization method used in different sample sizes on the
success of artificial neural network model,” International Journal of Assessment
Tools in Education, vol. 6, no. 2, pp. 170–192, 2019. [Online]. Available:
https://dergipark.org.tr/en/pub/ijate/issue/44255/479404

[146] Z. M. Zain and N. M. Alturki, “Covid-19 pandemic forecasting using cnn-lstm: A

hybrid approach,” Journal of Control Science and Engineering, vol. 2021, pp. 1–
23, 2021.

[147] B. Mu, J. Li, S. Yuan, and X. Luo, “Prediction of north atlantic oscillation index
associated with the sea level pressure using dwt-lstm and dwt-convlstm networks,”
Mathematical Problems in Engineering, vol. 2020, pp. 1–14, 2020.

[148] D. Jerouschek, O. Tan, R. Kennel, and A. Taskiran, “Modeling lithium-ion batteries

using machine learning algorithms for mild-hybrid vehicle applications,” in 2021
International Conference on Smart Energy Systems and Technologies (SEST).
IEEE, 9/6/2021 - 9/8/2021, pp. 1–6.

[149] D. Jerouschek, Ö. Tan, R. Kennel, and A. Taskiran, “Data preparation and trai-
ning methodology for modeling lithium-ion batteries using a long short-term memo-
ry neural network for mild-hybrid vehicle applications,” Applied Sciences, vol. 10,
no. 21, p. 7880, 2020.

[150] L. Li, K. Jamieson, A. Rostamizadeh, E. Gonina, M. Hardt, B. Recht, and

A. Talwalkar, “A system for massively parallel hyperparameter tuning,” Conference
on Machine Learning and Systems, vol. 2020, 2020. [Online]. Available:
https://arxiv.org/pdf/1810.05934

[151] X. Li, S. Chen, X. Hu, and J. Yang, “Understanding the disharmony between
dropout and batch normalization by variance shift,” 2018. [Online]. Available:
https://arxiv.org/pdf/1801.05134

[152] A. Komatsuzaki, “One epoch is all you need,” 2019. [Online]. Available:
http://arxiv.org/pdf/1906.06669v1

[153] F. Yang, X. Song, F. Xu, and K.-L. Tsui, “State-of-charge estimation of lithium-ion
batteries via long short-term memory network,” IEEE Access, vol. 7, pp. 53 792–
53 799, 2019.

[154] C. Li, F. Xiao, and Y. Fan, “An approach to state of charge estimation of lithium-ion

132
 batteries based on recurrent neural networks with gated recurrent unit,” Energies,
vol. 12, no. 9, p. 1592, 2019.

[155] A. Haubrock, “Degradationsuntersuchungen von lithium-ionen batterien bei deren

einsatz in elektro- und hybridfahrzeugen,” Ph.D. dissertation, Göttingen, 2011.

133