IV.
DATA C LEANING die besten Ergebnisse für den jeweiligen Anwendungsbereich
Data Cleaning Routinen erzielen ein ”Säubern“ der Daten,
indem fehlende Werte ersetzt, fehlerhafte Daten angepasst,
Ausreißer entfernt und Inkonsistenzen aufgelöst werden. (nach
[3])
A. Fehlende Werte
Für die Ersetzung von nicht erfassten Werten in Tupeln
können die folgenden automatisierten Methoden herangezogen
werden (nach [5]). Wichtig ist hierbei, dass der neue Wert
jeweils repräsentativ ist, sodass die Validität des Datensatzes
gewährt bleibt.
1) Tupel verwerfen: Dies ist ein sehr konservativer An-
satz, bei dem Tupel, die nicht in allen Attributen korrekte
Werte besitzen, verworfen werden. Der Vorteil davon ist,
dass dadurch Datenfehler, die auf fehlenden Werten beru-
hen vermieden werden. Dahingegen ergibt sich ein großer
Nachteil: Die Aussagekraft der nachfolgenden Datenanalysen
wird beeinträchtigt, da viele Tupel unnötigerweise komplett
verworfen werden und dabei wichtige Informationen verloren
gehen können. Da in der Praxis ein Großteil der Instanzen
fehlende Werte besitzen ist dies keine sinnvolle Methode.
2) Durchschnittliche Werte einsetzen: Ein fehlender Wert
kann in Abhängigkeit der im Datensatz vorhandenen Wer-
te geschätzt werden. Bei kategorischen Wertebereichen wie
zum Beispiel ”sonnig”, “bewölkt“, etc. kann schlicht der
am häufigsten vorkommende Wert gewählt werden. Bei kon-
tinuierlichen Wertebereichen, z.B. Temperaturskalen, kann
der Durchschnittwert gebildet und eingesetzt werden. Diese
Strategie bringt allerdings ein störendes ”Rauschen” in den
Datensatz. So wäre es zum Beispiel nicht ratsam, einen
fehlenden Temperaturwert im Monat November durch den
Jahresdurchschnitt der Temperaturwerte zu ersetzen, da der
Temperaturverlauf genauer durch mathematische Funktionen
angenähert werden könnte.
3) Wahrscheinliche Werte berechnen: Durch Data Mining
Methoden wie Association Rules oder Bayes’sche Netze
können für fehlende Werte wahrscheinliche Ersatzwerte be-
rechnet werden. Diese Methoden gehen allerdings schon einen
Schritt weiter in der Data Mining Pipeline.
4) Markierenden Wert einsetzen: Falls wahrscheinliche
Werte nicht ermittelbar sind, bleibt die Möglichkeit den fehlen-
den Wert explizit als Lücke zu markieren. Hierbei kann zusätz-
lich zwischen unbekannten, absichtlich nicht erfassten und
irrelevanten fehlenden Werten unterschieden werden. Wenn
beispielsweise bei einer archäologischen Untersuchung das
Skelett nicht vollständig rekonstruierbar ist und damit ein
Attribut ”Skelettgröße” keinen Wert annehmen kann, so ist
dies eine wichtige Information und muss extra gespeichert
werden.
Diese Methoden sind die grundlegenden Ansätze im Um-
gang mit fehlenden Werten. Jedoch gibt es, wie so oft im
Bereich des Data Minings, keine eine Methode, die vertrau-
enswürdiger als alle anderen für jeden beliebigen Datensatz
ist. In der Praxis müssen daher eine Reihe möglicher Stra-
tegien angewandt werden und diejenige ermittelt werden, die
liefert. (nach [5])
B. Fehlerhafte Daten
Es wird zwischen zwei Arten von fehlerhaften Daten un-
terschieden: Invalide Werte liegen außerhalb des möglichen
Wertebereichs. Diese können leicht erkannt und entweder
korrigiert oder verworfen werden. Dahingegen beinhalten
störungsbehaftete Daten zufällige Fehler und Abweichungen
in einem bestimmten erfassten Attribut (nach [3]). Um die
Daten zu “glätten“ gibt es verschiedene Techniken:
1) Computergestützte Untersuchung: Indem man zunächst
die Daten in Cluster sortiert und anschließend eine Übersicht
über die Daten erstellt, kann ein Mensch die Ausreißer iden-
tifizieren und erkennen. Zudem können so bisher unbekannte
Programmierregeln entdeckt werden, wie zum Beispiel dass
9999 für einen fehlenden Wert in der Attributspalte “Jahr“
verwendet wird (aus [4]). Dieses Verfahren kann allerdings
keine kleineren Abweichungen korrigieren.
2) Regression: Für die Erkennung von kleinen Abweichun-
gen dient die Regression. Indem der Verlauf der Daten aus
kontinuierlichen Wertebereichen durch eine mathematische
Funktion angenähert wird, können Gesetzmäßigkeiten erkannt
und damit neue Werte vorhergesagt werden.
Ein etwas komplexerer Ansatz, um Ausreißer zu erkennen
wird im Kapitel 8 beschrieben, um ein Beispiel dafür zu geben
welche Algorithmen in der Praxis verwendet werden.
C. Inkonsistente Daten
Das Entfernen von Inkonsistenz ähnelt bezüglich des
Ablaufs der Computergestützten Untersuchung. Ein Computer
kann beispielsweise Routinen auf den Daten laufen lassen, um
gleichnamige Attribute mit unterschiedlichen Bedeutungen
bzw. unterschiedlich genannte Attribute, die dieselben Werte
beschreiben, zu erkennen. Ebenso können auf der Grundlage
von funktionalen Abhängigkeiten zwischen Attributen Werte
mit widersprüchlichen funktionalen Bedingungen gefunden
werden. (nach [3]) In den meisten Fällen müssen die
Inkonsistenzen jedoch manuell aufgelöst werden.
Nachdem die einzelnen Methoden und Algorithmen auf
den Daten angewandt wurden, stehen nun Datensätze mit
bestmöglich korrigierten Daten bereit. Diese müssen nun
noch zusammengefügt, transformiert und reduziert werden.
V. DATA I NTEGRATION
Für Data Mining-basierte Analysen wird oft ein große An-
zahl an Daten aus verschiedenen Quellen benötigt. So müssen
beispielsweise für computergestützte Entscheidungsfindung in
Unternehmen Daten aus den einzelnen Abteilungen zusam-
mengefügt werden, ehe mit der Analyse begonnen werden
kann. Zudem werden oft auch externe Quellen wie zum
Beispiel Demografie-Statistiken herangezogen. Dadurch ent-
steht die Herausforderung der Data Integration, verschiedene
Schemata, Datentypen, Attributbezeichnungen etc. in einen
Datensatz zu integrieren. Bezüglich des oben beschriebenen