Herausgegeben von Mirko Schrempp

Big Data – Executive Briefing

ISBN: 978-3-86802-443-2

© 2012 entwickler.press

Ein Imprint der Software & Support Media GmbH

Vorwort

Liebe Leserinnen und Leser,

es gibt keine „Abkürzung zu Big Data, aber es gibt diesen „shortcut der Ihnen in kompakter Form einige Facetten dieses wirklich großen Themas vorstellen wird.

Die Erfahrungen und Denkanstöße dieser Publikation sollen Ihnen helfen, individuelle Lösungen für Ihren Big-Data-Anwendungsfall zu finden. Keiner der Autoren hat dabei eine einfache Definition von Big Data zur Hand oder kennt den Königsweg. Es ist auch nicht die Mega-, Peta- oder Exabytegrenze für sich, die Big Data ausmacht, sondern es geht um die Herausforderung, aus der gegebenenfalls schon vorhandenen Datenmenge einen neuen Geschäftswert zu schöpfen.

Die Artikel dieser Ausgabe stammen allesamt aus dem Business Technologie Magazin und fokussieren in ihrer Zusammenstellung einen Aspekt von Big Data – Executive Briefing. Das innovative E-Book-Format „shortcuts" ist die nächste Generation von IT-Fachbüchern und wird Ihnen in Kooperation der Business Technology Redaktion mit entwickler.press präsentiert.

Viel Erfolg mit Big Data!

Mirko Schrempp

Redakteur Business Technology

Big Data und ich

Kreativität aus rohen Daten

von Christian Meder

Big Data ändert die traditionellen Spielregeln der Datenanalyse auf fundamentale Weise, indem es den Fokus, die Kosten und die Aufwände von der Vorverarbeitung und Aggregation der Daten auf die eigentliche Analyse verschiebt. Daten werden roh, unstrukturiert und in nahezu beliebiger Menge speicherbar. Die Analyse vieler Probleme kann trotzdem parallel und performant durchgeführt werden. Aber die Analyse funktioniert nicht wie gewohnt. Welche Auswirkungen hat diese Neufokussierung auf die Prozesse der Datenanalyse? Auf die Anforderungen an die Analysespezialisten? Auf die Möglichkeiten der Fachabteilung?

Big Data ist aktuell ein sehr beliebtes Thema in IT-Zirkeln. Egal, ob Produkthersteller, Softwarearchitekt oder IT-Berater, die ganze Branche diskutiert die „Big-Data-Revolution" und ihre Auswirkungen auf den Umgang und die Auswertung von Daten. In Deutschland wird die Debatte zusätzlich noch durch die generelle Diskussion über das Datensammeln und Fragen des Datenschutzes beflügelt. Dieser Artikel möchte für die kreativen Möglichkeiten im Big Data werben, aber die Herausforderungen auf dem Weg auch systematisch andiskutieren. Wenn dabei die Referenzen des vorliegenden Artikels vorrangig aus dem amerikanischen Umfeld entlehnt sind, liegt das vor allem am nur spärlich vorhandenen veröffentlichten Material im deutschen und europäischen Sprachraum.

Was ist Big Data?

Geht man direkt von der gewählten Benennung aus, ist ein erstes Kriterium sicherlich, dass es sich um große Datenmengen handelt, die es zu analysieren gilt. Was aber ist das Besondere an der Größe der zu verarbeitenden Datenmenge? Meist definiert man die Datenmenge als zu groß [1]: zu groß für die Verarbeitung mithilfe von traditionellen RDBMS-basierten Lösungen. Die Datenmenge übersteigt eine mit vertretbarem Aufwand und Kosten für Analysezwecke betreibbare relationale Datenbank. Hier handelt es sich durchaus um eine typische IT-Herausforderung, da die Speicherung in RDBMS mit zunehmender Anzahl der Datensätze schnell kostspielig wird. Häufig werden aus diesem Grund archivierte Daten aus dem Datenbanksystem ausgelagert und stehen daher überhaupt nicht für eine einfache Analyse zur Verfügung. Typische Beispiele sind komplette Log-Daten von E-Commerce-Seiten oder Anwendungen des Social Web, aber auch die vollständigen Messdaten von Produktionsmaschinen oder ganzen Fertigungsstraßen.

Ein zweites häufig genanntes Kriterium ist, dass die Daten zu unstrukturiert sind, um sie unverarbeitet sinnvoll in einer strukturierten, relationalen Datenbank zu speichern. Ein möglicher Weg ist die Aufbereitung