Vom Labor zur Fabrik:

Das Big-Data-
Management-
Workbook.
Wie Sie Big-Data-Experimente auf wiederholbare
Weise umsetzen – und Fehler vermeiden.
Inhalt

Tipp: Klicken Sie auf die Teile, um zum

gewünschten Abschnitt zu springen.

Einführung Teil 3
Big Data: Vom Experiment Die drei Säulen von
zur Monetarisierung. 3 Big-Data-Management. 20

Teil 1 Integration von Big Data. 21

Den Elefanten reiten. 6
Big-Data-Qualität und Governance. 24
Auseinandersetzung mit den
Einschränkungen von Hadoop. 7 Big-Data-Sicherheit. 26

Die Bedeutung von Big-Data-Management. 10 Eine Referenzarchitektur für

Big-Data-Management. 28
Teil 2
Das Labor, die Fabrik und die Strategie. 12 Schlussfolgerung
Abfragen, Erneuern, Investieren. 31
Big-Data-Management:
Zwei Seiten einer Medaille. 13

Aufbau eines Big-Data-Labors. 14

Die Anforderungen des Labors. 15

Aufbau einer Big-Data-Fabrik. 17

Die Anforderungen der Fabrik. 18

2— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.

 Einführung

Big Data: Vom
Experiment zur
Monetarisierung.

3— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.

 Einführung

„Voraussetzungen für Erfindung und Innovation:

1. Die Möglichkeit, uneingeschränkt
experimentieren zu können.

2. Die Möglichkeit, Begleitschäden gescheiterter

Experimente ignorieren zu können.“1
Andy Jassy, SVP, Amazon Web Services

4— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.

Einleitung
Big Data: Vom Experiment
zur Monetarisierung.
Auch jenseits des Hypes ist mittlerweile allen klar
geworden, dass Big Data eine echte Chance für
das Unternehmenswachstum bedeuten kann.
Big Data macht bestehende Geschäftsprozesse
effizienter, denn sie ermöglichen eine präzisere und
zeitnähere Betrugserkennung2, bessere vorbeugende
Maschinenwartung3 und bessere Kundenbetreuung4.
Darüber hinaus bietet Big Data ein großes Potenzial
für Innovationen.
• F orscher an der University of Pittsburgh Medical
Center (UPMC) haben es zum ersten Mal geschafft,
klinische und genomische Daten zu Brustkreb­
spatienten zusammenzuführen5.
• Der Automobilhersteller GM setzt Telematik und
Breitband in seinen neuen Modellen ein und kann
so die Beziehung zwischen Fahrzeugen, Fahrern
und Händlern vollkommen neu gestalten6, 7.
5— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
• D
 er Versicherungsanbieter Progressive testete mit
Big Data Neuentwicklungen im Bereich des
Kunden­dienstes. So konnten beispielsweise
Fahrzeugschäden in komplexen 3D-Bildern
aufgezeichnet und überwacht werden8.
• E in weltweit tätiger Dienstleister für Mobilkom­muni­
kation setzte komplexe Analysen in standortbasiertes
Marketing um und konnte die Annahmerate seiner
Wi-Fi-Dienste verbessern9.
Wenn Ihr Unternehmen das Potenzial von Big Data
umfassend nutzen möchte, benötigen Sie eine
Unternehmensarchitektur, die zwei unterschiedliche
Zielrichtungen unterstützen kann.
1. A
 ufbereitung der Daten für Analysen in einer
Laborumgebung, in der Analysten sinnvolle
Experimente, Tests und Pilotversuche ausführen.
2. Aufbereitung der Daten für die Produktion in einer
Fabrikumgebung, in der sie nach der Operatio­
nalisierung für spezifische Projekte und Produkte
genutzt werden können.
Die gute Nachricht: Die unterschiedlichen Anforde­
rungen, die beide Zielrichtungen stellen, können
von einigen gemeinsamen Architekturkomponenten
abgedeckt werden.
Besser noch: Einige Vorreiter auf diesem Gebiet
haben bereits Architekturen aufgebaut, die beiden
Zielen gerecht werden.
Wichtig sind ein gemeinsamer Satz an Standards
für die Datenverwaltung sowie Technologien, die
die Projekte reibungslos und vorhersehbar von der
Labor- in die Fabrikumgebung überführen.
In diesem Workbook werden die Lösungswege
vorgestellt.
Auf der Grundlage der Erkenntnisse, Erfahrungen
und Best Practices der Vorreiter zeigen wir Ihnen die
Ziele, Fallstricke und wesentlichen Aspekte bei der
Verwaltung von Big Data.
Fangen wir an.
 Teil 1

Den Elefanten reiten.

6— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.

Teil 1 – Den Elefanten reiten
Auseinandersetzung mit den
Einschränkungen von Hadoop.
Das Interesse an Hadoop war nie größer. Die Investi­
tionen sind hoch10. Das ist großartig. Denn Hadoop
ist für Unternehmen eine wichtige Möglichkeit, die
Kosten für Datenspeicherung und -verarbeitung
zu reduzieren und gleichzeitig von einer nahezu
unbegrenzten Skalierbarkeit zu profitieren.
Zweifelsohne trägt Hadoop wesentlich zum Erfolg
von Big Data bei.
Es ist jedoch keine Wunderwaffe.
Man kann nicht einfach jede Menge heterogener
Daten darin abladen und analysieren. Tatsächlich
zeigt das Hadoop-System noch erhebliche
Einschränkungen:
7— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
Fachkompetenzmangel
Die größte Hürde für den Erfolg von Hadoop ist noch
immer der Mangel an fachkundigen Anwendern
und die Fülle an Unterprojekten11. Diese Nachteile
machen nicht nur die Personalbesetzung Ihres
Big-Data-Projekts teurer, sondern können aufgrund
fehlender Projektressourcen auch die Skalierbarkeit
beeinträchtigen.
Sie können zwar ein Pilotprojekt mit einer kleinen
Gruppe von Experten ins Leben rufen, es ist aber
nicht möglich, den gesamten Code auf effiziente
Weise manuell zu operationalisieren und zu verwalten.
Mangelnde Datenverwaltung
Unstrukturierte und schemafreie Daten verlangen
andere Verwaltungsmethoden. Beispielsweise
speichert Hadoop viele Metadaten eines traditionellen
RDBMS nicht. Es unterstützt auch andere Speicher-
und Abfrageparadigmen wie etwa Hive, HBase,
Impala, Spark usw. Das Hadoop-System wird
zwar kontinuierlich weiterentwickelt, es fehlen
ihm jedoch wichtige Datenverwaltungsfunktionen
rund um Governance, Datenqualität, Stammdaten­
verwaltung, Metadatenverwaltung und Unterstützung
für SQL nach ANSI-Standard.
Eingeschränkte Sicherheit
Kerberos hat sich zwar als Standard innerhalb
von Hadoop etabliert, Authentifizierung und
Autorisierung reichen jedoch nicht aus, um eine
Hadoop-Implementierung ganzheitlich zu schützen.
Dies gilt insbesondere für Produktionsumgebungen,
die Daten von mehreren Systemen und Regionen
übertragen und abrufen.
Wie immer tauchen neue Tools für die Sicherheits­
auto­risierung auf (zum Beispiel Sentry und Knox).
Gleichzeitig gibt es jedoch auch immer mehr
Sicherheitsbedrohungen. Sie müssen daher außerhalb
von Hadoop nach Tools schauen, die Ihre Daten auch
im Falle von Sicherheitsverletzungen schützen können.
Hier wären Tools für Data Masking, Verschlüsselung
und Tokenisierung zu nennen.
Teil 1 – Den Elefanten reiten
Auseinandersetzung mit den
Einschränkungen von Hadoop.
Ständige Veränderungen
Das Ökosystem von Hadoop bleibt dem kontinuier­
lichen Wandel unterworfen, während neue Versionen
und Technologien entstehen. Für Unternehmen stellt
dies sowohl eine Chance als auch eine Hürde dar.
Ein Beispiel dazu: Auch wenn Spark als wesentlich
schneller bei der dezentralen Verarbeitung gilt als
MapReduce12, ist bei vielen manuell programmierten
Projekten, die früh auf MapReduce gesetzt haben,
nun ein Kurswechsel erforderlich.
Steigende Kosten
Wie bereits erwähnt, ermöglichen die geringen
Startkosten von Hadoop und die Cloud-Speicherung
ein relativ leichtes Starten eines Pilotprojekts. Im
Hinblick auf die Umsetzung sind Personalbesetzung,
Pflege sowie Verwaltung Ihrer Umgebung jedoch
eine ganz andere Geschichte.
8— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
Die Skalierung bringt neue Kosten mit sich, und wenn
Sie in Bezug auf Automatisierung keine intelligenten
Entscheidungen treffen, könnte sich der Versuch, die
anfängliche manuelle Programmierung zu erweitern,
als ineffizient und kostspielig erweisen.
Fazit: Das Hadoop-Ökosystem ist entscheidend für
den Erfolg von Big-Data-Initiativen des Unternehmens.
Alle Ihre Big-Data-Herausforderungen anzugehen,
reicht jedoch nicht aus, insbesondere wenn es um
das Aufbauen einer gemeinsamen Architektur geht,
die sowohl für den Einsatz in Labor- als auch in
Fabrikumgebungen geeignet ist.
Sie müssen über die Persistenzschicht Ihres
Datenspeichers hinausschauen, um Ihre Architektur
optimieren, schützen und zukunftssicher gestalten
zu können.
Teil 1 – Den Elefanten reiten
Überwindung der Beschränkungen von Visualisierungs- und Analysetools
Genau wie Hadoop finden auch Visualisierungs- und
Analysetools im Big-Data-Kontext große Beachtung.
Auch hier gilt jedoch, analog zu Hadoop, dass der
Nutzen der Tools ohne die geeigneten Daten nur
beschränkt ist. Sie sind zwar notwendig, um den
Datenzugriff zu demokratisieren, sind aber für die
Datenverwaltung selbst nicht ausreichend.
Und ohne einen zuverlässigen, reproduzierbaren
und effizienten Ansatz zur Verwaltung von Big Data
kann ihr Nutzen nicht optimal ausgeschöpft werden.
Visualisierungstools können keine zuverlässigen
Ergebnisse präsentieren, wenn ihre Datengrundlage
zu viele irrelevante und unbrauchbare Daten enthält.
Hierzu ein Beispiel: Sie möchten in einer Analyse
von Kundendaten den Zusammenhang zwischen
den umgesetzten Verkaufszahlen und dem Wohnort
der Kunden aufzeigen. Dabei sind Sie unbedingt
darauf angewiesen, dass die Qualität der
Adressdaten Ihrer Kunden zuverlässig ist.
9— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
Die Analysefähigkeit der Tools, so komplex sie
auch sein mag, ist noch keine Gewähr für präzise
Ergebnisse. Beispiel: Sie möchten analysieren,
welche Marketingkanäle die besten Leads
für Umsätze liefern, und verwenden dazu ein
komplexes Zuordnungsmodell. Wenn Sie jedoch
nicht alle Daten aus allen Marketingkanälen
integrieren können, erhalten Sie nur einen
unvollständigen Überblick über das Kaufverhalten
der Interessenten.
Es gilt also das Motto: Noch schlimmer als keine
Daten sind schlechte Daten. Ebenso wie die
Ebene der Datenspeicherung kann auch die
Ebene der Analyse und Visualisierung nicht alle
Herausforderungen lösen.
Die Ebene, auf die es ankommt, ist das Big-Data-
Management.
Teil 1 – Den Elefanten reiten
Die Bedeutung von
Big-Data-Management.
Es sollte Sie nicht überraschen, dass der Schlüssel
zu einem Big-Data-Erfolg in einer intelligenteren
Datenverwaltung liegt. Bei aller Aufregung um
Hadoop und die neuen Datenquellen ist es jedoch
bedenklich, dass Teams diese neuen Technologien
häufig überstürzt angehen, ohne eine effiziente
Vorgehensweise zur Bereinigung, Verbindung und
Sicherung aller ihrer Daten zu haben.
Es ist daher wichtig, dass Sie vor den ersten
Schritten eine überschaubare und umfassende
Datenverwaltungsstrategie definieren, damit Sie
Folgendes erreichen können:
Optimieren der Qualität und Governance der Daten
Die Hauptfunktion Ihrer Big-Data-Infrastruktur
muss die Bereitstellung von Daten sein, die auf
wiederholbare, effiziente und zuverlässige Weise
für den vorgesehenen Zweck geeignet sind. Dazu
muss es Ihnen möglich sein, Daten auf Basis der
verschiedenen Anforderungen Ihrer Labor- und
Fabrikumgebungen zu integrieren, zu bereinigen
und zu handhaben.
10— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
In einer Laborumgebung bedeutet das eine
Bereitstellung von und Zugriff auf Daten „in einer
ausreichenden Qualität“, um Modelle zu validieren
und Hypothesen zu testen. In einer Fabrikumgebung
heißt das, es müssen zertifizierte, hochwertige
Daten bereitgestellt werden, auf die man sich bei
Kerngeschäftsprozessen verlassen kann.
Nutzung Ihrer vorhandenen Kompetenzen
Durch Einsatz von Datenverwaltungstools,
Standards und Benutzeroberflächen, mit denen
Ihre Entwickler und Datenverwaltungsexperten
bereits vertraut sind, können Sie deren vorhandene
Fähigkeiten wirksam einsetzen, um Ihre Daten
skalierbar zu bereinigen, zu integrieren, zu parsen
und umzuwandeln.
Aber selbst über Ihre Datenverwaltungskompetenz
hinaus ermöglichen es Self-Service-Tools
zur Datenvor­bereitung Ihren Analysten und
Wissenschaftlern, Datensätze aufzurufen und
abzufragen, ohne sich dafür neue Kenntnisse wie
Java aneignen zu müssen.
Sorgen Sie für eine integrierte datenbasierte Sicherheit
Wie bereits erwähnt, reichen Authentifizierung und
Autorisierung in einer Fabrikumgebung nicht aus,
um alle Ihre Daten zu schützen. Daher ist es sinnvoll,
Ihre Anforderungen an die Sicherheit zu bewerten,
bevor jeder auf Ihre Cluster freien Zugriff hat.
Abgesehen von der Überwachung der Grenzen der
Unternehmensumgebung müssen Sie auch dazu in
der Lage sein, Ihre Daten im Falle einer Sicherheits-
verletzung zu schützen. Das heißt, risikoorientiertes
Data Profiling, Data Masking, Verschlüsselung und
Tokenisierung müssen wirksam eingesetzt werden.
Strategische Nutzung Ihrer Metadaten
Durch Nutzung eines globalen Repositorys an
Metadaten stellen Sie sicher, dass Ihre Mitarbeiter
über einen wiederverwendbaren Satz von Regeln
und eine Business-Logik verfügen, die in den Labor-
und Fabrikumgebungen eingesetzt werden können.
Dadurch erhöht sich die Produktivität der Entwickler
und Analysten, denn es bedeutet, sie müssen das
Rad nicht immer wieder neu erfinden. Darüber
hinaus ermöglicht Ihnen diese Vorgehensweise,
Standards und Best Practices über Projekte und
Umgebungen hinweg anzuwenden.
Teil 1 – Den Elefanten reiten

Die Bedeutung von

Big-Data-Management.

Die Metadaten-Verwaltung ermöglicht Ihnen sogar Warum? Erstens müssen Ihre Entwickler nicht bei jeder
die Beibehaltung von Standards, Umwandlungen neu hinzugefügten oder geänderten Umwandlung
und Best Practices unabhängig von Änderungen an seitenweise Codes prüfen, und zweitens müssen Ihre
der Laufzeitumgebung. Analysten und Wissenschaftler nicht bis zu 80 Prozent
ihrer Zeit13 mit der mühsamen manuellen Bereinigung
Selbst wenn Sie also, sagen wir mal, MapReduce und Aufbereitung von Daten verbringen.
durch Spark ersetzen wollten, müssten Sie nicht
wieder ganz von vorn anfangen, da Sie Ihre Regeln,
Umwandlungen oder Logik nicht verlieren würden.
80 %
Vermeiden kostspieliger manueller Programmierung Manuelle
Wenn Sie es mit hohen Datenmengen zu tun Datenverwaltung
haben, dürfen Sie nicht erwarten, alle Ihre Daten in
Augenschein nehmen zu können. Darüber hinaus
sollten Sie auch nicht versuchen, alle diese Daten
manuell zu verwalten.

Datenbezogene Aspekte wie Integration, Governance,

Qualität, Sicherheit und Mastering sind also im
Zusammenhang mit Big Data noch wichtiger. Eine
Automatisierung dieser Daten bringt zum Zeitpunkt
der Operationalisierung eine deutliche Zeit- und
Geldersparnis.

11— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.

 Teil 2

Das Labor, die Fabrik

und die Strategie.

12— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.

Teil 2 – Das Labor, die Fabrik und die Strategie
Big-Data-Management:
Zwei Seiten einer Medaille.
Unternehmen, die die Verwaltung von Big Data
als einmalige, manuell programmierbare Übung
verstehen, werden ihre Zeit damit verbringen, den
einmal erstellten Code immer und immer wieder
zu überarbeiten und an die sich ständig ändernden
Gegebenheiten anzupassen. Strategisch viel sinnvoller
ist es, eine automatisierte und standardisierte
Infrastruktur für die Datenverwaltung einzurichten,
die sowohl die Labor- als auch die Fabrikumgebung
unterstützen kann.
Diese zentrale Plattform unterstützt einerseits
die Self-Service-Autonomie von Analysten und
Wissenschaftlern, die autonom ihre Hypothesen
testen und Modelle validieren können und nicht auf
die Bereitstellung vollständig zertifizierter Daten
durch die IT angewiesen sind.
Andererseits unterstützt sie flexible, skalierbare und
verwaltbare Datenpipelines, über die IT-Mitarbeiter
die für den vorgesehenen Zweck geeigneten und SLA-
konformen Daten effizient direkt an die Endbenutzer
liefern können. Die IT-Abteilung kann Probleme mit der
13— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
Datenqualität frühzeitig erkennen, Daten fortlaufend
prüfen, Scorecards und Dashboards nutzen und
mit den ETL-Entwicklern Datenpipelines in Hadoop
erstellen.
In den folgenden Abschnitten werden die spezifischen
Anforderungen in der Labor- und Fabrikumgebung
im Einzelnen erläutert. Zunächst werden jedoch
die Vorteile einer gemeinsamen Infrastruktur zur
Unterstützung beider Seiten vorgestellt.
Konsolidierung der Investitionen in die Datenverwaltung
Die Technologie zur Bereitstellung von Daten an
Analysten kann auch für die Operationalisierung
verwendet werden. Mit dieser Rationalisierung
des Technologie-Stacks ist sichergestellt, dass die
Kernfunktionalitäten nicht doppelt angeschafft
werden – für IT und die anderen Geschäftsbereiche –
und dass die von allen benötigten Daten nicht in Silos
gespeichert und verwaltet werden.
Gemeinsame Metadaten
Die bedarfsgerechte unternehmensweite Bereitstellung,
Profilierung, Verwaltung und Lenkung von Big Data
setzt eine strategische Verwaltung der Metadaten
voraus. In einem globalen Repository der gemeinsamen
Metadaten können IT-Mitarbeiter unternehmensweit
gültige Best Practices definieren und verteilen. Auch
die Analysten und Entwickler haben ein praktisches
vordefiniertes Set an wiederverwendbarer Logik,
Transformationen und Regeln an der Hand.
Schnelle Aufnahme neuer Mitarbeiter
Wird die Datenverwaltung von einem kleinen
Expertenteam manuell programmiert, wird es
aufgrund der fehlenden Standardisierung sehr
schwer, den Code bei einem Zuwachs im Team
weiterhin zu pflegen und weiterzuschreiben. Mit
einem gemeinsamen Regel- und Toolsatz hingegen
lassen sich neue Mitarbeiter und neue Daten schnell
und einfach einbinden, und Sie sind für die Skalierung
Ihrer Infrastruktur nicht auf teure und schlecht
verfügbare Big-Data-Experten angewiesen.
Teil 2 – Das Labor, die Fabrik und die Strategie
Aufbau eines Big-Data-Labors.
Bevor Sie Big Data in nutzbare Bestände umsetzen
können, beispielsweise in Datenprodukte oder
sogar in analytische Umgebungen, müssen Sie sich
darüber im Klaren sein, was möglich und was für das
Unternehmen am sinnvollsten ist. Zu diesem Zweck
sollten Ihre Analysten und Wissenschaftler dazu in
der Lage sein, beliebig zu experimentieren, bevor sie
eine nennenswerte Innovation kreieren können.
14— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
1
2
3
1. Ein Analyst im Personalwesen muss Performance-
Daten zu neu eingestellten Mitarbeitern sowie zu
Personalverantwortlichen schnell abrufen können.
Dadurch hat er die Möglichkeit zu überprüfen, 4
wer im Unternehmen das größte Talent hat,
geeignetes Fachpersonal zu erkennen.
2. Ein Analyst im Vertrieb muss erkennen können,
ob es Korrelationen zwischen Aktivitäten in
sozialen Medien und Vertriebsaktivitäten in
verschiedenen Regionen gibt.
3. Ein Marketinganalyst sollte prüfen können,
ob es aufgrund von neuen und gezielten
Marketingkampagnen zu nennenswerten
Umsatzsteigerungen kommt.
4. Ein Finanzanalyst muss ungefähre Kostenprognosen
mit Vertriebsprognosen schnell vergleichen und
daraus eine fundierte Bewertung erstellen können.
Erst wenn die Analysten ihre Hypothesen tatsächlich
bestätigen und feststellen, dass es sich lohnt, die
Experimente zu wiederholen, sollte die IT den Prozess
ihrer Umsetzung starten.
Teil 2 – Das Labor, die Fabrik und die Strategie
Die Anforderungen des Labors.
Bei einer Laborumgebung für Big-Data-Experimente
gibt es spezifische Anforderungen:
Personen
In einem Big-Data-Labor müssen Analysten und
Wissenschaftler freien Zugriff auf Daten haben, um
möglichst viele Hypothesen selbstständig testen zu
können. Daher sollte es die Aufgabe der IT sein,
Daten „in einer ausreichenden Qualität“ umgehend
bereitzustellen. Darüber hinaus muss sie dem
Labor Tools bieten, die für die Visualisierung und
gemeinsame Nutzung von Analysen erforderlich
sind, und darf dabei „nicht im Wege stehen“.
Diese Dynamik ist unerlässlich, wenn Sie Experimente
fördern möchten. Zudem erfordert dies, sich vom
Paradigma weg zu bewegen, bei dem das IT-Team
Wochen mit der Vorbereitung von Daten verbringt,
während die Analysten warten müssen.
15— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
Prozess
Jedes Mal, wenn Analysten Datenexperimente
mit herkömmlichen Unternehmenstechnologien
auszuführen hatten, sah der Prozess für das IT-Team
folgendermaßen aus:
• Der Analyst hat eine Idee
• Das IT-Team ermittelt, wo die Daten gespeichert
sind und wie darauf zugegriffen werden kann
• Anschließend bespricht das IT-Team mit den
Business-Anwendern, wie sie diese Daten
verwenden werden
• Danach werden vom IT-Team die Geschäftsregeln
zum Umwandeln der Daten festgelegt
• Das IT-Team erstellt Schemata für die Daten
• Dann schreibt es die ETL-Prozesse, um die Daten
umzuwandeln und zu laden
Dies war nicht nur ein kostspieliger Prozess, bei dem
die Business-Anwender wochenlang warten mussten
und im Unklaren gelassen wurden, sondern es gab
auch keine Garantie dafür, dass das IT-Team auf
Anhieb zufriedenstellende Arbeit liefern konnte.
Selbstverständlich ist dies einer Umgebung der
Experimente und der schnellen Analysen nicht
förderlich.
Hier ist eine Big-Data-Plattform notwendig, welche
die Masseneinspeisung aus mehreren Datenquellen
bewältigen kann und die einen Self-Service zur
Datenermittlung unterstützt. Daher sieht der Prozess
eher folgendermaßen aus:
• Der Analyst hat eine Idee
• Das IT-Team weiß, woher die Daten bezogen
werden müssen
• Es lädt die Daten in eine Plattform
(gegebenenfalls mit einem ersten Schema)
• Die Analysten können mit ihrer Arbeit fortfahren
und per Self-Service ihre eigene Datenermittlung
ausführen
Teil 2 – Das Labor, die Fabrik und die Strategie
Die Anforderungen des Labors.
Technologie
Bei der Schaffung eines Big-Data-Labors müssen
Sie dafür sorgen, dass Ihre Big-Data-Plattform ein
schnelles und einfaches Experimentieren unterstützt.
Das bedeutet, Sie müssen eine Infrastruktur aufbauen,
die Folgendes unterstützt:
1. Schnelle Einspeisung: Aus mehreren Quellen
mit vorgefertigten Konnektoren, um den Zugriff
auf hohe Datenmengen aus neuen und alten
Datenquellen zu optimieren (mit Echtzeit-
Streaming für Daten mit geringer Latenz).
2. Self-Service-Autonomie: Damit können Analysten
die Daten auf einfache Weise abrufen, ohne
stundenlang von einem Durcheinander von Daten
aufgehalten zu werden. Zu diesem Zweck werden
semantische Suchfunktionen, automatisches
Profiling, Self-Service zur Datenermittlung sowie
Tools zur schnellen Visualisierung eingesetzt.
16— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
3. Proaktives Datenmanagement: Eine von Analysten
geführte, Experimente unterstützende Laborum-
gebung ist nutzlos, wenn alle Experimente auf
fehlerhaften Daten basieren. Sie müssen daher
sicherstellen, dass das IT-Team über die erforderli-
chen Tools verfügt, um Daten rasch zu integrieren,
zu prüfen und aus ihnen Profile zu erstellen.
Es ist wichtig, dass Sie auch die von Ihnen gebotenen
Benutzererfahrungen berücksichtigen. Da Analysten
Excel mehr als jedes andere Tool zur Analyse verwen­
den, müssen Sie ihnen Benutzeroberflächen auf Basis
von Kalkulationstabellen zur Verfügung stellen, die auf
die gleiche einfache Weise zu handhaben sind.
Ziel sollte sein, Analysten zu befähigen, Daten ad
hoc zu mischen und zusammenzuführen und dabei
gleichzeitig komplexe analytische Modelle zu
erstellen, in denen neue Daten erfasst werden können.
Selbstverständlich muss Ihre Infrastruktur zur
Datenverwaltung zu weitaus mehr in der Lage sein,
um eine Labor- und Fabrikumgebung zu unterstützen.
Schauen wir uns die spezifischeren Anforderungen für
den Aufbau einer Big-Data-Fabrik an.
Teil 2 – Das Labor, die Fabrik und die Strategie

Aufbau einer Big-Data-Fabrik.

Nicht alles, was in Ihrem Big-Data-Labor geschaffen

1
wird, muss umgesetzt werden. Manche Experimente
sind es möglicherweise nicht wert, fortgesetzt zu
werden. Andere wiederum werden womöglich nur
intern gemeinsam genutzt und visualisiert.
2
Sobald Ihre Analysten und Wissenschaftler den
Wert der von ihnen erarbeiteten Produkte und
Analysen nachweisen können, muss die IT in der
Lage sein, diese auf effiziente und zuverlässige 3
Weise umzusetzen.

17— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.

Teil 2 – Das Labor, die Fabrik und die Strategie
Die Anforderungen der Fabrik.
Fabrikseitig geht es bei Ihrer Infrastruktur zur Datenver­
waltung um Folgendes: Sie müssen sicherstellen,
dass das IT-Team über die erforderlichen Tools und
finanziellen Mittel verfügt, um den Bedürfnissen der
Endbenutzer und Kunden zu entsprechen.
Personen
Laborseitig geht es bei Ihrer Infrastruktur zur
Datenverwaltung darum, Ihre Analysten mit ein wenig
Hilfe durch die IT zu befähigen, ihre Experimente
selbstständig durchzuführen. In der Fabrik geht es
jedoch darum, eine Datenlieferkette zu automatisieren,
mit der die im Labor gewonnenen Daten und
Erkenntnisse in Business Value umgewandelt werden.
Die Rolle des Analysten besteht hier eher darin,
das IT-Team anzuleiten und dafür zu sorgen, dass
das Geschaffene tatsächlich den betrieblichen
Anforderungen entspricht.
Auf der anderen Seite konzentriert sich die Rolle der IT
darauf, Ingenieure und Entwickler anzuleiten. Dabei
ist es das Ziel, die Kapitalanlage zu optimieren, die
dafür erforderlich ist, die Datenbestände in ein Produkt
umzuwandeln, sie zu monetarisieren und umzusetzen.
18— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
Prozess
In der Laborumgebung müssen Ihre Analysten dazu
in der Lage sein, ihre eigenen Datenpipelines in
kürzester Zeit zu erstellen. Wenn Sie ihnen also
die Tools zur Verfügung stellen, die eine selbster­
klärende Dokumentation zu Umwandlungen und
Datenströmen enthalten, beschleunigen Sie damit
den Prozess der IT, die diese Datenpipelines in einer
Produktionsumgebung bereitstellt. Das IT-Team kann
sich auf Grundlage der in der Laborumgebung
verwendeten Logik und Objekte ganz einfach auf
die Entwicklung konzentrieren.
Es ist wahrscheinlich, dass keine zwei umzusetzenden
Projekte gleich sind. Daher sei nur darauf hingewiesen,
dass die IT sich hier auf DevOps und den Support
in der Produktion konzentrieren muss. Hierdurch
wird gewährleistet, dass Daten auf zuverlässige,
wiederholbare und leicht überschaubare Weise
eingespeist, bereinigt und gesichert werden.
Teil 2 – Das Labor, die Fabrik und die Strategie
Die Anforderungen der Fabrik.
Technologie
Der ganze Hype zu Big Data hat sich auf Daten­
speicher und Ebenen der Datenanalyse konzentriert.
Auch wenn Technologien wie Hadoop und
Datenvisualisierung (z. B. Tableau, Qlik) entscheidend
für den Erfolg von Big Data sind, gibt es dazwischen
eine äußerst wichtige Ebene, die nicht einfach ignoriert
werden darf: die Big-Data-Management-Ebene.
Diese Ebene kann in drei individuelle Säulen unterteilt
werden, um Ihre Fabrik- und Laborumgebungen zu
unterstützen.
19— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
1. Dynamische, skalierbare Big-Data-Integration:
Zur Erstellung von flexiblen und skalierbaren
Datenpipelines, die neue Datenquellen verknüpfen
und Analysten befähigen, umfassendere Modelle
zu schaffen.
2. Kollaborative, lückenlose Big Data Governance:
Analysten und IT können darauf vertrauen, dass
die von ihnen verwendeten Daten bereinigt,
umfassend und zeitgerecht sind.
3. Risikoorientierte Big-Data-Sicherheit: Für einen
proaktiven und umfassenden Schutz Ihrer
sensiblen Daten vor der wachsenden Zahl von
Datensicherheitsbedrohungen.
Im nächsten Abschnitt gehen wir noch etwas
ausführlicher auf die Möglichkeiten und wichtigen
Aspekte beim Aufbau einer Infrastruktur ein, um nicht
nur Ihre Produktionsumgebungen zu unterstützen,
sondern auch Ihre Laborumgebungen.
Wir werden uns insbesondere auf die drei Säulen des
Big-Data-Managements konzentrieren, die erforderlich
sind, um die Technologie sowohl in Labor- als auch
Fabrikumgebungen erfolgreich zu nutzen.
 Teil 3

Die drei Säulen von

Big-Data-Management.

1 2 3

20— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.

Teil 3 – Die drei Säulen von Big-Data-Management
Integration von Big Data.
Bei der ersten Herausforderung an die Infrastruktur
des Big-Data-Managements handelt es sich um die
Erstellung von skalierbaren, flexiblen und intelligenten
Datenpipelines. Laborseitig geht es hier darum,
vorgefertigte Tools sowie einfache und intuitive
Benutzeroberflächen bereitzustellen. Damit wird
verhindert, dass Analysten ihre gesamte Zeit damit
verbringen müssen, auf die von ihnen benötigten
Datenquellen zu warten.
Fabrikseitig müssen Sie dafür sorgen, dass Sie die
bereits vorhandenen IT-Kenntnisse zur Datenintegration
nutzen, um die Entwicklung zu beschleunigen und die
Pflege Ihrer Pipelines zu vereinfachen.
21— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
Zu diesem Zweck muss Ihre Big-Data-Plattform
Folgendes unterstützen:
Universelle Konnektivität
Um eine breite Reihe an Experimenten mit Big Data zu
unterstützen, muss die IT in der Lage sein, Konnektivität
für eine enorme Anzahl von Datenquellen zur
Verfügung zu stellen. Flexibilität ist das A und O.
Dies bedeutet Datenintegration mit hohem Durchsatz
für verschiedene Schemata aus unterschiedlichen
Datenquellen.
Gleichermaßen müssen Sie jedoch auch dazu in der
Lage sein, Echtzeit-Streams für Daten mit geringer
Latenz bereitzustellen, wie z. B. für Maschinen- und
Sensordaten.
Vorgefertigte Tools
Wenn Sie hohe Datenmengen aus verschiedenen
Quellen verarbeiten, stellt ein schneller Zugriff die
größte Herausforderung dar. Daher ist es äußerst
sinnvoll, vorgefertigte Konnektoren, Umwandlungen
und Parser zu nutzen, welche die Analysten bei
Bedarf verwenden können.
Bei Datenquellen, die bisher noch nicht mit
vorgefertigten Konnektoren zur Verfügung gestellt
werden, ist es zudem hilfreich, Self-Service-Tools
zur Datenermittlung zu verwenden. Diese Tools
basieren auf Machine Learning, um das geeignete
Schema automatisch zu bestimmen.
Abstraktion
Die Grundvoraussetzung dafür, dass die Skalierung
funktioniert, ist die Nutzung der gesamten vorhandenen
Hardware und der verteilten Computing-Frameworks
(z. B. MapReduce, Spark usw.). Ihre in der Produktion
bereitgestellten Lösungen müssen so flexibel sein, dass
sie unabhängig von der Laufzeitumgebung in allen
verfügbaren Speichern und Infrastrukturen funktionieren.
Durch Abstrahieren aller Ihrer Regeln, Logiken und
Metadaten von der Ausführungsplattform können
Sie gewährleisten, dass sowohl das IT-Team als auch
die Analysten ihre Arbeit beliebig über die gesamte
Plattform hinweg wiederverwenden können.
Teil 3 – Die drei Säulen von Big-Data-Management
Integration von Big Data.
Ein Brokeragemodell
Schon vor der Einführung von Big Data war die
Punkt-zu-Punkt-Integration schwer zu verwalten.
Heutzutage ist diese Verwaltung unmöglich. Das ist
insbesondere dann der Fall, wenn Sie mit Dutzenden
von Datenquellen, Regionen, Abteilungen und
Benutzern arbeiten.
Ein auf Speichenarchitektur aufgebautes
Brokeragemodell ist ein wesentlicher Bestandteil
einer Big-Data-Strategie, die sowohl Experimente
als auch Produktionsumgebungen unterstützt.
Das Modell dient dazu, die Verwaltung und die
Governance der Integrationen zu zentralisieren und
gleichzeitig Best Practices zu verbreiten.
Auf diese Weise kann die IT Datenströme steuern
und dabei Standardisierungen vornehmen, um den
überflüssigen Entwicklungsaufwand zu reduzieren
und Daten zu verwalten, wo und falls erforderlich.
22— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
Staging
Daten sind nicht gleich Daten. Anstatt das IT-Team mit
der Änderung und dem Anwenden von Schemata für
Daten aus jeder einzelnen Datenquelle zu belasten,
ist es intelligenter, je nach Art der Nutzung einigen
Daten den Vorrang zu geben. So müssen sensible
personenbezogene Daten (Personally Identifiable
Information, PII) eventuell maskiert werden. Die Daten
von Sensorprotokollen müssen jedoch gar nicht
geändert werden.
Durch Aufteilen Ihrer Plattform in unterschiedliche
Staging-Bereiche können Sie dafür sorgen, dass
verschiedene Benutzer und Systeme lediglich Zugriff
auf die Daten erhalten, die entsprechend für diese
Bereiche geändert (oder nicht geändert) wurden.
Teil 3 – Die drei Säulen von Big-Data-Management
So stellt ein multinationales Unternehmen seine Daten bereit
Eines der ersten Unternehmen, das eine Big-Data-
Plattform aufgebaut hat, die sowohl Labor- als
auch Fabrikumgebungen unterstützen kann, ist ein
großer nordamerikanischer Unternehmensverbund
mit 24 Geschäftseinheiten.
Das Unternehmen nutzte Hadoop, um für seine
Daten eine Staging-Umgebung mit vier Ebenen
aufzubauen. Dabei wurde die Anzahl der
Änderungen, die für eine Nutzbarmachung der
Daten erforderlich war, als Basis herangezogen.
Bei den vier Ebenen, die das Unternehmen erstellt
hat, handelt es sich um folgende:
Rohdaten
Für Daten, die direkt von der Quelle und unverän-
dert bezogen werden. Durch das Laden und das
Speichern in Hadoop war das Unternehmen dazu
in der Lage, seine Kosten für die Datenspeicherung
um etwa zwei Drittel (der Kosten pro Terabyte) zu
reduzieren. In vielen Fällen kann das Unternehmen
diese Rohdaten, die direkt von der Quelle bezogen
werden, sogar unverändert nutzen.
Veröffentlichte Daten
Für leicht abgeänderte Daten, die zur Verwendung
durch das Unternehmen optimiert werden. Die
Daten in dieser Ebene wurden eventuell bereinigt.
Möglicherweise wurden personenbezogene
23— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
Daten entfernt. Zudem müssen auf dieser Ebene
in manchen Fällen die sich allmählich ändernden
Dimensionen jener Daten bearbeitet werden, die
aus relationalen Datenbanken extrahiert wurden.
Beide Ebenen werden durch die zentrale IT-
Abteilung innerhalb des Unternehmens verwaltet.
Diese wird von den einzelnen Geschäftseinheiten
beauftragt, wenn Kenntnis darüber erforderlich
ist, welche neuen Daten einbezogen und integriert
werden müssen.
Neben diesen beiden wurden zwei weitere Ebenen
geschaffen. Sie sollen es den Geschäftseinheiten
ermöglichen, die für sie erforderlichen Daten zu
erstellen.
Core
Hier können die Geschäftseinheiten neue Metriken,
Bestände und für die Daten geltende Geschäfts­
regeln erstellen. Diese Ebene wurde so konzipiert,
dass sie vielseitig und projektübergreifend einsetzbar
ist. Die Geschäftseinheiten können beispielsweise
wiederverwendbare Metriken erstellen, mit denen
Kunden- und Bestandsdaten miteinander verbunden
werden können. Anstatt jedoch allgemeine für
alle Geschäftseinheiten gültige Regeln durch das
zentrale IT-Team entwickeln zu lassen, werden
diese von den Geschäftseinheiten selbst erstellt.
Projekte
Die Staging-Umgebung für Projekte ist unter
den vier Ebenen die am stärksten auf eine
bestimmte Nutzung ausgerichtete Ebene. Die
Daten werden speziell für bestimmte Projekte
und Use Cases gespeichert und verwaltet. Was
beeindruckend ist: Das Team war in der Lage,
sein Big-Data-Management zu nutzen, um
mehrere Entwicklungskanäle über verschiedene
Repositories zu unterstützen. Auf diese Weise
können verschiedene Teams in unterschiedlichen
Geschäftseinheiten fachspezifische Lösungen
entwickeln, während sie unabhängig
voneinander in ihrem eigenen Tempo arbeiten.
Durch das Aufteilen der Staging-Umgebungen in
diese vier Ebenen konnte das Unternehmen es den
Entwicklern der einzelnen Abteilungen ermöglichen,
auf ihre eigene Weise, mit unterschiedlichen
Softwareentwicklungsmethoden, Freigabezyklen
sowie Geschäftsregeln zu arbeiten und ihre
eigenen Datenbestände zu erstellen.
Gleichzeitig kann sich das zentrale IT-Team auf
das Aufbauen der Plattform, das Management
der Sicherheit und das Profiling von Daten im
Hinblick auf Qualität konzentrieren.
Teil 3 – Die drei Säulen von Big-Data-Management
Big-Data-Qualität
und Governance.
Die Daten, mit denen Ihre Analysten und Entwickler
arbeiten, müssen die für die jeweilige Aufgabe
erforderlichen Qualitätsansprüche erfüllen: Reporting
verlangt vollständig zertifizierte Daten, zur Modell­über­
prüfung genügen ausreichend gute Daten. Zu diesem
Zweck ist ein durchgängiges Qualitätsmanagement
der Daten von entscheidender Bedeutung.
Da Ihre Big-Data-Plattform darüber hinaus hohe Daten­
volumen aus vielen unterschiedlichen Datenquellen
verwalten und an mehrere Zielsysteme weitergeben
muss, ist auch der Bedarf an Daten-Governance groß.
24— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
Folgende Voraussetzungen müssen erfüllt werden:
Automatisiertes Datenqualitätsmanagement
Schlechte Daten sind schlimmer als keine Daten.
Das haben wir bereits gelernt. Analog gilt – noch
schlimmer als fehlende Datenqualitätsregeln sind
manuell programmierte und inkonsistente Datenqua­
litätsregeln. Mithilfe von automatisierten Tools für
das Datenqualitätsmanagement und vorintegrierten
Datenqualitätsregeln stellen Sie sicher, dass Ihre
IT-Mitarbeiter die Qualität der Daten zentral,
bedarfsgerecht und für das gesamte Unternehmen
konsistent verwalten können.
Die Qualitätsregeln werden automatisch angewendet
und kontrolliert. Datenverwalter werden automatisch
über Abweichungen der Datenqualität benachrichtigt
und können produktiver arbeiten. Noch wichtiger:
Sie entlasten Ihre Analysten, denn sie können sich auf
die Qualität ihrer Daten verlassen und müssen keine
manuellen Fehlersuchen vornehmen.
Unternehmenskontext
Eine der größten Herausforderungen bei der
Verwaltung der Datenqualität für mehrere Teams,
Geschäftseinheiten, Systeme und Regionen ist die
Wahrung der Datenkonsistenz. So kann beispielsweise
das Konzept „Kunde“ in den Marketing- und
Finanzabteilungen unterschiedlich definiert sein,
denn ihre Analysen sind unterschiedlich motiviert.
Ihre Datenverwalter sollten daher die Möglichkeit
haben, gemeinsame Geschäftsbegriffe und
-definitionen auf einfache Weise in Glossaren
bereitzustellen und damit Analysten und IT-
Mitarbeitern einen Kontext zur Verfügung zu
stellen, in dem sie ihre Arbeit besser mit den
Unternehmensanforderungen verknüpfen können.
Teil 3 – Die drei Säulen von Big-Data-Management
Big-Data-Qualität
und Governance.
Einfache Erkennung von Ausnahmen
Es ist unmöglich, mehrere Terabyte an Daten im
Auge zu behalten, die noch dazu auf mehrere
Cluster und Datenquellen verteilt sind. Sie benötigen
einen zuverlässigen und reproduzierbaren Data-
Profiling-Ansatz, der sicherstellt, dass Ihre Analysten
und Entwickler auf die Qualität ihrer Daten
vertrauen können.
Mithilfe von formalen Datenqualitätsbewertungen,
Wertungslisten und Funktionen zur Verwaltung
von aufgezeichneten Ausnahmen können
Datenverwalter auf Anomalien reagieren und
gegebenenfalls Anpassungen vornehmen.
Datenverlauf
IT-Mitarbeiter müssen die von den Analysten in der
Laborumgebung und den Entwicklern in der Fabrik
umgesetzten Datenintegrationen rasch verstehen
und prüfen können. Sie müssen den Verlauf der
Daten nachvollziehen können. Dies ist nur mit
Governance-Tools möglich, die die Metadaten
katalogisieren und verwalten.
25— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
Sie sollten daher bei der Einrichtung der Infrastruktur
darauf achten, dass Anwender die Datenherkunft
schnell bestimmen und große Datensätze problemlos
prüfen können.
Verwaltung von Stammdaten und Datenbeziehungen
Indem Sie zur Anreicherung Ihrer Stammdaten
zu wichtigen Domänen (beispielsweise Produkte
und Kunden) Instanzenabgleich und -verknüpfung
integrieren, ist es für Ihren Stack einfacher,
Beziehungen zwischen Instanzen und Domänen
abzuleiten.
Ihre Analysten können so viel schneller wichtige
Muster und Trends aufspüren und haben darüber
hinaus eine ganzheitliche Sicht auf die Interaktionen
der einzelnen Domänen untereinander. Sie können
beispielsweise nachvollziehen, mit welchen Produkten
Kunden interagieren.
Teil 3 – Die drei Säulen von Big-Data-Management
Big-Data-Sicherheit.
Je mehr Benutzer, Systeme, Geschäftsbereiche und
Partner in Ihre Big-Data-Initiativen involviert sind,
desto schwerer wird es, Verstöße gegen die und
Versäumnisse bei der Datensicherheit zu erkennen.
Anstatt zuerst Ihre Infrastruktur aufzubauen und
danach Sicherheitsrichtlinien anzuwenden und
Vorschriften einzuhalten, ist es von entscheidender
Bedeutung, Ihre Plattform von Anfang an mit einer
auf Best Practices aufbauenden Datensicherheit
auszustatten.
In der Praxis bedeutet das, dass Sie Folgendes
bereitstellen müssen:
Erkennung und Identifikation
Eine 360-Grad-Ansicht sensibler Daten ist für ein
risikoorientiertes Big-Data-Management-Konzept
unerlässlich. Ihr IT-Team muss sensible Datenspeicher
erkennen, einstufen und überwachen können, ganz
gleich, wo sich diese befinden. Zudem müssen diese
Daten regelmäßig auf potenzielle Risikofaktoren hin
untersucht werden.
26— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
Darüber hinaus benötigen Sie ein automatisches
Data Masking. Damit können Sie Ihre Datenbestände
selbst im Falle eines Sicherheitsverstoßes innerhalb
der Grenzen der Unternehmensumgebung durch
Anonymisieren von sensiblen Daten in Entwicklungs-
und Produktionsumgebungen schützen.
Risikoübersichten und Analysen
Eine umfassende Ansicht aller Ihrer sensiblen Daten
ist wichtig für die Erkennung von und das Reagieren
auf Gefahren. Risikoanalysen und Übersichten
automatisieren die Erkennung von Szenarien mit
hohem Risiko und Ausnahmen, basierend auf
Modellierung, Trends aus Bewertungen sowie
Nutzungs- und Ausbreitungsanalyse, damit das
IT-Team sofort alarmiert wird.
Wenn es um Big-Data-Sicherheit geht, ist Geschwin­
digkeit ein ausschlaggebender Faktor. Je länger es
dauert, bis das IT-Team eine Sicherheitsbedrohung
erkennt, desto schwerer wird es, den Schaden zu
beheben oder gar zu diagnostizieren.
Universeller Schutz
Die Bedrohungen der Big-Data-Sicherheit
entwickeln sich genauso schnell weiter wie
der Datenschutz. Daher sind Shortcuts keine
Alternative, wenn es um das Schützen Ihrer Daten
in unterschiedlichen Systemen, bei verschiedenen
Benutzern und in mehreren Regionen geht.
Ihre Big-Data-Sicherheitsstrategie muss umfassend
genug sein, um Masking, Verschlüsselung und
Zugriffskontrolle für verschiedene Datentypen (sowohl
für Live-Daten als auch gespeicherte Daten) und
unterschiedliche Umgebungen (in nicht produktiven
und in Produktionsumgebungen) bereitzustellen.
Zentralisierte, richtlinienbasierte Sicherheit
Aus operativer Sicht ist es wichtig, dass Big-Data-
Sicherheit nicht zur Belastung für die IT oder zum
Hindernis beim Experimentieren wird. Sie müssen
in der Lage sein, Sicherheitsrichtlinien zentral zu
erstellen sowie zu überwachen und diese dann an
die Benutzer, Systeme und Regionen zu übermitteln.
Bei Big Data wird die Compliance durch dieses
richtlinienbasierte Sicherheitskonzept überschaubarer,
da bestimmte Datenschutzgesetze eine standort-
und rollenbasierte Datenkontrolle vorschreiben.
Teil 3 – Die drei Säulen von Big-Data-Management
Vier Dimensionen der Big-Data-Sicherheit
Wenn der Großteil Ihrer Daten nicht mehr hinter
einer Firewall geschützt ist, sollten Sie sich bei
Ihrer Big-Data-Sicherheitsstrategie nicht allein
auf Authentifizierung und Autorisierung verlassen.
Stattdessen sollte Ihre Big-Data-Sicherheit
idealerweise vier Arten von Schutz beinhalten:
1. Authentifizierung und Autorisierung
Tools wie Kerberos, Knox und Sentry sind bei der
Überwachung der Grenzen der Unternehmen­
sumgebung unerlässlich, wenn viele Benutzer auf
Ihren Cluster zugreifen.
2. Verschlüsselung
Initiativen wie Project Rhino von Intel ermöglichen
das Verschlüsseln von Daten, die sich in Ihren
Datenspeichern befinden, sowie das Verwalten von
Schlüsseln. Dies ist wichtig, wenn Sie den Zugriff
auf sensible Daten durch Unbefugte verhindern,
diese Daten innerhalb des Unternehmens jedoch
entschlüsselt und bereitgestellt werden müssen.
Zudem kann die Verschlüsselung unter Beibehaltung
des Formats verwendet werden, bis hinunter zum
Außendienst.
27— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
3. Tokenisierung
Hier geht es um das Ersetzen sensibler
Datenelemente durch nicht sensible Äquivalente
oder „Token“. Dies ermöglicht es, den Typ und
das Format der Daten beizubehalten und Schutz 1
vor dem Diebstahl von Schlüsseln zu bieten.
4. Data Masking
Zum dauerhaften und dynamischen Schutz von 2
Daten vor bestimmten Benutzern (z. B. Schutz
von Kreditkartendaten in Entwicklungs- und
Testumgebungen) kann Data Masking eingesetzt
werden, um Daten zu anonymisieren. Gleichzeitig 3
wird dafür gesorgt, dass diese Daten noch wie
die Originaldaten aussehen. Im Gegensatz zur
Verschlüsselung kann das „maskierte“ Datenelement
nicht von Personen innerhalb des Unternehmens 4
entschlüsselt werden.
Teil 3 – Die drei Säulen von Big-Data-Management
Eine Referenzarchitektur
für Big-Data-Management.
Keine zwei Unternehmen haben genau die gleichen
Anforderungen an die Infrastruktur. Dennoch ist es
sinnvoll, sich anzuschauen, welche Entscheidungen
andere Unternehmen getroffen haben, um die
architektonische Lücke zwischen Labor- und
Fabrikumgebungen zu schließen.
Es ist vor allem wichtig, Ihre technologischen
Anforderungen im Kontext von drei wesentlichen
Ebenen zu betrachten:
1. Die Visualisierungs- und Analyse-Ebene
2. Die Big-Data-Management-Ebene (einschließlich
Big-Data-Integration, Governance und -Sicherheit)
3. Die Datenspeicher-Persistenzebene
28— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
Unternehmen konzentrieren sich normalerweise auf
die erste und dritte Ebene, ohne ihre Anforderungen
bezüglich der zweiten Ebene zu ermitteln. Wie wir
jedoch erläutert haben, spielt diese zweite Ebene
eine wesentliche Rolle, um sowohl mit einer Labor-
als auch einer Fabrikumgebung arbeiten zu können.
In der folgenden Referenzarchitektur sind diese
Ebenen sowie Beispiele für Tools und Funktionen
dargestellt, die Sie in Betracht ziehen sollten.
Verwenden Sie diese als Basis zur Ermittlung Ihrer
konkreten Infrastrukturanforderungen für eine
Big-Data-Plattform.
Teil 3 – Die drei Säulen von Big-Data-Management

Big-Data-Referenzarchitektur

Datenbestände Big Data Analytics Datenprodukte

Visualisierung Erweiterte Predictive
Machine Learning
von Daten Statistiken Analytics

OLTP/OLAP Kundenbindung

Big-Data-Management
Integration von Big Data Big Data Governance Big-Data-Sicherheit
Unstrukturierte
Betrugserkennung
Daten • Hochperformante • Datenqualität und Self- • 360-Grad-Ansicht
Dateneinspeisung Service-Funktionen zur sensibler Daten
Datenvorbereitung
• Skalierbare und • Risikoanalyse sensibler
optimierte Verarbeitung • Durchgängig Daten
Maschinen-/ transparente Effizienz von
• Flexible Bereitstellung • Richtlinienbasierter
Sensordaten Datenherkunft
Schutz sensibler Daten Kampagnen
• Datenabgleich und
Erkennung von
Beziehungen
Vorbeugende
Soziale Medien
Wartung
Unternehmensinformationskatalog

Ortsabhängige
Externe Quellen Speicherung und Verarbeitung von Big Data Services

Hadoop MPP* NoSQL

*Massive Parallelverarbeitung

29— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.

Teil 3 – Die drei Säulen von Big-Data-Management

Eine Referenzarchitektur
für Big-Data-Management.
Beim folgenden Diagramm handelt es sich um eine Big Data Analytics
konzeptionelle Darstellung, welche die verschiedenen
Prozesse im Rahmen einer Big-Data-Infrastruktur
wiedergibt.
Big-Data-Management
Quelldaten werden in den Landing-Bereich eingespeist.
Umwandlungsverfahren werden angewendet, um Integration von Big Data Big Data Governance Big-Data-Sicherheit
die Daten auf die explorative Analyse vorzubereiten.
Zur Nutzung der Daten werden diese mithilfe von
automatisierten Workflows gepflegt. Umsetzung und
Suche von und Experimentieren und
Monetarisierung
Zugriff auf Daten Einblicke gewinnen
Dadurch erhalten Datenexperten und Analysten von Daten
im Labor schnell Zugriff auf die Daten, die sie für
ihre Experimente und Datenanalysen benötigen.
Dateningenieure setzen diese Analysen mithilfe Labor Fabrik
automatisierter Workflows um und stellen
so zuverlässige Informationen bereit. Diese
Daten können dann zur Monetarisierung von
Datenbeständen verwendet werden. Landing-Bereich Erkennungsbereich Nutzungsbereich

Speicherung und Verarbeitung von Big Data

30— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.

 Schlussfolgerung

Abfragen,
Erneuern, Investieren.

31— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.

Schlussfolgerung
Abfragen, Erneuern, Investieren.
Die Begriffe „Innovation“ und „Big Data“ sind
weit mehr als nur Schlagwörter. Sie sind wichtige
Bestandteile einer Unternehmensstrategie, die auf
schnelles und nachhaltiges Wachstum ausgerichtet ist.
Innovative Unternehmen müssen ein Klima der
Experi­mentierfreude schaffen, in dem Analysten
und Wissenschaftler Neues testen können, ohne die
Begleitschäden gescheiterter Experimente ausbaden
zu müssen. Die gute Nachricht: Kosteneffektive und
skalierbare Speicher- und Verarbeitungskapazitäten
konnten die Kluft zwischen Idee und Umsetzung
verkleinern.
Big-Data-Labore, die nicht in der Lage sind, innovative
Lösungen rasch in einer produktionstauglichen
Fabrikumgebung zu implementieren, sind noch
nicht ausgegoren. Und Infrastrukturen für die
Datenverwaltung, die Analysten keine Self-Service-
Autonomie für Experimente ermöglichen, sind
ebenfalls nicht ausgereift.
32— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
Wir hoffen, dass Sie von den hier präsentierten
Erfahrungen und Anleitungen gelernt haben, dass
intelligente Entscheidungen zur Architektur und
Infrastruktur Ihrer Umgebung dazu beitragen können,
das Risiko experimenteller Versuche zu verringern und
gleichzeitig die Produktionsprozesse zu optimieren.
Die entscheidende Verbindungsstelle zwischen
Speicherung und Analyse ist jedoch die Ebene
des Big-Data-Managements.
Nur wenn alle drei Säulen des Big-Data-Managements,
nämlich Integration, Governance und Sicherheit,
implementiert sind, ist es möglich, nicht nur die
Entwicklungs- und Produktionsprozesse der IT
zu optimieren, sondern gleichzeitig den besten
Wissenschaftlern und Analysten eine Lizenz für
Innovationen bereitzustellen.
Weitere Informationen

Wie Sie einen Machbarkeitsnachweis

für Big Data durchführen – innerhalb
von nur sechs Wochen.

In Big-Data-Projekten können viele Schwierigkeiten

auftauchen. Versuchen Sie also bei der Umsetzung Jetzt lesen.
Ihres ersten Big-Data-Projekts von Anfang an alles
richtig zu machen. In unserem Workbook lernen
Sie, wie Sie klein anfangen, den Nutzen belegen
und das Big-Data-Projekt allmählich ausbauen. Sie
erhalten viele wertvolle Tipps und Anleitungen von
erfahrenen Anwendern.

33— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.

 IN18-0216-3054

Informationen
zu Informatica

Wir sind Informatica. Wir unterstützen die weltweit

größten Konzerne beim Big-Data-Management, damit Sprechen Sie uns an.
sie Innovation vorantreiben und Big Data einsetzen
können. Wenn Sie nach einem zuverlässigen,
wiederholt verwendbaren und strategischen
Ansatz für Big Data suchen, sollten wir uns einmal
näher unterhalten.

34— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.

Quellen
1. Medium, The story of AWS and Andy Jassy’s
Trillion Dollar Baby
2. Wall Street Journal, Visa says big data identifies
billions of dollars in fraud
3. ComputerWeekly.com, GE uses big data to
power machine services business
4. Datafloq, T-Mobile USA cuts down churn rate
by 50% with big data
5. Informatica, UPMC customer success story
6. Datafloq, Three use cases of how GM applies
big data to become profitable again
35— Vom Labor zur Fabrik: Das Big-Data-Management-Workbook.
7. CIO Journal, WSJ, GM grapples with big data,
cyber security in vehicle broadband connections
8. Forbes, How big data is changing the insurance
industry forever
9. EMC InFocus, It’s not just big data…it’s gigantic
data: A Telecoms Case Study
10. TDWI Best Practices Report, Hadoop for the
Enterprise, 2015
11. TDWI Best Practices Report, Hadoop for the
Enterprise, 2015
12. ComputerWeekly.com, ‘Spark versus
MapReduce: which way for enterprise IT?’
August 2015
13. New York Times, For big data scientists,
janitor work is the key hurdle to insights, 2014