Beruflich Dokumente
Kultur Dokumente
Semantische Analyseverfahren fr
neue Erkenntnisse aus unstrukturierten Daten
Ein Whitepaper
der Experton Group AG
Oktober 2015
Copyright
Die vorliegende Analyse wurde von der Experton Group AG im Auftrag der Sinequa
S.A.S. erstellt. Trotz der gewissenhaften und mit grter Sorgfalt erfolgten
Ermittlung der Informationen und Daten kann fr deren Vollstndigkeit und
Richtigkeit keine Garantie bernommen werden. Niemand sollte aufgrund dieser
Informationen handeln ohne geeigneten fachlichen Rat und ohne grndliche
Analyse der betreffenden Situation.
Alle Rechte am Inhalt dieses Untersuchungsberichtes liegen bei der Experton
Group. Die Daten und Informationen bleiben Eigentum der Experton Group.
Vervielfltigungen, auch auszugsweise, bedrfen der schriftlichen Genehmigung
der Experton Group AG.
Inhaltsverzeichnis
1
MANAGEMENT SUMMARY
EINFHRUNG
12
FAZIT
14
SINEQUA
15
EXPERTON GROUP AG
15
1 Management Summary
Die Datenberge in den Unternehmen werden immer grer. Daher ist absehbar,
dass Enterprise Search-Applikationen und -Lsungen zu wesentlichen - wenn nicht
sogar Kern-Elementen - der Unternehmens-IT werden.
Strukturierte Daten lassen sich leicht mit mathematischen Verfahren verarbeiten.
Je unstrukturierter die Daten sind, desto komplexer sind die Anforderungen an die
Algorithmen. Jedoch liegen erst in der Komplexitt der Big-Data-Szenarien und der
Daten selbst wirkliche Wettbewerbsvorteile. Es ist nicht sehr realistisch,
anzunehmen, dass statistische Verfahren, spalten-orientierte Datenbanken, InMemory-Technologien oder neue, schnelle Indizierungsmechanismen allein die
Lsung fr den dort entstehenden Bedarf darstellen.
Die ra der Geschftsentscheidungen auf Basis einfacher Reports, die aus
gefilterten und vorsortierten Daten (die wiederum berwiegend Zahlen oder einen
eng beschrnkten Wortschatz enthalten) entstehen, geht zu Ende. Bei Big-DataAnalytics geht es um mehr als die Ermittlung von Unternehmens-Kennzahlen fr
eine Business-Scorecard. Es geht darum, die Ergebnisse in einen logischen
Zusammenhang mit allen zugehrigen Informationen zu bringen. Nur durch eine
neuartige Sicht auf groe strukturierte, unstrukturierte und teilstrukturierte Daten
lassen sich wirklich neue Erkenntnisse gewinnen. Die semantische (inhaltliche)
Analyse von groen Datenmengen leistet hier einen wichtigen technischen Beitrag
und macht Zusammenhnge sichtbar. Herkmmliche statistische (quantitative)
Verfahren knnen dies in der Regel nicht leisten.
Mit dem spezifischen Ansatz der semantischen Textanalyse erffnet sich
Anwendern eine neue Technologie fr die Erschlieung und Analyse
polystrukturierter Daten, die gleichermaen aus der Unternehmens-IT (ERP, CRM,
u.a.) stammen knnen, wie auch aus externen Quellen, darunter Social Media,
Nachrichtenkanlen, E-Mails, Brodokumenten oder Webseiten. Damit rckt auch
die unternehmensweite Suche (Enterprise Search) in den Fokus von Big-DataTechnologien.
Die Experton Group empfiehlt Anwendern aufgrund der starken Zunahme immer
neuer Datenformate, seien sie strukturiert oder unstrukturiert, sehr intensiv ber
fortschrittliche und zukunftssichere Analysemethoden nachzudenken und dabei
die semantische Analyse in den Fokus zu rcken. Nur durch die Kombination von
herkmmlichen statistischen und semantischen Analyseverfahren, unter
Einbindung sowohl strukturierter als auch unstrukturierter Daten, lassen sich
wirkliche Wettbewerbsvorteile erzielen. Eine entsprechende Analyse-Plattform
sollte die agile Entwicklung von Suche-basierenden Anwendungen (search based
applications) untersttzen. Diese knnen die spezifischen Geschftsprozesse des
Anwenderunternehmens effizienter gestalten.
Copyright Experton Group AG
2 Einfhrung
Big-Data beschreibt die Gewinnung neuer Informationen aus enorm groen und
heterogenen Datenbestnden, die in krzester Zeit sehr vielen Nutzern zur
Verfgung stehen mssen, um dadurch schnellere und bessere wettbewerbskritische Entscheidungen treffen zu knnen. Big Data erweitert damit klassische
Business-Analytics-Anwendungen und ist durch einen enormen Zuwachs an
unterschiedlichsten Datenquellen, an Datennutzern (intern wie extern), an
Verarbeitungsgeschwindigkeit und an Datenvolumina gekennzeichnet.
Der Bitkom e.V. hat in seinen Leitfden1 zu Big Data eine der wichtigsten Herausforderungen der nchsten Dekaden (!) zusammengefasst: ein schier
unaufhrliches Datenwachstum. Big Data mag seine Wurzeln darin gehabt haben,
dass die Ermittlung von Unternehmenskennzahlen auf eine breitere Datenbasis
gestellt wird. Jetzt ist aber klar: Die digitale Transformation schafft nicht nur immer
neue Daten, sondern sie verlangt vorrangig nach neuen Verfahren fr die
Auswertung und Verknpfung von Informationen.
Daten, intern wie extern, sind zum wichtigsten Asset im globalen Wettbewerb
geworden. Die daraus gewonnenen Informationen sind eine strategische Ressource
in den immer komplexeren und dynamischeren Marktumfeldern. Es zeigt sich, dass
die Umsetzung von Big-Data-Szenarien vor allem an organisatorischen Barrieren
scheitert, whrend die technischen Barrieren relativ einfach ausgerumt werden
knnen.
Bisherige herkmmliche statistische Verfahren, neue Datenbank- und In-MemoryTechnologien oder neue, schnelle Indizierungsmechanismen allein reichen jedoch
nicht als Antwort fr den entstehenden Bedarf. Tatschlich muss in alle Richtungen
geforscht werden: von der schnellen Bewegung sehr groer Datenmengen von
einem Ort zum anderen ber leistungsfhige Computer und Netzwerke bis hin zur
Anwendung logischer Verfahren wie beispielsweise dem Natural Language
Processing (NLP).
Bei dem Natural Language Processing geht es jedoch nicht nur darum, statistische
Aufflligkeiten (Hufungen von Begriffen in Transaktionsdatenstzen) eines
Quelldatensatzes anhand von Synonymwrterbchern zu ermitteln. Es geht darum,
Synonyme im richtigen Kontext dem richtigen Vorgang zuzuordnen: Kohle, Moos,
Asche, Kies, Schotter knnen jeweils Begriffe fr Geld sein. Jeder dieser Begriffe hat
aber auch seine eigene Bedeutung. Schotter ist selbstverstndlich im
Zusammenhang mit Straenbau nicht als Synonym fr Geld zu werten, es sei denn,
es geht in dem Beispiel um die Aufklrung von Schmiergeldzahlungen, wo dann der
Schotter (die Bestechung) fr die Lieferung des Schotters (Baumaterial) gemeint
sein knnte. Allein dieses Beispiel veranschaulicht bereits die Komplexitt des
Themas.
Relevante Anwendungsbereiche fr modernes und fortgeschrittenes Natural
Language Processing lassen sich in nahezu allen Branchensegmenten finden,
angefangen bei Fertigungsunternehmen (Zuordnung von Varianten, Baugruppen
und Bauteilen, in sehr umfangreichen Produkten wie einem Pkw) bis hin zu
hoheitlichen Aufgaben (Strafverfolgung) ffentlicher Organisationen.
Wie wichtig dies sein kann, zeigt beispielsweise die Dokumentation von Flugzeugen
und Hubschraubern. Obwohl diese Verkehrsmittel in Serie gebaut werden, entsteht
das einzelne Produkt mit der Losgre 1. Das bedeutet, dass auch die
Dokumentation eines jeden Produkts von den anderen Produkten abweicht. Eine
alte Redensart unter Flugzeugbauern sagt, dass ein neues Flugzeug erst dann die
Zulassung erhlt, wenn das Gewicht der Dokumentation das Startgewicht der
Maschine erreicht hat. Ebenso komplexe Textdokumente finden sich im
wissenschaftlichen Bereich, wo es immer schwieriger wird, existierende wichtige
Verffentlichungen zu finden. Auch bestimmten Berufsgruppen wie z.B.
Patentanwlten und Forschern knnen semantische Verfahren das schnelle Finden
relevanter Dokumente erleichtern, wenn beispielsweise riesige Datenbanken mit
Patentschriften ausgewertet werden mssen. Die Auswertung von Fallstudien,
Testreihen, Patentschriften und wissenschaftlichen Texten ist auch eine der
aufwndigsten Aufgaben in der pharmazeutischen Industrie und in der
medizinischen Forschung. Linguistische Mechanismen stellen bei der intelligenten
Auswertung von Texten die gesuchten Zusammenhnge dar.
10
Aus der Fhigkeit, diese Daten nicht nur statistisch auszuwerten, sondern logische
Erkenntnisse zu gewinnen, ergeben sich eine Vielzahl denkbarer Anwendungen:
Zielmarkt
Denkbare Applikation
Regierung/
Behrden
Erkennungsdienstliche Aufgaben
Prvention
Automobilindustrie
Ersatzteilorganisation
Call-Center/Kundenuntersttzung
Versicherungen
Risikominimierung
Pharmazeutische
Industrie
Krzeres Time-to-Market
Forschungsdatenbanken,
Laborberichte und klinische
Testreihen effizienter durchsuchen
und redundante Projekte vermeiden
11
12
vollstndiger Transparenz bei der Suche und knnen Informationen ber Cloudund Enterprise-Anwendungen schneller abrufen.
Die Grundlage fr den Einsatz semantischer Verfahren ist die Entity Extraction, die
Begriffe in Texten erkennt und sie mit verwandten Begriffen in Beziehung setzen
kann. Unternehmensspezifische Synonymlisten und Ontologien knnen das Wissen
ber Begriffe und deren Beziehungen verstrken. Anwender knnen daher nach
Begriffen fragen, die nicht in den relevanten Texten vorkommen, und trotzdem eine
relevante Antwort erhalten. So kann die Frage nach dem gelben Knopf an einer
Maschine die entsprechende Beschreibung der Prftaste aus der Dokumentation
liefern, auch wenn die Frage weder die genaue Artikelbezeichnung noch diesen
Begriff enthlt.
Es ist vorstellbar, dass zu Beginn der Arbeit mit einer NLP-Software irrtmliche
Treffer (sogenannten false positives) angezeigt werden. Typischerweise werden
diese von den Anwendern individuell markiert, wobei die Software dies
interpretiert. Sinequa untersttzt diesen Lernprozess effektiv durch die Fhigkeit,
nahezu beliebige Ontologien und Thesauren einlesen zu knnen, um die
Anlernphase der Software zu verkrzen.
Fr die Darstellung der Suchergebnisse werden Diagramme und andere
Ergebnisprsentationen genutzt. Getreu dem Motto Ein Bild sagt mehr als tausend
Worte haben sich fr die verschiedenen Arten von Erkenntnissen aus den
Datenanalysen auch verschiedene Darstellungsformen durchgesetzt. Besonders
populr sind zur Zeit beispielsweise Graphen. Sinequa beherrscht alle gegenwrtig
typischen Arten von Charts, Diagrammen und Reports.
Die Software von Sinequa wird in Deutschland direkt und ber ein Netz von
Partnern vertrieben. Sinequa hat ihre Partnerlandschaft in den letzten Jahren und
Monaten strategisch ausgebaut. Neue Allianzen und Partnerschaften gibt es zum
Beispiel mit der Atos SE, die mit ihren 93.000 Beschftigten in 72 Lndern Projekte
mit Big-Data-Content-Analyse auch auf Basis der Sinequa-Lsungen durchfhrt.
13
6 Fazit
Big-Data-Projekte sind komplex. Das Speichern und Auswerten von einigen hundert
Terabytes ist dabei nur die Einstiegsdroge zu immer komplexeren Szenarien, und
in der Komplexitt liegen die eigentlichen Wettbewerbsvorteile fr die Anwender,
die so aus ihren Daten mehr und neue Informationen gewinnen knnen. Je
komplexer die Datenquellen und -arten sind, desto wichtiger ist es, nicht nur
statistische Verfahren zu nutzen, sondern die Inhalte durch linguistische Verfahren
auch zu verstehen.
Die Datenberge in den Unternehmen werden immer grer. Daher ist absehbar,
dass Enterprise Search-Applikationen und -Lsungen zu wesentlichen - wenn nicht
sogar Kern-Elementen - der Unternehmens-IT werden.
Oftmals stellen sich Anwender, vor allen jene mit einer leistungsfhigen ITOrganisation, die Frage nach dem Make or Buy?. Der Aufwand fr die komplette
Neuentwicklung einer semantischen Enterprise-Search-Anwendung wurde von der
Experton Group in einem konkreten Projekt auf bestenfalls weit ber 24 Personenjahre berechnet. Dabei waren ausreichend linguistisch erfahrene Softwareentwickler Teil der Berechnungsgrundlage. Ohne diese wrde der Aufwand fr eine
Neuentwicklung um ein Vielfaches steigen. Auch der Aufwand fr eine Neuentwicklung mit vorhandenen Tools und Open-Source-Komponenten darf nicht
unterschtzt werden.
Bei der Auswahl von Lsungen mit intelligenten semantischen Analysen nahezu
beliebiger Daten ist es zudem oft besser, neue Wege zu beschreiten. Anwender, die
sich zu sehr an Bekanntem orientieren, ben jene Wettbewerbsvorteile ein, die
sich aus einem neuen, unvoreingenommenen Blick auf die Daten ergeben.
Die Experton Group empfiehlt Anwendern aufgrund der Zunahme immer neuer
Datenformate, seien sie strukturiert oder unstrukturiert, sehr intensiv ber
zukunftssichere Analysemethoden nachzudenken und dabei die semantische
Analyse in den Fokus zu rcken. Beschleunigungsverfahren wie In-MemoryTechniken oder Datenbankbeschleuniger schaffen durch die schnellere Lieferung
von Ergebnissen Reserven fr weitere Iterationen, jedoch immer im Rahmen der
vorherrschenden Denkwelten. Es gilt nun, diese Verfahren und Techniken mit
intelligenter und zukunftssicherer Technologie, zur Gewinnung wirklich neuer
Erkenntnisse, zu erweitern.
14
7 Sinequa
Sinequa ist eine der fhrenden Softwarefirmen im Markt fr Big Data ContentAnalyse in Realzeit, Enterprise Search und Unified Information Access. Die
ausgereiften Content Analytics-Funktionen der Sinequa-Lsung ermglichen es
Konzernen und ffentlichen Verwaltungen, wertvolle Informationen aus sehr
groen und komplexen Datenbestnden, aus strukturierten Anwendungen und
unstrukturierten Datenquellen zu gewinnen. Basierend auf den Ergebnissen
jahrelanger, sprachwissenschaftlicher Forschung kombiniert die flexible
Softwarelsung semantische mit statistischer Analyse, stellt Zusammenhnge in
heterogenen, groen Datenmengen her und liefert Anwendern relevante
Ergebnisse fr ihre Arbeitsprozesse. Sinequas hochskalierbare Lsung durchsucht
Milliarden von Dokumenten und Datenstzen in Datenbanken uerst effizient und
versorgt zehntausende von Nutzern mit den fr sie relevanten Informationen. Die
leistungsstarke Architektur sowie die gebrauchsfertigen Konnektoren fr alle
gngigen Unternehmensanwendungen und Datenquellen gewhrleisten eine
schnelle und kosteneffiziente Implementierung und Integration in bestehende ITUmgebungen. Millionen von Anwendern in groen Unternehmen und
Organisationen nutzen bereits Sinequa, um effizient auf geschftskritische
Informationen zugreifen zu knnen. Zum renommierten Kundenkreis des
Unternehmens zhlen Airbus, AstraZeneca, Atos, Biogen, Crdit Agricole, das
franzsische Verteidigungsministerium, die Europische Kommission und Siemens.
8 Experton Group AG
Experton Group ist ein fhrendes IT-Research- und Beratungsunternehmen. Mit
europaweit 80 erfahrenen Analysten untersttzen wir mittelstndische und groe
Anwenderunternehmen bei der strategischen Planung und Umsetzung ihrer ITStrategien. Zudem unterstrzt Experton Group IT-Anbieter in Strategie-,
Marketing- und Wettbewerbsfragen.
15
Impressum
Herausgeber:
Experton Group AG
Carl-Zeiss-Ring 4
D - 85737 Ismaning
Vorstand: Jrgen Brettel (Vorsitzender), Lutz Peichert, Nils Bachmann
Aufsichtsratsvorsitzender: Wolfgang Stbich
Amtsgericht Mnchen HRB 158568
Version 3
Oktober 2015
16