Byk Veri ile Analitik Uygulamalar

Hseyin Erdem YNTEM

Bilgi Teknolojileri Mimari
yontem@tr.ibm.com
 Gndem
Byk Veri
Byk Veri ile Analitik Uygulamalar
rnek bir Kullanm Senaryosu
IBM Byk Veri zmleri
 Gndem
Byk Veri
Byk Veri ile Analitik Uygulamalar
rnek bir Kullanm Senaryosu
IBM Byk Veri zmleri
 An increasingly sensor-enabled and instrumented
business environment generates HUGE volumes of
data with MACHINE SPEED characteristics

1 BILLION lines of code

EACH engine generating 10 TB every 30 minutes!
 83x
6,000,000 users on Twitter 500,000,000 users on Twitter
pushing out 300,000 pushing out 400,000,000
tweets per day tweets per day

5 1333x
 1 trillion devices are
connected to the Internet
1.3 billion RFID tags in 2005
30 billion RFID 76 million smart meters
tags today in 2009 200M by 2014

4.6 billion
camera phones
world wide
The information base
of the world doubles
every 11 hours Twitter processes
12+ terabytes of
data every day

80% of worlds
25+ terabytes of
information is
unstructured content log data every
day
 Veri, yeni petroldr
Ham haliyle petrol pek kullanl olmasa da, ilenmi ve rafine petrol, dnyaya enerji salar.
Big Data has arrived at Seton
Health Care Family, fortunately
accompanied by an analytics tool
that will help deal with the
complexity of more than two
million patient contacts a year
Companies are being inundated
with datafrom information on
customer-buying habits to supply-
chain efficiency. But many
managers struggle to make sense
of the numbers.
Data is the new oil.
Clive Humby
At the World Economic Forum
last month in Davos,
Switzerland, Big Data was a
marquee topic. A report by the
forum, Big Data, Big Impact,
declared data a new class of
economic asset, like currency or
gold.
now Watson is being put to
work digesting millions of pages of
research, incorporating the best
clinical practices and monitoring
the outcomes to assist physicians
in treating cancer patients.
Increasingly, businesses are applying
analytics to social media such as
Facebook and Twitter, as well as to
product review websites, to try to
understand where customers are,
what makes them tick and what they
want, says Deepak Advani, who
heads IBM s predictive analytics
group.
The Oscar Senti-meter a tool
developed by the L.A. Times, IBM
and the USC Annenberg Innovation
Lab analyzes opinions about the
Academy Awards race shared in
millions of public messages on
Twitter.
 Byk Veri
Daha nce analizi mmkn olmayan muazam byklk ve/ya eitlilik ve/ya
akkanlktaki veriler zerinden bilgiye eriim.
 Byk Veri zellikleri

InfoSphere Streams

Velocity IS the game changer: Its NOT just how fast data is
produced or changed, BUT the speed at which it must be
received, understood, and processed.

9
 5 Temel Byk Veri Kullanm Alan

Byk Veri Arama Gelikin 360o Mteri Yeni Gvenlik / stihbarat

Karar alma srecini gelitirmek Grnts Yetkinlikleri
iin tm byk veri kaynaklarn Yeni ve D veri kaynaklaryla Dk risk, gerek zamanl
aramak, veriyi anlamak, mevcut Mteri Grntsn dolandrclk izleme ve siber
grselletirmek geniletin gvenlik alglama

Operasyon Analizi Veri Ambar Eklentisi

Makinelerin rettii farkl eitlilikteki Operasyonel verimlilii artrmak iin byk veri ve
verilerin analiz edilerek i sonularnn veri ambar zelliklerini entegre etmek
gelitirilmesi
 Gndem
Byk Veri
Byk Veri ile Analitik Uygulamalar
rnek bir Kullanm Senaryosu
IBM Byk Veri zmleri
2012 Big Data Study den 5 nemli karm

1 Customer analytics are driving Big Data initiatives

Big Data is dependent upon a scalable and extensible information

2 foundation.

Initial Big Data efforts are focused on gaining insights from existing and
3 new sources of internal data

4 Big Data requires strong analytic capabilities.

The emerging pattern of Big Data adoption is focused upon delivering

5 measurable business value
Source: Analytics: The real-world use of Big Data, a collaborative research study by the IBM Institute for Business Value and the
Sad Business School at the University of Oxford. IBM 2012.
 Byk Veri Analitii
Traditional Analytics Big Data Analytics
Structured & Repeatable Iterative & Exploratory
Structure built to store data Data is the structure

Business IT Team
Users Delivers Data
Analyzed
Determine Information On Flexible
Questions Platform

Available Information Analyze ALL Available Information

Capacity constrained down sampling Whole population analytics
of available information connects the dots
Analyzed
IT Team
Analyzed
Information
Information Business
Builds System Users
To Answer Explore and
Known Questions Ask Any Question
Carefully cleanse a small information Analyze information as is & cleanse as
before any analysis needed & existing repeatable
13
 Byk Veri Analitii
Traditional Analytics
Structured & Repeatable
Structure built to store data
Hypothesis Question
Big Data Analytics
Iterative & Exploratory
Data is the structure
Data Exploration

?
All Information

Analyzed
Information

Answer Data Actionable Insight Correlation

Start with hypothesis Data leads the way
Test against selected data Explore all data, identify correlations

Analyze after landing Analyze in motion

14
Farkl Uygulama Alanlar iin Birbirini Btnleyen Yaklamlar
Geleneksel Metodlar Yeni Yaklamlar
Yapsal, Analitik, Tekrarlayan Yaratc, btnsel gr, sezgisel

Veri Hadoop
Ambar Streams
Transaction Data Web Logs

Internal App Data Social Data

Structured Unstructured
Yapsal Olmayan
Repeatable
Yapsal Kurumsal Exploratory
Kefe Dayal teratif
Mainframe Data Linear
Tekrarlayan Entegrasyon Iterative
Text Data: emails
Monthly sales reports Brand sentiment
Profitability analysis Product strategy
OLTP System Data surveys
Customer MaximumSensor data: images
asset utilization

ERP data Geleneksel Yeni RFID

Kaynaklar Kaynaklar
 Gndem
Byk Veri
Byk Veri ile Analitik Uygulamalar
rnek bir Kullanm Senaryosu
IBM Byk Veri zmleri
Bu durum tandk geliyor mu?
Meltemi segmentindeki herhangi bir mteri gibi ele alalm...

ama Meltem farkl ihtiyalar

olan bir birey Banka:
Merhaba
<!-NAME!> Kredi
kartmzla
ilgilenir misiniz?

Meltem: Yine
bankadan
nemsiz
eposta
gelmi
Yaplacak kstl segmentasyon ile Meltem i herhangi bir mteri gibi ele
alyoruz.. Aksiyona
Mteri Olumlu
Meltem 'in Elde tutma mrne Yant Dnme
bankamzda Aksiyon Etkisi Etkisi Olasl
konut kredisi
ve yatrm
hesab var
Nakit Ynetim Hesab

Portfy gzden geirmek

iin zel Bankaclk & Varlk
Yn. Danman ile toplant
ayarlamak

zsermayeye sahip olma/

Kredi limiti
Meltem 'in kredi
skoru ve karll
Tercih edilen Krediyksek
Kart
Daha fazla bilgi bize Meltemin aslnda farkl olduu konusunda nasl yardmc
olabilir ve daha fazla bilgiyi kullanlabilir miyiz?

Meltem 'in
bankamzda
konut kredisi Meltem ayrca
ve yatrm Geen hafta Facebook tan
hesab var Meltem ar arkadalarnn
merkezine kredi oylamas iin bir
ileme sresini
ev fotoraf
sordu
paylat
Bu hafta, kez
web sitemizde
mortgage oranlar
kontrol
etti
Ve bugn Twitter
Meltem 'in kredi
da ikinci ev alma
skoru ve karll
ile ilgili bir yaz
yksek
paylat
Tm bilgileri kullanarak Meltem e zel bir servis sunabiliriz..
Aksiyona
Mteri Olumlu
Meltem 'in Elde tutma mrne Yant Dnme
bankamzda Aksiyon Etkisi Etkisi Olasl
konut kredisi
ve yatrm Geen hafta Meltem ayrca
Meltem ar Facebook tan
hesab varNakit Ynetim Hesab arkadalarnn
merkezine
kredi ileme oylamas iin bir ev
fotoraf paylat
sresini sordu
Bu hafta, kez
Tercih edilen Kredi Kart
web sitemizde
mortgage
oranlar kontrol
zsermayeye sahip olma/ etti
Kredi limiti
Ve bugn
Meltem 'in kredi
Tweeter da ikinci
skoru ve karll
ev alma ile ilgili
Konut Kredisi zelyksek
oran
bir yaz paylat
 Gndem
Byk Veri
Byk Veri ile Analitik Uygulamalar
rnek bir Kullanm Senaryosu
IBM Byk Veri zmleri
Verinin; bulunduu yerde analizi

IBM Business Analytics

Business Intelligence Predictive Analytics Solutions

IBM Cognos BI IBM SPSS IBM Social Media

Analytic Server Analytics
RTM Insight Catalyst Modeler

*
IBM BIG DATA PLATFORM Other Data Sources

Hadoop Stream Data

System Computing Warehouse

Information Integration and Governance

 IBM Big Data Platformu: Analitii Veriye yaklatrn

Analitik Uygulamalar
Tipi, biimi, boyutu ve akkanl ne olursa
BI / Analiz/ Fonksiyonel Endstri Veri erik
Raporlama Grselletirme
Uyg. Uyg.
Madencilii
BI / Rep
Analitii
olsun tm verilerinizi entegre edilebilmesi ve
ynetimi

IBM Big Data Platformu

leri dzey analitik fonksiyonlarn verinin doal
Grselletirme ve Uygulama Sistem Ynetimi
Keif Gelitirme
halinde uygulanmas

Elinizdeki tm verileri grselletirebimesi

Hzlandrclar

Hadoop Akkan veri Veri Ambar Yeni nesil analitik uygulamalar gelitirebilmek
Sistemi ileme iin gelitirme aralar

yk optimizasyonu ve zamanlama

Veri Entegrasyonu ve Sahiplii Gvenlik ve Veri Sahiplii

 IBM Pure Data System for Analytics
Analitik htiyalarnz iin Yk Optimize Sistem

Analitik Uygulamalar
PureData
BI / Analiz/ Fonksiyonel Endstri Veri erik
System for Analytics
Uyg. Uyg. BI / Rep
Raporlama Grselletirme Madencilii Analitii

IBM Big Data Platformu

Grselletirme ve Uygulama Sistem Ynetimi
Keif Gelitirme

Hzlandrclar

Hadoop Akkan veri Veri Ambar

Sistemi ileme

Veri Entegrasyonu ve Sahiplii Amac Optimize Yeni Teknolojilerle ve

Kitlesel Paralel lem Mimarisi ile Veri
Ambarnz hzlandrn
 InfoSphere Streams Akan Veri leme Teknolojisi
Analitik Uygulamalar
Hareket halindeki verilerin analizi
BI / Analiz/ Fonksiyonel
Uyg.
Endstri
Uyg.
Veri erik
BI / Rep E zamanl ok kanall akkan veri girii
Raporlama Grselletirme Madencilii Analitii

leklenebilir mimari
IBM Big Data Platformu
Grselletirme ve Uygulama Sistem Ynetimi Farkl tipten verilerin ilenebilmesi
Keif Gelitirme
Yapsal / yapsal olmayan, video, ses

Hzlandrclar
leri Dzey Analitik operatrler

Hadoop Akkan veri Veri Ambar

Sistemi ileme Adapte olan Gerek Zamanl Analitik
Veri Ambar ile birlikte
Hadoop ile birlikte

Veri Entegrasyonu ve Sahiplii Real-time

Real-time
Analytics
Analytics
 BigInsights, Hadoop yetkinliklerini kurumunuza getiriyor

Analitik Uygulamalar
IBM InfoSphere BigInsights
BI / Analiz/ Fonksiyonel
Uyg.
Endstri
Uyg.
Veri erik
BI / Rep Yaps ne olursa olsun Ham Veriyi nceleyin
Raporlama Grselletirme Madencilii Analitii
Veri Ambar maliyetlerinizi drn

IBM Big Data Platformu

Ak kaynak kodlu Hadoop zmn
Grselletirme ve Uygulama Sistem Ynetimi tamamlyor;
Keif Gelitirme

Performans Optimizasyonlar
Hzlandrclar
Gelitirme Aralar
Kurumsal Entegrasyon Yetkinlikleri
Hadoop Akkan veri Veri Ambar Analitik Hzlandrclar
Sistemi ileme
Hazr uygulamalar
Grselletirme
Gvenlik

Veri Entegrasyonu ve Sahiplii

Gelikin Analitik Yetkinlikler
IBM Watson En ileri byk veri ve analitik problemi!
IBM btnsel byk veri platformu
Analitik ve
Raporlama Alan Sonular
Temel Veri Ynetimi

Raporlama Grselletirme
oklanan
Eriim & mteri bilgisinin tekilletirilmesi
Referans Akkan kod
Gerek veri & apraz-sistem Sistem
eletirmeleri VeriIBM
Ambar
Zamanl Veri leme Byk VeriYnetimi
Platformu
Batch

Analitik Uygulamalar
Analiz/
Analitik Raporlama
Alan Master Data Repository

EDW
Veri Ambar Limitli

Fonksiyonel Endstri
Limitli Hedefleme
Yksek ezamanl tarihsel Uygulama
Tanmsal

Uyg.
& Tahminsel
Balantlar

sorgulamalar Modeller
Veri Entegrasyonu ODS Gelitirme
Snrl detay
Hzlandrclar
Maliyetli deiiklikler

Uyg.
Batch (gnlk)
Toplama & aktarm Detay veri Mteri
Sadece
Tarihselyapsal veriHadoop Kstl Limitli,
Deneyimi

Madencilii
Alan
Sistemi gemi Mart Kopuk
Grselletirme

Veri
Analitik Cihazlar Arama&
Tekrarlanabilen iler Keif
Analitik zmler & Keif

Analitii
erik
Veri Gvenlii & Ynetim

Veri ak & etki analizi Bilgi Entegrasyon ve Ynetimi Metadata Repository

Veri gizlilii & gvenlii

Metadata and Ynetim Alan

Teekkrler