IIC MAGAZINE IIC MAGAZINE

Nr 1/2013 Nr 1/2013

DB2 10.1: Jeszcze bardziej DB2 10.1: Jeszcze bardziej efektywna kompresja danych efektywna kompresja danych
Marcin Marczewski str. 14 Marczewski Marcin
str. 14

okladka ICC Magazine 6.03.2012 logo pion+erka.indd 1

od strony technicznej

Mariusz Czopiski str. 4 Marcin Panasiuk str. 8

Tivoli Endpoint Manager

PureData PureData System System for for Analytics Analytics od od strony strony technicznej technicznej
Mariusz Czopiski Mariusz Czopiski str. 4 str. 4

Ochrona Ochrona przed przed wyciekiem wyciekiem danych dziki danych dziki rozwizaniu rozwizaniu Tivoli Tivoli Endpoint Endpoint Manager Manager
Marcin Panasiuk Marcin Panasiuk str. 8 str. 8

Nowe Nowe rozwizanie rozwizanie IBM IBM Intelligent Intelligent Operations Operations Center Center for for Smarter Smarter Cities Cities
Marcin Rzeczkowski Marcin Rzeczkowski str. 21 str. 21
Marcin Rzeczkowski str. 21

Center for Smarter Cities

7/3/13 01

WSTP

IIC MAGAZINE Nr 1/2013

Drodzy deweloperzy!
Zapraszam do lektury pierwszego w tym roku wydania IIC Magazine, w ktrym tradycyjnie przedstawimy techniczne nowoci zportfolio IBM. Ten numer rozpoczynamy od artykuu Mariusza Czopiskiego opisujcego techniczne aspekty IBM PureData System for Analytics rozwizania architektonicznie integrujce oprogramowanie bazodanowe, serwery, podsystem dyskowy izaawansowane oprogramowanie do analizy danych. W dalszej czci Marcin Panasiuk prezentuje rozwizanie Tivoli Endpoint Manager Data Protection chronice przed wyciekiem danych, aMarcin Marczewski przyblia temat jeszcze bardziej efektywnej kompresji danych dziki DB2 10.1. Na zakoczenie Marcin Rzeczkowski opisuje nowe rozwizanie IBM Intelligent Operations Center for Smarter Cities pozwalajce na cige monitorowanie kluczowych wskanikw wydajnoci miasta.

ycz przyjemnej lektury.

Monika Kamiska

redaktor prowadzca

IBM Innovation Center

Centrum zapewniajce bezpatne wsparcie kompetencyjne oraz sprztowe Partnerom Handlowym i Klientom IBM, uatwiajce procesy zwizane z portowaniem, testowaniem oraz integracj aplikacji tworzonych w odpowiedzi na potrzeby rynku. Centrum IIC gwarantuje fachow pomoc na kadym etapie rozwoju i ycia aplikacji. Umoliwia dostp do najnowszych technologii, narzdzi programistycznych oraz laboratoriw informatycznych.
Wicej na stronie: ibm.com/pl/iic

My developerWorks
Szukasz najlepszego rda informacji dla deweloperw? Ju dzi docz do grona specjalistw zarejestrowanych na My developerWorks, ktry jest czci portalu developerWorks. Znajdziesz tam m.in. bezpatne wersje oprogramowania IBM, artykuy techniczne, tutoriale, fora dyskusyjne, blogi i wiele innych zasobw.
Wicej na stronie: ibm.com/developerworks/mydeveloperworks

IBM INNOVATION CENTER

www.ibm.com/pl/iic

IIC MAGAZINE Nr 1/2013

SPIS TRECI

2 3 4

Wstp Spis treci

14

DB2 10.1: Jeszcze bardziej efektywna kompresja danych

Marcin Marczewski

20

Wydarzenia Nowe rozwizanie IBM Intelligent Operations Center for Smarter Cities
Marcin Rzeczkowski

PureData System for Analytics od strony technicznej

Mariusz Czopiski

21

Ochrona przed wyciekiem danych dziki rozwizaniu Tivoli Endpoint Manager

Marcin Panasiuk

26 27

Inicjatywa Akademicka Nowinki technologiczne

3

www.ibm.com/pl/iic

IBM INNOVATION CENTER

PUREDATA SYSTEM

IIC MAGAZINE Nr 1/2013

PureData System for Analytics od strony technicznej

4
Szafa RACK PureData System

Systemy klasy business intelligence (BI) s zaprojektowane do pracy z duym wolumenem danych. Jednake wraz ze wzrostem iloci danych, hurtownia danych, ktra przechowuje i dostarcza strumie danych do narzdzi BI, staje si coraz bardziej przeciona. Dlatego czas oczekiwania na raporty moe zblia si do nieakceptowalnej granicy.

W obecnie konkurencyjnym, szybko zmieniajcym si rodowisku, sukces rynkowy firmy zaley midzy innymi od dostpu kierownictwa do informacji, ktre pozwol na

Mariusz Czopiski
Specjalista w dziedzinie relacyjnych baz danych, m.in. DB2. Pomaga dobra najbardziej efektywne rozwizanie sprztowe pod konkretne zastosowania bazodanowe. Specjalizuje si w strojeniu rodowisk AIX Oracle (DB2) w celu uzyskania najwikszej wydajnoci. Jest posiadaczem licznych certyfikatw z zakresu baz danych oraz systemw operacyjnych. Ma wieloletnie dowiadczenie zwizane z administracj baz danych i systemw operacyjnych.

podjcie waciwych decyzji. Czsto kierownicy rnych dziaw potrzebuj profilowanych raportw, co znaczco zwiksza ich liczb w systemach business intelligence. Wygenerowanie za pomocnych statystyk i raportw wymaga przeanalizowania olbrzymiej iloci danych. Czas jest rwnie istotnym elementem. Wane jest, jak szybko odpowiednie raporty s w stanie trafi do kadry zarzdzajcej: czy czas oczekiwania to tygodnie, dni czy godziny. Oczywicie im szybciej, tym lepiej. Kadra

mariusz.czopinski@pl.ibm.com

IBM INNOVATION CENTER

www.ibm.com/pl/iic

IIC MAGAZINE Nr 1/2013

PUREDATA SYSTEM

zarzdzajca ma wicej czasu, by zmienia kryteria raportw, gdy poprzednie oka si niezbyt trafne. Co wicej, oprcz wymaga co do czasu pozyskania informacji, stawiane s wymogi dotyczce niskich kosztw utrzymania systemu informatycznego. Taki system jest zbudowany z serwerw, macierzy, przecznikw, oprogramowania bazodanowego i oprogramowania analitycznego. Poszczeglne elementy czsto pochodz od rnych producentw, co jest dodatkow komplikacj. W tradycyjnym podejciu kluczem do wydajnego dziaania takiego systemu jest wsppraca grupy ekspertw, ktrzy potrafi optymalnie zestroi wszystkie komponenty, a pniej prawidowo o nie dba. Takie podejcie podnosi znacznie zarwno koszty budowy, jak i utrzymania systemu. IBM promuje odmienne podejcie. Proponuje rozwizanie sprztowo-programowe, ktre architektonicznie integruje oprogramowanie bazodanowe, serwery, podsystem dyskowy i zaawansowane oprogramowanie do analizy danych. Produktem tej idei jest IBM PureData System.

Integracja wszystkich komponentw, wgranie oprogramowania i jego zestrojenie odbywa si w fabrykach IBM, a do klienta trafia gotowy do uycia, pochodzcy od jednego dostawcy system informatyczny w postaci jednej lub wielu szaf rack. Specyfikacja Zanim przyjrzymy si szczegowo funkcjom kluczowych elementw systemu, spjrzmy na niego z perspektywy sprztowej. Pena konfiguracja PureData System for Analytics to: 8 pek dyskowych EXP2512 po 12 dyskw SAS o pojemnoci 1 TB, dwa serwery rackowe architektury x86, serwery S-Blade (max 14), KVM, czyli konsola do lokalnego zarzdzania serwerami, przeczniki do sieci SAN i ethernet. W sprzeday jest dostpnych kilka modeli PureData System for Analytics. Dziki temu, e system bardzo dobrze si skaluje liniowo, moemy go atwo dostosowa do rosncych wymaga. Najmniejsza konfiguracja N1001002 zajmuje 1/4 szafy rack, kolejna N1001005 1/2 szafy rack, za model N1001-010 to pena szafa rack. Dokadna specyfikacja w tabeli nr 1.

Tabela nr 1. Specyfikacja sprztowa systemu PureData System for Analytics.

IBM PureData System for Analytics Model Szafy rack Serwery S-Blade CPU Rdzenie FPGA Pami RAM Pojemno w TB Max pobr prdu Waga w kg Wysoko w cm Gboko w cm Szeroko w cm N1001-002 1 4 32 32 96 GB 32 2820 W 453,6 202 101,6 64,8 N1001-005 1 7 56 56 128 GB 64 3960 W 589,7 202 101,6 64,8 N1001-010 1 14 112 112 336 GB 128 7635 W 907,2 202 101,6 64,8 2 Racks 2 28 224 224 672 GB 256 7400 W 907,2 202 101,6 64,8 3+ Racks 3-10 # Racks x 14 # Racks x 112 # Racks x 112 # Racks x 336 # Racks x 128 7000 W 907,2 202 101,6 64,8

www.ibm.com/pl/iic

IBM INNOVATION CENTER

PUREDATA SYSTEM

IIC MAGAZINE Nr 1/2013

Architektura PureData System for Analytics to rozwizanie scalajce oprogramowanie hurtowni bazy danych, macierz i serwery w jeden system, zoptymalizowany pod niezwykle szybkie przetwarzanie duych iloci danych. Wysok wydajno gwarantuje technologia IBM Netezza. Przyjrzyjmy si najwaniejszym elementom tej architektury i funkcjom, jakie peni one w systemie. Serwery SMP s odpowiedzialne za przetwarzanie zapytania SQL. Podczas tego procesu zapytanie SQL jest optymalizowane, ustalany jest plan wykonania, a nastpnie zapytanie jest transformowane do kodu wykonywalnego. Kod wykonywal-

ny zosta podzielony na segmenty zwane snippetami. Kady snippet jest uruchamiany na oddzielnym serwerze o nazwie Snippet Blade (S-Blade). Snippety, w celu rnych zapyta, mog by rwnolegle uruchamiane na tym samym serwerze. Serwery SMP, ze wzgldw niezawodnociowych, s spite w klaster active-passive. Kady z nich zawiera po dwa czterordzeniowe procesory Intel Xeon 2,6 GHz oraz 7 dyskw SAS o pojemnoci 146 GB. Snippet Blade (S-Blade) jest zbudowany z HS22 wyposaonego w dwa czterordzeniowe procesory Intel Xeon E5620 2,4 GHz i 24 Gb RAM oraz moduu IBM Netezza DB Accelerator (Rys. 2). Sercem IBM Netezza DB Acceleratora s cztery dwurdzeniowe

Rys. 1. Oglna architektura.

IBM INNOVATION CENTER

www.ibm.com/pl/iic

IIC MAGAZINE Nr 1/2013

PUREDATA SYSTEM

ukady FPGA (Field Programmable Gate Array). Cao pracuje pod kontrol systemu operacyjnego Linux.

gurowalne i dostosowywane do przetwarzania dedykowanego snippeta. Kady S-Blade ma przypisane dyski z macierzy, na ktrych znajduje si porcja danych ze wszystkich tabel, przechowywanych w caej hurtowni. Komunikacja dysk-serwer odbywa si poprzez bardzo szybk sie wiatowodow. W penej konfiguracji jest 96 dyskw typu SAS, o pojemnoci 1 TB, spitych w RAID 1. Snippet uruchamiany na S-Blade operuje na dedykowanej porcji danych. Taka dystrybucja w najwyszym stopniu wspiera ide rwnolegego przetwarzania i utylizuje wszystkie serwery S-Blade. W przypadku wielu snippetw wysanych do tego samego serwera, kady z nich otrzymuje miejsce w kolejce, w zalenoci od priorytetu snippeta. Po przetworzeniu snippeta serwery S-Blade maj swoje porcje danych, ktre musz zosta w jaki sposb poczone. Dlatego te serwery S-Blade komunikuj si pomidzy sob i serwerem SMP, dokonujc potrzebnych agregacji. Serwer SMP skada to, co otrzyma od wszystkich S-Blades i buduje z tego kompletny rezultat zapytania. Podsumowanie PureData System for Analytics to rozwizanie proste w administracji, cechujce si elastyczn konfiguracj i liniow skalowalnoci. Ponadto dostarczany jest do klienta kocowego w penej gotowoci do pracy. Dziki zastosowanej technologii, sprawnie i szybko operuje na terabajtach danych. Jest zdolny do wyko nywania zaawansowanych operacji analitycz nych bez wikszych problemw. Warto te wspomnie, e z PureData System for Analytics klient otrzymuje rwnie licencje na oprogramowanie IBM InfoSphere BigInsights i 2 licencje deweloperskie na oprogramowanie IBM InfoSphere Streams 2.0.

Rys. 2. S-Blade.

S-Blade to rozwizanie sprztowe, ktre realizuje ide filtrowania danych, moliwie jak najbliej ich fizycznego pooenia. Filtruje niepotrzebne wiersze i kolumny, bazujc na licie atrybutw wpisanych w klauzuli SELECT i WHERE w zapytaniu SQL (Rys. 3). FPGA odfiltrowuje okoo 9598% danych, uwalniajc CPU, pami i sie od przetwarzania niepotrzebnych danych. Dziki temu moc procesora moe by wykorzystana do bardziej skomplikowanych operacji analitycznych.

Rys. 3. Proces filtracji danych w ukadach FPGA.

FPGA jest take odpowiedzialny za dekompresj danych pobranych z dyskw. Zastosowanie kompresji niezwykle przyspiesza odczyt danych. System w jednym kroku I/O jest w stanie odczyta 4 razy wicej danych ni w przypadku braku kompresji. W ten sposb redukuje si ilo procesw I/O, a tym samym zmniejsza liczb operacji wykonywanych na najwolniejszym elemencie kadego systemu bazodanowego, ktrym jest podsystem dyskowy. Ukady FPGA s dynamicznie rekonfi-

www.ibm.com/pl/iic

IBM INNOVATION CENTER

TIVOLI ENDPOINT MANAGER

IIC MAGAZINE Nr 1/2013

Ochrona przed wyciekiem danych dziki rozwizaniu Tivoli Endpoint Manager

8 Ochrona przed utrat danych (DLP Data Loss Prevention) jest coraz istotniejszym aspektem, z jakim musi si zmaga administrator infrastruktury IT. Wyciek danych wraliwych, niejawnych, takich jak informacje o klientach, dane finansowe, wasno intelektualna czy tajemnice handlowe, moe kosztowa firm miliony, doprowadzajc czsto do utraty reputacji i klientw, kar finansowych czy spraw sdowych.
W niniejszym artykule zostan zaprezentowane podstawowe funkcje IBM Tivoli Endpoint Manager Data Protection, dziki ktrym mona atwo zwikszy bezpieczestwo firmy, minimalizujc zagroenia DLP. Omawiany dodatek jest produktem firmy Trend Micro, ktra jest pionierem w dziedzinie integracji rozwiza DLP. Funkcjonalnoci Data Protection firmy Trend Micro s rozszerzeniem pakietu Core Protection i wymagaj zainstalowania klienta po stronie zarzdzanych stacji kocowych. Dlatego pierwsz czynnoci z poziomu Tivoli Endpoint Manager (TEM) jest zainstalowanie agentw CPM dla kadej kocwki. Funkcja ta jest dostpna z poziomu konsoli TEM i nie wymaga interakcji z uytkownikami. W celu rozpoczcia konfiguracji DLP, naley w grupie Endpoint Protection rozwin drzewo Core Protection Module, a nastpnie Configuration. W oknie zawartoci po prawej stronie pojawi si tablica DLP Settings Wizard (Rys. 1).

Marcin Panasiuk
Ekspert z zakresu serwerw rodziny IBM System x oraz wirtualizacji w ramach rozwiza opartych o system VMware. Pomaga take w projektowaniu rozwiza wykorzystujcych sztandarowy serwer aplikacyjny IBM Web Sphere Application Server. Bardzo dobrze zna narzdzia deweloperskie, ze szczeglnym uwzgldnieniem narzdzi IBM Rational Application Developer.

marcin.panasiuk@pl.ibm.com

IBM INNOVATION CENTER

www.ibm.com/pl/iic

IIC MAGAZINE Nr 1/2013

TIVOLI ENDPOINT MANAGER

Rys. 1. DLP Settings Wizard.

Tu moliwe jest utworzenie rnorodnych polityk, ktre znajd zastosowanie w infrastrukturze IT i zminimalizuj potencjalne zagroenia. Aby utworzy polityk, naley w oknie na rys. 1 nacisn przycisk DLP Policy lub skrt Po-

licy Management, a potem rozpocz proces tworzenia nowej polityki przyciskiem Add. W oknie tworzenia nowej polityki trzeba wybra wzorzec z dostpnych lub stworzy wasny, zdefiniowany pod konkretne rodowisko (Rys. 2).

Rys. 2. Tworzenie polityk.

www.ibm.com/pl/iic

IBM INNOVATION CENTER

TIVOLI ENDPOINT MANAGER

IIC MAGAZINE Nr 1/2013

Kolejnym krokiem jest okrelenie sieciowych kanaw komunikacyjnych, dla ktrych dana polityka ma by aktywna (Rys. 3).

na wpisaniu stacji, ktrych dana polityka nie bdzie dotyczya. Jest to metoda alternatywna, poniewa wyznaczanie konkret-

10

Rys. 3. Wybr kanaw komunikacyjnych.

Nale do nich midzy innymi klienci poczty, sesje FTP, HTTP, HTTPS, SMB, Webmail czy klienci Instant Messaging.
Monitorowa mona kady ruch generowany ze stacji lub tylko ten, ktry jest poza sieci lokaln, firmow.

nych stacji, dla ktrych tworzona jest polityka, odbywa si z poziomu Tivoli Endpoint Managera przy wykorzystaniu dostpnych grup czy rozbudowanych filtrw. Poza kanaami sieciowymi dostpne jest rwnie okrelenie kanaw systemowych, takich jak napdy CD/DVD, drukarki, urzdzenia przenone (Rys. 4).

Dopuszczalne jest rwnie okrelenie wyjtkw od tworzonej polityki, ktre polega

Rys. 4. Wybr kanaw systemowych.

IBM INNOVATION INNOVATION CENTER CENTER

www.ibm.com/pl/iic

IIC MAGAZINE Nr 1/2013

TIVOLI ENDPOINT MANAGER

Urzdzenia przenone maj dodatkow funkcjonalno konfiguracyjn, pozwalajc administratorowi na ustalenie, ktre z nich nie musz by monitorowane. W tym przypadku okrelane s producent, model i numer seryjny urzdzenia przenonego (Rys. 5).

monitorujca i archiwizujca zdarzenie lub akcja blokujca wykonywan czynno, ktra jest dla danej polityki zabroniona (Rys. 6). Przy kadym takim zdarzeniu uytkownik moe rwnie by poinformowany o niedozwolonej operacji, jak usiuje przeprowadzi.

Rys. 5. Okrelanie wyjktw dla urzdze przenonych.

11

Wykorzystujc rozwizania Core Protection, mona rwnie ustali, jakie uprawnienia bdzie posiadao dane urzdzenie. Czy uytkownik, korzystajc z takiego urzdzenia, ma prawa do odczytu, zapisu danych, za pomoc jakiego oprogramowania dany plik moe by wyedytowany itp. Kolejn opcj, jak naley okreli, jest sposb reakcji na zdarzenie. Moe to by tylko akcja

Po wykonaniu powyszych krokw konfiguracyjnych tworzone jest zadanie w obrbie Tivoli Endpoint Managera, ktre to trzeba wysa do wskazanych stacji kocowych w celu uaktywnienia. Proces wykonywania zada i konfiguracji polityk wykonywalnoci zosta opisany szczegowo w artykule Tivoli Endpoint Manager sprawne zarzdzanie systemami opublikowanym w IIC Magazine nr 1/2011.

Rys. 6. Wybr akcji.

www.ibm.com/pl/iic

IBM INNOVATION CENTER

TIVOLI ENDPOINT MANAGER

IIC MAGAZINE Nr 1/2013

Jeli powysza metoda tworzenia polityk jest zbyt zawia, dopuszczalna jest alternatywna metoda wykorzystujca kreator, ktry przeprowadzi krok po kroku przez procedur tworzenia (Rys. 7).

na rys. 9 i pokazuje predefiniowan list sw zwizanych z miejscem urodzenia. Listy predefiniowane nie mog by edytowane, dlatego te dodawanie kolejnych sw wie si z tworzeniem wasnego, nowego wpisu.

Rys. 7. Tworzenie polityk.

Oczywicie oprcz predefiniowanych wzorcw istnieje moliwo budowania wasnych, bazujcych na konkretnym cigu znakw, rozszerzeniach plikw lub wyraeniach sownikowych. Kada z tych opcji jest dostpna z poziomu kreatora DLP Settings Wizard (Rys. 1), a take podczas tworzenia polityki jak powyej. Aby stworzy wasny cig znakw, ktre jednoznacznie bd determinoway dan wraliw, naley zdefiniowa nowe rozszerzenie Expression (Rys. 8). W pojawiajcym si oknie moliwe jest wpisanie okrelonego cigu znakw zwanego regex (regular expression) oraz sprawdzenie, czy dziaa on prawidowo.

Kolejnym rozwizaniem pozwalajcym zminimalizowa zagroenia dotyczce wycieku danych jest monitorowanie okrelonych plikw pod wzgldem ich atrybutw. Administrator definiuje w takim przypadku, jakie typy plikw lub z jakim rozszerzeniem maj by chronione.

12

Rys. 8. Definiowanie rozszerze.

Rys. 9. Definiowanie list sownikowych.

Drugim czsto stosowanym sposobem minimalizowania zagroe jest wykorzystanie wyrae sownikowych. Ustalane s tutaj sowa, kryteria ich wystpowania itp., na okoliczno ktrych agent bdzie reagowa i wykonywa okrelon procedur. Dziki takim listom duo atwiejsze jest wyledzenie niedozwolonych zachowa uytkownikw. Przykad takiej listy znajduje si

W powyszym artykule przedstawiono podstawowe zagadnienia zwizane z technologi DLP oferowan w produkcie Tivoli Endpoint Manager. Dziki kreatorom i graficznym formularzom kady administrator w kilku prostych krokach potrafi stworzy dan polityk, a nastpnie wdroy j w swoim rodowisku. Warto doda, e dodatek DLP jest produktem firmy Trend Micro, a zatem wiele poytecznych informacji na temat pisania wasnych wyrae regex mona znale rwnie na stronach, forach producenta.

IBM INNOVATION CENTER

www.ibm.com/pl/iic

IIC MAGAZINE Nr 1/2013

INFORMACJE Z DYSTRYBUCJI

www.arrowecs.pl

IBM PureSystems Prezentacja i warsztaty w Arrow ECS

Arrow ECS zaprasza wszystkich zainteresowanych produktami z rodziny IBM PureSystems do wzicia udziau w dwch rodzajach spotka skierowanych do klientw: Prezentacja w wybranym przez Pastwa terminie. Ch wzicia udziau, prosimy zgasza na stronie: www.arrowecs.pl/id/prezentacjapuresystems Warsztaty technologiczne w Krakowie ze specjalnie przygotowanym programem. Zgoszenia na stronie: www.ArrowECSservices.pl/id/purelab
Korzyci z warsztatw dla uczestnikw: Zdobycie wiedzy o najnowszych rozwizaniach z rodziny IBM PureSystems Moliwo zobaczenia rozwizania PureFlex System NA YWO Podniesienie kompetencji i poszerzenie wiedzy na temat zintegrowanych systemw infrastrukturalnych Korzyci dla firmy: Osoby odpowiedzialne za IT bd posiaday aktualn wiedz o moliwociach technologicznych Przeszkolony pracownik lepiej dobierze rozwizanie do potrzeb biznesowych firmy Lepsze okrelenie kierunku rozwoju IT organizacji Wicej informacji: Rafa Goszyk, Manager programu rafal.goszyk@arrowecs.pl tel. 516009344

13

www.azlan.pl

Dziaalno szkoleniowa realizowana przez Azlan w Polsce moe by oferowana jeszcze lepiej dziki infrastrukturze Azlan Competence Center, gdzie odbywaj si rnorodne szkolenia z zakresu portfolio produktw dostpnych w naszej ofercie. Partnerzy mog rozwija swoje umiejtnoci zarwno w zagadnieniach cile technicznych, jak i sprzedaowych. Warsztaty techniczne s prowadzone gwnie przez inynierw wsparcia Azlan. Szkolenia handlowe za prowadz zarwno pracownicy Azlan, jak i prezenterzy producentw, z ktrymi wsppracujemy. Na wiosn w ramach rozbudowy i modernizacji Azlan Competence Center zmieni siedzib. Na powierzchni 256 m2 znajdowa si bd sale szkoleniowe, oddzielne pomieszczenie do testowania rozwiza pod konkretne zapotrzebowanie partnera oraz sala egzaminacyjna. Sercem orodka jest profesjonalna serwerownia. Dysponujemy rodowiskami demonstracyjnymi rozwiza opartych o wykorzystujcych infrastruktur typu Blade i sieci SAN, na ktrej zbudowane s modele chmur prywatnych opartych o oprogramowanie VMware i Microsoft. Z przyjemnoci informujemy, e Azlan Competence Center sta si Autoryzowanym Centrum Egzaminacyjnym Pearsona VUE.

www.ibm.com/pl/iic

IBM INNOVATION CENTER

DB2 10.1: KOMPRESJA DANYCH

IIC MAGAZINE Nr 1/2013

DB2 10.1: Jeszcze bardziej efektywna kompresja danych

Mechanizmy kompresji dostpne w bazie DB2 pozwalaj nie tylko znaczco ograniczy ilo wymaganej przestrzeni dyskowej, lecz take pozytywnie wpyn na wydajno caego rodowiska.
Wprowadzenie W czasach, gdy ilo przetwarzanych informacji znaczco przyrasta istotne jest wydajne zarzdzanie danymi oraz moliwoci automatycznego przechowywania. Mimo coraz niszych cen pamici masowej, ktra mogaby suy do przechowywania duych iloci danych, czsto zalecane jest wykorzystanie mechanizmu kompresji. W najnowszej wersji oprogramowania serwera baz danych IBM DB2 10.1, udostpnionej w poowie 2012 roku, IBM wprowadzi nowy algorytm, tzw. kompresj adaptacyjn, umoliwiajc uzyskanie jeszcze lepszych wynikw wporwnaniu zwersjami poprzednimi. Wartykule tym opisano najwaniejsze mechanizmy kompresji danych dostpne wDB2 10.1 oraz ich moliwoci. Dostpne mechanizmy kompresji Znaczny przyrost danych w rodowiskach bazodanowych obserwowany jest od kilku lat. Pierwsze mechanizmy kompresji dostpne byy ju wwersji 8.1 serwera DB2 tzw. kompresja wartoci (value compression), polegajca na przechowywaniu tylko jednej kopii wartoci oraz referencji do lokalizacji, gdzie dana warto si znajduje, czy mechanizm kompresji pliku obrazu kopii zapasowej bazy danych. Wwersji 9.1 serwera baz danych DB2 udostpniono mechanizm sownikowej kompresji danych (Row Compression) umoliwiajcy znaczne ograniczenie przestrzeni wymaganej do przechowywania danych, poprzez zastpowanie danych zakwalifikowanymi wzorcami. Mechanizm ten, pozwalajcy na uzyskanie nawet 80% stopnia kompresji danych znajdujcych si wtabeli, zosta dodatkowo usprawniony w kolejnych wersjach (w DB2 9.5 pojawi si mechanizm umoliwiajcy automatyczne tworzenie sownika kompresji tzw. ADC (Automatic Dictionary Creation). Od wersji DB2 9.7 dodatkowo do dyspozycji mamy moliwo kompresowania danych typu XML, indeksw czy danych, ktre przetwarzane s wtabelach tymczasowych.

14

Marcin Marczewski
Pracownik Laboratorium Oprogramowania IBM Polska w Krakowie od 2005 roku. Pracuje w zespole Informa tion Management Lab Services izajmuje si wsparciem klientw wzakresie migracji do baz danych IBM DB2 oraz wdroe produktw zrodziny Information Management, wtym wobszarze BigData. Wczeniej pracowa przy rozwoju narzdzi z grupy IBM Optim. Prowadzi take liczne szkolenia dotyczce baz danych DB2, posiada certyfikaty IBM zzaawansowanej administracji DB2.

marcin.marczewski@pl.ibm.com

IBM INNOVATION CENTER

www.ibm.com/pl/iic

IIC MAGAZINE Nr 1/2013

DB2 10.1: KOMPRESJA DANYCH

WDB2 10.1 IBM wprowadzony zosta kolejny, jeszcze bardziej wydajny algorytm kompresji sownikowej kompresja adaptacyjna (adaptive compression). Rysunek 1 przedstawia algorytmy kompresji dostpne wrnych wersjach DB2.

bazy (w pulach buforw). W przypadku wystpienia zapyta odnoszcych si do tych samych obszarw danych, informacje mog zosta odczytane bezporednio z buforw (pamici operacyjnej), dziki czemu czas realizacji zapy-

Rys. 1. Rozwj mechanizmw kompresji dla rnych wersji DB2.

Mechanizmy kompresji klasycznej, adaptacyjnej, XML, tabel tymczasowych iindeksw dostpne s wramach pakietu Storage Optimization Pack do edycji Enterprise Server Edition oraz Advanced Enterprise Server Edition. Zyski zkompresji Wduych systemach bazodanowych stosowanie mechanizmw kompresji moe mie istotne znaczenie nie tylko ze wzgldu na ilo pamici masowej potrzebnej do przechowywania danych, ale przede wszystkim zuwagi na wydajno caego systemu.

tania moe by znaczco skrcony. Zasoby pamici operacyjnej przypisane bazie danych s jednak zwykle ograniczone. Dziki zastosowaniu kompresji sownikowej dostpnej wDB2, dane mog zosta skompresowane za pomoc zidentyfikowanych wzorcw. W takiej postaci dane bd przechowywane nie tylko na dyskach, ale take w pamici operacyjnej w tych samych obszarach bdziemy wic wstanie przechowa wiksz ilo danych. Tym samym wiksza ilo zapyta bdzie moga by realizowana poprzez dostp do buforw, anie do dyskw. Operacje I/O nale do jednych z najdroszych w systemach bazodanowych, a ich ograniczenie powoduje wzrost wydajnoci takiego rodowiska. Ograniczenie operacji I/Oto rwnie mniejsze obcienie procesora. Zastosowanie mechanizmu kompresji sownikowej pozwala na pen automatyzacj itransparentno (dane podlegaj procesowi dekompresji dopiero wtedy, kiedy s zwracane do aplikacji). Kompresja sownikowa klasyczna Kompresja sownikowa to najbardziej efektywny z algorytmw kompresji dostpnych

15

Nisze koszty utrzymania iadministracji Skompresowane dane istotnie ograniczaj ilo wymaganej przestrzeni dyskowej (wprzypadku DB2 redukcja ta siga nawet 80%), co moe mie znaczcy wpyw na koszty utrzymania takiego rodowiska. Ponadto przestrze dyskowa to nie tylko koszt urzdzenia, ale take koszty jego utrzymania, wtym nakady na zasilanie, chodzenie czy przechowywanie. Ograniczona ilo urzdze to rwnie mniejsze nakady na administracj takiego rodowiska. Szybszy dostp do danych Dane odczytywane na etapie realizacji zapyta buforowane s wpamici operacyjnej

www.ibm.com/pl/iic

IBM INNOVATION CENTER

DB2 10.1: KOMPRESJA DANYCH

IIC MAGAZINE Nr 1/2013

wDB2. Mechanizm klasyczny wprowadzono w wersji DB2 9.1 i moe by wczony dla dowolnej tabeli przy uyciu odpowiedniego polecenia CREATE TABLE lub ALTER TABLE. Dla kadej tabeli tworzony jest jeden sownik kompresji, w ktrym przechowywane s powtarzajce si wzorce wraz z przypisanymi krtkimi znacznikami, ktrymi zastpowane s dane w tabeli. Wzorce wyszukiwane s na obszarze caej tabeli w obrbie wierszy (nie w obrbie konkretnych kolumn). Sownik przechowywany jest wewntrz tabeli oraz jest buforowany (wcelu uzyskania szybkiego dostpu do jego zawartoci). Rysunek 2 obrazuje mechanizm kompresji danych przy uyciu sownika globalnego. Zawarto sownika globalnego jest statyczna (nie zmienia si on wraz zwprowadzanymi modyfikacjami do danych w tabeli) oraz zwykle nie przekracza wielkoci 130 KB (nawet dla bardzo duych tabel). Po wczeniu mechanizmu kompresji oraz utworzeniu sownika nowo dodawane rekordy bd podlegay kompresji z uyciem zdefinowanego wczeniej zestawu wzorcw. Przebudowa sownika wymaga wykonania operacji reorganizacji tabeli (REORG z opcj RESETDICTIONARY), w tym dekompresji iponownej kompresji danych wedug nowego sownika.

Tak skompresowane dane przetrzymywane s nie tylko na dysku, lecz take w plikach logw czy podczas przetwarzania wpamici operacyjnej, co pozytywnie wpywa na wydajno realizowanych zapyta (wicej danych moe by przechowywanych i przetwarzanych bezporednio wpamici, bez koniecznoci odnoszenia si do dysku). Mechanizm kompresji adaptacyjnej W wersji DB2 10.1 do dyspozycji mamy nowy, rozwinity mechanizm tzw. kompresji adaptacyjnej (Adaptive Compression), ktry wykorzystuje nie tylko sownik globalny (dla tabeli), ale rwnie tworzy sowniki lokalne na poziomie kadej strony (bloku danych). Dziki temu moliwe stao si uzyskanie jeszcze lepszych wynikw. W pierwszej kolejnoci, po wczeniu mechanizmu, stosowany jest algorytm kompresji klasycznej dane podlegaj analizie, tworzony jest sownik globalny zawierajcy zakwalifikowane wzorce. Nastpnie odpowiednie dane zastpowane s referencjami do wzorcw. Proces ten obrazuj rysunki nr 2 i3. Wzorce, ktre nie zostay zakwalifikowane do sownika globalnego (ma on ograniczony rozmiar, ajego zawarto jest statyczna), mog by wykorzystywane w sowniku lokalnym (nowy element). Podobnie jak w przypad-

16

Rys. 2. Kompresja klasyczna wykorzystuje sownik globalny.

IBM INNOVATION CENTER

www.ibm.com/pl/iic

IIC MAGAZINE Nr 1/2013

DB2 10.1: KOMPRESJA DANYCH

Rys. 3. Kompresja z uyciem sownika globalnego.

ku procesu tworzenia sownika globalnego, dane znajdujce si na danej stronie (bloku) s analizowane, a nastpnie tworzona jest struktura zawierajca zakwalifikowane wzorce. W szczeglnoci wzorcem, bd jego czci, mog by dane ju skompresowane przy uyciu sownika globalnego. Zawarto tego sownika moe by take odwieona wraz zwprowadzonymi modyfikacjami.

Rysunek 4 przedstawia etap tworzenia sownikw lokalnych. Kompresja adaptacyjna znaczco ogranicza zapotrzebowanie na operacje reorganizacji tabeli (w mechanizmie kompresji klasycznej sownik jest statyczny, co moe powodowa, e po dodaniu/zmodyfikowaniu rekordw powinien zosta wykorzystany inny zestaw wzor-

17

Rys. 4. Kompresja adaptacyjna z wykorzystaniem sownikw na poziomie strony.

www.ibm.com/pl/iic

IBM INNOVATION CENTER

DB2 10.1: KOMPRESJA DANYCH

IIC MAGAZINE Nr 1/2013

Rys. 5. Porwnanie wspczynnika kompresji przy zastosowaniu kompresji klasycznej i adaptacyjnej.

18

cw, aby uzyska lepsze wyniki kompresji). W przypadku licznych operacji modyfikujcych dane, wtym dodawania nowych imodyfikacji istniejcych rekordw, nie ma koniecznoci wykonywania operacji reorganizacji danych dla caej tabeli, poniewa nowo dodane mog zosta skompresowane przy uyciu sownika lokalnego. Ponadto, jeli chodzi omodyfikacj rekordu, sownik lokalny moe by odpowiednio zaktualizowany. Na rys. 5 przedstawiono wyniki obrazujce wspczynnik kompresji uzyskany dla tej samej tabeli z zastosowaniem mechanizmu kompresji klasycznej, adaptacyjnej oraz adaptacyjnej po zreorganizowaniu tabeli. Kompresja polecenia Mechanizm kompresji sownikowej (zarwno klasycznej, jak iadaptacyjnej) funkcjonuje na poziomie tabeli. Polecenia przedstawione na listingu 1 obrazuj, wjaki sposb mona tworzy tabel z wczon opcj kompresji (1). Uycie sowa STATIC jest opcjonalne i powoduje wczenie tylko mechanizmu kompresji statycznej. Opcj domyln od wersji DB2 10.1 jest kompresja adaptacyjna. Wgranie danych do tak utworzonej tabeli (2) moe wyzwoli mechanizm automatycznego tworzenia sownika (Automatic Dictionary

Creation ADC), ktry przeanalizuje istniejce wtabeli dane ina ich podstawie utworzy sownik kompresji. Nowo dodane rekordy bd podlegay kompresji przy uyciu tego wanie sownika.
(1) CREATE TABLE <definicja tabeli> COMPRESS YES [STATIC] (2) LOAD FROM file OF DEL REPLACE INTO <nazwa tabeli>

Listing 1. Wczanie kompresji dla tabeli tworzonej.

Istnieje rwnie moliwo wczenia kompresji danych (zarwno klasycznej, jak i adaptacyjnej) dla tabeli ju istniejcej. Listing 2 przedstawia procedur wczania kompresji dla takiego obiektu. Samo wczenie mechanizmu kompresji nie powoduje utworzenia sownika i kompresji danych (1). Najpierw naley wykona polecenie reorganizacji danych (2).
(1) ALTER TABLE <nazwa tabeli> COMPRESS YES [STATIC] (2) REORG TABLE <nazwa tabeli>

Listing 2. Wczanie kompresji dla tabeli istniejcej.

Sownik kompresji moe zosta przebudowany wmomencie wykonywania operacji reorganizacji. Mona rwnie defragmentowa

IBM INNOVATION CENTER

www.ibm.com/pl/iic

IIC MAGAZINE Nr 1/2013

DB2 10.1: KOMPRESJA DANYCH

tabel bez koniecznoci przebudowywania sownika. Listing 3 przedstawia obie te opcje.

(1) REORG TABLE <nazwa tabeli> RESETDICTIONARY (2) REORG TABLE <nazwa tabeli> KEEPDICTIONARY

Dla tabel tymczasowych uytkownika (CGTT Create Globab Temporary Table i DGTT Declared Global Temporary Table) kompresja jest stosowana zawsze. Kompresja indeksw W bazie danych DB2 istnieje moliwo kompresji indeksw utworzonych zarwno dla tabel tradycyjnych, jak i tymczasowych. Wczenie kompresji sownikowej dla tabeli powoduje automatyczne wczenie kompresji take dla zdefiniowanych dla tego obiektu indeksw. Zachowanie to mona nadpisa, wczajc bd wyczajc t opcj bezporednio na poziomie indeksu. Listing 5 prezentuje polecenia umoliwiajce wczenie kompresji indeksw (1, 2). Podobnie jak wprzypadku tabel, naley pamita oreorganizacji obiektu (3).
(1) CREATE INDEX <index_name> COMPRESS YES (2) ALTER INDEX <index_name> COMPRESS YES (3) REORG INDEXES ALL FOR TABLE <table_name>

Listing 3. Reorganizacja tabeli: (1) z przebudowaniem sownika, (2) z zachowaniem istniejcego sownika.

W kadej chwili moemy wyczy mechanizm kompresji danych dla wybranej tabeli. Naley jednak pamita, e musimy take reorganizowa tabel, w celu dekompresji danych i usunicia sownika. Listing 4 prezentuje ten proces.
(1) ALTER TABLE <nazwa tabeli> COMPRESS NO (2) REORG TABLE <nazwa tabeli>

Listing 4. Wyczanie kompresji dla tabeli.

19

DB2 10.1 ma take wbudowane mechanizmy, pozwalajce na odczytanie estymat potencjalnej kompresji oraz na sprawdzenie, jakie rzeczywiste oszczdnoci przyniosa stosowana kompresja. Do tego celu su dwie wbudowane funkcje: ADMIN_GET_ TAB_COMPRESS_INFO (estymacja) oraz ADMIN_GET_TAB_DICTIONARY_INFO (raportowanie wynikw). Kompresja tabel tymczasowych Wprzypadku aktywnego pakietu Storage Optimization Pack DB2 dostarcza mechanizmy umoliwiajce kompresj danych przetwarzanych wtabelach tymczasowych. Tutaj stosowany jest tylko mechanizm kompresji klasycznej, niezalenie od typu tabeli tymczasowej. Jeli za chodzi o tabele systemowe, to optymalizator DB2 odpowiedzialny za realizacj zapyta zdecyduje, czy dane te powinny podlega kompresji (mona to sprawdzi przy uyciu polecenia: db2pd db <database> -temptable).

Listing 5. Wczanie kompresji dla nowego indeksu (1), istniejcego (2) oraz polecenie reorganizacji stron indeksu po wczeniu kompresji (3).

Wbudowana funkcja ADMIN_GET_INDEX_ COMPRESS_INFO (dziaajca zarwno w trybie estymacji, jak i raportowania) pozwala okreli potencjalne zyski, moliwe do osignicia wprzypadku wczenia kompresji indeksu, ipokaza realne, uzyskane oszczdnoci dla indeksu ju skompresowanego. In-lineowanie danych ikompresja XML Dane w bazie danych przechowywane s na stronach (blokach) o wielkoci 4, 8, 16 bd 32 kilobajtw. Pojedynczy wiersz musi wcaoci zmieci si na pojedynczej stronie. Nie dotyczy to danych typu XML, ktre umieszczone s na osobnym zestawie strony, tzw. XDA (XML Data Area), czy LOB, ktre przechowywane s w osobnych strukturach.

www.ibm.com/pl/iic

IBM INNOVATION CENTER

WYDARZENIA

IIC MAGAZINE Nr 1/2013

In-lineowanie danych Od wersji DB2 9.5 istnieje moliwo realizacji procesu in-lineowania danych XML, a od wersji 9.7 take danych typu LOB. Wprzypadku, gdy wdanym wierszu znajduje si dokument XML lub LOB, ktry jest na tyle krtki, e wraz zdanymi zpozostaych kolumn mgby si zmieci na jednej stronie danych, jest tam umieszczany. Wczenie kompresji dla takiej tabeli spowoduje, e dane, ktre bd in-lineowane, rwnie zostan skompresowane (i znajd si w buforach), co dodatkowo moe pozytywnie wpyn na wydajno rodowiska. Limit (maksymaln dugo pola do in-lineowania) okrela si na etapie tworzenia tabeli (1) bd w trakcie jej modyfikacji (2).
(1) CREATE TABLE PROJECTS (PID INTEGER, PLAN XML INLINE LENGTH 300, STARTDATE DATE, ) (2) ALTER TABLE PROJECTS ALTER COLUMN PLAN SET INLINE LENGTH 1004

Stosujc taki sposb rozmieszczania danych w tabelach, moemy kompresowa dane typu LOB czy XML.

Kompresja XML Wczenie kompresji sownikowej dla tabeli zawierajcej kolumny XML spodowuje, e dane typu XML take bd kompresowane. Wtym przypadku zostanie rwnie zastosowana kompresja sownikowa, przy czym wzorcami bd potwarzajce si elementy XML. Dla danych XML utworzony zostanie osobny sownik kompresji.
Podsumowanie Mechanizmy kompresji DB2 umoliwiaj nie tylko uzyskanie znacznych oszczdnoci przestrzeni dyskowej, ale przede wszystkim zwikszaj wydajno bazy danych. Dziki kompresji sownikowej dane s przechowywane jako skompresowane we wszystkich obszarach, w tym w pamici operacyjnej. Dziki temu wiksza ilo informacji moe zosta zbuforowana, co znaczco ogranicza potrzeb wykonywania operacji dostpu do dyskw, atym samym zmniejsza czas realizacji wykonywanych zapyta.

20

Listing 6. Definiowanie mechanizmu in-lineowania dla wybranej kolumny dla tabeli tworzonej (1) i istniejcej (2).

Wydarzenia, w ktrych warto wzi udzia

kwiecie | IBM Connections 4.0: Social Software for Business (IC40Social) bootcamp Szczegy i rejestracja: monika.kaminska@pl.ibm.com kwiecie | IBM Cognos Family Workshop bootcamp Szczegy i rejestracja: monika.kaminska@pl.ibm.com maj | Global Enterpreneur mentor day Szczegy i rejestracja: monika.kaminska@pl.ibm.com maj | IBM Systems and Technology Truck Roadshow Szczegy i rejestracja: andrzej.kruszewski@pl.ibm.com czerwiec | IVA - Intelligent Video Analitycs bootcamp Szczegy i rejestracja: monika.kaminska@pl.ibm.com czerwiec | Curam software bootcamp Szczegy i rejestracja: monika.kaminska@pl.ibm.com

IBM INNOVATION CENTER

www.ibm.com/pl/iic

IIC MAGAZINE Nr 1/2013

INTELLIGENT OPERATIONS CENTER

Nowe rozwizanie IBM Intelligent Operations Center for Smarter Cities

Koordynowanie, ostrzeganie i alarmowanie oraz umoliwienie dziaa zapobiegawczych i naprawczych ograniczajcych skutki zagroe i incydentw stanowi jedno zkluczowych dziaa organw zarzdzajcych miastem dla ochrony zdrowia, ycia imienia wobliczu licznych zagroe naturalnych icywilizacyjnych. Inteligentne miasta powinny efektywnie wykorzystywa posiadane informacje, przewidywa problemy ioptymalnie zarzdza swoimi zasobami. IBM Intelligent Operations Center wychodzi naprzeciw tym potrzebom. Jest rozwizaniem, ktre pozwala na cige monitorowanie kluczowych wskanikw wydajnoci miasta, awwypadku wystpienia problemw wspiera przywracanie ich waciwego poziomu.
Szybko rozwijajce si orodki miejskie wymagaj wprowadzania automatyzacji iinteligentnych rozwiza wtakich obszarach, jak infrastruktura transportowa, suba zdrowia, administracja publiczna, gospodarka wodna, systemy edukacji, energetyka oraz zapewnienie bezpieczestwa publicznego. Wadze miasta powinny uwzgldnia w swoich decyzjach zarwno potrzeby miast jako caoci, jak i potrzeby pojedynczych mieszkacw. Przygldajc si rosncym potrzebom klientw, ktre dotykaj takich kwestii, jak: moliwo integracji rodowisk obsuguj cych rnorodne systemy informatyczne, analiza iintegracja danych wcelu zautoma tyzowanego wspuytkowania tymi danymi, tworzenie przejrzystych raportw prezentu jcych istotne szczegy biznesowe, monitoring wideo pomagajcy skutecznie walczy zprzestpczoci, firma IBM powikszya swoj ofert o nowe rozwizanie IBM Intelligent Operations Center for Smarter Cities (inteligentne centrum operacyjne IBM). Jak wskazuje nazwa, oprogramowanie to jest czci oferty dotyczc inteligentnych miast, ktra odpowiada wspomnianym wymaganiom oraz wspiera dziaania poszczeglnych agencji, instytucji, urzdw czy departamentw. Dostarcza te skonsolidowanych informacji, ktre umoliwiaj przewidywanie problemw i zapobieganie im zawczasu. Inteligentne centrum operacyjne moe rwnie zosta wykorzy-

21

Marcin Rzeczkowski
W IBM Polska pracuje od 3 lat. Wspiera firmy partnerskie w przeprowadzaniu testw wydajnociowych oraz projektw typu proof of concept. W IBM Innovation Center zajmuje si midzy innymi oprogramowaniem IOC oraz SVS.

marcin.rzeczkowski@pl.ibm.com

www.ibm.com/pl/iic

IBM INNOVATION CENTER

INTELLIGENT OPERATIONS CENTER

IIC MAGAZINE Nr 1/2013

stane do zarzdzania duymi obiektami, takimi jak lotniska czy stadiony, a take pozwala optymalizowa bezpieczestwo w tych obiektach. Jest to idealne rozwizanie umoliwiajce koordynacj caego miasta, wspprac wzakresie planowania i realizacji imprez masowych, pozwalajce skuteczniej walczy z przestpczoci i usprawni koordynacj dziaa w sytuacjach kryzysowych. Podstawowe waciwoci oprogramowania IOC to: zbieranie w czasie rzeczywistym danych zwielu odrbnych rde, takich jak rne go typu czujniki, kamery, agencje bezpie czestwa oraz bazy danych uytkowych. W ten sposb powikszamy horyzonty dziaalnoci rodowiska otransport, gospo dark wodn, bezpieczestwo publiczne oraz energi; posugiwanie si midzynarodowym proto koem alarmowym CAP (Common Alerting Protocol). Dane pobierane zsystemw r dowych s konwertowane do CAP. Dane te mog by dzielone zinnymi syste mami pracujcymi ze standardami CAP oraz systemami non-CAP poprzez elastyczn iadaptacyjn struktur; filtrowanie i wizualizacja informacji w celu identyfikacji istotnych iznaczcych zdarze, incydentw, alarmw, powiadomie, pozio mw KPI (Key Performance Indicators); wykorzystanie map w celu przechowywania iprzetwarzania informacji geoprzestrzennych; analizowanie informacji umoliwiajce iden tyfikacj wzorcw i trendw uzasadniaj cych wykonanie okrelonej akcji. IOC ze zwala na dostp do informacji, zarzdzanie ni iprezentowanie watwym do uycia for macie, ktry daje uytkownikowi zdolno uzyskania prawdziwej wiedzy sytuacyjnej;

wywoanie wczeniej zdefiniowanych przepyww pracy w celu szybszego reagowania, zwikszenia efektywnoci operacyjnej, zapobiegania nasileniu trwajcych incydentw i zmniejszeniu strat wynikajcych z sytuacji nadzwyczajnych. Stwierdzono, e utrudnieniami w podjciu szybkiej reakcji na ewentualne incydenty w wielu przypadkach nie jest ilo danych, ale wykonanie procedur operacyjnych. Rozwizanie IOC pozwala na uruchamianie ustalonego odgrnie sposobu dziaania, czyli SOP (Standard Operating Procedure), przy pomocy zautomatyzowanych przepyww pracy do szybkiego reagowania i rozwizywania problemw zwizanych zwydarzeniami iincydentami, zanim przerodz si one wsytuacje kryzysowe;

22

wsplne podejmowanie decyzji przez r nego rodzaju instytucje oraz ich wsppraca w celu zwikszenia standardu wiadczo nych usug. Struktury organizacyjne utrud niaj szybk wymian informacji, a zada niem IOC jest uatwienie tej komunikacji oraz wsppracy wramach domen izapew nienie moliwoci podejmowania decyzji ze wiadomej obserwacji rodowiska; optymalizacja zasobw iusprawnienie pla nowania zada wewntrz struktur, aby zmaksymalizowa efektywno ipoprawi poziom usug; automatyczne sygnalizowanie konfliktu po midzy poszczeglnymi instytucjami lub wydarzeniami wrnych lokalizacjach oraz skuteczne wykorzystanie i kontrola zaso bw wcelu skrcenia czasu rozstrzygnicia sytuacji nadzwyczajnych i kryzysowych, atake ochrony infrastruktury krytycznej. Architektura W skad architektury IOC V1.5 wchodzi pi oddzielnych serwerw: application server, event server, data server, management server oraz installation server, zczego cztery znich to serwery produkcyjne ijeden instalacyjny (Rys. 1).

IBM INNOVATION CENTER

www.ibm.com/pl/iic

IIC MAGAZINE Nr 1/2013

INTELLIGENT OPERATIONS CENTER

Rys. 1. Komponenty IBM Intelligent Operations Center.

23

Serwer aplikacyjny jest odpowiedzialny za usugi webowe, zarzdzanie interfejsem uytkownika, atake umoliwia dostarczanie raportw oraz wskanikw KPI. Serwer danych przechowuje i integruje dane dla rnych komponentw naszego rozwizania. Serwer korelacji zdarze jest odpowiedzialny za poczenia do zewntrznych rde danych, filtrowanie iprzetwarzanie przychodzcych zdarze oraz konfiguracj regu korelacji dla tych zdarze. Innymi czynnociami wykonywanymi przez serwer zdarze s zarzdzanie reakcjami na incydenty, przepyw pracy iwykonywanie standardowych procedur operacyjnych oraz udostpnianie komunikatora Sametime. Serwer zarzdzajcy pozwala na monitorowanie caej infrastruktury IOC pod wzgldem wydajnoci oraz dostpnoci za pomoc agentw zainstalowanych na pozostaych serwerach. Agenty te zbieraj informacje osprzcie, systemach operacyjnych, bazie danych oraz infrastrukturze sieci. Serwer zarzdzajcy realizuje rwnie podstawowe funkcje zabezpiecze stosowanych przez inne

serwery wchodzce wskad architektury, takie jak dostp uytkownikw oraz zarzdzanie tosamoci. Serwer instalacyjny jest uywany do instalacji poszczeglnych komponentw iwprowadzania poprawek. Natomiast nie jest wymagany do zwyczajnej pracy rodowiska. Wymagania sprztowe Wymagania sprztowe uzalenione s od zoonoci wykorzystania IOC (liczba integrowanych systemw, liczba przetwarzanych zdarze, liczba jednoczenie pracujcych uytkownikw). Projekty pilotaowe oraz rodowiska PoC mog zosta zainstalowane na serwerze klasy podstawowej zdwoma gniazdami procesorowymi (dwa 8-rdzeniowe procesory, min. 2 GHz) posiadajcym min. 80 GB pamici DDR3 oraz 2 TB przestrzeni dyskowej. Ponadto naley zapewni zasoby w postaci 2 CPU, 4 GB DDR3 oraz 250 GB HDD dla serwera instalacyjnego. Oczywicie zwikszajc wymagania, tworzc rodowiska produkcyjne, naley zdecydowa si na wiksze

www.ibm.com/pl/iic

IBM INNOVATION CENTER

INTELLIGENT OPERATIONS CENTER

IIC MAGAZINE Nr 1/2013

czteroprocesorowe serwery klasy korporacyjnej o duej pojemnoci pamici operacyjnej i moliwoci atwej i szybkiej rozbudowy wprzyszoci. Elastyczny model licencjonowania Jeli chodzi osposb licencjonowania, to oparty jest gwnie oliczb Jednoczenie Pracujcych Uytkownikw oraz Autoryzowanych Uytkownikw. Autoryzowany Uytkownik to unikalna osoba zdostpem do Programu, natomiast Jednoczenie Pracujcy Uytkownik, to dowolna liczba osb uzyskujcych w tym samym czasie dostp do Programu. Jednostki jednoczenie pracujcych osb s specyficzne dla typu uytkownika inie mog by wymieniane, zamieniane lub czone z uprawnieniami innego programu lub typu uytkownika. Warto pamita otym, i rni uytkownicy IOC posiadaj odmienne potrzeby iwymagaj innego rodzaju dostpu do informacji. Korzystajcymi mog by organy nadzoru lub dyrektorzy, operatorzy, a nawet zwyczajni obywatele. Wzwizku ztym IBM wprowadzi kilka typw uytkownikw, zrnicowanych udostpnianymi funkcjonalnociami oraz cen. Wramach modelu licencyjnego wyrniamy nastpujce typy uytkownikw: IBM Intelligent Operations Center Premium User Uytkownicy Premium nale do grupy osb wymagajcych moliwoci wykonywania za awansowanych funkcji oprogramowania, ta kich jak zmiany procesw biznesowych, kon figurowanie ustalonych zasad iwartoci pro gowych, metryk iich hierarchii. Naley pami ta, e co najmniej jeden uytkownik typu Premium musi zosta zakupiony dla uyt kownikw typu Standard oraz uytkowni kw typu Consumer. IBM Intelligent Operations Center Standard User Jest to typ uytkownikw, nieposiadajcy uprawnie administracyjnych, ktrzy nie po-

trzebuj dostpu do administracyjnych funkcji oprogramowania. Ten rodzaj licencji jest prze znaczony dla uytkownikw bdcych ope ratorami IOC, ktrzy korzystaj zpodstawo wych funkcjonalnoci, takich jak wizualizacja, wysyanie da, wykonywanie czynnoci zwizanych z przepwem pracy, tworzenie alarmw i incydentw, zamykanie zdarze lub ich eskalacja oraz tworzenie raportw. IBM Intelligent Operations Center Consumer User S to uytkownicy, ktrzy komunikuj si tylko porednio z oprogramowaniem IOC. Przykadem mog by mieszkacy lub go spodarstwa domowe, ktrzy za pomoc de dykowanych aplikacji informuj o proble mach, skargach lub opnieniach dotycz cych miast. Dane przesane od tego typu osb bd gromadzone, analizowane isko relowane przez oprogramowanie IOC do generowania istotnych informacji. IBM Intelligent Operations Center Develo per User Ten typ uytkownikw ma te same upraw nienia iprzywileje co uytkownik Premium, ale tylko dla rodowisk nieprodukcyjnych. Autoryzowany Uytkownik moe pracowa jednoczenie na kilku instancjach IOC. Podsumowanie IBM Intelligent Operations Center zapewnia jednolity interfejs umoliwiajcy wspprac rnych instytucji, dziki czemu moemy przewidzie wydarzenia i szybko reagowa w przypadku wystpienia sytuacji kryzysowych. Ponadto IOC pozwala na monitorowanie stanu rodowiska, wktrym powstaj zagroenia, a take zapewnia obieg informacji midzy organami zarzdzajcymi, dziki czemu informacje ozagroeniu s przekazywane we waciwym czasie. Wicej informacji: redbooks.ibm.com/ abstracts/sg248061.html

24

IBM INNOVATION CENTER

www.ibm.com/pl/iic

IIC MAGAZINE Nr 1/2013

INFORMACJE Z DYSTRYBUCJI

www.portal-avnet.pl www.avnet.pl

Program Dodatkowego Wsparcia Technicznego

Usugi implementacyjne Standardowe usugi implementacyjne i konsultacje dostarczane przez dzia Professional Services: IBM Hardware: IBM Storewize V7000 IBM San Volume Controler (SVC) IBM DS5xxx\DS3xxx IBM Tape (TS3100, TS3200, TS3400, inne) IBM SAN (Brocade, inne) IBM Power Hardware (CSU), AIX IBM Power Wirtualizacja (VIOS, LPAR) IBM Power HCMP Cluster IBM System X Implementacja IBM BladeCenter Implementacja IBM PureFlex Konsultacja/Audyt  Konsultacja/Audyt IBM Power (HCMP, AIX, VIOS, LPAR) IBM Software: Tivoli Storage Manager & TDP modules Lotus SameTime Lotus Notes Domino Konsultacja/Audyt Lotus Notes Domino Kontakt: Rafa Drewelus, Professional Services Manager e-mail: rafal.drewelus@avnet.com tel.: +48 605 933 334 Kontakt: Aleksander Tarkowski, Professional Services Engineer e-mail: aleksander.tarkowski@avnet.com tel.: +48 668 168 414

Sprzt DEMO Avnet prowadzi program demo oferowanych przez siebie rozwiza IBM, w ramach ktrego partnerzy handlowi firmy i ich klienci mog bezpatnie testowa rozwizania dostpne w siedzibie Avnet w Warszawie lub te je wypoyczy pod konkretny projekt na okres do 30 dni. Zasoby DEMO IBM: IBM XIV IBM V7000 IBM V3700 (Baby V) IBM SVC IBM DS8000 IBM PureFlex (dostp zdalny) IBM BladeCenter Kontakt: Karol Wardak, Product Manager IBM Maintenance e-mail: karol.wardak@avnet.com tel.: +48 665 336 363

25

www.rrc.pl

www.ibm.com/pl/iic

IBM INNOVATION CENTER

INICJATYWA AKADEMICKA

IIC MAGAZINE Nr 1/2013

INICJATYWA AKADEMICKA
STUDENCKIE PRAKTYKI EDUKACYJNE
Co roku w IBM Polska odbywaj si Studenckie Praktyki Edukacyjne dla najlepszych studentw.
Gwnym celem praktyk jest umoliwienie studentom zdobycia wiedzy z zakresu technologii IBM poprzez nauk i prac pod okiem dowiadczonych specjalistw. Praca jest zorganizowana zadaniowo, a kady praktykant wybiera projekt z zakresu, ktry najbardziej odpowiada jego zainteresowaniom. Dziki temu efektywnie wykorzystujemy zapa i entuzjazm studentw. U podstaw kadego z zada ley konkretny projekt biznesowy, nad ktrym pracuje IBM.

26

Praktyki trwaj zwykle 3 miesice i s bezpatne. Kady praktykant pod nadzorem mentora pracuje nad wasnym projektem. Projekt mona wykonywa w biurze firmy w Warszawie lub czciowo zdalnie w domu.
Oferujemy praktyki:

o charakterze technicznym, ktre s zorientowane na konkretne

rozwizania z zakresu oprogramowania i sprztu IBM o charakterze biznesowym, ktre s zorientowane na praktyk pracy z klientem i zrozumienie sektorw rynku

Szukamy osb: od III roku studiw otwartych na nowe wyzwania potraficych rozwizywa problemy, kreatywnych, zaangaowanych pasjonatw znajcych jzyk angielski na poziomie minimum dobrym Jak aplikowa? Wejd na stron: ibm.com/pl Informacje dla: Kandydatw do pracy. Wybierz wyszukiwark: Search for jobs at IBM, a nastpnie zaznacz oferty typu Student/Internship dla Polski. Pytania prosimy kierowa na adres: agnieszka.rakowiecka@pl.ibm.com

IBM INNOVATION CENTER

www.ibm.com/pl/iic

IIC MAGAZINE Nr 1/2013

NOWINKI TECHNOLOGICZNE

Nowinki technologiczne
Zwikszone bezpieczestwo dziki IBM Intelligent Video Analytics V1.0.0 Rozwizanie to przeznaczone jest do analizy obrazw wideo, jak rwnie identyfikacji zdarze i wzorcw zachowa wewntrz monitorowanego rodowiska. IVA zostao zaprojektowane do pracy z kamerami, zarwno wewntrz jak i na zewntrz, do wykrywania szerokiej gamy sytuacji nadzoru z udziaem ludzi, pojazdw oraz innych obiektw. Oprogramowanie oparte na otwartym standardzie ma rozszerzaln architektur, ktra jest poczeniem Smart Vision Suite Video Analytics V3.6.7 uruchomionym na infrastrukturze IBM Intelligent Operations Center . IBM Intelligent Video Analytics jest dostpne w ofercie oprogramowania od 7 lutego 2013 r.
Wicej informacji mona znale pod adresem:
ibm.com/common/ssi/cgi-bin/ssialias?infotype=OC&subtype=NA&htmlfid=897/ENUS5725-H94&appname=totalstorage

27
Nowe dyski o pojemnoci 4 TB dla serwerw IBM System x W ofercie pojawiy si nowe dyski NL SATA HS/SS o pojemnoci 4 TB. Dyski te pracuj z prdkoci 7200 rpm i przepustowoci 6 Gbps. Wsppracuj tylko z tymi kontrolerami RAID, ktre maj interfejsy 6 Gbps. Posiadaj naturalnie wsparcie dla technologii S.M.A.R.T. Zapewniaj wysok wydajno przy rozwizaniach o obszernych wolumenach danych, a redni transfer do bufora dysku to 112 MB/s.
Wicej informacji mona znale pod adresem:
ibm.com/common/ssi/rep_ca/8/877/ENUSZG13-0028/ENUSZG13-0028.PDF

IBM kupuje StoredIQ IBM sfinalizowa zakup firmy StoredIQ, ktra specjalizuje si w tworzeniu narzdzi zdolnych uporzdkowa dane pochodzce z rnych rde, takich jak e-maile, pliki czy repozytoria treci. Dane w uporzdkowanej formie poddawane s pniejszej analizie. StoredIQ uzupeni portfolio oprogramowania z obszaru zarzdzania informacj.
Wicej informacji mona znale pod adresem:
ibm.com/software/ecm/storediq/

www.ibm.com/pl/iic

IBM INNOVATION CENTER

IBM Client Center

Miejsce twrczych spotka
Efektywne spotkania mog by standardem anie przypadkiem. Dziki owocnej wsppracy oraz zaangaowaniu specjalistw sprawiamy, e pobyt wnaszym Centrum jest praktyczn odpowiedzi na realne potrzeby.

Kierujemy si sprawdzonym kluczem:

CEL TO

Planowanie osigni oraz tworzenie strategii wsppracy

Poznanie odbiorcy ijego potrzeb

PERSONALIZACJA MODERACJA

Dostosowanie agendy dla konkretnego odbiorcy

Dbanie orealizacj celw spotkania

IBM Client Center wKrakowie tworzy specjalne spotkania, stawiajc sobie za cel znalezienie najlepszego rozwizania, satysfakcjonujcego kadego zuczestnikw. Wspieramy Klientw iPartnerw wzakresie caego portfolio produktw IBM.

SATYSFAKCJA

Tylko najlepsze wraenie jest skuteczne

Kontakt do IBM Client Center: ul. Armii Krajowej 18, Krakw ibmclientcenter@pl.ibm.com

tel. +48 783 10 96 15