Entdecken Sie eBooks
Kategorien
Entdecken Sie Hörbücher
Kategorien
Entdecken Sie Zeitschriften
Kategorien
Entdecken Sie Dokumente
Kategorien
25
0.
A
US
G
A
BE
08/15
Apache-Land
Eine fesselnde Exkursion ins ausgedehnte
Reich der Apache Software Foundation
Erfolg ohne Bros: Das Geheimnis der Apachen S. 18
Hadoop 2 und Apache Spark S. 22
Apache
Aurora steuert Infrastrukturdienste S. 26
Jmeter:
Konkurrenzarmer Spezialist fr Lasttests S. 30
Tuning-Guide
fr den Apache Webserver S. 36
Clouds
Perl-Autor Mike Schilli verheddert sich fast in einer vermeintlich trivialen Mathe-Aufgabe S. 92
www.linux-magazin.de
Deutschland
4 6,40
sterreich
4 7,05
Schweiz
sfr 12,80
Benelux
4 7,50
Spanien
4 8,30
Italien
4 8,30
4 192587 306401
08
08/2015
Kein Wunder, denn in dem Moment, indem der Korken von der vernetzten Flasche
springt, stellt ein Sensor eine Verbindung zu einem Empfnger im Audio- und Videosystem des Austragsungsortes her und lsst ein interaktives Ton- und Bilderlebnis aus, das von jedem Luxus-Nachtclub, der dieses Angebot nutzt, persnlich Jan Kleinert, Chefredakteur
angepasst werden kann. Solch gediegene Transparenz der oberen Zehntausend
wnscht sich der schnde Biertrinker schon lange. Da aber die Innovationen der Formel 1 ein paar Jahre spter
auch die Kompaktklasse erreichen, sind fr normalverdienende Smart-Homiker Hopfen und Malz nicht verloren.
Den neuesten Transparenztrend stt, ja: richtig gelesen, der Bauernverband von Mecklenburg-Vorpommern
an. In Sachen Urbanitt etwas peripher positioniert, betritt er mit Gummistiefeln mediales Neuland, indem er
aus einem Saustall Livebilder via Satellit ins Internet bertrgt. Schweine-TV heit das Format ungewollt
vieldeutig. Welche fette Sau am Ende die Big Brother Show gewinnt, kann niemand wissen. Der bauernschlaue
Verband aber darf sich als Erfinder eines hippen Drei-Buchstaben-Trends fhlen: IoA, Internet of Animals.
Technisch und rechtlich ungleich schwerer tut sich der Trend Internet of People (IoP), auch bekannt als anlasslose Vorratsdatenspeicherung. Vor Jahren vor zwei obersten Gerichten krachend gescheitert, unternimmt die
deutsche Groe Koalition einen neuen Versuch, sie gegen den Widerstand von Brgerrechtlern, Datenschtzern
und der Internetwirtschaft wieder in Kraft zu setzen (siehe Artikel ab Seite 78). IoP loggt die Aktivitten aller
Brger der Informationsgesellschaft 24x7. Das hilft zwar nachweislich nicht gegen Terroristen, die anfallenden
Daten lassen sich aber sicher nutzbringend auf andere Weise verwerten.
IoT, IoA, IoP: Ob es urologisch oder gesellschaftlich vorteilhaft ist, wenn beim ffnen einer jeden Bierflasche
deren Kronkorken einen Raspberry Pi dazu veranlasst, die zum Gerstensaft passende Pinkellichtfarbe im Klo
anzumischen, muss sich genauso erst erweisen, wie fr ein Bauern-TV-berwachtes Ferkel, das statt einer
Fernsehkarriere lieber drauen die Sau rauslassen wrde. Und ob der voll vorratsdatengespeicherte Brger die
versprochene Freiheit vor Verbrechern als so genussvoll erleben wird?
Ob berwachten Toaster, ob TV-Schwein wider Willen oder ob der rund um die Uhr abgenuckelte Brger: Strukturell interessanter als die berwachten in der schnen IoX-Welt sind die berwacher: Eventschtige Alkoholkonsumenten, Mnner, die auf Schweine starren, und Polizisten, die in Suchmasken bevorzugt alle eintippen.
Bleibt am Ende die Frage, ob sich das Stalking stoppen lsst. Schwierig, denn: Mumm muss man haben. Schwein
muss man haben. Internet und Telefon muss man haben. Biertrinker knnten ihrem Hobby in einem faradayschen
Kfig frnen, der Korkensensoren ihren Plopp-Botschafter-Status entzieht. Die recht intelligenten Schweine
werden wohl die Stall-Webcam durch geschickt geworfene Exkremente blind machen. Dem dauerverpetzten
IoP-Brger bleibt allein die Flucht in die Wahlkabine solange die keiner zum Internet of Vote (IoV) umrstet.
Login
Editorial
Internet der Dinge, IoT, ist der Megatrend: Toaster mit IPv6-Adresse, oder die
Lichtfarbe zu Hause in Buxtehude justieren, whrend man selbst in Usbekistan
an der Bar eines Mittelklasse-Hotels hockt der Stromversorger erfhrt natrlich
auch davon. Alles Nonsens fr Technikfreaks? Von wegen: Auf einer Privatjacht
im schnen Monte Carlo am Vorabend des Groen Preises von Monaco hatte gerade die erste vernetzte Champagnerflasche ihren ersten Auftritt. Hersteller des
Behltnisses ist Maison Mumm. Die Pressemitteilung verspricht: Die vernetzte
Magnum ist eine Innovation fr noch mehr Feierspa.
www.linux-magazin.de
Voll vernetzt
08/2015
Inhalt
08/2015
www.linux-magazin.de
Die Apache Software Foundation liegt nicht faul auf der gegerbten Tierhaut, sondern frdert
nach Krften eine florierende Community aus groen und kleinen Projekten. Der Schwerpunkt
unternimmt eine organisierte Reise in das groflchige Apache-Reservat, gibt einen stammesgeschichtlichen berblick und portrtiert besonders interessante Softwarefamilien.
Aktuell
Titelthema: Apache-Land
6 N
ews
n Kernel 4.1 mit Langzeit-Support
n Apple gibt Swift frei
n Tine 2.0 Groupware
n Enterprise-Harddisk mit 10 TByte
n Videokonferenzen per Firefox
n The Machine von HP mit Linux
n Das zweite Ubuntu Phone
n Wayland und Weston 1.8
n Kubuntu-Chef beurlaubt
Die von HP als revolutionr vorgestellte Hardware The Machine luft auf Linux.
22 H
adoop 2 und Apache Spark
Wer im Datenmeer fischen geht, sollte
besser einen ordentlichen Trawler im
Schlepptau haben. Hadoop 2 und Apache
Spark scheinen fr den Job geeignet.
DELUG-DVD
30 J
meter
Vorbelastet: Das freie Jmeter ist ein fast
konkurrenzloses Tool fr Lasttests.
34 Apache-Server optimieren
Aus dem bewhrten Apache-Webserver
lsst sich mehr Performance rausholen.
Details zu DVDTOOL
Inhalten
auf S. 41
Fedora 22
Remnux 6.0
Ubuntu-14.04-basierte virtuelle
Security-Appliance, die beispiels
weise hilft, Malware zu analysieren
TOOL
TOOL
26 A
pache Aurora
Im Rechenzentrum verteilt Aurora die
wichtigsten Dienste. Gelernt hat das
Mesos-Framework bei Twitter.
Raspi-Buch
Vollstndiges Franzis-E-Book:
Linux mit Raspberry Pi
(ber 300 Seiten aus der Praxis)
TOOL
TOOL
Grazer Linuxtage
Die DVD-Seite A ist randvoll mit
Vortragsvideos zu angesagten
Admin- und Programmierthemen
08/2015
Inhalt
08/2015
Software
infhrung
41 E
DELUG-DVD: IP-Fire, Fedora, Raspi-E-Book
42 I P-Fire
Die aktuelle Variante von IP-Fire steuert
der Admin per Weboberflche und filtert
Traffic auf Basis von Geodaten.
44 B
itparade
Titel
Die beliebten VPN-Tunnel lassen sich
auch im Peer-to-Peer-Verfahren graben.
Vier P2P-VPN-Lsungen im Vergleich.
58 Auf und ab
Freie Groupware kann zwar auf schne
Erfolge verweisen, gert aber auch
immer wieder in die Opferrolle meist
wegen externer Finanzierungen.
84 Boxenstopp
Ob sich Rust nach dem Release der
Version 1.0 gegen C und C++ behaupten
kann, hngt auch davon ab, ob die
Sprache mit ihren Features punktet.
Programmieren
Sysadmin
57 E
infhrung
Mit dem TLS Interposer hlt Charly die
Open-SSL-Bibliotheken im Schach.
84 M
ozillas Rust
Titel
Wer Alternativen zu C und C++ sucht,
sollte einen Blick auf Rust 1.0 werfen.
58 F
reie Groupware
Titel
Die bisherigen Entwicklungen auf dem
Feld der Groupware fr Linux beleuchtet
dieser Artikel kritisch.
88 C
++11 Folge 23
Modernes C++ in der Praxis: Variadic
Templates punkten gleich mehrfach.
66 O
pen Stack Sahara
Titel
Die Komponente will, dass sich Open
Stack und Hadoop besser verstehen.
92 P
erl-Snapshot
Manche auf den ersten Blick einfach
erscheinenden Mathematik-Probleme
lst der Perl-Benutzer am Ende nur mit
der Hilfe von Skripten.
50 L
ibre Office auf Android
Eine neue App zeigt Libre-OfficeDokumente auf Smartphones an.
52 T
ooltipps
Im Kurztest: Devices in LAN 0.4, Gxmes
sage 3.4.3, Site Monitoring 2.1.6, Bleachbit
1.6, Fehashmac 1.4.2, SSH Guard 1.5
72 K
onfigurations-Management
Titel
Etcd, Consul und Zookeeper versprechen, ganze Flotten von VMs automatisiert zu konfigurieren. Klappt das?
78 R
echt
Gesetzesentwurf der Regierung zur
Vorratsdatenspeicherung.
80 B
cher
Nachlese: Bcher
ber Angular JS und
den Raspberry Pi.
Forum
82 L
eserbriefe
Auf den Punkt gebracht.
Service
3 E
ditorial
98 IT-Profimarkt
99 Stellenanzeigen
104 Veranstaltungen
104 Inserenten
105 Impressum
106 Vorschau
www.linux-magazin.de
42 Thermisch gesichert
Die neue Version der schlanken
Firewall-Distribution IP-Fire filtert unter anderem den Netzwerkverkehr auf
Basis geografischer Daten.
08/2015
Aktuell
ergnzen: Es basiert zum einen auf der zweiten Generation von HGSTs praxiserprobter
Helio-Seal-Plattform und zum
anderen auf der Shingled-Magnetic-Recording-Technologie
(SMR). Das erreicht eine hohe
Speicherdichte und EnergieEffizienz ohne Abstriche bei
der Verlsslichkeit.
Die groe Platte eignet sich
fr Anwendungen, bei denen
Daten sequenziell geschrieben und zufllig gelesen werden mssen. Das ist zum Beispiel bei sozialen Medien, in
Cloudspeichern, Online-Back-
HGST
News
www.linux-magazin.de
News
up-Lsungen, Anwendungen
der Life Sciences und auch
BQ
08/2015
Aktuell
HP Grommet
www.linux-magazin.de
News
08/2015
Aktuell
buntu Council einsetzen und
kndigte an, wie gewohnt
an Kubuntu 15.10 arbeiten
zu wollen. Den Vorschlag
des CC lehne er ab, schrieb
er in einer Antwortmail, die
Kubuntu-Entwickler Scott Kitterman, eine langjhrige Fhrungskraft unter den Kubuntu-Entwicklern, verffentlicht
hat. Ubuntu-Grnder Mark
Shuttle
worth stellte daraufhin klar, dass der Community
Council ihn schlicht nicht
mehr als Chef der KubuntuEntwickler akzeptiere.
Zugleich stellt Scott Kitterman in seinem Blog einen
www.linux-magazin.de
HP Labs
News
08/2015
Aktuell
10
www.linux-magazin.de
News
Kurznachrichten
Cinnamon 2.6: Die Desktopumgebung von Linux Mint soll in der kommenden Release Aufnahme finden. Neu: Verbesserungen im Multimonitorbetrieb ermglichen es, Inhalte per Tastenkombination auf einen anderen
Monitor zu verschieben. Anwender drfen auch Panels ber die Monitore
verteilen. Lizenz: GPLv2 [https://github.com/linuxmint/Cinnamon]
Perl 5.22.0: Fr diese Ausgabe haben die Entwickler der Programmiersprache rund 590000 Zeilen Code angefasst. 94 Entwickler sind laut
Ankndigung beteiligt gewesen. Neu: Resultat daraus ist unter anderem
ein neuer Eingabe-Interpreter, der mehr Sicherheit verspricht. Zudem ist
nun Unicode 7.0 an Bord. Lizenz: GPL [https://www.perl.org]
IPfire 2.17 Core Update 90: Die fr den Betrieb als Firewall ausgelegte
Linux-Distribution haben die Entwickler aktualisiert und ihr interessante
Features spendiert. Neu: Mit dem neuen Geo-IP-Filter lsst sich ein- und
ausgehender Netzwerkverkehr anhand des Herkunfts- oder Ziellandes
blocken beziehungsweise zulassen. Die veralteten und als unsicher geltenden Verschlsselungsverfahren SSLv2 und SSLv3 sind standardmig
deaktiviert. Lizenz: GPLv3 [http://www.ipfire.org]
Octave 4.0.0: Die Mathematik-Software des GNU-Projekts setzt erstmals
auf die grafische Oberflche. Neu: Die integrierte Programmiersprache
lsst sich nun auch objektorientiert nutzen. Die mit Qt realisierte Ober-
wayland-client-core.h und
wayland-server-core.h einbinden. Auch fr den Scanner
gibt es damit nun die Mglichkeit, nur die Core-Header
einzubinden (--include-coreonly). Das soll Entwicklern
die Arbeit an Sprachbindings
und eigenem Protokollcode
erleichtern.
Neu in Weston 1.8 ist von Collabora entwickelter Code, der
die EGL-Modernisierungen
ebenso bercksichtigt wie
das Testing-Framework. Dazu
gehren EGL-Verbesserungen
am gl-renderer, Tests fr die
08/2015
Aktuell
Arbor Networks
12
nachhaltig zu erreichen,
warnt Oliver Dehning, Leiter
der Kompetenzgruppe Sicherheit im Eco.
Die Gefahren dieser Entwicklung kann man bereits heute
an Beispielen ablesen. So gab
es etwa krzlich ein SamsungSmart-TV-Gert, das Gesprche der Zuseher mitschnitt
und weitergab. Oder: Die
Sicherheitsfirma Kaspersky
entdeckte ber 14 Sicherheitslcken in nur fnf smarten
Haushaltsgerten. Die Nutzer
solcher Gerte scheint das
nicht zu kmmern. Deshalb
08/2015
Aktuell
zahlt Mozilla nicht fr alle
moderaten Bugs.
Die
Bounty-Bug-Webseite
gibt auch Tipps, wie Sicherheitsforscher an hhere Belohnungen kommen. Offenbar kommt es stark auf die
Informationen im Bugreport
an. Lsst sich eine kritische
Lcke ganz klar ausbeuten
und fllt der Bugreport ausfhrlich aus und zeigt Wege,
um die Schwche auszunutzen, entlohnt Mozilla die Anstrengung mit 7500 US-Dollar.
Insgesamt hat das Projekt nahezu 1,6 Millionen US-Dollar
ausgezahlt.
Daneben hat Mozillas Sicherheitsteam vor einiger Zeit
eine Bounty Bug Hall of Fame
eingefhrt. Dort listet es die
erfolgreichsten Bug-Jger sorn
tiert nach Jahren auf.
Als Sammlung in C umgesetzter CGI-Binaries gestartet, haben sich die Personal Home
Page Tools (PHP) in den vergangenen 20 Jahren zum festen Bestandteil der Webent
wicklung etabliert.
In seiner Ankndigungsmail
hatte PHP-Entwickler Rasmus
Lerdorf vor 20 Jahren seine
Tools unter anderem noch als
Helfer beim Loggen von Zugriffen auf Websites und auch
zum Blockieren von Zugriffen
ber bestimmte Domains beschrieben.
Die Personal Home Page Tools
standen von Beginn an unter
der GPL. Lerdorf entwickelte
auch noch die Version 2.0,
Anzeige
20 Jahre PHP
www.linux-magazin.de
13
08/2015
Aktuell
ASF
14
08/2015
Aktuell
Anzeige
www.linux-magazin.de
20 Jahre Java
15
08/2015
Aktuell
20 Jahre Qt
Im Mai vor 20 Jahren hat ein
norwegisches Zwei-MannProjekt die erste Fassung von
Qt auf die Server geladen. Die
Bibliothek stand damals unter
proprietrer Lizenz, verfgte
ber eine stattliche Anzahl
von Klassen und wurde von
Matthias Ettrich 1996 als Basis
fr KDE eingesetzt, dem Projekt, das er soeben gegrndet
hatte. Ettrichs Entscheidung
Bitkom
16
08/2015
Titelthema
Keine Bros, keine Gebude: Die Apache Software Foundation ist nahezu unsichtbar. Doch brtet sie Hunderte
von Software-Groprojekten aus, bringt Tausende Entwickler zusammen. Und all das, ohne im Chaos zu enden
und auf Innovation zu verzichten. Wie macht sie das? Ein Streifzug. Kristian Kiling
spiel benannt hat oder nach der nordamerikanischen Stammesgruppe.
Steiler Aufstieg
sergeisimonov, 123RF
18
www.linux-magazin.de
Apache-Projekte
Digitaler Brutkasten
Apache-Projekte wie Hadoop [1], Cassandra [2], Tomcat [3] und Spark [4]
erfreuen sich in den Rechenzentren seit
Jahren grter Beliebtheit. Den Grundstein der Apache Software Foundation
(ASF, [5]), deren Projekte der Schwerpunkt in diesem Linux-Magazin beleuchtet, legte aber ein schlanker, kleiner
Inhalt
18 Die Apache Software Foundation
Vom Webserverprojekt zur millionenschweren Open-Source-Stiftung.
22 Hadoop
Big Data erklrt: Fischen im Datenmeer
mit Hadoop 2 und Apache Spark.
26 Apache Aurora
Wer Dienste in Mesos terminieren
mchte, greift zum Aurora-Framework.
30 Jmeter
Stressen, aber richtig! Jmeter ist Apaches Lasttest-Werkzeug.
34 Apaches Webserver tunen
Aus dem Webserver Nr. 1 lsst sich eine
bessere Performance herauskitzeln.
HTTP-Server [6]. Ihn kann man im Softwarebereich wohl als uerst populren
Dauerbrenner bezeichnen (siehe Artikel
im Schwerpunkt).
Vorlufer des Apache-Servers war der
HTTPd der NCSA [7]. Wem die Abkrzung nichts sagt: Vom National Center for
Supercomputing Applications stammt der
wohl bekannteste der frhen Browser:
Mosaic. Rob McCool arbeitete Anfang der
90er in der Institution und erhielt den
Auftrag, einen Webserver zu entwickeln,
der nicht so komplex ist wie der damals
bevorzugt eingesetzte vom CERN. Den
Code suchte er in dem noch jungen Internet zusammen.
Als McCool das NCSA verlie, um einen neuen Job anzutreten, wurde der
Server ziemlich vernachlssigt. Lediglich
ein paar Nutzer schickten noch eigene
Patches, um ihn am Leben zu erhalten.
Brian Behlendorf sammelt diese und
so entstand A patchy Server. Unklar
bleibt, ob sich Apache nach diesem Wort-
Im April 1995 verffentlichte die selbsternannte Apache Group, die aus acht Entwicklern bestand, eine erste Version 0.6.2
des Servers, im Dezember 1995 erschien
die Version 1.0. Im Laufe eines Jahres
berflgelten die Apache-Nutzerzahlen
bereits die des NCSA HTTPd. Im Zuge
dieser Entwicklung grndeten die Apachen 1999 die Apache Software Foundation (ASF). Da waren bereits weitere
Softwareprojekte im Apache-Umfeld entstanden, die sich etwa um die Perl- oder
PHP-Module kmmerten.
Heute verwaltet die ASF 164 ToplevelProjekte, mit 110 Subprojekten. Daneben gibt es 35 als Podlings bezeichnete
Nachwuchsprojekte im Apache Incubator [8] sowie 39 Initiativen im Apache
Lab [9]. Insgesamt sind das 348 OpenSource-Initiativen. Monatlich kommen
durchschnittlich zwei neue Projekt hinzu
(Abbildung 1), insgesamt zhlt die ASF
4700 Codelieferanten [10].
Mitte der 90er entstand auch die Apache
License 1.0, die damals noch verlangte,
die Apache Group in Werbematerialien zu
nennen. Der Passus fiel spter weg. Die
aktuelle Version 2.0 ist zur GPLv3 kompatibel, wenn ein Projekt Apache-2.0Code in sein GPLv3-Projekt integriert.
Umgekehrt funktioniert es nicht. Mehr zu
dieser Problematik liefert [11].
08/2015
Titelthema
Apache-Projekte
Abbildung 1: Sowohl bei den Toplevel-Projekten als auch im Inkubator zeigt der Trend nach oben. Die Schwankungen im Inkubator ergeben sich, weil reife Projekte in die Toplevel-Liga wechseln.
Die ASF glaubt an Hte, also an Verantwortliche, die den Hut aufhaben: Fr
jedes Projekt gibt es nicht nur ein PMC,
sondern auch ein Mitglied der Foundation, das als offizieller Ansprechpartner
fr das Projekt auftritt [16].
Gut versorgt
An der Spitze der ASF gibt es einen Vorstand mit neun Positionen. Sechzehn so
genannte Officer kmmern sich zudem
um organisatorische Dinge, etwa das
Marketing oder Fundraising. Fr Letzteres gibt es sogar zwei Officers. Das ist
kein Wunder, verfgt die Foundation
doch ber zahlreiche Sponsoren [17], die
nicht nur die Infrastruktur, sondern auch
die Arbeit der Foundation sowie Veranstaltungen, darunter die ASF-Konferenz
Apachecon, finanzieren.
Sponsoren knnen zwischen unterschiedlichen Leveln whlen. Zu den Platinum-Sponsoren, die jeweils sportliche
100 000 US-Dollar im Jahr an die Foundation zahlen, gehren Google, Microsoft,
Facebook, Citrix und Yahoo. Weitere bekannte Firmen treten als Gold-, Silberoder Bronze-Sponsoren auf.
Das ist verstndlich, weil die ASF zahlreiche Open-Source-Projekte verwaltet, die
von diesen Firmen stammen und die dort
tglich im Einsatz sind. Als Sponsoren
versprechen sie sich eine Einflussnahme
auf die Projektentwicklung und einen
besseren Zugang zu Entwicklern. Wohin ihr Geld fliet, zeigen regelmig die
Jahresfinanzberichte, der fr 2014 etwa
www.linux-magazin.de
19
08/2015
Titelthema
Apache-Projekte
www.linux-magazin.de
20
Contributor/
Developer
sendet
Patches
gibt Feedback
Committer*
partizipiert
ApacheCodebasis
Apache
Labs
Apache
Incubator
ToplevelProjekte
Attic
User
*Code License Agreement unterschrieben
Abbildung 2: Firmen wie Google, Facebook und Twitter gehren hufig sowohl zu den Usern als auch zu den Entwicklern im Entwicklungsmodell der ASF.
Instant-Messaging-Konversationen oder
Wiki-Artikel.
Ripple [27] will sich beim Entwerfen von
HTML-5-basierten Mobilanwendungen
als Test- und Debug-Tool ntzlich machen, unter anderem ber einen Browserbasierten Mobiltelefon-Emulator. Aktuell
untersttzt es Laufzeitumgebungen wie
Cordova und Webworks.
Fazit
Whrend in Apaches Lab offenbar einige
Karteileichen und nicht weiter verfolgte
Experimente schlummern, scheinen die
Projekte im Inkubator und die ToplevelProjekte gut in Schuss. Auch die Apache
Software Foundation als Ganzes erfreut
sich offenbar guter Gesundheit und
scheint finanziell und organisatorisch
gangbare Wege gefunden zu haben, mit
der wachsenden Zahl an Projekten umzugehen.
Die Organisationsform erinnert nicht zufllig an die in der Kernelentwicklung.
Wie die Linux Foundation verdankt auch
die ASF ihren Erfolg zunehmend dem
finanziellen Engagement groer Firmen,
die ihren Code dafr in die Stiftung auslagern. Fr die Projekte erweist sich das
offenbar als ntzlich: Hauseigene Statistiken verweisen auf eine steigende Anzahl
n
an Codelieferanten.
Infos
[1] Hadoop: [http://hadoop.apache.org]
[2] Cassandra: [http://cassandra.apache.org]
[3] Tomcat: [http://tomcat.apache.org]
[4] Spark: [http://spark.apache.org]
[5] Apache Software Foundation:
[http://apache.org]
08/2015
Titelthema
Kritiker, die Hadoop totsagen wollen und Apache Spark hochleben lassen, handeln voreilig. Hadoop 2 ist dem
Status einer einfachen Anwendung entwachsen und zur Big-Data-Plattform gereift. Eine Bestandsaufnahme
abseits des Big-Data-Hype. Douglas Eadline
22
www.linux-magazin.de
Hadoop 2
Fischen im Datenmeer
Die Begriffe
Wie der Name vermuten lsst, geht es bei
Big Data um die Bearbeitung groer Datenmengen, gerne in Petabytes gemessen.
Wikipedia definiert einige Charakteristika
von Big Data [1], die im Folgenden als
Basis dienen:
08/2015
Titelthema
Source B
Source C
24
www.linux-magazin.de
Hadoop 2
Source A
Discarded
Data
ETL
Data Lake
Schema on Write
Data Warehouse
Hadoop
User
Schema on Read
Abbildung 1: Traditionelles Data Warehouse im Vergleich mit dem Hadoop Data Lake.
flows managt. Hadoop 2 hat dieses Design erweitert und bietet mehr Flexibilitt. Die Hauptkomponenten sind auf drei
angewachsen: Das gleiche HDFS wie in
Version 1. Die zweite Komponente heit
Hadoop YARN (Yet Another Ressource
Negotiator) ein nicht auf bestimmte
Anwendungen festgelegter WorkloadScheduler fr User-Jobs.
Als dritte Komponente sind Anwendungen zu nennen. Darunter sind alle unter
YARN lauffhigen Applikationen zu verstehen, die mit YARN-Services auf Cluster-Ressourcen zugreifen und den Data
Lake nutzen. Diese Applikationen knnen beliebige Datenverarbeitungstypen
anwenden etwa Map Reduce, Graph Processing und Message Passing Interface
(MPI). Sogar In-Memory-Anwendungen
wie Apache Spark sind opportun.
Ein Designfeature von beiden Versionen
ist die Nutzung eines einfachen Redundanzmodells. Viele Hadoop-Cluster bestehen aus gewhnlichen Hardwarekomponenten wie x86-Servern, Ethernet und
Festplatten. Da Hardware fehleranfllig
ist, sind redundant ausgelegte Prozesse
und Speicher Teil des Hadoop-Designs
auf Toplevel.
Weil der Map-Reduce-Prozess von Haus
aus funktional ist, flieen Daten nur in
eine Richtung. So lassen sich Input-Dateien als Teil des Prozesses nicht ndern.
Diese Einschrnkung ermglicht ein einfaches Redundanzmodell. Tote Prozesse
in ausgefallenen Nodes lassen sich auf
YARN-Scheduler
Hadoop 2 erledigt dieses Level der NonStop-Redundanz im YARN-Scheduler.
Eine Anwendung darf dort bei Laufzeit
Ressourcen anfordern und freigeben. Sie
kann auch zustzliche Ressourcen anfordern, um eine Task zu beenden, sollte ein
Prozess abstrzen. Da die RessourcenVerwendung dynamisch erfolgt, knnen
Anwendungen ungenutzte Ressourcen
freigeben, was die Ausnutzung des Clusters erhht. Diese Situation ist typisch fr
groe Map-Reduce-Jobs, bei denen die
Mapping-Phase oft mehr Prozesse bentigt als die Reducer-Phase.
Die Redundanz erstreckt sich auch auf
das HDFS. Anders als bei vielen HPTCClustern, bei denen parallele I/
O-Prozesse als Subsysteme separat von den
Nodes ausgelegt sind, nutzt ein HadoopCluster gewhnliche Hardware fr Prozess- und Storage-Nodes. Diese Nodes
dienen fter als Processing- und SpeicherElemente gleichermaen. Damit lsst sich
die Abarbeitung bei den Daten erledigen.
So umspannt der Data Lake meist den
ganzen Hadoop-Cluster. Die Ausfhrung
der Jobs kann man sich sinnbildlich wie
bei Flotten von Fischerbooten vorstellen,
die den Data Lake auf der Suche nach
Resultaten durchkreuzen.
Apache Spark
Mit erweiterten Map-Reduce-Fhigkeiten
punktet das Projekt Apache Spark [9]. In
erster Linie ist Spark ein Tool fr parallele
In-Memory-Berechnungen. Als schnelles
und allgemein taugliches Cluster-Computing-System hlt es APIs fr Java, Scala
und Python und eine optimierte Engine
fr die generelle Ausfhrung von Graphen
vor. Spark untersttzt diverse Tools, etwa
Spark SQL, die Bibliothek MLlib, GraphX
und Spark Streaming. Zudem bietet Spark
ber 80 High-Level-Operatoren, um parallele Applikationen zu bauen, und lsst
sich interaktiv ber die Shells von Scala
und Python ansprechen.
Spark ist stand-alone im Cluster-Modus
auf EC2, unter Hadoop YARN und Apache Mesos lauffhig. Es kann vom HDFS,
Hbase [10], Cassandra [11] und jeglicher
08/2015
Info
[1] Big-Data-Characteristika: [http://en.
wikipedia.org/wiki/Big_data]
[2] Big Data Surprises: [http://www.sisense.
com/blog/bigdatasurprises]
Hadoop 2
Titelthema
Fazit
ben. Der Vorteil liegt darin, dass Entwickler entscheiden knnen, welcher Ansatz
besser fr den Data Lake passt. Hadoop
2 hat bei der Anwendungsentwicklung
einen erstaunlichen Umfang erreicht. Das
schliet Programme ein, die unter Hadoop 1 nicht ausfhrbar waren, und auch
solche fr Hadoop Yarn.
Einige Verwirrung um Hadoop resultiert
daraus, dass es sich von einer Anwendung zur Plattform gemausert hat, auf
der Applikationen wie Spark implementierbar sind. Der Wert einer offenen BigData-Plattform ist hoch einzuschtzen.
Hadoop 2 ist das Betriebssystem fr DataLake-Cluster und ein Meilenstein in der
n
Evolution der Datenanalyse. (uba)
www.linux-magazin.de
25
08/2015
Titelthema
Mesos-Framework Aurora
Darum, dass die wichtigen Dienste im Rechenzentrum immer am Laufen sind, will sich das Apache-Projekt
Aurora kmmern. Das Verteilen von Diensten hat Aurora von Twitter gelernt. Udo Seidel
maroti 123RF
26
www.linux-magazin.de
Apache Aurora
Dispatcherdienste
Spark
Chronos
Storm
Jenkins
Aurora
...
Hadoop
Mesos
Knoten 1
Knoten 2
Knoten 3
Knoten 4
...
Knoten N
Abbildung 1: Aurora ist ein so genanntes Mesos-Framework, Mesos seinerseits ebenfalls ein Apache-Projekt.
08/2015
Titelthema
Apache Aurora
Zookeeper
www.linux-magazin.de
28
Aurora
Mesos-Meister
Thermos-Observer
Mesos-Sklave 1
Mesos-Sklave 2
...
Mesos-Sklave N
Thermos-Executor
Task
Schwierige Installation
Die Installation der verschiedenen Aurora-Komponenten ist zwar prinzipiell
dokumentiert, aber sehr unbersichtlich. Es geht nicht klar aus ihr hervor,
welche Schritte in welcher Reihenfolge
zu absolvieren sind. Das hat dem Team
des Linux-Magazins einiges Kopfzerbrechen bereitet. Die nchste Hausaufgabe
besteht im Erlernen der Beschreibungssprache. Hier empfiehlt es sich wiederum, mit den einfachen Beispielen aus
Infos
[1] Aurora: [http://aurora.apache.org]
[2] Mesos: [http://mesos.apache.org]
[3] Mesosphere:
[http://mesosphere.com/product/]
[4] Large-scale cluster management
at Google with Borg: [http://static.
googleusercontent.com/media/research.
google.com/en/us/pubs/archive/43438.pdf]
09 processes = [hallo_welt_process])
02
import os
10
03
hallo_welt_process = Process(
04 name = 'hallo_welt',
05 cmdline = 'echo hallo welt')
06
07
hallo_welt_task = Task(
08 resources = Resources(cpu = 0.1, ram = 20*MB,
disk = 20*MB),
11
hallo_welt_job = Job(
12 cluster = 'test',
13 role = os.getenv('USER'),
14 task = hallo_welt_task)
15
16
jobs = [hallo_welt_job]
[5] Marathon:
[http://mesosphere.github.io/marathon]
[6] Chronos:
[http://github.com/mesos/chronos]
[7] Zookeeper:
[http://zookeeper.apache.org]
[8] Udo Seidel, Datacenter im Griff
Compute-Cluster fr Rechenzentren:
Linux-Magazin 05/15, S. 76
[9] All about Apache Aurora:
[http://blog.twitter.com/2015/
allaboutapacheaurora]
[10] Aurora Tutorial:
[http://aurora.apache.org
/documentation/latest/
configurationtutorial]
[11] Aurora Configuration Reference:
[http://aurora.apache.org/
documentation/latest/
configurationreference/]
[12] Aurora Users Guide:
[http://aurora.apache.org/
documentation/latest/userguide/]
[13] Vagrant: [http://www.vagrantup.com]
[14] Aurora-Mesos-Cluster: [http://tepid.org/
tech/01auroramesoscluster/]
Der Autor
Dr. Udo Seidel ist eigentlich Mathe- und PhysikLehrer und seit 1996 Linux-Fan. Nach seiner Promotion hat er bei verschiedenen Arbeitgebern
als Linux/Unix-Trainer, Systemadministrator und
Senior Solution Engineer gearbeitet.
Heute ist er ist Evangelist, Architekt und technischer Gouverneur bei der Amadeus Data Processing GmbH in Erding bei Mnchen.
08/2015
Titelthema
Wenn eine Site unter den vielen Interessenten chzt, der Webshop unter dem Kuferansturm zusammenbricht
oder bei einer Datenbank nur noch die Festplatten-LEDs Lebenszeichen geben, geraten Admins und Entwickler
unter Stress. Ach, htten sie die Applikation blo in einer ruhigen Stunde unter Last gesetzt! Frank Pientka
den verschiedenen Programmiersprachen
und ber Plugins [4] zum Beispiel fr Selenium oder Hadoop-HDFS erweiterbar.
roussien, 123RF
30
www.linux-magazin.de
Apache Jmeter
Stress im Apache-Land
Apache Jakarta das Tool als JakartaUnterprojekt weiter. Seit 2011 besitzt
Jmeter den Status eines eigenstndigen
Apache-Toplevel-Projekts. Als einer der
wenigen Konkurrenten gilt Grinder 3 [2],
den jedoch schon lnger niemand mehr
weiterentwickelt.
Von Jmeter erscheinen pro Jahr mehrere
Versionen. In der aktuellen 2.13 untersttzt Jmeter von Hause aus die Protokolle HTTP und HTTPS, SOAP, FTP,
JDBC, Mongo DB, LDAP, JMS, AJP, TCP
sowie SMTP, POP3, IMAP und deren
verschlsselte Brder. Der Schwerpunkt
liegt sicher auf dem Lasttest an Webanwendungen. So existieren fr das beliebte
Blogsystem Wordpress fertige JmeterTestplne [3].
Als Installationsvoraussetzung nennt die
Dokumentation eine Java-Laufzeitumgebung (mindestens Version 6, aber auch
8) und passende Treiber fr die anzusprechenden Systeme. Die Funktionalitt
von Jmeter ist jedoch ber Skripte in
Der Anwender ruf das Tool mit jmeter.sh (unter Windows: jmeter.bat)
im Verzeichnis $JMETER_HOME/bin
auf. Dort fhrt es auch die Protokolldatei
jmeter.log, die bei Fehlern zu analysieren wre. Nachdem Jmeter gestartet ist,
bentigt der Anwender einen Testplan.
Dazu kann er fertige Vorlagen abndern,
die im Verzeichnis bin\templates oder
printable_docs\demos liegen. Am einfachsten rufen er File | Templates auf
und whlt aus den angebotenen Vorlagen
Building a Web Test Plan aus. Die Beispielvorlage setzt zwei Anfragen an den
Host [jmeter.apache.org] und die Seiten
/ und /changes.html ab und stellt das
Ergebnis als Graph dar.
Der zweite Weg zu einem Testplan ist, ein
passendes Modell von Grund auf selbst
anzufertigen. Testplne sind in einem
XML-Format ohne XSD-Schema verfasst.
Es lsst sich aber zur Dokumentation per
Stylesheet (extras/schematic.cmd Testplan.jmx) in HTML umwandeln.
Ein mit Jmeter gelieferter Rekorder weist
den dritten und meist komfortabelsten
Weg zu einem Testskript. Zu Beginn trgt
der Anwender in seinem Webbrowser
den Jmeter-Server-Proxy mit Port 8888
und als localhost ein. Dann ruft er die
Vorlage fr den Testskript-Rekorder auf
und startet ihn. Der zeichnet nun alle
Aufrufe auf, die der User im Browser
absolviert. Er kann manuell das Element
Testskript-Rekorder dem Icon-Workbench
hinzufgen mit Add | NonTest Elements
| HTTP(S) Test Script Recorder. Das ist
08/2015
Testplne erweitern
Die Anzahl der simulierten Nutzer legt
Jmeter in Thread Groups mit einer even-
Verteilt testen
Fr groe Last- und Stresstests ist es
sinnvoll und mglich, den Testplan von
mehreren Jmeter-Installationen abarbeiten zu lassen. Die melden ihre Ergebnisse
per RMI [6] an einen zentralen JmeterBerichtsserver, der ausschlielich fr
das Sammeln und Aufbereiten der Daten
zustndig ist. Der Masterserver und die
Slaveclients startet der Tester wie von
einer Einzelinstallation gewohnt.
In der Datei bin/jmeter.properties des
Masterservers trgt der Benutzer unter remote_hosts die IP-Adressen der
Slavec
lients ein oder bergibt sie auf
www.linux-magazin.de
Apache Jmeter
Titelthema
Abbildung 1: Ein einfacher Webtestplan mit Konfigurationselementen.
31
08/2015
Titelthema
Apache Jmeter
Remote-Start Slave 1
Slave 1
Remote-Start All
www.linux-magazin.de
Master-GUI
32
zu testendes
System
jmeter.properties
remote_hosts=
Slave 1, Slave 2,
Slave 3
Slave 2
Slave 3
Remote-Start Slave 3
Slave3
Proxys, Protokollieren,
Maven
Soll Jmeter Webseiten testen, die hinter
einem Firmenproxy sitzen, muss das Tool
Listing 1: Maven-Plugin einbinden
01 <plugin>
02
<groupId>com.lazerycode.jmeter</groupId>
03
<artifactId>jmetermavenplugin</artifactId>
04
<version>1.10.1</version>
05
<executions>
06
<execution>
07
<id>jmetertests</id>
08
<phase>verify</phase>
09
<goals>
<goal>jmeter</goal>
10
11
12
13
</goals>
</execution>
</executions>
14 </plugin>
Falschmessungen vermeiden
Sptestens seit Heisenberg ist es Allgemeingut, dass die Messung selbst oft das
Messergebnis beeinflusst. Praktisch kein
Lasttest kann messbedingte Seiteneffekte
und Messungenauigkeiten ganz vermei-
Fazit
Apache Jmeter erweist sich in der Praxis
als ein gut handhabbares Werkzeug, um
einfache Lasttests durchzufhren. Es ist
auch fr grere verteilte Lasttests leistungsstark genug. Hier liegen klar seine
Strken. Frs gezielte Auswerten der
Tests und das grafische Aufbereiten der
Ergebnisse ist der Benutzer dagegen auf
externe Spezialwerkzeuge wie Excel oder
Matplotlib angewiesen.
Die beiliegenden Vorlagen, Beispiele und
Dokumentationen helfen beim Einstieg.
Im Open-Source-Reich trifft Jmeter kaum
auf ernsthafte Konkurrenten, sodass es
sich unbekmmert auch beim Publikum
kommerzieller Lasttestwerkzeuge als
kostenlose und verlssliche Alternative
empfehlen und etablieren kann. (jk) n
Infos
[1] Jmeter: [http://jmeter.apache.org]
[2] Grinder 3: [http://grinder.sourceforge.net]
[3] Jmeter-Testvorlagen fr Wordpress:
[https://github.com/jmetertemplates/
wordpress], [http://blazemeter.com/blog/
increasingproductivitywordpresssite
whenusingblazemeteritseasytask]
[4] Jmeter-Erweiterungen:
[http://jmeterplugins.org]
[5] Jmeter-Tipp-Sammlung:
[http://blazemeter.com/apachejmeter]
[6] Jmeter-Master-Slave-Test: [http://jmeter.
apache.org/usermanual/remotetest.html]
[7] Jmeter-Maven-Plugin:
[https://github.com/jmetermavenplugin/]
[8] Jmeter-Konfigurautionselemente:
[http://jmeter.apache.org/usermanual/
component_reference.html]
Der Autor
Frank Pientka ist Senior Software Architect bei
der Materna GmbH in Dortmund. Er ist zertifizierter SCJP und Grndungsmitglied des I-SAQB. Als
Autor des Buches zu Apache Geronimo beschftigt er sich viel mit dem Einsatz von Java-OpenSource-Software.
08/2015
Titelthema
Das rasante Wachstum des Internets verlangt Webservern immer mehr ab. Kann Apaches altgedienter HTTPServer hier noch mithalten? Er kann wenn der Admin den Bogen raus hat. Christoph Mitasch
lightpoet, 123RF
34
www.linux-magazin.de
Apache HTTP-Server
Pfeilschnell
08/2015
Titelthema
Apache HTTP-Server
www.linux-magazin.de
Abbildung 1: Bereits in der Standardkonfiguration zeigt sich Apaches HTTP-Server unter Debian Jessie performanter als unter Debian Wheezy.
Multiprocessing-Module
Apache HTTP untersttzt in Version 2.4
unter Linux drei verschiedene Multipro
cessing-Module (MPM):
nPrefork
nWorker
nEvent
Seit Version 2.4 kann der Server MPMs
zudem zur Laufzeit laden.
Listing 1: apachebuddy.pl
01 root@testserver:~# wget apachebuddy.pl O apachebuddy.pl
24 T
he smallest apache process is using 15.01 MB of memory
02
root@testserver:~# perl apachebuddy.pl
25 T
he average apache process is using 20.53 MB of memory
03 ######################################################################
26 G
oing by the average Apache process, Apache can potentially use 3079.51
04
05
# Apache Buddy v 0.3 #################################################
06
07 ######################################################################
08
enerating reports...
29 G
09
Gathering information...
10
We are checking the service running on port 80
31
11
The process listening on port 80 is /usr/sbin/apache2
32 S
ettings considered for this report:
12
The process running on port 80 is Apache/2.2.16 (Debian)
33
13
Apache has been running 7d 01h 39m 11s
34
16024MB
14
The full path to the Apache config file is: /etc/apache2/apache2.conf
35
150
15
Apache is using prefork model
36
prefork
16
37
30.59MB
17
Examining your Apache configuration...
OK ]
38 [
18
Apache runs as apache
39
4588.5 MB
19
Your max clients setting is 150
40
Percentage of RAM allocated to Apache
28.64 %
20
41
21
Analyzing memory use...
42
22
Your server has 16024 MB of memory
43
23
The largest apache process is using 30.59 MB of memory
44
35
08/2015
Titelthema
Apache HTTP-Server
www.linux-magazin.de
36
mod_mpm_event.so),
das seit Apache 2.4 als
stabil gilt.
Die wichtigsten Optio
Abbildung 2: Die Anzahl der Prozesse auf einem Apache-Server sollte der Admin an die Gre des verfgbaren RAM anpassen.
nen fr MPM Worker
und Event sind identisch:
griffe. Beachtenswert ist auch die Direk
n ThreadsPerChild
Das MPM Prefork (Modulname: mod_
n MinSpareThreads, MaxSpareThreads
tive ServerLimit, die eine Obergrenze
mpm_prefork.so) kommt ohne Threads
aus. Fr jeden Zugriff existiert ein ei
fr MaxRequestWorkers festlegt, der n MaxRequestWorkers
gener Prozess im System. Beim Einsatz
Standardwert liegt bei 256.
n ServerLimit
Wer fr MaxRequestWorkers einen
ThreadsPerChild legt fest, wie viele
von PHP als Apache-Modul ist dies im
Normalfall die einzige Option fr den
greren Wert erwartet, muss die Direk
Threads ein einzelner Prozess erstellen
Betrieb, denn in PHP gibt es zu viele
darf. MinSpareThreads und MaxSpare
tive ServerLimit parallel dazu erhhen.
Bibliotheken von Drittanbietern, die noch MaxConnectionsPerChild legt fest, wie Threads funktionieren analog zu den
nicht Thread-safe sind [4].
viele Verbindungen ein einzelner Prozess oben erwhnten Direktiven MinSpare
abarbeiten darf. In einer perfekten Welt Servers und MaxSpareServers.
Wer ein Threaded MPM zusammen mit
ist der Wert 0, was bedeutet, dass der Ser
MaxRequestWorkers limitiert die ge
PHP verwenden mchte, kann dies mit
ver Prozesse fr alle folgende Requests
samte Anzahl an Threads. Der Standard
Fast CGI und PHP-FPM realisieren. Ob
wert von ServerLimit liegt im Falle von
sich der Umstieg lohnt, ist aus Perfor nie neu startet. Bei umfangreichen Ap
plikationen kann es jedoch sinnvoll sein,
Threaded MPMs bei 16. Multipliziert der
mancesicht jedoch fraglich. Die Vorteile
Admin ThreadsPerChild (Standard:
Prozesse nach ein paar Hundert Verbin
durch das Threaded MPM verlieren sich
dungen wieder zu erneuern. Das gibt den 25) mit ServerLimit (Standard: 16), er
aufgrund der Performance-Nachteile, die
hlt er das obere Limit fr die Anzahl
eine PHP-Integration ber Fast CGI nach vom Prozess verwendeten RAM-Bereich
wieder frei, was Memory Leaks vorbeugt.
an Threads. Die Default-Einstellung er
sich zieht, teilweise wieder [5].
Reichen die konfigurierten MaxRequest
laubt somit einen Wert von maximal 400
Die folgenden Optionen sind beim MPM
Workers nicht aus, erscheint im Logfile
Threadsfr MaxRequestWorkers.
Prefork relevant:
die Meldung aus Listing 2.
nStartServers
nMinSpareServers, MaxSpareServers Ohne PHP-Modul kann der Admin ein
nMaxRequestWorkers
Threaded MPM ohne Bedenken einset
Apache HTTP liefert etwa 120 Module
nServerLimit
zen. Dadurch arbeitet der Server einen
mit und integriert auf Wunsch noch viele
nMaxConnectionsPerChild
Zugriff durch einen einzelnen Thread ab
StartServers legt fest, wie viele Pro
statt durch einen einzelnen Prozess. Da weitere von Drittanbietern [6]. Die Ser
zesse der Webserver nach einem Neu
verbetreiber sollten stets im Hinterkopf
ein Thread weniger Overhead erzeugt als
start vorweg starten soll. MinSpareSer ein Prozess, erreicht der Server so eine
behalten, dass zustzliche Module meist
auch mehr RAM bentigen. Es ergibt
ver und MaxSpareServers bestimmen,
bessere Performance.
Unter Apache stehen zwei Threaded sowohl aus Performance- als auch aus
wie viele unbenutzte Prozesse Apache
mindestens vorhalten soll beziehungs
MPMs bereit. Mit Version 2.0 haben die Sicherheitssicht Sinn, aktivierte Module
weise maximal vorhalten darf. MaxRe
Entwickler MPM Worker (Modulname:
zu prfen (Listing 3) und nicht bentigte
mod_mpm_worker.so) eingefhrt, seit
zu deaktivieren.
questWorkers (bis 2.3.13 MaxClients)
limitiert die maximale Prozessanzahl und
Version 2.2 gibt es ein zustzliches Threa Debianer und Ubuntu-User aktivieren
somit die Anzahl der gleichzeitigen Zu ded MPM namens Event (Modulname:
und deaktivieren Module ganz einfach
ber die Kommandos a2enmod bezie
hungsweise a2dismod. In der Standard
konfiguration ist Apache 2.4 aber bereits
ausreichend aufgerumt. Es hilft zudem,
dass a2dismod warnt (Listing 4), falls
der Admin ein essenzielles Modul ab
schalten mchte. Unter Centos und RHEL
verwaltet er die Module in der Regel ber
die Datei /etc/httpd/conf.d/.
Module entschlacken
Abbildung 3: Das Linux-Standardtool top zeigt die Prozesse des HTTP-Servers an.
Listing 2: Logfile-Meldung
01
[Fri Jun 05 13:15:24.760818 2015] [mpm_prefork:error] [pid 1649] AH00161: server reached
MaxRequestWorkers setting, consider raising the MaxRequestWorkers setting
08/2015
<Files ~ "\.(cgi)$">
HostnameLookups on
</Files>
Unntigen Verwaltungs-IO
vermeiden
Hufig verwenden Admins .htaccessDateien, die den Apache-Server direkt
aus dem DocumentRoot heraus steu
ern und sich zum Beispiel um IP-Limitie
rungen, Passwortabfragen oder Rewrites
kmmern. Hierbei kommt die Direktive
AllowOverride zum Zuge. Der Nachteil:
Bei jedem Zugriff prft der Webserver,
ob eine .htaccess-Datei im jeweiligen
Verzeichnis liegt, die er verarbeiten muss.
Der Admin sollte die Direktive Allow
Override daher global so weit wie mg
lich auf None setzen und sie nur expli
zit fr jene Verzeichnisse erlauben, wo
er sie einsetzt.
Prinzipiell kann er jede Konfiguration
einer .htaccess-Datei auch direkt in
der Apache-Konfiguration vornehmen,
doch hat er im Shared-Hosting-Umfeld
oft keinen direkten Zugriff auf die ConfigDateien, obwohl die Webapplikationen
bestimmte Apache-Features bentigen.
Browser-Caching
Das Modul mod_expires kann Browser
anweisen, bestimmte statische Inhalte fr
lngere Zeit zu cachen. Dies reduziert
die Anzahl der Anfragen an den Apa
15 authn_file_module (shared)
02
Loaded Modules:
16 authz_core_module (shared)
03 core_module (static)
17 authz_host_module (shared)
04 so_module (static)
18 authz_user_module (shared)
05 watchdog_module (static)
19 autoindex_module (shared)
06 http_module (static)
20 deflate_module (shared)
07 log_config_module (static)
21 dir_module (shared)
08 logio_module (static)
22 env_module (shared)
09 version_module (static)
23 filter_module (shared)
10 unixd_module (static)
24 mime_module (shared)
11 access_compat_module (shared)
25 mpm_prefork_module (shared)
12 alias_module (shared)
26 negotiation_module (shared)
13 auth_basic_module (shared)
27 php5_module (shared)
14 authn_core_module (shared)
28 setenvif_module (shared)
Listing 4: Modulwarnung
01
root@debian:~# a2dismod mime
04
unless you know exactly what you are doing!
02
WARNING: The following essential module will be
05 mime
disabled.
03
This might result in unexpected behavior and
should NOT be done
06
07
To continue type in the phrase 'Yes, do as I
say!' or retry by passing 'f':
05
ExpiresByType application/xfontwoff
"access plus 1 months"
06
ExpiresByType application/javascript
03
ExpiresByType image/jpeg "access plus 1 months"
ExpiresByType image/png "access plus 1 months
04
Apache HTTP-Server
Titelthema
HostnameLookups off
www.linux-magazin.de
37
08/2015
Quelle: [https://www.percona.com/
doc/perconamonitoringplugins/1.1/]
Titelthema
Apache HTTP-Server
www.linux-magazin.de
38
Monitoring
Listing 7: Serverheader-Check
01
root@debian:~# wget serverresponse
header="acceptencoding: gzip"
10 ETag: "aa0517c4e8861a8agzip"
http://localhost/test.css
11 AcceptRanges: bytes
20150607 06:06:57
02
http://localhost/
test.css
Resolving localhost (localhost)... ::1,
03
127.0.0.1
04
Connecting to localhost (localhost)|::1|
:80... connected.
12 Vary: AcceptEncoding
13 ContentEncoding: gzip
14 CacheControl: maxage=2592000
Benchmarks
Um die Tuning-Manahmen auf ihre
Sinnhaftigkeit zu berprfen, sollte der
Admin konkrete Zahlen zum Webserver
ermitteln. Der bringt dafr sein eigenes
Benchmarktool namens ab mit, das di
rekt ber HTTP/HTTPS arbeitet und sich
fr beliebige Webserver einsetzen lsst.
Der Tester konfigurierte die Anzahl der
Requests (-n Requests) und die Anzahl
18 Connection: KeepAlive
06 HTTP/1.1 200 OK
19 ContentType: text/css
20
Length: 102 [text/css]
21
Saving to: 'test.css'
Zu gut erreichbar
Die Server-Statusseite des offiziellen Apache-Webservers (Abbildung 4) ist ffentlich
zugnglich. Ist der eigene Server ber das
Internet erreichbar, ist eine Verffentlichung
also nicht zu empfehlen.
08/2015
Infos
[1] Netcraft Webserver Survey May 2015:
[http://news.netcraft.com/archives/2015/
05/19/may2015webserversurvey.html]
[2] Apaches Benchmarktool ab:
[http://httpd.apache.org/docs/2.4/programs/ab.html]
[3] Versionierung von /etc/ mit etckeeper: [https://www.thomaskrenn.com/de/
wiki/EtcVerzeichnis_mit_etckeeper_versionieren]
Apache HTTP-Server
Titelthema
Resmee
www.linux-magazin.de
39
08/2015
12/2010
Software
Auch diesen Monat bekommen die DELUG-Kufer die doppelte Datenmenge zum einfachen Preis: Die erste
Seite der DVD enthlt Videos der Grazer Linuxtage 2015, die zweite unter anderem die Fedora 22 Workstation,
eine Appliance zur Analyse von Malware, ein E-Book ber den Raspberry Pi und vieles mehr. Tim Schrmann
Inhalt
42 IP-Fire
Die aktuelle Version der leistungsfhigen
Firewall-Distribution erneuert Open SSL
und Strong Swan.
44 Bitparade
Vier Programme im Vergleich, die VPN
mit einem P2P-Ansatz verschmelzen.
50 Libre Office Viewer
Eine abgespeckte Version von Libre Office luft nun auf dem Android-Handy.
52 Tooltipps
Werkzeuge im Kurztest: Devices in LAN
0.4, Gxmessage 3.4.3, Site Monitoring
2.1.6, Bleachbit 1.6, Fehashmac 1.4.2,
SSH Guard 1.5.
Neben einem normalen Linux-Magazin
ohne Datentrger gibt es die DELUG-Ausgabe mit Monats-DVD, bei der die Redaktion den Datentrger nach einem speziellen Konzept zusammenstellt: In einer Art
modularem System enthlt er Programme
Seite A: Gra
zer Linuxtage
Die Seite A ist bis
zum Rand mit ViAbbildung 1: Mit den in der Remnux-VM enthaltenen Open-Source-Werkzeugen lassen sich
deos gefllt. Wer
mit dem Browser auf Programme zur Analyse in ihre Einzelteile zerlegen.
sie zugreift, erreicht
zum Beispiel Wireshark zur Analyse der
ber ein HTML-Men ausgewhlte Vortrge der Grazer Linuxtage 2015. Sie zei- Netzwerkkommunikation.
gen unter anderem, wie Nutzer unstrukturierte Daten mit PostgreSQL speichern,
sicher miteinander kommunizieren,
komplexe regulre Ausdrcke schreiben
Als E-Book wartet Linux mit Raspberry
und erste Schritte beim Programmieren
Pi (Abbildung 2) aus dem Franzis-Verin Python unternehmen.
lag auf Leser. In ihm beschreibt Autor
Christian Immler auf ber 300 Seiten Einsatzmglichkeiten fr den Minicomputer.
Unter anderem entstehen ein NAS-Server
Wer die Silberscheibe umdreht und mit
und ein virtueller Diaprojektor. Daneben
dem Browser darauf zugreift, stt auf
enthlt die DVD das aktuelle Fedora 22
zahlreiche weitere Inhalte. Aus ihnen
Workstation (64 Bit) als ISO-Image. Fr
sticht die Appliance mit Remnux 6.0 den Betrieb in der Cloud oder einer Virtualisierungslsung eignet sich das Image
hervor (Abbildung 1). Sie basiert auf
Ubuntu-Linux 14.04 und enthlt zahlreimit Fedora 22 Atomic Host.
che vorinstallierte Tools zur Analyse von Wem das nicht reicht, der baut mit der
potenzieller Schadsoftware. Beispielsaktuellen Version von IP-Fire eine leisweise extrahiert das Skript officeparser
tungsfhige Firewall auf, betrachtet mit
Makros aus Word-Dokumenten, whrend
dem Libre Office Viewer Dokumente auf
die Virus-Total-Tools ein verdchtiges
Android-Gerten oder entwickelt Programme mit Hilfe von Mozillas ProgramProgramm auf Schadcode abklopfen.
n
miersprache Rust. (kki)
Hinzu kommen bekannte Werkzeuge,
Remnux 6.0
www.linux-magazin.de
Einfhrung
41
08/2015
Software
Die schlanke Linux-Distribution IP-Fire ist fr den Betrieb als Firewall zugeschnitten, der Admin richtet sie
komfortabel ber eine Weboberflche ein. Die neue Version kann unter anderem den Netzwerkverkehr auf
Basis geografischer Daten filtern. Tim Schrmann
CD brennt oder mit dd auf einen USBStick schreibt. Fr eingebettete (ARM-)
Systeme stellt das IP-Fire-Projekt ein 215
MByte groes Flash-Image mit vorinstalliertem IP-Fire bereit, unter anderem fr
den Raspberry Pi [2].
Farbenspiele
42
www.linux-magazin.de
IP-Fire
Thermisch gesichert
Abbildung 1: In der Weboberflche markiert IP-Fire die Schnittstellen in ihren jeweiligen Farben.
DELUG-DVD
Auf der DELUG-DVD findet sich
das ISO-Image der IP-Fire-Ausgabe 2.17 Core
Update 90.
08/2015
Software
In der aktuellen Version 2.17 Core 90
kann IP-Fire erstmals den ein- und ausgehenden Netzwerkverkehr anhand des
Herkunfts- oder Ziellandes reglementieren (Abbildung 2). Administratoren erlauben so beispielsweise ausschlielich
Zugriffe aus Deutschland oder untersagen
Rechnern aus dem Internet den Kontakt
mit Servern aus bestimmten Lndern.
Wem diese Einstellungen zu grob sind,
der kann auch detaillierte Filterregeln
vorgeben und so etwa die Anzahl der
gleichzeitigen Verbindungen aus einem
Land limitieren.
Fazit
Abbildung 2: Dank des Geo-IP-Filters lsst sich schnell Netzwerktraffic aus bestimmten Lndern abblocken.
Webzugriff
Die Firewall steuert der Administrator
bequem ber eine per HTTPS und Port
444 erreichbare Weboberflche. Er meldet sich dort als User admin an. Bei
Problemen loggt er sich auf der Kommandozeile des Firewallrechners als root
Infos
[1] IP-Fire: [http://www.ipfire.org]
[2] IP-Fire fr ARM-Rechner: [http://www.
ipfire.org/en/hardware/arm/start]
www.linux-magazin.de
Geo-IP
IP-Fire
43
08/2015
Software
Peer-to-Peer-basierte VPN-Alternativen
Wer seinen Netzwerkverkehr verschlsselt ber ffentliche Leitungen senden mchte, greift meist zu IPsec,
chiffriert den Traffic mit SSL ber Port 443 oder nutzt Open VPN. Die Bitparade nimmt vier dazu alternative
Tunnelbauer unter die Lupe, die VPN ber Peer-to-Peer-Verfahren versprechen. Konstantin Agouros
marchello74, 123RF
44
www.linux-magazin.de
Bitparade
Tunnelblick
E Tinc
Das Tinc-Projekt [1] gibt es bereits seit
1998, die letzten nderungen auf der
Webseite stammen aus dem Jahre 2014.
Tinc erlaubt den Aufbau eines vermaschten VPN. Was soviel bedeutet, dass jeder
Knoten einen Weg zu jedem anderen findet (Abbildung 1). Die gegenseitige Authentisierung basiert auf RSA-Schlsseln
(2048 Bit).
Tinc definiert logische Netzwerke, die
jeweils einen Namen besitzen, im Test
lautete er zum Beispiel LM. Der TincDaemon erwartet unter /etc/tinc einen
Unterordner pro Netz, der den gleichen
Namen tragen muss. Pro Ordner erwartet der Daemon eine Datei tinc.conf.
Sie enthlt im einfachsten Fall nur zwei
Eintrge: Den logischen Namen des Systems innerhalb dieses Netzwerks und das
Device, das die Tunnel aufbaut.
Die Manpage von tinc.conf listet weitere Optionen auf, die etwa bestimmen,
welches Interface der Dienst verwendet
und ob der Host als Intermediate Node
agieren soll oder nicht. Die einfachste
Form der Datei sieht so aus:
Name = left
Device = /dev/net/tun
DELUG-DVD
08/2015
Software
eth1
eth0
verschlsselt,
UDP
eth0
eth1
Klartext
Abbildung 1: Tinc baut ein vermaschtes VPN auf und tunnelt verschlsselt UDP-Traffic.
bei Address handelt es sich um die offiziell erreichbare Adresse. Da der Test in
einer geschlossenen Umgebung stattfand,
ist das eine RFC-Adresse.
Den Schlssel lsst der Admin beim ersten Versuch einfach weg, da Tinc ihn spter generiert und automatisch ergnzt.
Beim ersten Einrichten trgt er auf dem
Host left also nur die ersten beiden
Zeilen ein. Danach ruft er
tincd n LM K
Dem aufmerksamen Betrachter fllt sicher auf, dass die IP-Adresse in einem
Netz liegt, dessen Netzmaske mehr Hosts
umfasst als das Subnet in Abbildung 1.
Das sorgt dafr, dass der Host dank der
vom Kernel gesetzten Route alle anderen Teilnehmer ber das Tunnelinterface
erreicht. Die speziellere Route auf dem
LAN-Interface soll bewirken, dass die
Hosts im LAN erreichbar bleiben.
Der Administrator fgt dann den passenden Public Key ein und verteilt die
Hostdatei left an alle Beteiligten. Das
geschieht in einem Any-to-any-Verfahren,
das recht aufwndig geraten kann. Die
Datei darf neben den genannten noch
weitere Parameter enthalten, beispielsweise spezifische Verschlsselungsalgorithmen oder alternative Ports.
Bevor er Tinc startet, muss der Admin sicherstellen, dass Linux das tun-Modul
geladen hat. Tinc erledigt dies nicht automatisch, es wird jedoch fr ein funktionierendes VPN gebraucht. Nach dem
Start des Daemon bei allen Beteiligten
routet Tinc die Pakete dann wie erwartet
ber den Tunnel.
Die Software funktionierte im Test gut,
lief stabil und erfllte auch die Anforderung an das Full Mesh. Der Ansatz bringt
jedoch auch Einschrnkungen mit. So
entsteht Aufwand dabei, alle Hostdateien
an alle Beteiligten zu verteilen. ndert
sich bei einem Host die Konfiguration,
muss Tinc die Datei neu versenden. Das
funktioniert bei fnf Hosts gut, bei 100
wird es unbersichtlich.
Auerdem muss jeder Teilnehmer von
auen erreichbar sein. Das setzt Zugriff
auf eine Firewall voraus, um den eingehenden Port durchzuschalten. Alternativ
kann Tinc auf einem per Internet erreichbaren Host laufen. Da trifft es sich gut,
dass es Tinc nicht nur fr Linux, sondern
auch fr die meisten BSD-Derivate (darunter OS X) sowie als Build fr Open
WRT gibt. Von Windows untersttzt es
die Versionen 2000 (!) bis 7.
E Freelan
Freelan [2] gibt es noch nicht so lange
wie Tinc, laut Github startete die Entwicklung im Jahr 2011, sie ist weitgehend
eine One-Man-Show. Freelan erlaubt so-
Abbildung 2: Jeder beteiligte Host erhlt bei Tinc eine eigene Konfigurationsdatei.
Bitparade
Klartext
Tunnel
www.linux-magazin.de
Tunnel
45
08/2015
Software
Bitparade
www.linux-magazin.de
46
E Ipop
Jabber-Server
Signalisierung
Tunnel
Tunnel
eth0
verschlsselt,
UDP
eth0
Stun-/Turn-Server
Abbildung 4: Ipop whlt einen anderen Weg als Tinc und Freelan, indem es einen Jabber-Server voraussetzt und Stun sowie Turn untersttzt.
08/2015
Software
ipoptincanx86_64 1> out.log 2> err.log &
und
gvpn_controller.py c config.json &> U
log.txt &
"turn": [{"server": U
"user": "Benutzername", U
"pass": "Passwort"}]
fr einen Turn-Server.
Leser mit Json-Erfahrung erkennen schnell,
dass sich auch mehrere Turn-Server angeAbbildung 5: Ipop verlangt eine Konfigurationsdatei im Json-Format, die
ben lassen.
Die Mglichkeit, einen
den Zugang zum XMPP-Server ermglicht.
Stun- oder Turn-Server
zu verwenden, um NAT zu berbrcken,
den. Danach startet das installierte Init
ist fr Anwender zwar sehr praktisch. Fr
skript den Dienst. Damit meldet sich Zero
Sicherheitsverantwortliche in Firmen, in
Tier im P2P-Netzwerk an. Der Admin
denen die Security Policy jeglichen Traffic verwaltet die Zero-Tier-Verbindungen mit
von innen nach auen erlaubt, ist sie dem Programm zerotiercli, fr Winaber ein Albtraum. Leider ist diese Policy
dows und OS X gibt es sogar eine grafiin vielen Firmen verbreitet. Kommt ein
sche Oberflche.
Stun- oder Turn-Server zum Einsatz, so
ber zerotiercli listpeers erhlt er eine
mssen die Pakete allerdings mehrfach
Liste der verbundenen Knoten und prft
durch das Internet, was natrlich die Perdamit, ob der Rechner den Weg in das
formance nicht gerade steigert.
Zero-Tier-Netz gefunden hat. Der Output sieht etwa aus wie in Listing 1. Daneben existiert noch das Subkommando
status, das aber nur die Version, die
Der letzte Kandidat im Test ist Zero Tier.
eigene Node-ID und den Online- oder
Erster Code des Projekts auf Github
Offline-Status zurckgibt.
stammt von Mitte 2013. Als KombinaZum ersten Ausprobieren des Dienstion aus Software und Dienst erzeugt
tes eignet sich das Earth-Netz [11] mit
Zero Tier ein Overlay-Netzwerk, das die
der ID 8056c2e21c000001. Diesem
Webseite aber eher mit einem WLAN
tritt der Admin ber zerotiercli join
vergleicht. Peer-to-Peer-Verbindungen
8056c2e21c000001 bei. Das Unterkomleiten die Daten, hnlich wie bei Skype
mando listnetworks zeigt die verbundeoder Bittorrent, weiter. Ein virtuelles Netz
nen Netzwerke und den Verbindungsstaerhlt je eine ID zur Identifikation, und
tus an, ein ifconfig a verweist fr das
es gibt ffentliche und private Netze (Aberste Netz auf das Interface zt0.
bildung 6).
Im Test konfigurierte der Daemon keine
Die Software steht unter [4] zum Down- IP-Adresse fr das Interface. In der
load bereit, das Projekt bietet sie fr
Datei /var/lib/zerotier/networks.d/
Linux, OS X und Windows 7 an. Fr
8056c2e21c000001.conf findet sich alLinux gibt es Deb- und RPM-Pakete und lerdings eine Konfiguration des Netzes,
darunter auch die vom Netz zugewiesene
ein generisches Installer-Paket fr Intels
IP-Adresse.
32- und 64-Bit-Architekturen sowie fr
Anwender sollten in den ffentlichen Netden Raspberry Pi. Im Test kam der Installer auf einem Gentoo-Linux zum Einsatz, zen mit denselben Vorsichtsmanahmen
der Sourcecode wartet in einem Githubwie in einem ffentlichen WLAN vorgehen. Das bedeutet: Firewallregeln und
Repository [10].
den Verkehr ber Zero Tier verschlsWie bei den anderen Paketen auch sollte
seln. Ein tcpdump auf das Interface
der Admin zunchst das tun-Modul la-
E Zero Tier
Bitparade
"Stun-Server:Port", U
www.linux-magazin.de
47
08/2015
Software
Bitparade
Tunnel
Tunnel
verschlsselt, UDP
48
eth0
www.linux-magazin.de
eth0
erreichbare Peernodes
Abbildung 6: Zero Tier setzt auf reine Peer-to-Peer-Verbindungen und unterscheidet ffentliche und private Netzwerke.
Fazit
Die vorgestellten Programme unterscheiden sich ziemlich in ihrem Knnen. Tinc
und Freelan funktionieren nur, wenn der
VPN-Anwender auch den eingehenden
Internetverkehr kontrolliert, bei Ipop und
Zero Tier spielt dies keine Rolle. Allen
gemeinsam ist, dass sie es erlauben, Verkehr vor den Augen des Internets abzuschirmen und direkte Verbindungen in
Form von Overlay-Netzen und Tunneln
zu erzeugen.
Tinc und Freelan mssen sich den Vergleich mit etablierten Lsungen wie Open
VPN gefallen lassen, wobei sich gerade
Tinc durch die aufwndige Schlsselver-
Der Autor
Konstantin Agouros arbeitet bei der Xantaro
Deutschland als Solutions Architect mit dem
Schwerpunkt auf Netzwerk- und Cloud-Security.
Sein Buch DNS/DHCP ist bei Open Source Press
erschienen.
Infos
[1] Tinc-Projekt: [http://www.tincvpn.org]
[2] Freelan: [http://www.freelan.org]
[3] Ipop: [http://ipopproject.org]
[4] Zero Tier: [http://www.zerotier.com]
[5] Jabber: [http://www.jabber.org]
[6] Jingle: [http://xmpp.org/extensions/
xep0166.html]
[7] Stun-RFC:
[http://tools.ietf.org/html/rfc5389]
[8] Turn-RFC:
[http://tools.ietf.org/html/rfc5766]
[9] Ipop auf Github: [https://github.com/
ipopproject/downloads/releases]
[10] Zero Tier auf Github:
[https://github.com/zerotier]
[11] Earth-Netz:
[https://www.zerotier.com/earth.html]
[12] Admin-Account fr Zero Tier:
[http://www.zerotier.com/admin.html]
Abbildung 8: Zero Tier will Menschen in Organisationen und Firmen eine einfache Zusammenarbeit ermgli-
chen, auch wenn sie dafr womglich die Security-Richtlinien der IT-Abteilungen umgehen.
08/2015
Software
LO-Viewer-App fr Android
Der Libre Office Viewer fr Android zeigt Office-Dokumente auf mobilen Gerten an und besitzt inzwischen
auch einfache Bearbeitungsfunktionen. Ob die Smartphone- und Tablet-App als Assistent fr die groe Bro
suite auf dem Desktop taugt, zeigt dieser Kurztest. Heike Jurzik
(Tabelle 1). Eines sei gleich vorweggenommen: Mit einem Kennwort geschtzte Dokumente ffnete die App
grundstzlich nicht sie strzte sogar
reproduzierbar ab.
Gelungener Auftakt?
pixinoo 123RF.
50
www.linux-magazin.de
Frischluftbro-Gehilfe
Ende Mai 2015 verffentlichten die Libre- und PPTX an. Eine experimentelle EdiOffice-Entwickler die erste stabile Version
tierfunktion stellt Werkzeuge fr fetten
des Libre Office Viewer fr Android bei
und kursiven Schriftsatz sowie unterund durchstreichen bereit.
Google Play [1]. Die freie und kostenDer Libre Office Vielose App entstand in Zusammenarbeit mit den
wer bentigt mindesUnternehmen Collabora,
tens Android 4.0. Die
Tester installierten
Igalia und Smoose sowie
die App auf einem
einigen Google-Summerof-Code-Studenten. Wer
Tablet (Tolino Tab
Android ohne Google
8.9 mit Android
betreibt, findet unter [2]
4.2.2) und auf einem
ein APK.
Smartphone (Galaxy
Der Viewer nutzt die
Nexus, Android 4.3).
Sie beauftragten den
gleiche Engine wie die
mobilen BroassisDesktopversionen von
Libre Office. Das Front
tenten, Writer-, Calcend basiert auf Firefox
und Impress-Dateien
sowie MS-Word-, Exfr Android. Laut Release Notes zeigt die App
cel- und PowerpointAbbildung 1: Der experimentelle BearbeiDokumente zu ffdie freien Formate ODT,
tungsmodus funktioniert in Textdateien
nen, und versuchten
ODS und ODP sowie die
Microsoft-Formate Doc,
und in Impress-Prsentationen, verlangauch, diese im Viewer zu bearbeiten
Docx, XLS, XLSX, PPT samt die App allerdings sprbar.
Nach dem Start erscheint ein Dateimanager, der die Ordner des Gerts inklusive
verborgener Verzeichnisse anzeigt. Die
Icons wirken auf einem Tablet durchaus
bersichtlich, auf einem kleinen Smartphone-Display allerdings zu ppig. ber
die Mens filtern Nutzer die Liste alphabetisch oder blenden nur bestimmte
Dateitypen, die neuesten oder grten
Files ein. Wer das Gert an dieser Stelle
dreht, darf sich direkt vom Viewer verabschieden. Das ndern der Ausrichtung
fhrte auf beiden Testgerten wiederholt
zum Absturz.
Nach dem Auswhlen einer Datei braucht
der Viewer je nach Speicherausstattung
des Tablets oder Smartphones mehr oder
weniger Zeit zum ffnen. Dokumente
mit Bildern, Diagrammen und mehreren
Schrifttypen prsentieren sich oft pixelig, bis die App alles richtig gerendert
hat. ber das Men Settings schalten
Anwender in den Experimental Mode,
der Bearbeitungsfunktionen am oberen
Rand einblendet.
Die Entwickler warnen sowohl in der
App als auch in den Release Notes: Use
at your own risk ein berechtigter
Hinweis, wie sich im Test herausstellen
Heft-DVD
Die DELUG-DVD enthlt die
DELUG-DVD
08/2015
Die ODT-Datei und das MS-Word-Dokument (Doc) sahen auf beiden Testgerten recht berzeugend aus. Auch das
Docx, das mehrere Spalten und Bilder
enthielt, war zugnglich. Whrend die
Desktopversion von Libre Office es nur
sehr zerstckelt prsentierte, bekam der
Viewer die Darstellung etwas besser hin
optimal war die Anzeige jedoch immer
noch nicht, auch wenn immerhin der
Inhalt lesbar war.
Das Umschalten in den Bearbeitungsmodus klappte manchmal, aber nicht
immer. War dies gelungen, dauerte es
eine Weile, bis der Fingertipp ins Dokument beim Viewer angekommen war.
Beide Testgerte verstanden schlielich
den Wunsch, zeigten den Cursor an und
klappten das Keyboard am unteren Rand
aus (Abbildung 1).
Wrter oder Abstze markiert die App
nicht. Um etwas zu formatieren, tippen
Nutzer in ein Wort hinein und danach
den entsprechenden Button an. Text ins
Dokument einfgen dauert ebenfalls
recht lange, sodass sich die Funktion derzeit nur eignet, um kurze Ergnzungen
vorzunehmen. Lngere Abschnitte tippen
sich besser auf dem Desktop.
Enttuschend endete der Versuch, eine
einfache Calc-Tabelle mit einer simplen
Summenformel zu betrachten. Ob mit
oder ohne eingefgtem Diagramm der
Viewer verweigerte den Dienst. Eine
Excel-Datei (XLS) schlug sich etwas besser, allerdings war die Spaltenbreite nicht
optimal und das Kreisdiagramm machte
ebenfalls keine gute Figur (Abbildung 2).
Das ndern einer XLS-Datei gelang auf
keinem der Gerte.
Eine positive berraschung erlebten die
Tester beim ffnen einer XLSX-Datei. Diagramme stellte der Viewer richtig dar,
auch die Spaltenbreite passte diesmal.
Dafr waren die Umlaute kaputt. Parts
aus dem Men oben rechts oder eine
Wischgeste vom linken Rand in Richtung
Bearbeiten
Textverarbeitung
ODT
ja
ja
Doc
ja
nein
Docx
(ja)
nein
Tabellenkalkulation
ODS
nein
nein
XLS
(ja)
nein
XLSX
ja
nein
Prsentation
ODP
ja
ja
PPT
ja
nein
PPTX
(ja)
nein
Software
Ganz prsentabel
www.linux-magazin.de
51
08/2015
Software
52
www.linux-magazin.de
Tooltipps
Werkzeuge im Kurztest
Tooltipps
Devices in LAN 0.4
Gxmessage 3.4.3
Netzwerkscanner
Quelle: [http://turulomio.users.sourceforge.
net/en/devicesinlan.html]
Lizenz: GPLv3
Alternativen: Nmap
08/2015
Software
Tooltipps
Fehashmac 1.4.2
System entrmpeln
Quelle: [http://bleachbit.sourceforge.net]
Lizenz: GPLv3
Alternativen: keine
SSH-Ports sichern
Quelle: [http://www.sshguard.net]
Lizenz: BSD
Alternativen: Fail2ban
www.linux-magazin.de
54
Bleachbit 1.6
08/2015
Sysadmin
www.linux-magazin.de
Einfhrung
Rettung naht
ber Linux, fr Admins in Sachen Sicherheit lange ein ruhiger See, sind in letzter Zeit Strme hinweggefegt,
die Namen wie Freak, Beast, Poodle, Shellshock oder Heartbleed trugen. Eine ganze Reihe von ihnen geht auf
das Konto von Schwchen in SSL-Bibliotheken. TLS Interposer kann die Wogen gltten. Charly Khnast
Inhalt
Der Autor
Charly Khnast administriert
Unix-Systeme im Rechenzentrum Niederrhein. Zu seinen
Aufgaben gehren Sicherheit und Verfgbarkeit der
Firewalls und der DMZ.
58 Groupware
Die Entwicklung bei Linux-Groupware
eine Zwischenbilanz.
66 Open Stack Sahara
Hadoop-as-a-Service auf Knopfdruck
einrichten das verspricht Sahara.
72 Konfigurationsmanagement
Was Etcd, Consul, Zookeeper & Co. in der
Praxis taugen.
aber, wenn er dort Applikationen betreiben muss, die die neuesten TLS-Versionen gar nicht kennen? So mancher hlt
nach dem Motto Never change a running System stoisch an seinem Apache
2.2 fest oder anderen nur noch archologisch wertvollen Serverdiensten.
hinzu. Nach einem Neustart des HTTPDaemon kommuniziert der greise Apache
mit dem jngsten TLS. Das sollte der
Admin aber mit SSL Scan [2] testen oder
mit einem der vielen Onlinedienste, die
diesen Service anbieten, etwa [3]. (jk)n
Infos
[1] TLS Interposer: [https://github.com/
Netfuture/tlsinterposer]
[2] SSL Scan:
[http://sourceforge.net/projects/sslscan/]
[3] Qualys SSL Server Test:
[https://www.ssllabs.com/ssltest/]
57
08/2015
Sysadmin
Der Groupwaremarkt ist ebenso gro wie schwierig: Microsoft Exchange und Lotus Notes halten die dicken
Brocken fest, soziale Netzwerke und Google drngen nach. Freie Software kann gleichwohl auf schne Erfolge
verweisen, gert aber immer wieder in die Opferrolle meist wegen externer Finanzierung. Markus Feilner, Dirk Ahrnke
mahout, 123RF
58
www.linux-magazin.de
Groupware
Auf und ab
E Kerio Connect
Kerio Technologies [3] startete 1997 mit
dem Vertrieb einer Netzwerksoftware,
2001 gab es die erste Version des KerioMailservers. Ab Version 7 nannten die
Kalifornier das mittlerweile zur Groupware weiterentwickelte Produkt Kerio
08/2015
Bislang adressierte Kerio vorrangig Kunden mit bis zu wenigen Hundert Mail
boxen. Die im Mai 2015 erschienene
Version Kerio Connect 8.5 untersttzt
erstmalig auch mehrere Server in einer
Organisation und soll somit das Skalierungsproblem lsen.
E Kolab
Beim letzten Groupwarevergleich im
Linux-Magazin war eine Runderneuerung der Open-Source-Groupware Kolab
[4] noch im Gesprch. Die Anfang 2013
Ebenfalls im Jahr 2013 datiert ein weiterer Meilenstein: Die von Kolab Systems betreute und jhrlich aktualisierte
Version Kolab Enterprise folgt jetzt dem
Modell der Referenzplattform Red Hat
Enterprise Linux [7]. Die CommunityVariante wird vergleichbar mit Fedora
als Entwicklerversion deklariert und
nicht fr den produktiven Einsatz empfohlen. Wer sich darauf einlassen will,
tut gut daran, sich mit den Mailinglisten
[8] zu befassen. Hier wie auch im IRCChannel #kolab bestehen dennoch gute
Chancen, schnelle und kompetente Hilfe
bei Problemen zu erhalten.
Die im vorigen Test kritisierten Probleme
mit der Dokumentation bestehen teilweise weiter. Zwar haben die Entwickler
dem Dokumentationsportal [docs.kolab.
org] in letzter Zeit einiges an Inhalten
hinzugefgt, es wird aber weiterhin
hauptschlich von Developern gepflegt
und ist demzufolge fr Einsteiger nur
bedingt geeignet. Die Lektre empfiehlt
sich trotzdem, da sich unter anderem
unter den noch berschaubaren Howtos
sehr wertvolle Hinweise zur erweiterten
Konfiguration finden.
Runder Wrfel
Groupware
Sysadmin
Enterprise-Version
www.linux-magazin.de
59
08/2015
Sysadmin
Groupware
www.linux-magazin.de
Abbildung 3: Die aktuelle Online-Demo von Kolab hat so gar nichts mehr mit den Horde-basierten Vorlufern
der vergangenen Jahre gemeinsam.
E Open Xchange
Dass Investitionen auch Frchte tragen
knnen, beweist das Beispiel OX: 15 Mil-
Apps, Apps
Die Architektur des aus dem SLOX (Suse
Linux Open Exchange Server) hervorgegangenen Produkts eignet sich schon
deshalb ausgezeichnet fr Provider, weil
zumeist vorhandene IMAP-Server ohne
groe Umbauarbeiten um Groupware
funktionen erweitert werden knnen.
Die im November 2012 erstmalig verf-
60
Abbildung 4: Auf dem Kolab Summit 2015 in Den Haag riefen Georg Greve, Thomas
08/2015
Groupware
Sysadmin
On Premise
www.linux-magazin.de
Abbildung 6: Open Xchange entfernt sich immer weiter von seinen SLOX-Wurzeln und wird zur App-Zentrale
fr Unternehmen und Endkunden.
E Scalix
Eine ebenfalls wechselvolle Geschichte
mit seinen Investoren durchlebte der
Openmail-Ableger Scalix [14]. Begonnen hatte sie 2002 mit etwas weniger
Venture-Kapital als etwa Zimbra erhielt,
doch nach fnf Jahren verloren die ursprnglichen Kapitalgeber das Interesse
und verkauften an Xandros, ein ebenfalls
von Fonds gesteuertes Unternehmen aus
dem Corel-Dunstkreis. Xandros erzielte
daraufhin einige Erfolge, unter anderem
auch als Softwarelieferant fr das Netbook Eee-PC, das Asus einen geschtz-
Postpath
Etwas weniger glcklich bei der Jagd auf Kunden, dafr aber ebenfalls mit viel Geld unterwegs war Postpath [13]. Das aus Bulgarien
und den USA stammende Team entwickelte bis
2008 einen unter Linux laufenden ExchangeNachbau.
Dann zckte Cisco die Brieftasche und erwarb
Postpath fr 215 Millionen Dollar. Erklrtes
Ziel: Das Software-as-a-Service-Angebot Cisco
WebexMail sollte das Gegenstck zu den Offerten von Google und Microsoft werden.
61
08/2015
Sysadmin
62
www.linux-magazin.de
Groupware
Tine 2.0 [16] wollten die Caldav-Anbindung verbessern und starteten dafr eine
vergleichsweise bescheidene Crowdfunding-Kampagne ber 2100 Euro. Das Projekt erreichte sein Ziel sogar mit einem
berschuss. Im Herbst 2014 erschien die
Release Koriander mit zahlreichen Verbesserungen im Caldav-Kontext.
E Zarafa
Abbildung 7: Fr viele vllig berraschend brachte Scalix im Frhjahr 2015 die neue Version 12.5 mit vielen
Bugfixes und Neuerungen heraus.
Verbesserungsbedarf bleibt
Akuter Verbesserungsbedarf besteht bei
der Untersttzung neuerer ExchangeActivesync-Versionen. Auch Scalix Web
Access, der Webmailer, wirkt trotz der
jetzt endlich eingebauten zu Outlook
und Activesync kompatiblen Aufgabenverwaltung angesichts moderner HTML5-Clients doch etwas angestaubt. Eine
Runderneuerung ist fr die Version 13
angestrebt. Mit Blick auf die Entwicklungen der letzten Jahre muss Scalix erst
noch unter Beweis stellen, dass es diese
Plne auch tatschlich umsetzt.
Chancen bestehen sicherlich. Eine Preview der nchsten Version 12.6 hat die
Firma jedenfalls zeitgleich mit der Release 12.5 verffentlicht. In der Pressemitteilung zur Version 12.5 bekennt sich
der Hersteller weiterhin zu seiner Strategie, auch langfristig Microsoft Outlook als
eine wesentliche Komponente der Client
of ChoiceStrategie untersttzen zu wollen. Dies schliet Office 2016 ein
E Tine 2.0
Dass es nicht immer das ganz groe Geld
sein muss, stellte Metaways im vergangenen Jahr unter Beweis. Die Macher von
Weniger Outlook
Angesichts der im Januar 2015 publizierten nderungen der Produktstrategie
mit der Abkehr von Outlook [19] scheint
eine Rckschau auf die Entwicklungen
der letzten vier Jahre wenig sinnvoll.
Dennoch haben gerade sie das Erscheinungsbild des Produkts und Unternehmens entscheidend geprgt. Lange Zeit
und mit groem Ressourcenbedarf lag
der Fokus auf einer grtmglichen Kompatibilitt zu den Groupwareprodukten
von Microsoft.
Whrend dieser Ansatz fr Outlook auf
Windows noch zufriedenstellend funktionierte, war der Versuch, eine skalierbare
Implementierung der Exchange Web Services (EWS) bereitzustellen, weniger von
Erfolg gekrnt. Das Risiko, stndig dem
08/2015
Groupware
Sysadmin
Fehlende Administration
Ein des fteren zu hrender Kritikpunkt ist das Fehlen einer grafischen
Administrationsoberflche. Leider vermochte das 2011 vorgestellte Z-Admin,
eine Weiterentwicklung von Yaffas [21],
diese Lcke nicht fllen. Whrend die
tglichen Administrationsaufgaben wie
Nutzer- und Gruppenverwaltung im Allgemeinen durch die bliche Integration
in vorhandene Verzeichnisdienste wie
Active Directory oder Open LDAP mit deren Werkzeugen erledigt werden, fehlen
weiterhin Werkzeuge zur Administration
des Servers selbst.
Einen Teil davon knnte in Zukunft Kopano liefern [22]. Kopano ist ein fr
www.linux-magazin.de
Marktfhrer hinterherprogrammieren zu
mssen und dafr erhebliche Ressourcen
vorzuhalten, ist fr Zarafa zu gro geworden. Es drfte auch dem Hersteller klar
sein, dass ein Abwenden von Outlook als
dem Dreh- und Angelpunkt des Produkts
zugleich eine vernderte Kundenklientel
bedeutet.
63
08/2015
Sysadmin
Groupware
www.linux-magazin.de
64
Abbildung 8: Auch Zarafa integriert Apps in seine Webapp und reduziert die Outlook-Untersttzung.
E Zimbra
Zu den absoluten Gewinnern des Venture-Capital-Pokers drften die ursprnglichen Investoren von Zimbra [23], gehren. Die von Insidern kolportierten etwa
15 Millionen Dollar Startkapital reichten
aus auch dank einer geschickten Platzierung des Produkts bei Comcast, einem
der grten US-amerikanischen Provider
, um im September 2007 die Firma fr
350 Millionen Dollar an Yahoo zu verkaufen.
Die sehr wahrscheinliche Intention
von Yahoo, mit Zimbra im Portfolio ein
Gegengewicht zu den mchtig aufstrebenden Google Apps zu schaffen, ging
aber nicht auf. Im Januar 2010 kndigte
VMware die bernahme von Zimbra zu
einem ungenannten, aber mit Sicherheit
geringeren Betrag als 2007 an.
Doch auch das Engagement von VMware
war nicht besonders frderlich fr die
Entwicklung der Groupware. Das bestehende Partnernetzwerk konnte zumeist
mit einer zustzlichen Collaboration-
Die Autoren
Dirk Ahrnke beschftigt
sich seit ber 15 Jahren mit
dem Einsatz von Group
wareprodukten und IT-Infrastruktur-Lsungen im kommerziellen Bereich. Er ist
Grnder und Geschftsfhrer der Leipziger it25
GmbH.
Markus Feilner ist ein LinuxSpezialist aus Regensburg,
der seit 1994 mit dem freien
Betriebssystem als Autor,
Trainer, Consultant und Journalist arbeitet. Der ConchDiplomat, Minister der Universal Life Church und
Jedi-Ritter leitet heute das Dokumentationsteam
bei Suse in Nrnberg.
08/2015
Zukufe
Auch Zimbra versucht ber Zukufe
von Firmen und Produkten das eigene
Portfolio aufzuwerten. Im Juli 2014 kam
Mezeo, ein Anbieter von Filesync- und
Share-Software, hinzu. Das neue Produkt
hat bereits einen Namen Zimbra Sync
and Share, ist aber aktuell noch nicht
offiziell verfgbar. Nach Aussagen des
Herstellers ist geplant, mittelfristig damit
auch die bisherige Datenablage von Zimbra zu ergnzen beziehungsweise ganz
zu ersetzen.
Angesichts der Frequenz des Eigentmerwechsels weist das Produkt Zimbra eine
berraschende Kontinuitt auf. Da die
groen Kunden der frhen Jahre nicht
abgesprungen sind, war es dem Kernteam offensichtlich mglich, auch unter
neuen Landlords ganz normal weiterzuarbeiten. Auch aus diesem Grund bildet
Zimbra nach wie vor eine Lsung mit
Fazit
Nur wenig Neues gab es bei Kerio und
Tine (bei beiden mal von Cal- und Carddav abgesehen). Postpath (siehe Kasten
Postpath) ist ganz aus dem Rennen.
Zarafa wackelt ein wenig, weil diverse
Entwickler die Firma verlieen, vor allem
aber wegen der durchaus nachvollziehbaren Entscheidung, Outlook in Zukunft
nicht mehr zu untersttzen. Von Scalix
man hre und staune gibt es eine
neue Version, die tatschlich Neuerungen
bringt, aber noch lange nicht das Ende
der Fahnenstange sein kann.
Zimbra ist finanzstark wie eh und je,
aber vor allem in den USA vertreten, was
auch an der groen Kontinuitt innerhalb der Software liegt. Es ist gut mglich, dass sich dieser Anbieter bald noch
etwas mehr in Richtung Open Source
bewegt. Das wiederum nmlich die
Themen Open Source, Datensicherheit
und auch offene Entwicklung sind die
angestammte Domne von Kolab. Dessen
Entwickler und Manager treiben die Software stetig voran. Davon konnten sich
interessierte Groupware-Anwender und
Entwickler nicht zuletzt auf dem Kolab
Summit 2015 ein Bild machen. (jcb) n
www.linux-magazin.de
Groupware
Sysadmin
Abbildung 9: Fast unsichtbar in Deutschland, doch in den USA stark verbreitet: Zimbra.
Infos
[1] Dirk Ahrnke, Kolab, Open Xchange,
Zarafa und Zimbra im Vergleich: [http://
www.linuxmagazin.de/Ausgaben/2011/
09/GroupwareVergleich/]
[2] Studie Unternehmenskommunikation
im Wandel: [http://www.techconsult.de/
index.php/component/content/article/
43uncategorised/282mpgroup]
[3] Kerio: [http://www.kerio.com]
[4] Kolab: [http://www.kolab.org]
[5] Kolab: [http://www.linuxmagazin.de/
Ausgaben/2013/03/Kolab3/]
[6] Hosted Kolab:
[http://www.linuxmagazin.de/NEWS/
MyKolabHostedGrouwarenach
SchweizerRechtundGesetz/]
[7] Kolab bernimmt Red Hats Modell:
[http://www.linuxmagazin.de/NEWS/
KolabEnterpriseOSSGroupwareuebernimmtRedHatModellfuerEnterpriseVersion/]
[8] Kolab-Mailinglisten:
[http://lists.kolab.org]
[9] Roundcube Next bei Indiegogo:
[https://www.indiegogo.com/projects/
roundcubenext2]
[10] Open Xchange:
[http://www.openxchange.org]
[11] Dovecot Merge:
[http://www.theregister.co.uk/2015/03/
24/open_xchange_skype_dovecot_merger/]
[12] Oxpedia: [http://oxpedia.org]
[13] Postpath: [http://newsroom.cisco.com/
dlls/2008/corp_082708.html]
[14] Scalix: [http://www.scalix.com]
[15] Scalix 12.5: [http://www.scalix.
com/main/37english/support/
400scalix125releasenotes]
[16] Tine 2.0: [https://www.tine20.org]
[17] Zarafa: [http://www.zarafa.com]
[18] Zarafa und Amazon Workmail:
[http://www.zarafa.com/zarafa
partnerswithawstoextendproduct
portfoliowithamazonworkmail/]
[19] Zarafa stoppt Outlook-Weiterentwicklung:
[http://www.linuxmagazin.de/NEWS/
ZarafaWebRTCWebmeetingskeineOutlookWeiterentwicklungabMSO2015/]
[20] Z-Push: [http://zpush.org]
[21] Yaffas: [http://www.yaffas.org]
[22] Kopano: [http://www.zarafa.com/
faqaboutkopano/]
[23] Zimbra: [http://www.zimbra.com]
[24] OSI: [http://www.opensource.org]
[25] Section 508: [http://www.section508.gov]
65
08/2015
Sysadmin
Bei Big Data ist Apache Hadoop aktuell der Liebling des Marketings. Doch das Setup einer vollstndigen Hadoop-Umgebung ist nicht einfach. Open Stack Sahara verspricht dagegen Hadoop auf Knopfdruck. Martin Loschwitz
xtockimages, 123RF
66
www.linux-magazin.de
Rechenmaschine
Komponenten-Wirrwarr
Doch wie bei so vielen Komponenten
aus dem Cloud-Dunstkreis kursiert auch
in Sachen Hadoop viel Halbwissen. So
haben viele Admins den Begriff Hadoop
zwar schon einmal gehrt, knnen sich
aber von Big Data einmal abgesehen
Komplexitt
Viel Funktionalitt bedingt hohe Komplexitt. Hadoop bildet da keine Ausnahme:
Vom Plan, Hadoop zu installieren, bis
hin zur nutzbaren Installation sind viele
Arbeitsschritte zu absolvieren. Schneller
geht es, wenn der Admin Zugriff auf ein
gut vorbereitetes Open Stack hat: Die
Open-Stack-Komponente Sahara [2] offeriert Hadoop-as-a-Service. Per Mausklick,
so das Versprechen, klickt sich der Admin
eine komplette Hadoop-Umgebung zusammen, die kurze Zeit spter auch tatschlich einsatzbereit sein soll.
Da stellen sich gleich mehrere Fragen:
Hat der Admin auch dann etwas von
Hadoop, wenn er sich mit der Lsung
im Vorfeld gar nicht eingehend beschftigt hat? Funktioniert Sahara berhaupt
08/2015
Auth
SavannaPython-Client
REST-API
SavannaPages
HadoopVM
HadoopVM
HadoopVM
Cluster
Configuration
Manager
Vendors-Plugins
Swift
Job-Sources
Nova
Job-Manager
Data Access
Layer
Data-Sources
Trove-DB
Resources
Orchastration
Manager
Heat
Glance
Cinder
Neutron
Abbildung 1: Sahara ist ein komplexes Gebilde aus mehreren Komponenten, die wichtigsten zeigt diese Grafik.
und lsst sich mit der Hadoop-Installation, die Sahara produziert, tatschlich
sinnvoll arbeiten? Das Linux-Magazin hat
Sahara getestet.
Bewegte Geschichte
Sahara hat diesen Namen noch gar nicht
so lange, anfangs firmierte Sahara als
Savanna. Doch die Entwickler mussten
sich einen neuen Namen fr ihr Projekt
suchen, weil sie befrchteten, es knnte
einen Rechtsstreit um den Namen geben.
Das ist insofern kurios, als schon die
SDN-Komponente in Open Stack einen
hnlichen Werdegang hinter sich hat:
Aus Quantum musste dort bereits vor
Jahren Neutron werden.
Stringenter als der Name ist das Ziel von
Sahara: Das Programm fragt Anwender
zunchst nach einigen grundlegenden
Parametern hinsichtlich der Konfiguration des knftigen Hadoop-Clusters. Hat
der Admin kundgetan, welche Art von
Hadoop-Cluster ihm vorschwebt, soll Sahara sich so die Theorie an die Arbeit
machen und dem Anwender letztlich
einen kompletten Cluster mit Hadoop
schlsselfertig bergeben.
Diverse Komponenten
Wie fast alle anderen Open-Stack-Dienste
kommt Sahara in Form mehrerer Komponenten daher (Abbildung 1). Das
Kernprojekt besteht aus einer Applikation fr die Authentifizierung, einer
Provisionierungs-Engine, einer eigenen
Abbildung 2: Unter dem Menpunkt Data Processing sind in Horizon die Hebel fr Sahara versteckt wenn
der Admin die Zusatzseiten installiert.
Sysadmin
Horizon
HadoopVM
www.linux-magazin.de
Keystone
67
08/2015
Sysadmin
Open Stack Sahara
www.linux-magazin.de
68
Begriffswirrwarr
Intelligentes Provisioning
gibt, ersetzt das Sahara-Plugin fr Horizon oder das CLI sie durch passende
Defaults. Die wichtigsten beschreiben die
Hadoop-Distribution und die darunterliegende Linux-Distribution. Auch legt der
Admin per Befehl an Sahara die Topologie des Clusters fest, bestimmt also,
wie viele Knoten die einzelnen Gruppen
anfnglich haben sollen.
Dann geht die Party los: Der Provisioning Scheduler ist dafr verantwortlich,
die notwendigen Befehle an die anderen
Open-Stack-Dienste zu leiten. Das umfasst die Open-Stack-Authentifizierung
Keystone und den Image-Dienst Glance.
Sahara implementiert folglich keinen
Keystone-Ersatz. Der Dienst, der in Sahara die Authentifizierung abwickelt,
greift auf Keystone zurck. hnliches
gilt fr die Sahara-eigene Image-Registry:
Sie fut auf den Funktionen von Glance,
rstet aber beim Image-Management Hadoop-spezifische Funktionen nach, die in
Glance fehlen.
Auch die Provisioning Engine selbst produziert nicht unntz doppelten Code.
Weiter oben war bereits die Rede von den
verschiedenen Gruppen, die zu einem
Hadoop-Cluster gehren (Master, Core
Workers, Workers). Heat, das in Open
Stack eigentlich fr zentrale Orchestrierung verantwortlich zeichnet, kennt diese
Einteilung aber nicht. Ein per Heat aufgesetzter Verbund von VMs (Stack) geht
stets davon aus, dass der Admin einzelne
VMs per Template definiert und dann
durch Heat starten lsst.
Damit Heat und die Provisioning Engine
von Sahara sinnvoll miteinander reden
knnen, enthlt Letztere einen eingebauten Dolmetscher: Aus Sahara fallen am
Ende tatschlich die Templates heraus,
mit denen Heat arbeiten kann. Aus Sicht
des Admin hingegen gengt es, in Sahara
selbst Templates anzulegen, die einen
Hadoop-Cluster grundstzlich beschreiben. Den Rest erledigt Sahara intern.
Geschmcker sind
verschieden
Hadoop ist die Bezeichnung einer konkreten Umsetzung von Googles MapReduce-Algorithmus nmlich des originalen Hadoop des Apache-Projekts. In
den vergangenen Jahren haben allerdings
gleich mehrere Anbieter damit begonnen,
08/2015
Sysadmin
Analytics-as-a-Service
Abbildung 4: Die Sahara-Seiten im Open-Stack-Dashboard liefern schnell die Informationen, welche Knoten zu
einem Sahara-Cluster gehren.
leicht selbst installieren und konfigurieren lsst, ist das bei Hadoop nicht so.
Bei Sahara zahlt sich der Agent also tatschlich aus.
Automatisches Skalieren
Die Provisioning Engine von Sahara kann
deutlich mehr, als nur VMs fr den Betrieb neuer Hadoop-Installationen starten. Die Arbeit mit Hadoop ist allerdings
je nach Umfang des durchzuackernden
Materials rechen- und speicherintensiv.
Naturgem wollen Unternehmen aber
nur so wenig Geld wie irgend mglich
ausgeben.
Einerseits knnten Admins also ihre Hadoop-Cluster schon beim Start mit so vielen virtuellen CPUs und virtuellem Spei-
www.linux-magazin.de
69
08/2015
Sysadmin
Open Stack Sahara
www.linux-magazin.de
70
zu integrieren, sollten
das Thema Hardware
klug angehen. Damit
ist klar: Um Hadoop
sinnvoll zu betreiben,
bentigen Kunden viel
einsetzbare Leistungsfhigkeit und das sowohl im Hinblick auf
CPU und RAM wie
auch im Hinblick auf
das Netzwerk. Denn
Abbildung 5: Ein Cluster lsst sich in Sahara entweder durch den Admin von
ein Hadoop-Cluster
Hand skalieren oder automatisch im Analytics-as-a-Service-Modus.
ist sehr Netzwerk-intensiv, auch Gigabitcher versehen, dass es sicher reicht, um
Links lassen sich de facto ohne groe
die anstehenden Tasks gut abzuarbeiten. Schwierigkeiten saturieren.
Andererseits bekommen Hadoop-Cluster
regelmig neue Aufgaben zugewiesen.
Um den dynamischen Zuwachs abzufangen, mssten Admins stndig mehr
Damit steht zweifellos fest: Wer Hadoop
als Service anbieten mchte, greift zu
virtuelle Ressourcen einbinden, als anden greren CPUs, zu vielen RAM-Riefangs notwendig sind doch verstiee
geln und idealerweise auch zu schnellen
das gegen das Effizienzgebot.
10-GBit-Netzwerkkarten. Das allein geSahara ist daher ab Werk mit der Fhigkeit ausgestattet, automatisch die Anzahl
ngt aber noch nicht wirklich schnell
von VMs in Hadoop-Clustern zu modifiwird Hadoop erst, wenn es lokalen,
zieren. Das geschieht nach Faktoren, die schnellen Speicher nutzen kann.
Zur Erinnerung: Die Default-Konfigurader Admin festlegt. So knnte er Hadoop
tion von Open Stack packt persistente
dazu bringen, mehr Worker zu starten,
wenn auf den vorhandenen Workern die VMs auf Speicher, der im Hintergrund
per I-SCSI angebunden ist. Technisch ist
Last ausgelesen aus Faktoren wie der
CPU-Nutzung der einzelnen Instanzen
das wenig elegant, aber vor allem ist es
eine bestimmte Grenze berschreitet. sehr langsam. Alternativen mit hohen
Durchsatzraten gibt es etwa in Form von
Hadoop skaliert den Cluster also nach
Ceph. Die meisten Alternativen haben
Bedarf selbst.
gemein, dass sie mit einer eher hohen
Das klappt auch dann, wenn der Admin
Analytics-as-a-Service nutzt: Dabei legt Latenz daherkommen, weil die Pakete
stets durchs Netzwerk mssen.
er nur eine Grenze fest, die im Hinblick
auf die Zahl der Instanzen und deren
Lokaler Speicher schafft Abhilfe: Luft
genutzte Ressourcen nicht zu berschreidie VM auf dem Host und nutzt den loten ist (Abbildung 5). Um alles andere
kalen Speicher des Systems, entfllt der
kmmern sich Sahara und die integrierte Umweg ber das Netzwerk. Bis zur akProvisioning Engine selbst.
tuellen Open-Stack-Release Kilo konnte
ISPs, die bereits eine Open-Stack-Platt- Open Stack den Zusammenhang zwiform betreiben und planen in diese Sahara
schen einer VM und einem mit Cinder
erstellten Speicher aber nicht abbilden.
Admins konnten sich also aussuchen, ob
Der Autor
sie eine VM auf persistentem NetzwerkMartin Gerhard Loschwitz
speicher betreiben wollten oder lokal auf
den einzelnen Hypervisors, dann aber
arbeitet als Cloud Architect
nicht persistent.
bei Sys Eleven. Er beschfIn Kilo haben die Entwickler eine lange
tigt sich dort intensiv mit
den Themen Open Stack,
gewnschte Funktion nachgerstet, von
Distributed Storage und
der auch Sahara profitiert: Nun lsst sich
Puppet. Auerdem pflegt er in seiner Freizeit nmlich festlegen, dass Cinder ein VoPacemaker fr Debian.
lume auf dem Host anlegen soll, auf dem
Hardware fr Sahara
Fazit
Cloud und Big Data, das passt eigentlich
wie die Faust aufs Auge. Letztlich sind es
gerade die groen HPC-Setups, die den
Siegeszug des Cloud Computing erst mit
eingeleitet haben. Dass Anbieter groe
Mengen an Ressourcen zur Verfgung
stellen, um Kunden den dynamischen
und flexiblen Hadoop-Betrieb zu ermglichen, ist jedenfalls ein sehr schlssiger
Ansatz. Die Cloud spielt hier besonders
den Vorteil aus, dass der Kunde die Leistung sofort bekommt, statt sich erst umstndlich einen Hardware-Zoo ins Rack
zu hngen.
Erfreulich ist, dass die Sahara-Entwickler
viele Probleme frherer Zeiten gelst haben. Der Umstand, dass sich eine VM
genau dort starten lsst, wo auch das per
Cinder provisionierte Volume liegt, macht
Hadoop berhaupt erst sinnvoll nutzbar.
Denn nur mit schnellem Speicher funktioniert Hadoop brauchbar.
Doch bleibt ein groer Wermutstropfen:
Aktuell gibt es gerade im deutschsprachigen Raum nur wenige Anbieter,
die berhaupt ffentlich zugngliche
Open-Stack-Clouds betreiben. Und die,
die das tun, untersttzen Hadoop nur in
den seltensten Fllen, bieten Sahara also
gar nicht erst an. Derzeit gibt es von
einer Selbstbau-Cloud abgesehen also
kaum die Mglichkeit, die eigentlich sehr
ntzliche Funktionalitt von Hadoop im
Alltag zu nutzen.
Das ist schade: Fnde sich ein Anbieter,
der Sahara im Portfolio hat, er knnte
sich wohl auf den Ansturm von zahlrein
chen Kunden verlassen. (jcb)
Infos
[1] Map Reduce:
[http://de.wikipedia.org/wiki/MapReduce]
[2] Sahara: [http://docs.openstack.org/
developer/sahara/userdoc/]
[3] Images bauen: [http://docs.openstack.
org/developer/sahara/userdoc/
diskimagebuilder.html]
08/2015
Sysadmin
Etcd, Zookeeper, Consul und hnliche Programme werden unter dem Stichwort Konfigurationsmanagement
zurzeit hei diskutiert. Welche Aufgaben wollen sie konkret lsen? Welche Versprechen knnen sie halten?
Das Linux-Magazin geht der Sache auf den Grund. Martin Loschwitz
72
www.linux-magazin.de
Konfig-Management
Zentralverwaltung
08/2015
fr Etcd wie fr Consul und auch Zookeeper ist ein typischer Key-Value-Store.
Doch belassen es jene Programme nicht
dabei. Denn wenn es nur darum ginge,
eine Datenbank fr die Verwaltung von
Einstellungen zu pflegen, wre ein Ansatz etwa auf der Basis von MySQL vermutlich der einfachere Weg.
Praktisch alle Probanden im Test wollen
einen darber hinausgehenden Mehrwert
bieten und preisen deshalb zum Beispiel
ihre inhrente Cluster-Fhigkeit an. Etcd
und Consul versprechen auerdem besonders effiziente Werkzeuge fr das
Flottenmanagement von Diensten: Consul etwa kommt mit eingebauter ServiceDiscovery und wird so flugs zu einem
Telefonbuch in skalierten Umgebungen,
bei dem sich Services dynamisch an- und
abmelden.
Letztlich, so jedenfalls das Versprechen,
sollen Etcd & Co. die behbige Existenz
Key-Value-Speicher mit
Mehrwert
Praktisch allen Konfigurationsdatenbanken ist gemein, dass sie sich selbst als
Key-Value-Speicher betiteln. Das gilt etwa
Konfig-Management
Sysadmin
Abbildung 1: Etcd bentigt einen Bootstrapping-Prozess, der wahlweise ber das Etcd-Verzeichnis des Her-
Abbildung 2: Auch wenn Etcd auf einem Host luft, bedeutet das nicht, dass /etc komplett leer ist.
www.linux-magazin.de
Teil. Denn in Scale-out-Setups ist die Konfiguration einzelner Dienste nicht mal
annhernd so statisch wie bei konventionellen Setups.
Cluster-Dienste lassen sich beliebig skalieren, indem nach Bedarf immer mehr
Instanzen von ihnen starten. Fr jede
dieser Instanzen Puppet oder Chef anzuwerfen, um sie mit Konfigurationsdaten
zu versorgen, wre unpraktisch. Deshalb
sind die typischen Automatisierungstools
wie eben Puppet im Inneren von CloudVMs praktisch nicht zu finden. Clouds
brauchen vllig andere Anstze, um die
Konfiguration von Diensten sinnvoll zu
managen. Bis zum Hype rund um Docker
und Open Stack waren entsprechende
Werkzeuge aber kaum bekannt. Der
Cloud-Hype ndert das.
73
08/2015
Sysadmin
Konfig-Management
www.linux-magazin.de
74
Volle Cluster-Kompatibilitt
Etcd hat auch eine Lsung fr althergebrachte Software, die eine feststehende
Datei in /etc mit ihrer Konfiguration
Abbildung 4: Alles in Ordnung: Dieser Consul-Cluster besteht aus drei Knoten, die sich hinsichtlich ihres
Zustands einig sind. So soll es sein.
08/2015
Consul folgt einer Server-Agent-Architektur: Es gibt den Cluster von Consul-Knoten und die Rechner, auf denen Anwendungen laufen, also MySQL, Nginx oder
ein beliebiges anderes Tool. Auf ihnen
arbeitet der zu Consul gehrige Agent.
Er meldet die Dienste des Hosts beim
Cluster an, sodass sie in der Servicedatenbank in Consul verzeichnet sind.
Will ein anderer Dienst etwa Rabbit MQ
nutzen, fragt er bei Consul nach dem
entsprechenden Host fr Rabbit MQ
und erhlt die passende Antwort. Damit
auch Legacy-Software mit diesem System zurechtkommt, konfiguriert Consul
zudem eigene DNS-Eintrge: Der Client
verbindet sich beispielsweise stets mit
dem Host _rabbitmq._amqp.service.
consul, unter dem Consul die Adresse
eines Rabbit-MQ-Hosts definiert.
Es ist nicht leicht, Consul auf den Arm
zu nehmen: Behauptet ein Agent, dass
auf seinem lokalen Host etwa ein MySQL
luft, kann der Admin dafr in Consul
eigene Health Checks definieren. Con-
Konfig-Management
Sysadmin
Umfassendes ServiceDiscovery
www.linux-magazin.de
Abbildung 5: Wie Etcd kennt auch Consul ein initiales Bootstrapping, bei dem sich die Knoten des Systems in
einem ersten Schritt einig werden.
Cluster-Fhigkeiten: Oho!
Wie Etcd bietet auch Consul einen inhrenten Clustermodus. Anders als der
erste Proband im Test ist Consul aber ab
Werk mit Support fr echte Multi-RZInstallationen ausgestattet obwohl es
ebenfalls Raft benutzt, um den Konsens
im Cluster herzustellen.
Consul kennt drei Konsistenzmodelle:
Das Default-Modell ist ein Kompromiss
aus erzwungener Konsistenz und der
Mglichkeit, dass ein Cluster unter seltenen Umstnden Informationen aus der
Datenbank liest, die nicht mehr aktuell
sind. Demgegenber steht das Modell mit
erzwungener Konsistenz (consistent).
Variante 3 (stale) lsst zu, dass ConsulInstanzen selbst dann Anfragen bearbeiten, wenn sie selbst wissen, dass sie zu
einer Cluster-Partition ohne Mehrheit im
Quorum gehren (Abbildung 5). Der
E Zookeeper
Quasi der Opa unter den Probanden
ist Zookeeper. Das Projekt, das unter
dem Schirm von Apache steht, blickt auf
die lngste Vergangenheit der getesteten
Werkzeuge zurck. Es verwundert nicht,
75
08/2015
Sysadmin
Konfig-Management
www.linux-magazin.de
76
Der Cluster-Konsens
Fazit
Infos
[1] Etcd: [https://coreos.com/etcd]
[2] Consul: [https://consul.io]
[3] Zookeeper:
[https://zookeeper.apache.org]
[4] Eureka:
[https://github.com/Netflix/eureka]
08/2015
Forum
Das Veto des Bundesverfassungsgerichts im Jahr 2010 bedeutete nur das vorlufige Ende der deutschen
Regelung zur Vorratsdatenspeicherung. Die Regierung legt nun einen neuen Gesetzesentwurf vor, gegen den
sich vielstimmiger Widerstand formiert. Ulrich Bantle
pflichtend zu speichernden Verkehrsdaten nur unter sehr engen Voraussetzungen mglich sein, nmlich zur Verfolgung
der in 100g Absatz 2 StPO-E bezeichneten besonders schweren Straftaten,
die auch im Einzelfall schwer wiegen
mssen.
Von der Vorratsdatenspeicherung ausgenommen sind laut Entwurf Mitarbeiter
von Behrden und kirchlicher oder sozialer Organisation, die anonym beraten und
der Schweigepflicht unterliegen. Bei allen anderen Berufsgeheimnistrgern, die
ein Zeugnisverweigerungsrecht besitzen,
drfen die Daten nicht abgerufen werden. Seelsorger, Rechtsanwlte, rzte,
Apotheker, Abgeordnete und Journalisten
fallen darunter.
78
www.linux-magazin.de
Recht
Federfhrend hinter dem deutschen Gesetzesentwurf der Regierung [1] steht Justizminister Heiko Maas (SPD), der sich
mit Innenminister Thomas de Maizire
(CDU) auf die Leitlinien dafr geeinigt
hatte. Das Bundeskabinett hat die Neuregelung der Vorratsdatenspeicherung Ende
Mai in einer Sitzung beschlossen.
Eine erste Lesung fand Anfang Juni im
Bundestag statt. Wohl auch wegen der
Proteste der IT-Verbnde wie Eco [2]
und Bitkom [3] soll die nchste Lesung
des Gesetzes erst im September stattfinden, das lie SPD-Fraktionschef Thomas
Oppermann nach einer Fraktionssitzung
Anfang Juni verlauten. Der ursprngliche
Plan der Regierung sah eine Beschlussfassung noch vor der Sommerpause vor.
Verdachtsunabhngig
In der Fassung des Gesetzentwurfs bedeutet Vorratsdatenspeicherung, dass
Internetprovider, Telekommunikations-
Vielstimmige Kritik
Kritik an dem Gesetz generell beziehungsweise an einzelnen Punkten kommt von
vielen Seiten: bei den Branchenverbnden angefangen ber den Arbeitskreis
Vorratsdatenspeicherung, die Bundesdatenschutzbeauftragte, den Nationalen
Normenkontrollrat (NKR) bis hin zum
Wissenschaftlichen Dienst des Bundestags und der betroffenen Unternehmen
der Internetwirtschaft.
Der Nationale Normenkontrollrat (NKR)
wird in seiner Stellungnahme [4] zur
Gesetzesvorlage deutlich: In der vorliegenden Fassung entspricht der Entwurf
nicht den Anforderungen der Gemeinsamen Geschftsordnung der Bundesministerien (GGO) einer Gesetzesvorlage an
die Bundesregierung: Die Darstellung des
Erfllungsaufwandes fehlt fr die Wirtschaft vllig und fr die Verwaltung in
wesentlichen Teilen. Dieser Mangel ist
umso gravierender, als der NKR durch ei-
08/2015
Schnellschuss
Die Datenschutzbeauftragte der Bundesrepublik Deutschland, Andrea Vohoff,
hat in einer Stellungnahme [9] erklrt:
Die Art und Weise, in der das Gesetzgebungsverfahren vorliegend vom BMJV
(Bundesministerium fr Justiz und Verbaucherschutz) betrieben wurde, ist inakzeptabel. Vorgaben der Gemeinsamen
Geschftsordnung der Bundesministerien (GGO), nach der alle Anzuhrenden
rechtzeitig zu beteiligen sind, wurden
mehrfach ignoriert. So wurde mir zur
Abgabe einer ersten Stellungnahme eine
Frist von faktisch weniger als 30 Stunden
gewhrt. Vohoff weiter: Der Gesetzentwurf sei nach wie vor nicht in der Lage,
die erheblichen Zweifel an der generellen
Verfassungsmigkeit einer Vorratsdatenspeicherung von Telekommunikationsverkehrsdaten zu beseitigen.
Ausblick
ber die Vorratsdatenspeicherung soll bei
einem kleinen Parteitag der SPD Ende
Juni unter den Delegierten abgestimmt
werden. Die SPD-Parteifhrung hat zu
diesem Parteikonvent einen eigenen Antrag eingebracht, der eine zeitliche Be-
Infos
[1] Gesetzesentwurf: [http://dip21.bundestag.
de/dip21/btd/18/050/1805088.pdf]
[2] Brandbrief Eco: [https://www.
eco.de/2015/pressemeldungen/
vorratsdatenspeicherung
itverbaendewollengehoertwerden.html]
[3] Warnung des Bitkom: [http://www.bitkom.
org/de/presse/8477_82314.aspx]
[4] Stellungnahme Normenkontrollrat:
[http://www.normenkontrollrat.bund.de/
Webs/NKR/Content/DE/Artikel/20150603_
stellungnahme_verkehrsdatenspeicherung.
h tml?nn=826450]
[5] Stellungnahme Eco:
[https://www.eco.de/wpcontent/blogs.dir/
2 0150608vdsstellungnahmeeco.pdf]
[6] Stellungnahme AK Vorrat:
[http://www.vorratsdatenspeicherung.de/
c ontent/view/758/1/lang,de/]
[7] Urteil Bundesverfassungsgericht:
[http://www.bverfg.de/entscheidungen/
r s20100302_1bvr025608.html]
[8] Urteil EU-Gerichtshof:
[http://curia.europa.eu/jcms/upload/docs/
a pplication/pdf/201404/cp140054de.pdf]
[9] Bundesdatenschutzbeauftrage:
[http://www.bfdi.bund.de/DE/Datenschutz/
Themen/Telefon_Internet/TelefonArtikel/
VoarratsdatenspeicherungReloaded.html?
nn=5217040]
www.linux-magazin.de
Recht
Forum
Kostenfragen
Eco
79
08/2015
Forum
80
www.linux-magazin.de
Bcher
Tux liest
Ein Buch ber Raspberry-Pi-Projekte mit High-End-Zubehr in einfallsloser Aufmachung. Ein zweites Buch vermittelt Grundlagen moderner Webprogrammierung mit einem Javascript-Framework. Jens-Christoph Brendel
Moderne
Webprogrammierung
In die Webprogrammierung mit dem
Javascript-Framework Angular JS fhrt
das zweite Buch ein, noch genauer gesagt
behandelt es Single-Page-Applikationen,
die also nicht laufend komplett neue Seiten nachladen, sondern eine bestehende
08/2015
Forum
82
www.linux-magazin.de
Leserbriefe
Leserbriefe
Haben Sie Anregungen, Statements oder Kommentare? Dann schreiben Sie an [redaktion@linux-magazin.de].
Die Redaktion behlt es sich vor, die Zuschriften und Leserbriefe zu krzen. Sie verffentlicht alle Beitrge mit
Namen, sofern der Autor nicht ausdrcklich Anonymitt wnscht.
Was das ausgemacht htte, sei dahingestellt. Ich glaube zum Beispiel nicht, dass
sich das Verhltnis von ein paar Dutzend
Apps, die fr Firefox verfgbar waren,
zu mehreren Millionen Apps, die es fr
Android gibt, mit Firefox 1.3 grundlegend
gendert hat. (Jens-Christoph Brendel)
08/2015
Boxenstopp
Mit Version 1.0 legte Mozillas System-Programmiersprache Rust Mitte Mai nach lngerer Entwicklungszeit eine
erste Verschnaufpause ein. Ob sie sich im weiteren Rennverlauf gegen C und C++ behaupten kann, hngt
auer von Mozillas Engagement auch davon ab, ob die Sprache mit ihren Features punktet. Andreas Mller
36clicks, 123RF
84
www.linux-magazin.de
Rust
Programmieren
Ausdrucksstark
Wertet Rust einen Ausdruck aus, ist dessen Rckgabewert das Ergebnis. Doch
auch alle Anweisungen besitzen einen
Rckgabewert: ein leeres Tupel. Das Semikolon trennt, wie in vielen anderen
Sprachen, Ausdrcke und Funktionen,
um sie zu gruppieren.
Die Funktion aus Listing 2 ermittelt das
Maximum zweier ganzer Zahlen, die sie
in der Parameterliste nach dem Funktionsnamen in Zeile 1 bernimmt. Als DaHeft-DVD
DELUG-DVD
Neben Rust 1.0 befinden
sich die IDEs Rust-DT und Solidoak auf der
DELUG-DVD sowie die zum Artikel gehrenden Listings.
Klassenlos
Rust 1.0 lsst das Konzept der Klassen
wieder fallen. Anstelle von Klassendefinitionen arbeitet Version 1.0 mit benutzerdefinierten, zusammengesetzten Datentypen, die sie bei Bedarf um Methoden
ergnzt. Das Schlsselwort struct leitet
zu Beginn von Listing 4 die Definition
des benutzerdefinierten Datentyps Container ein. Eine Instanz von Container
speichert dabei in Zeile 2 intern einen
Vektor aus 64 Bit breiten Fliekommazahlen im Feld content.
Traits