Sie sind auf Seite 1von 32

IT. Menschen. Leidenschaft.

Oracle Solaris 11 Zones - Tipps und Tricks


Heiko Stein
Senior Architekt
etomer GmbH

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Die etomer GmbH.


Grndung:

Seit 2002 als beratendes Systemhaus am Markt vertreten.

Fokus:

Unternehmenskritische IT-Infrastrukturen/-Anwendungen mit hohen


oder hchsten Verfgbarkeitsanforderungen. Ausrichtung auf das
Datacenterbackend. (HW, Unix/Linux, Datenbanken, Middleware,
SAP-Basis).

Ansatz:

Ganzheitliche und verbindliche Beratung und Leistungserbringung im


Spannungsfeld Technik Prozess Mensch.

Ttigkeit:

Bei namhaften Kunden aus den Bereichen ffentliche Hand,


Mittelstand und Enterprisesegment im In- und Ausland.

Kompetenz:

Hochspezialisiertes und langjhrig erfahrenes Team aus Beratern,


Trainern, Projektleitern und Architekten. Umfangreiche technologiebergreifende Akkreditierungen, Spezialisierungen und Zertifizierungen marktfhrender Technologielieferanten.

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Agenda.

What's new ?

Das Getriebe.

Services/Konfigurationsfiles/Logs/Locks/Doors

Tipps & Tricks.

Zusammenfassung.

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

What's new. (1)

IPS-basierende Installation

Nutzung des virtualisierten Netzwerkstack

Fr die Installation einer lokalen Zone ist zwingend der


Zugriff auf ein IPS-Repository abzusichern

Installationsstandard exclusive IP-Stack mit VNICs (anet)


Automatische Erstellung von VNICs whrend der
Installation
Nutzung von Flows in lokalen Zonen

NFS Server in Zonen

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

What's new. (2)

Keine Solaris 8/9 branded Zones mehr , dafr Oracle


Solaris 10 Zonen

Delegierte Administration

Bootenvironments

Verbesserter Shutdown der Zonen

Immutable Zones

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

What's new. (3)

Verbessertes Monitoring der Resourcennutzung der


lokalen Zone

ZoSS

zonestat

Zones on Shared Storage

Neues Resource-Control

zone.max-processes

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Das Getriebe. (1)

Relevante Services

Service
svc:/system/zones:default

Zone (g/l) Verwendung


g
Zones autoboot and graceful shutdown
# svccfg -s zones setprop zonecfg/default_template = SYSblank
Proxy-Server fr pkg-relevante Datentransporte/Kommunikation zwischen globaler und lokaler
svc:/application/pkg/zones-proxyd :default
g
Zone.
svc:/application/pkg/zones-proxyProxy-Client in der lokalen Zone fr pkg-relevante Datentransporte/Kommunikation zwischen
l
client:default
globaler und lokaler Zone.
g
Auto-Install Service fr lokale Zonen
svc:/system/zones-install:default
svc:/system/zones-monitoring:default
g
Schnittstelle fr Monitoring der lokalen Zonen via zonestat(1M)

Konfigurationsfiles

Konfigurationsfiles/Templates in
/etc/zones

Verwendung

SUNWdefault.xml->./SYSdefault.xml

Template fr Zone mit exclusive IP-Stack und VNIC (manuelle Konfiguration


whrend des 1. Startup)
Template fr Zone mit exclusive IP-Stack und VNIC (wird automatisch bei Boot/Halt
gestartet/gestoppt)
Link auf Defaultkonfiguration

SYSsolaris.xml->./SYSdefault.xml

Link auf Defaultkonfiguration

SYSdefault-shared-ip.xml

Template fr Zone mit shared IP-Stack

index

Zonenindex; enthlt alle am System konfigurierten Zonen

SYSsolaris10.xml

Template fr Brand Solaris10 Zone

SYSblank.xml
SYSdefault.xml

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Das Getriebe. (2)

Log-Files

Logfile

Zone (g/l) Verwendung

/var/log/zones/zoneadm.<dateTime>.<zonename>.install
/var/log/zones/zoneadm.<dateTime>.<zonename>.uninstall
/var/log/zones/zoneadm.<dateTime>.<zonename>.install

g
g
l

Install-Logdatei
Uninstall-Logdatei
Install-Logdatei

/var/sadm/system/logs/install_log

detaillierte Install-Logdatei

Lock's/Door's

Lock's/Door's

Zone (g/l) Verwendung


Door-Schnittstelle fr Zonenproxy-Prozess fr Zugriff auf IPS-Repository aus der
/var/run/zoneproxy_door
lokalen Zone
g
Door-Schnittstelle fr zonestat-Kommando zum Monitoring des
/var/run/zonestat_door
Resourcenverbrauches der lokalen Zone
g
/var/run/zones/<zonename>.console_sock
Socket zu /dev/console der laufenden Zone (siehe zlogin -C )
g
/var/run/zones/<zonename>.snapshot.xml

Snapshot der aktuellen Konfiguration der laufenden Zonen

/var/run/zones/<zonename>.zoneadm.lock
/var/run/zones/<zonename>.zoneadmd_do
or

Lock fr den laufenden zoneadmd-Prozess

www.etomer.com

Door-Schnittstelle zum zoneadmd der laufenden Zone

etomer 2013

IT. Menschen. Leidenschaft.

Tipps & Tricks - Automatisierte Installation. (1)

Automatische Installation

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Tipps & Tricks - Automatisierte Installation. (2)

Was ist mit Zonen ohne konfigurierten NIC ?


Zones "erbt" Publisher aus Global Zone

Zugriff auf das Repository ohne direkten Netzwerkzugang

globale Zone

# ll /var/run/zoneproxy_door
Drw------1 root
root
# pgrep -lf zoneproxy
1945 /usr/lib/zones/zoneproxyd

0 Nov 19 20:27 /var/run/zoneproxy_door>

lokale Zone

# ls -laF /var/run/zoneproxy_door
Drw------1 root
root
0 Nov 19 20:02 /var/run/zoneproxy_door>
# pkg publisher solaris
...
http://localhost:1008/solaris/e7632014025b2087fecdde1c533dfed93538f0ff/
...
# pgrep -lf proxy
3947 /usr/lib/zones/zoneproxy-client -s localhost:1008

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Tipps & Tricks - Automatisierte Installation. (3)

Bereitstellung Zonentemplate/Manifest/SC-Profil

SC-Profil

Manifest

/usr/share/auto_install/manifest/zone_default.xml
Modifizierte Kopie/Template eines vorhandenen Manifest

Zonentemplate

www.etomer.com

/usr/share/auto_install/sc_profiles/static_network.xml
sysconfig(1M)
Modifizierte Kopie/Template eines vorhandenen SC-Profil

zonecfg(1M)
Modifizierte Kopie/Template eines vorhandenen Zonentemplate

etomer 2013

IT. Menschen. Leidenschaft.

Tipps & Tricks - Automatisierte Installation. (4)

Einmalige Aufwnde

Manifest bleibt generisch


Minimale Anpassungen in Template/SC-Profile pro Zone

Installation/Bereitstellung

# zonecfg -z zone1 -f /tmp/t_zone1.cmd


# zoneadm -z zone1 install -c /tmp/p_zone1.xml -m /tmp/m_zone1.xml

# zoneadm -z zone1 boot; zlogin -e# -C zone1

Fertig !
www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Tipps & Tricks - Zonen mit VNIC (anet). (1)

Ein oder mehrere VNIC per Zone (anet)

Automatisch beim Boot erzeugt und einer Zone zugeordnet


net0, net1, als Namen
Exclusive-IP Stack ist Default

Umfangreiche Konfigurationsmglichkeiten

Steuerung/Kontrolle der Vergabe von IP-Adressen


Bandbreitensteuerung
VLAN-ID's
...

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Tipps & Tricks - Zonen mit VNIC (anet). (2)

Zonenkonfiguration

# zonecfg -z zone1 info anet linkname=net0


anet:
anet:
linkname: net0
lower-link: aggr0
allowed-address: 192.168.56.100/24,192.168.56.101/24
configure-allowed-address: true
...

Konfiguration/Limitation VNIC

Auto. Nutzung Slot-MAC's


mac-address: auto
...

VLAN-Tagging
vlan-id: 12
...

Bandbreitenlimitierung
maxbw: 1024m
...
www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Tipps & Tricks - RCTL's.

Sinnvolle Default-Resourcecontrols

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Tipps & Tricks - P2V. (1)

Vorraussetzungen

Minimale Vorraussetzungen auf Quellsystem:

Patch 142909-17 (SPARC) /142910-17 (x86/x64)


Patch 119254-75, 119534-24/140914-02 (SPARC)
Patch 119255-75, 119535-24/140915-02 (x86/x64)

Nutzung des Preflight System Checker for Oracle Solaris


11.1 (PSC) auf Oracle Solaris 10 System

sol10node # unzip SUNWzonep2vchk.zip


sol10node # pkgadd -d .
sol10node # cd /opt/SUNWzonep2vchk/bin
sol10node #./zonep2vchk
--Executing Version: 1.0.5-11-16135
...
--Total issue(s) detected: 13
sol10node #

www.etomer.com

Ggf. Konfiguration anpassen

etomer 2013

IT. Menschen. Leidenschaft.

Tipps & Tricks - P2V. (2)

Bereinigung der durch den PSC anzeigten Issues


Nutzung des PSC zur Erzeugung eines Brand Solaris 10
Zonen-Templates

Anpassung des Templates an das Zielsystem

zonepath usw.

sol10node # ./zonep2vchk -T S11 -c > /net/sol11node/sol10node.cmd


sol10node # vi /sol10node.cmd
...
set zonepath=/zones/node4
set hostid=1308f6cc
add anet
set linkname=e1000g0
set lower-link=net0
set mac-address=8:0:27:8d:b4:7b
end
...

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Tipps & Tricks - P2V. (3)

Flasharchiv des Oracle Solaris 10 Systemes erstellen

sol10node # flarcreate -n sol10node -S /net/sol11node/sol10node.flar

Setup der Brand Solaris 10 Zone auf Oracle Solaris 11


System

sol11node # zonecfz z sol10node f /sol10node.cmd

sol11node # zoneadm -z sol10node install -p -a /sol10node.flar

sol11node # zoneadm -z sol10node boot;zlogin -e# -C sol10node

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Tipps & Tricks - ZoSS. (1)

ZOSS untersttzt das Setup auf shared Storage und die


Migration von Zonen zwischen verschiedenen Nodes.

Unter ZOSS sind derzeitig folgende Anbindungen zur Nutzung


als shared Storage freigegeben:

Fibre Channel
iSCSI

Die Basis des Konzeptes sind die neuen Zonen-Properties:

rootzpool
zpool

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Tipps & Tricks - ZoSS. (2)

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Tipps & Tricks - ZoSS. (3)

suriadm(1M)
suri(5)

# suriadm lookup-uri /dev/dsk/c0t60A9800041762D6B415D425634344F4Ed0


lu:luname.naa.60a9800041762d6b415d425634344f4e
Logical Unit URI/
...

Name Address Authority

# suriadm lookup-uri /dev/dsk/c0t60a9800022362d6b415d425634344f4cd0


lu:luname.naa.60a9800022362d6b415d425634344f4c
...

Setup Zonenkonfiguration

# zonecfg -z zone1
create -b
...
add rootzpool
add storage lu:luname.naa.60a9800041762d6b415d425634344f4e
end
...
add zpool
set name=data
add storage lu:luname.naa.60a9800022362d6b415d425634344f4c
end
...
www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Tipps & Tricks - ZoSS. (4)

Setup Zone

# zoneadm -z zone1 install ...


Created zone zpool: zone1_rpool
Created zone zpool: zone1_data
...

ZFS Konfiguration nach Installation

# zfs list | grep zone1


zone1_data
zone1_rpool
...

ZFS-Pools werden
automatisch erzeugt

83.5K
853M

3.91G
48.1G

31K
33K

/zones/zone1/root/data1
/zones/zone1

Automatischer Export/Import der ZFS-Pools

nodeA # zoneadm -z zone1 detach


Exported zone zpool: zone1_rpool
Exported zone zpool: zone1_data
...
NodeB # zoneadm -z zone1 attach
Imported zone zpool: zone1_rpool
Imported zone zpool: zone1_data
...

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Tipps & Tricks - Delegated Admin.

Erweitert die Administrationsrechte fr eine lokalen Zone


um einen nichtprivilegierten User/Rolle

root# su - zadmin
zadmin# zlogin zone1
zlogin: You lack sufficient privilege to run this command (all privs required)

zadmin# logout
root# zonecfg -z zone1 "add admin;set user=zadmin;set auths=login,manage;end"
root# su - zadmin
zadmin# pfexec zlogin zone1
[Connected to zone 'zone1' pts/2]
...
[Connection to zone 'zone1' pts/2 closed]

Authorisation Login + Verwaltung

zadmin# pfexec zoneadm -z zone1 halt


zadmin# pfexec zoneadm -z zone1 uninstall
Are you sure you want to uninstall zone zone1 (y/[n])? n

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Tipps & Tricks - Immutable Zone.

Root-Filesystem(e) der Zone teilweise oder vollstndig readonly

Implementation ber Privilegien

zonecfg set file-mac-profile =

none:
strict: gesamtes Filesystem readonly, logging remote
fixed-configuration: /var schreibbar (ohne configs)
flexible-configuration: /var und /etc schreibbar

# zoneadm -z zone1 list -p


-:zone1:installed:/zones/zone1:befc8c9c-465f-ef82-b540ddc2e7453aa4:solaris:excl:-:none
# zonecfg -z zone1 "set file-mac-profile=strict;commit;exit"
# zoneadm -z zone1 boot
# zoneadm -z zone1 list -p
4:zone1:running:/zones/zone1:befc8c9c-465f-ef82-b540ddc2e7453aa4:solaris:excl:R:strict
# zoneadm -z zone1 reboot -w
# zoneadm -z zone1 list -p
5:zone1:running:/zones/zone1:befc8c9c-465f-ef82-b540ddc2e7453aa4:solaris:excl:W:strict

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Tipps & Tricks - IP-Verbindung Zone2Zone.

# dladm create-etherstub zonelink0


# zonecfg -z zoneA info anet linkname=net1
anet:
linkname: net1
lower-link: zonelink0
allowed-address: 1.1.1.1/8
configure-allowed-address: true
#

www.etomer.com

# zonecfg -z zoneB info anet linkname=net1


anet:
linkname: net1
lower-link: zonelink0
allowed-address: 1.1.1.2/8
configure-allowed-address: true
#

etomer 2013

IT. Menschen. Leidenschaft.

Tipps & Tricks - Monitoring mit zonestat.

einfaches Monitoring

# zonestat 1 12
Collecting data for first interval...
Interval: 1, Duration: 0:00:01
SUMMARY
Cpus/Online: 32/32
PhysMem: 128G
VirtMem: 255G
---CPU---- --PhysMem-- --VirtMem-- --PhysNet-ZONE USED %PART USED %USED USED %USED PBYTE %PUSE
[total] 0.12 0.39% 5006M 3.81% 20.7G 8.08%
194 0.00%
[system] 0.00 0.00% 4450M 3.39% 19.9G 7.81%
global 0.11 0.35% 251M 0.19% 279M 0.10%
194 0.00%
testzone1 0.00 0.00% 73.9M 0.05% 113M 0.04%
0 0.00%
...

Monitoring im Kontext einer einzelnen lokalen Zone

# zonestat

Monitoring im Kontext Pool/Prozessorset

# zonestat

-z testzone1 1

-r psets 1 12

Monitoring im Kontext RSS

# zonestat
www.etomer.com

-r physical-memory -z testzone1 1 12
etomer 2013

IT. Menschen. Leidenschaft.

Tipps & Tricks - Monitoring mit fsstat.

Filesystemstatistiken im Zonenkontext

-z <zonenname>

# fsstat -z hsz -F 1
new name
name attr
file remov chng
get
0
0
0
0
0
0
0
969
0
0
0
0
654
283
201 383K
0
0
0 3.86K
# fsstat -z hsz -a zfs
getattr setattr getsec
277K
132
510
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0

www.etomer.com

attr lookup rddir


set
ops
ops
0
0
0
0 2.41K
196
0
0
0
138 1.10M 21.3K
0
0
0
1
setsec
1
0
0
0
0
0

read read write write


ops bytes
ops bytes
0
0
0
0 ufs:hsz
587 200K
0
0 proc:hsz
0
0
0
0 nfs:hsz
257K 326M 23.8K 62.5M zfs:hsz
0
0
0
0 lofs:hsz

zfs:hsz
zfs:hsz
zfs:hsz
zfs:hsz
zfs:hsz
zfs:hsz

etomer 2013

IT. Menschen. Leidenschaft.

Zusammenfassung.

Default-Nutzung von RCTL's als weitere Isolation

Kein Shared-IP Modell zur direkten Verbindung ntig

Etherstub + VNIC

Limitierung der IP-Vergabe in der Zonenkonfigurtion als


Sicherheitsfeatures bzw. Schutz vor Fehlkonfiguration

Nutzung von ZoSS als Basis fr "PoorMan"-HA

P2V als temporre berbrckung bei EOL-HW

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Quellen.

Oracle Solaris Preflight Applications Checker 11.1

http://www.oracle.com/technetwork/serverstorage/solaris11/downloads/preflight-checker-tool524493.html

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Vielen Dank fr Ihre Aufmerksamkeit.


heiko.stein@etomer.com

www.etomer.com

etomer 2013

IT. Menschen. Leidenschaft.

Doors /var/run
zoneproxy_door
zonestat_door

www.etomer.com

Verwendung
Door-Schnittstelle fr Zonenproxy-Prozess fr Zugriff auf IPSRepository aus der lokalen Zone
Door-Schnittstelle fr zonestat-Kommando zum Monitoring des
Resourcenverbrauches der lokalen Zone

etomer 2013