COMSTAR anwenden Djordje Gladovic, 20.01.

2010

COMSTAR anwenden
# pkg install storage-server SUNWiscsit # reboot # svcadm enable stmf # zfs create -V 10G rpool/vol1 # sbdadm create-lu /dev/zvol/rdsk/rpool/vol1 Created the following LU: GUID DATA SIZE SOURCE -------------------------------- ------------------- ---------------600144f05714090000004b544ef90001 1073676288 /dev/zvol/rdsk/rpool/vol1 # stmfadm add-view # svcadm enable iscsi/target # itadm create-target Target iqn.1986-03.com.sun:02:00842b09-cf00-e781-87df-e14384bcd5ec successfully created

Fertig !

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

Vielen Dank fr Eure Aufmerksamkeit !

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

Agenda
Was ist COMSTAR ? COMSTAR installieren COMSTAR einrichten iSCSI Crash Kurs COMSTAR und iSCSI anwenden Fibre Channel Crash Kurs COMSTAR und Fibre Channel anwenden

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

Was ist COMSTAR ?

COmmon Multiprotocol SCSI TARget OpenSolaris wird zu einem SCSI Target D.h. Bereitstellung von Block Devices ber ein Netzwerk (Medium) Zugriff erfolgt ber beliebiges Protokoll, z.B. iSCSI, FC, SAS Initiator (Client) kann Solaris, Windows, Linux, Vmware, etc. sein http://hub.opensolaris.org/bin/view/Project +comstar/ http://wikis.sun.com/display/ OpenSolarisInfo/COMSTAR +Administration

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

COMSTAR installieren
Voraussetzungen:

Idealerweise OpenSolaris 2009.06 x86 oder SPARC Keinesfalls Solaris 10 ! Wenn nur als Initiator In speziellen Fllen SXCE ab Build 112, z.B. fr FCoE Fr FC Target Emulex HBA (QLogic ab QLA24xx aufwrts)

Installation:

# pkg install storage-server SUNWiscsit # svcadm enable stmf # reboot

Ready !

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

COMSTAR CLI
stmfadm

SCSI Target Mode CLI Verwalten der Target Funktionen wie LUN Masking, Gruppen, etc.

sbdadm

SCSI Block Disk CLI Verwalten der Block Devices (LUNs) die ber COMSTAR prsentiert werden.

itadm

iSCSI Target CLI Verwalten des iSCSI Targets von COMSTAR. Nicht zu verwechseln mit iscsitadm !!!

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

COMSTAR Block Devices bereitstellen

Datei basierend: # mkfile 10g /lun0 # sbdadm create-lu /lun0 oder: # touch /lun0 # sbdadm create-lu -s 10g /lun0 Disk basierend: # sbdadm create-lu /dev/rdsk/c1t0d0s2 ZFS basierend: # zfs create -V 10G rpool/vol1 # sbdadm create-lu /dev/zvol/rdsk/rpool/vol1

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

iSCSI Crash Kurs

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

iSCSI Allgemein
iSCSI (internet Small Computer System Interface) ist ein Verfahren, welches die Nutzung des SCSI-Protokolls ber TCP ermglicht. Wie beim gewhnlichen SCSI gibt es einen Controller (Initiator), der die Kommunikation steuert. Die Speichergerte (Festplatten, Bandlaufwerke, optische Laufwerke etc.) heien Target.
Quelle Wikipedia

10

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

iSCSI Begriffserluterungen
iSCSI Initiator

Entspricht Client bzw. Speicher Konsumenten

iSCSI Target

Entspricht dem Speicher-System welches Block Devices bereitstellt

iSCSI Qualified Name (IQN)

Format iqn.yyyy-mm.{reverse domain name}:{frei definierbar} Beispiel iqn.2006-09.sun.com:server.storage.12345 Pendant zur Fibre Channel WWN

Logical Unit Number (LUN)

Eindeutig adressiertes (nummeriertes) SCSI Gert (Festplatte) innerhalb eines Targets

11

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

iSCSI Schematischer Aufbau (Server)

12

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

iSCSI Target implementieren

# itadm create-target Target iqn.1986-03.com.sun:02:00842b09-cf00-e781-87df-e14384bcd5ec successfully created # itadm create-target -n iqn.2010-01.itdg.nbg:opensolaris.target.demo.1 Target iqn.2010-01.itdg.nbg:opensolaris.target.demo.1 successfully created # itadm list-target -v TARGET NAME STATE SESSIONS iqn.2010-01.itdg.nbg:opensolaris.target.demo.1 online 0 alias: auth: targetchapuser: targetchapsecret: tpg-tags: alias: auth: targetchapuser: targetchapsecret: tpg-tags: none (defaults) unset default none (defaults) unset default

iqn.1986-03.com.sun:02:00842b09-cf00-e781-87df-e14384bcd5ec online 0

13

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

iSCSI Portal konfigurieren

Standardeinstellungen:

Target Portal Group ist Default. Entspricht intern TPG Tag 1. Target kann ber alle aktiven IP Adressen und Standard Port 3260 angebunden werden.

Target an bestimmtes Interface und Port binden: # ifconfig e1000g1 plumb up # ifconfig e1000g1 10.1.1.20 netmask 255.255.255.0 # itadm create-tpg tpg-demo-1 10.1.1.20:5000 # itadm modify-target -t tpg-demo-1 \ iqn.2010-01.itdg.nbg:opensolaris.target.demo.1 Target iqn.2010-01.itdg.nbg:opensolaris.target.demo.1 successfully modified Merke: Target kann nun nur noch ber das Interface 10.1.1.20 und Port 5000 angebunden werden.

14

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

COMSTAR Block Devices verffentlichen

Ohne LUN Masking: # stmfadm list-lu LU Name: 600144F05714090000004B544EF90001 # stmfadm add-view 600144F05714090000004B544EF90001 Merke:

Jeder Initiator (Client/Konsument) kann diese LUN einbinden!!! Gefahrenpotenzial. LUN Masking ist in der Praxis gngig.

15

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

COMSTAR Block Devices verffentlichen

Mit LUN Masking (iSCSI): # stmfadm create-hg hg-iscsiclient # stmfadm add-hg-member -g hg-iscsiclient iqn.1986-03.com.sun:01:e00000000000.4b5461c2 # stmfadm create-tg tg-iscsitarget

Client: # iscsiadm list initiator-node Initiator node name: iqn. 1986-03.com.sun: 01:e00000000000.4b5461c2 ...

# stmfadm add-tg-member -g tg-iscsitarget iqn.1986-03.com.sun:02:00842b09-cf00-e781-87df-e14384bcd5ec # stmfadm add-view h hg-iscsiclient t tg-iscsitarget n 1 600144F05714090000004B544EF90001 Merke:

hg-iscsiclient entspricht einer Gruppe mit 1 bis n Initiatoren tg-iscsitarget entspricht einer Gruppe mit 1 bis n Targets LUN wurde hg-iscsiclient zugeordnet, d.h. nur Initiatoren aus der Gruppe knnen LUN anbinden. LUN wurde tg-iscsitarget zugewiesen, d.h. LUN ist nur ber Targets dieser Gruppe erreichbar.

16

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

OpenSolaris iSCSI Initiator konfigurieren

# svcadm enable iscsi_initiator # iscsiadm modify discovery -s enable # iscsiadm add static-config \ iqn.2010-01.itdg.nbg:opensolaris.target.demo.1,10.1.1.20:5000 # devfsadm Cv # format Searching for disks...done AVAILABLE DISK SELECTIONS: 0. c0t600144F05714090000004B544EF90001d0 <SUN-COMSTAR-1.0-1023.94MB> /scsi_vhci/disk@g600144f05714090000004b544ef90001 1. c7d0 <DEFAULT cyl 2085 alt 2 hd 255 sec 63> /pci@0,0/pci-ide@1,1/ide@0/cmdk@0,0 Specify disk (enter its number): ^C

17

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

COMSTAR iSCSI Demo

18

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

Fibre Channel Crash Kurs

19

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

Fibre Channel Allgemein

Fibre Channel Fiberglass

Fibre Channel ist ein Standardprotokoll fr Speichernetzwerke. Fibre Channel kann wahlweise ber Lichtwellenleiter und/oder Kupfer bertragen werden. Zwei Topologien implementiert: Arbitrated Loop (FC-AL) und Switched Fabric FC-AL entspricht einer typischen Ring Topologie. Bei Switched Fabric werden Punkt-zu-Punkt Verbindungen mit Hilfe von Switchen hergestellt. Heute sind Switched Fabrics bei SAN Implementierung blich. http://de.wikipedia.org/wiki/Fibre_Channel

20

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

Fibre Channel Adressierung (WWN)

Jedes Gert besitzt einen World Wide Node Name (WWNN) Jedes Gert besitzt mindestens einen oder mehrere World Wide Port Names (WWPN) In der IT wird gerne zum Begriff WWN zusammengefasst.

21

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

Fibre Channel Vorteile und Nachteile

Vorteile:

Optimiert auf block basierten Gerte Zugriff Minimaler Protokoll Overhead Geringe Latenzzeiten Hohe bertragungsgeschwindigkeit: 1, 2, 4 und 8 Gb/s

Nachteile:

Hohe Anschaffungskosten! Neben dem Ethernet Netzwerk muss das Storage Area Netzwerk (SAN) implementiert und gewartet werden. 10 Gb/s Ethernet Konkurrenz

22

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

Fibre Channel Voraussetzungen

Je ein Host Bus Adapter (HBA) fr Initiator und Target. Merke:

COMSTAR Target erfordert entweder Emulex Enterprise Adapter oder Qlogic QLx24xx HBA ab 4 Gb/s oder hher

Ab drei Gerten ist ein SAN Switch ntig. Passende GBICs und LWL Kabel Bei Fibre Channel wird das LWL Kabel immer ber Kreuz verlegt.

23

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

COMSTAR Fibre Channel Target vorbereiten

The Emulex-Way:
vi /kernel/drv/emlxs.conf # target-mode: Controls COMSTAR target mode support for an adapter port. # # 0 = Disables target mode support. Enables initiator mode support. # 1 = Enables target mode support. Disables initiator mode support. # # Usage examples: # target-mode=1; Sets global default for target mode # emlxs0-target-mode=0; emlxs0 will be an initiator port # emlxs1-target-mode=1; emlxs1 will be a target port # # Range: Min:0 Max:1 Default:0 # target-mode=0; # reboot

24

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

COMSTAR Fibre Channel Target vorbereiten

The QLogic-Way: # mdb -k Loading modules: [ unix krtld genunix specfs ... > ::devbindings -q qlc ffffff02d54c3028 pciex1077,2432, instance #0 (driver name: qlc) ffffff02d54c32a8 pciex1077,2432, instance #1 (driver name: qlc) > $q # update_drv -d -i 'pciex1077,2432' qlc Cannot unload module: qlc Will be unloaded upon reboot. # update_drv -a -i 'pciex1077,2432' qlt devfsadm: driver failed to attach: qlt Warning: Driver (qlt) successfully added to system but failed to attach # reboot

25

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

COMSTAR Fibre Channel LUN Masking

quivalent zu iSCSI Einziger Unterschied Adressierung ! Statt IQN wird WWN genutzt.

Beispiel: # stmfadm create-hg hg-fcclients # stmfadm add-hg-member -g hg-fcclient wwn.50060b0000c26200 # stmfadm create-tg tg-fcport0 # stmfadm add-tg-member -g tg-fcport0 wwn.50060b0000c26202 # stmfadm add-view h hg-fcclientst tg-fcport0n 1 600144F05714090000004B544EF90001

26

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

COMSTAR Fibre Channel Demo

27

COMSTAR anwenden, Djordje Gladovic, 20.01.2010

Vielen Dank. Fragen?

tschokko@tschokko.de www.tschokko.de

28

COMSTAR anwenden, Djordje Gladovic, 20.01.2010