Bericht zu den Arbeitspaketen 3-5 inkl.

Deliverables
Forschungsprojekt zur Weiterentwicklung der Safety Management
Systeme (SMS) in Betrieben der Schweizer Luftfahrt zur Erhaltung
und Erhöhung des hohen Sicherheitsstandards

Prof. Dr. Toni Wäfler, MSc Giulio Nisoli, BSc Rahel Gugerli

Institut Mensch in komplexen Systemen (MikS)

Hochschule für Angewandte Psychologie (APS)
Fachhochschule Nordwestschweiz (FHNW)

Olten, 21. Juli 2017

Kontakt

Prof. Dr. Toni Wäfler

Tel. +41 62 957 24 61 (direkt)

+41 62 957 22 33 (Zentrale)

Email: toni.waefler@fhnw.ch

Institut Mensch in komplexen Systemen (MikS), www.fhnw.ch/miks

© FHNW
Inhaltsverzeichnis
Management Summary 4

1 Einleitung 6

1.1 Ziele und Hintergrund des Projektes 6

1.2 Aufbau des Berichtes 6

2 Ausgangslage 8

2.1 Pflichtenheft mit spezifischen Zielen 8

2.2 Pflichtenheft mit spezifischen Rahmenbedingungen 9

3 Evaluation (AP 4) 10

3.1 Vorgehen Pilotierung und Evaluation 10

3.2 Evaluationsmethode 11

3.2.1 Begriff Evaluation 11

3.2.2 Ziele von Evaluationen 11

3.2.3 Evaluationsmethode des vorliegenden Projektes 12

3.3 Deliverable: Evaluationsmethode inkl. Instruktionen zur Anwendung 18

3.3.1 Objektive Messungen 18

3.3.2 Subjektive Messungen 22

3.4 Ergebnisse der Evaluation 23

3.4.1 Objektive Messungen 23

3.4.2 Subjektive Messungen 23

4 Deliverable AP 3 & 5: Safety-II based Tool sowie Einsatzkonzept 24

4.1 Introduction and Structure of the Manual 24

4.2 Concept of the Safety-II based Tool 24

4.3 Safety-II based Measure Evaluation Tool 26

Seite 2/59
 4.3.1 Application Concept 26

4.3.2 Definitions of Relevant Terms 27

4.3.3 Goals of the Safety-II based Measure Evaluation Tool 29

4.3.4 Description of the Safety-II based Measure Evaluation Tool 30

4.3.5 Guiding Questions for the Safety-II based Measure Evaluation 31

4.4 Effectiveness Assessment Tool 34

4.4.1 Application Concept 34

4.4.2 Process of Implementation Check and Effectiveness Assessment 34

4.4.3 Definitions of Relevant Terms 35

4.4.4 Introduction in Methodology 36

4.4.5 Step 1 - Development of Indicators 37

4.4.6 Step 2 - Measurement of Indicators 39

4.4.7 Step 3 - Assessment of Indicators 47

4.4.8 Guiding Questions for Implementation Check and Effectiveness Assessment 47

4.5 Appendix 51

4.5.1 Templates for the Safety-II based Measure Evaluation Tool 51

4.5.2 Templates for the Effectiveness Assessment Tool 54

5 Literaturverzeichnis 56

6 Abbildungsverzeichnis 58

7 Tabellenverzeichnis 59

Seite 3/59
Management Summary
Gegenstand des vorliegenden Dokuments ist die inhaltliche Berichterstattung zum zweiten
Meilenstein (per 31.7.2017) der Massnahme "Weiterentwicklung der Safety-Management-
Systeme (SMS)" gemäss der Verfügung vom 9. Februar 2016 über das Beitragsgesuch im
Rahmen der Spezialfinanzierung Luftverkehr (SFLV) (Referenz: BAZL / 2015-094).

Der zweite Meilenstein umfasst den Projektschritt "Validierungsphase" mit dem Arbeitspaket
(AP) 5. Ebenfalls abgeschlossen wurden während dieser Zeitperiode AP 3 und AP 4, die
beim Abschluss des erstens Meilensteins per 30.9.2016 noch in Bearbeitung waren. Folgend
wird beschrieben, was in diesen Arbeitspaketen erarbeitet wurde.

AP 3: Konkretisierung des Safety-II based Tool

Unter Berücksichtigung des Pflichtenhefts mit spezifischen Zielen (Deliverable von AP 1)

sowie des Pflichtenhefts mit spezifischen Rahmenbedingungen (Deliverable von AP 2) wur-
de in AP 3 ein Konzept für das neue Safety-II based Tool erarbeitet und konkretisiert. Das
Safety-II based Tool besteht aus zwei unabhängigen, aber komplementären Teilen: das "Sa-
fety-II based Measure Evaluation Tool" und das "Effectiveness Assessment Tool".

Den vor dem theoretischen Hintergrund von Safety-II zentralen Teil des Safety-II based
Tools wird durch das Safety-II based Measure Evaluation Tool verkörpert. Dieses wurde in
AP 5 pilotiert und formativ evaluiert, wobei dies mit der in AP 4 eigens dazu entwickelten
Evaluationsmethode geschah. Das Safety-II based Measure Evaluation Tool unterstützt die
Konzeptualisierung von Safety-I und Safety-II basierten Massnahmen (vgl. Definitionen in
Kapitel 4.3.2). Mittels der Analyse von Ausführungsbedingungen und menschlichen Anpas-
sungsleistungen soll untersucht werden, ob bereits bestehende Safety-I basierte Massnah-
men Anpassungsleistungen behindern und so zu unerwünschten Nebenwirkungen führen.
Dadurch soll die Entwicklung bzw. Anpassung von Safety-I, aber auch Safety-II basierten
Massnahmen unterstützt werden.

Die Prüfung der Wirksamkeit von Massnahmen ist ein wichtiges Element des Teilprozesses
Safety Assurance im generischen Referenzprozess von SMS nach Stolzer, Halford und Gog-
lia (2008), welcher der Entwicklung der im Pflichtenheft festgelegten Ziele zugrunde gelegt
wurde (vgl. erste Berichterstattung). Die im Pflichtenheft aus AP 1 festgelegten Ziele 13 und
14 beziehen sich auf die Überprüfung der Umsetzung und der Wirksamkeit von Massnah-
men. Sie waren dementsprechend auch als Ziele für die Safety Assurance entwickelt wor-
den. Das Safety-II based Measure Evaluation Tool, das mit den theoretischen Grundlagen
von Safety-II fundiert ist und auf dem der Fokus dieses Projekts liegt, ist auf den Teilprozess
Risk Management ausgerichtet. Mit der Entwicklung der zwei Tools ist es gelungen, die bei-
den Teilprozesse des generischen Referenzprozesses, das Risk Management und die Sa-
fety Assurance, angemessen zu berücksichtigen. Somit liegt nun eine Methode vor, mit der
bestehende SMS weiterentwickelt werden können. Mit den zwei Tools wird auch eine wichti-
ge Unterscheidung zwischen der Konzeptualisierung und der Umsetzung von Massnahmen
vorgenommen. So kann auch eine sehr gut konzeptualisierte Massnahme schlecht imple-
mentiert werden und/oder nicht wirksam sein. Um die Ziele 13 und 14 erreichen zu können,
wurde das Effectiveness Assessment Tool entwickelt. Das Effectiveness Assessment Tool
ist weiter in der Lage, Rahmenbedingungen zu identifizieren, die den Gültigkeitsbereich von
Massnahmen definieren (Ziel 5). Das Effectiveness Assessment Tool kann entweder mit

Seite 4/59
dem Safety-II based Measure Evaluation Tool, das alle weiteren im Pflichtenheft definierten
Ziele erfüllt, oder unabhängig davon eingesetzt werden.

AP 4: Entwicklung der Evaluationsmethode

Deliverable von AP 4 ist eine Evaluationsmethode für das gesamte Safety-II based Tool.
Dementsprechend wurde eine Evaluationsmethode für das Safety-II based Measure Evalua-
tion Tool und eine für das Effectiveness Assessment Tool entwickelt. Dazu wurden die rele-
vanten Kriterien beschrieben, die das Safety-II based Tool zu erfüllen hat. Im Weiteren wur-
den Instruktionen zur Anwendung der Evaluationsmethode erarbeitet. Die Evaluationsme-
thode besteht aus objektiven und subjektiven Messungen. Als Kriterien für die subjektiven
Messungen wurden die in AP 2 identifizierten Rahmenbedingungen gewählt, die das Safety-
II based Tool berücksichtigen muss. Dadurch kann beurteilt werden, inwieweit potentielle
Anwender einschätzen, ob das Safety-II based Tool in ihren Betrieben tatsächlich eingesetzt
werden kann. Als Kriterien für die objektiven Messungen wurden die in AP 1 erarbeiteten
Ziele gewählt, die das Safety-II based Tool erreichen muss. Daraus wurden konkrete Indika-
toren abgeleitet. Anhand dieser Indikatoren kann überprüft werden, ob das Tool die Ziele
tatsächlich erreicht.

AP 5: Pilotierung und formative Evaluation von Tool und Einsatzkonzept

Um den Praxispartner nicht übermässig zu beanspruchen und aufgrund der Fundierung des
Safety-II based Measure Evaluation Tools auf den theoretischen Grundlagen von Safety-II,
das im Zentrum dieses Projekts steht, wurde nur das Safety-II based Measure Evaluation
Tool evaluiert. Um das Safety-II based Measure Evaluation Tool evaluieren und optimieren
zu können, wurde die in AP 4 entwickelte Methode für die objektiven Messungen eingesetzt.
Dadurch konnte nach jeder Pilotierung des Safety-II based Measure Evaluation Tools geprüft
werden, ob bzw. inwiefern welche Ziele erreicht sind. Dank der formativen Evaluation wurden
wichtige Informationen gewonnen, die es ermöglicht haben, das Safety-II based Measure
Evaluation Tool kontinuierlich weiterzuentwickeln und zu finalisieren. Die finale Version des
Safety-II based Measure Evaluation Tools erreicht alle Ziele, die für dieses Tool definiert
wurden. Die in AP 2 identifizierten Rahmenbedingungen sind im Implementierungs- und
Ausbildungskonzept zu berücksichtigen. Dementsprechend werden die subjektiven Messun-
gen wie geplant in AP 6 in Form von Interviews mit Safety Experten durchgeführt.

Seite 5/59
1 Einleitung

1.1 Ziele und Hintergrund des Projektes

Das Ziel bestehender Safety Management Systeme (SMS) ist es, alle möglichen Ursachen
für unerwünschte Ereignisse (z.B. Gefahren und Risiken) so weit wie möglich zu eliminieren
oder zu mitigieren. Es wird grösstenteils angenommen, dass ein "One-Best-Way" des Vor-
gehens existiert, der einer fehlerfreien Arbeitsausführung entspricht. Somit werden Abwei-
chungen vom "One-Best-Way" als Fehler verstanden. Dementsprechend wird der Mensch
mit seiner flexiblen und ungenauen Arbeitsweise als Risikofaktor betrachtet. Vorschriften
zielen meistens darauf ab, den Handlungsspielraum des Menschen einzuschränken. Diese
Betrachtungsweise wird als "Safety-I" bezeichnet (Hollnagel, 2014).

Systeme werden immer komplexer und dynamischer. Darüber hinaus entstehen nicht alle
Ereignisse kausal. Nicht nur menschliche Fehler oder Defizite im System können zu Ereig-
nissen führen. Ereignisse können auch "emergent" als Resultat von zufälligen Interaktionen
verschiedener Faktoren entstehen. Zum einen können sich unerwünschte emergente Ereig-
nisse auch aus der Interaktion fehlerfreier Prozesse ergeben. Dies weil das Unerwünschte
nicht aufgrund von Fehlern oder Defiziten in den beteiligten Faktoren entsteht, sondern auf-
grund von deren Interaktion. Zum anderen sind emergente Ereignisse schwierig vorherseh-
bar und daher in der Regel unerwartet. Beides ist für bestehende SMS schwierig zu handha-
ben. Für die Förderung der Sicherheit ist es zentral, nicht nur die Fehler im System zu redu-
zieren – "Ultra-Safe-Ansatz" (Amalberti, 2013) – sondern auch das System gegen unerwarte-
te Dynamiken resistenter zu machen – "Ultra-Resilient-Ansatz" (Amalberti, 2013). Bezüglich
Human Factors sollen daher nicht nur menschliche Schwächen identifiziert und reduziert
werden. Wesentlich ist es auch, menschliche Stärken zu identifizieren und kontinuierlich wei-
terzuentwickeln. Unter anderem sollen dabei Anpassungsleistungen des Menschen als
Grundlage der Resilienz von Systemen gefördert werden. Aus dieser Perspektive wird der
Mensch nicht nur als Risikofaktor angesehen, sondern auch als Sicherheitsfaktor. Hollnagel
(2014) bezeichnet diesen Ansatz als "Safety-II".

Vor diesem Hintergrund ist das Ziel des vorliegenden Projektes die Erarbeitung eines praxis-
tauglichen, Safety-II basierten Tools, das anschlussfähig an bestehende SMS ist und damit
einen Beitrag zu deren Weiterentwicklung leistet. Das Projekt wird von der Fachhochschule
Nordwestschweiz in enger Kooperation mit SR Technics erarbeitet.

1.2 Aufbau des Berichtes

Das vorliegende Projekt besteht aus insgesamt sieben Arbeitspaketen (AP), verteilt auf vier
Projektschritte. Dieser Bericht zum zweiten Meilenstein (31.7.2017) umfasst AP 3, 4 und 5
bzw. den zweiten und den dritten Projektschritt. Die Deliverables von AP 1 und 2 (erster Mei-
lenstein vom 30.9.2016) sind im Bericht erneut enthalten, da diese die Grundlage für die wei-
teren Arbeitspakete darstellen (vgl. Kapitel 2). Der Bericht ist folgendermassen aufgebaut:

Der zweite Projektschritt "Lösungsfindung" umfasst AP 3 und AP 4. AP 3 konkretisiert

das Safety-II based Tool auf der Grundlage der Ergebnisse von AP 1 und 2. Deliverable des
AP 3 ist das Safety-II based Tool sowie dessen Einsatzkonzept. Da das Safety-II based
Measure Evaluation Tool in AP 5 getestet und optimiert wurde, wird AP 3 integriert in AP 5
beschrieben (vgl. Kapitel 4). In AP 4 wurde eine Evaluationsmethode entwickelt. Darauf wird
in Kapitel 3.2 des Berichtes eingegangen.

Seite 6/59
Der dritte Projektschritt "Validierungsphase" besteht aus dem umfangreichen Arbeitspa-
ket 5. Dieses dient der Validierung des zuvor entwickelten Safety-II based Measure Evaluati-
on Tools (AP 3) durch seine Anwendung und Evaluation anhand der in AP 4 entwickelten
Evaluationsmethode. Deliverable des AP 5 ist das getestete und optimierte Safety-II based
Measure Evaluation Tool, das Effectiveness Assessment Tool und deren Einsatzkonzepte
für ein konkretes, praxiserprobtes Vorgehen. Diese sind in Kapitel 4 des vorliegenden Be-
richtes beschrieben.

Seite 7/59
2 Ausgangslage
AP 3, 4 und 5 basieren auf den Ergebnissen von AP 1 und 2. Aus diesem Grund sind nach-
folgend die Deliverables der ersten zwei Arbeitspakete nochmals aufgeführt.

2.1 Pflichtenheft mit spezifischen Zielen

In der Tabelle 1 sind die spezifischen Ziele für das Safety-II based Tool enthalten.

Tabelle 1: Pflichtenheft mit spezifischen Zielen für das Safety-II based Tool

Ziele des Safety-II based Tools

Das Safety-II based Tool beschreibt Arbeitsausführung bzw. "work as done".

Das Safety-II based Tool identifiziert und beschreibt Anpassungsleistungen.

Das Safety-II based Tool identifiziert Notwendigkeit von Anpassungsleistungen.

Das Safety-II based Tool identifiziert und beschreibt Ausführungsbedingungen.

Das Safety-II based Tool identifiziert und beschreibt Rahmenbedingungen.

Das Safety-II based Tool identifiziert und beschreibt Stärken von Anpassungsleistungen.

Das Safety-II based Tool identifiziert und beschreibt Schwächen von Anpassungsleistungen.

Das Safety-II based Tool identifiziert und beschreibt Vorteile von Massnahmen.

Das Safety-II based Tool identifiziert und beschreibt Nachteile von Massnahmen.

Das Safety-II based Tool identifiziert und beschreibt unerwünschte (Neben-)Wirkungen.

Das Safety-II based Tool gibt Hinweise dazu, wie Massnahmen hinsichtlich identifizierter (Neben-)
Wirkungen angepasst werden sollten.

Das Safety-II based Tool berücksichtigt Daten aus dem Monitoring von KPI's, Ereignisanalysen,
Audits und weiteren Untersuchungen.

Das Safety-II based Tool prüft, ob Massnahmen umgesetzt werden.

Das Safety-II based Tool prüft die Wirksamkeit von Massnahmen.

Seite 8/59
2.2 Pflichtenheft mit spezifischen Rahmenbedingungen
In der Tabelle 2 sind die spezifischen Rahmenbedingungen abgebildet, die das Safety-II
based Tool berücksichtigen soll.

Tabelle 2: Pflichtenheft mit spezifischen Rahmenbedingungen für das Safety-II based Tool

Rahmenbedingungen und Erfolgsfaktoren

Berücksichtigung der gesetzlichen Vorschriften /

· Gutes Verhältnis Aufwand-Nutzen

· Geringer administrativer Aufwand

Ressourcenaufwand · Geringer zeitlicher Aufwand (v.a. in Operati-
ons)
· Geringer personeller Aufwand
· Datensammlung stark automatisiert
· Beschreibung so kurz wie möglich
· Funktionsweise einfach verständlich
Einfache Gestaltung des Safety-II based Tools · Abläufe/Prozesse verständlich und logisch
· Anwendung einfach

· Anwendbarkeit in der eigenen Arbeit

Gute Integration in Arbeitsalltag · Regelmässiger Gebrauch
· Vereinfachung des Arbeitsalltags

Hohe Akzeptanz des SMS-Tools durch die · Erkennen von Nutzen und Sinn
Mitarbeitenden aufgrund des wahrgenommenen · Hoher Bezug zur Praxis
Nutzens · Unterstützung im Arbeitsalltag

· Nachvollziehbarkeit des Ziels des Tools

Hohe Akzeptanz des SMS-Tools durch die · Verständnis über die Funktionsweise
Mitarbeitenden aufgrund von Prozesstransparenz · Vertrauen durch Plausibilität der Ergebnisse

· Anwendung Tool soll Spass machen

Hohe Akzeptanz des SMS-Tools durch die · Wertschätzung der Arbeit der Mitarbeitenden
Mitarbeitenden aufgrund dessen Mitarbeitenden- soll herauskommen
orientierung · Einbezug der Mitarbeitenden in Entwicklung
des Safety-II based Tools

· Gemeinsames Verständnis der Mitarbeitenden

Gute Schulung / Einführung vom SMS-Tool mit dem Ziel der gleichen An-
wendung

· Sichtbare Veränderung durch Tool

Sichtbarkeit von Ergebnissen · Ergebnisse einfach verständlich
· Ergebnisse plausibel

Sprache · Englisch

Seite 9/59
3 Evaluation (AP 4)

3.1 Vorgehen Pilotierung und Evaluation

Nachfolgend wird das Vorgehen der Validierungsphase, genauer der Pilotierung und formati-
ven Evaluation des Safety-II based Measure Evaluation Tools sowie dessen Einsatzkonzept
beschrieben.

Als Vorarbeit für die Validierungsphase waren von einem Safety Experten des Praxispartners
(SR Technics) auf Basis von vorgängig festgelegten Anforderungen der Testbereich für das
Safety-II based Measure Evaluation Tool ausgewählt sowie Unterlagen vergangener Root
Cause Analysen für die Pilotierung zusammengestellt und aufbereitet worden. Eine zentrale
Anforderung lag im Vorliegen einer oder mehrerer Safety-I basierten Massnahmen als Resul-
tat einer Root Cause Analyse als Ansatzpunkt für das Safety-II based Measure Evaluation
Tool. Auf dieser Grundlage erfolgte am 31.01.2017 eine erste Pilotierung bei SR Technics.
Dabei wurde das Safety-II based Measure Evaluation Tool an einem der eingebrachten si-
cherheitsrelevanten Vorkommnissen, die mit einer Root Cause Analyse untersucht worden
waren, getestet. Am 14.03.2017 wurde ein Workshop mit Safety Experten von SR Technics,
Air Zermatt, Flughafen Zürich AG, REGA, Skyguide, Swiss International Air Lines Ltd. und
Zimex Aviation Ltd. durchgeführt. Dabei wurden die methodische Vorgehensweise der Kon-
zeptumsetzung des Safety-II based Measure Evaluation Tools sowie die Ergebnisse dieser
ersten Pilotierung vorgestellt und gemeinsam diskutiert. Eine weitere Pilotierung des Safety-
II based Measure Evaluation Tools bei SR Technics fand am 7.04.2017 statt. Dabei wurde
zunächst an einer Root Cause Analyse teilgenommen, die von einem Gremium der SR
Technics durchgeführt wurde. Mit diesem Vorgehen war es möglich, im Anschluss einen Teil
der an der Untersuchung dieses aktuellen, sicherheitsrelevanten Vorkommnisses involvier-
ten Safety Experten und Mitarbeitenden aus der Linie sowie die Person, die von einer Ar-
beitsvorschrift abgewichen war, in die Pilotierung des Safety-II based Measure Evaluation
Tools einzubeziehen. Dies war insbesondere für die Identifikation der zentralen Informatio-
nen zu den Ausführungsbedingungen von besonderer Relevanz. Dasselbe Vorkommnis
konnte in verschiedenen Zusammensetzungen dieser Personen am 3.05.2017 und am
19.05.2017 mit dem Safety-II based Measure Evaluation Tool weiter untersucht werden.
Zwei weitere Pilotierungen mit dem Safety-II based Measure Evaluation Tool fanden am
5.04.2017 mit Helvetic Airways AG und am 2.05.2017 anlässlich einer Zusammenkunft der
Sparte Flugsicherheit der Luftwaffe statt. Beide Organisationen konnten aufgrund einer Ver-
hinderung deren Vertreter am Workshop vom 14.03.2017 nicht teilnehmen, bekundeten aber
grosses Interesse am Tool, weshalb sie für diese weiteren Pilotierungen angefragt wurden.
Das Tool wurde auch bei diesen Organisationen anhand eines sicherheitsrelevanten Vor-
kommnisses getestet.

Die Pilotierungen wurden detailliert dokumentiert. Im Anschluss an jede Pilotierung erfolgte

eine formative Evaluation des Safety-II based Measure Evaluation Tools und dessen Ein-
satzkonzept. Dazu wurde geprüft, ob und in welchem Ausmass die im Rahmen der Entwick-
lung der Evaluationsmethode festgelegten objektiven Indikatoren, die in Kapitel 3.2.3.2.1
ersichtlich sind, als erfüllt anzusehen sind. Die Prüfung erfolgte jeweils auf Basis der Doku-
mentationen der Pilotierungen. Dieses Vorgehen ermöglichte eine kontinuierliche Anpassung
sowie Testung des (angepassten) Tools und dessen Einsatzkonzept. Durch diesen iterativen
Prozess gelang es, eine finale Version des Safety-II based Measure Evaluation Tools und
dessen Einsatzkonzept zu erarbeiten, in der alle objektiven Indikatoren, die das Safety-II

Seite 10/59
based Measure Evaluation Tool erfüllen soll, als zufriedenstellend zu erachten sind. Diese
finale Version, die zusammen mit dem Effectiveness Assessment Tool das Deliverable von
AP 5 darstellt, ist in Kapitel 4 zu finden.

3.2 Evaluationsmethode

3.2.1 Begriff Evaluation

In einem ersten Schritt wird der Begriff "Evaluation" definiert. Anschliessend werden ver-
schiedene Arten von Evaluationen beschrieben.

3.2.1.1 Definition
Der Begriff Evaluation ist sehr verbreitet und wird oft angewendet, ohne dass immer klar ist,
was er bedeutet. Aus diesem Grund ist es wichtig, an dieser Stelle den Begriff einzugrenzen
und zu definieren. Grundsätzlich ist eine Evaluation ein Prozess, in welchem Informationen
gesammelt werden, um einen Sachverhalt zu bewerten. Diese Bewertung wird zielgerichtet
vorgenommen, um Entscheidungen zu treffen. Eine Evaluation kann somit als die systemati-
sche Untersuchung des Wertes eines Objektes definiert werden. Sie hat das Ziel, Unsicher-
heit zu reduzieren, die mit Entscheidungen verbunden ist (Stockmann, 2007).

3.2.1.2 Evaluationsarten
Klassisch wird zwischen zwei grundlegenden Arten von Evaluation, der formativen und der
summativen Evaluation, unterschieden. Diese werden im Folgenden kurz beschrieben:

Evaluationen können dazu dienen, die aktive Gestaltung eines Projektes zu unterstützen.
Diese Art von Evaluation ist prozessorientiert, konstruktiv und kommunikationsfördernd an-
gelegt und wird als formativ bezeichnet. Formative Evaluationen werden während der Im-
plementationsphase durchgeführt, mit dem Ziel, das Projektmanagement bei der Steuerung
zu unterstützen. Durch formative Evaluationen wird also die Strategie bzw. das Programm
eines Projektes während seiner Umsetzung verbessert. Dafür werden Informationen über
den Projektverlauf und die Projektergebnisse gesammelt, systematisiert und bewertet, so-
dass Entscheidungshilfen für die Durchführung gegeben und schon frühzeitig Korrekturen
am Projektdesign ermöglicht werden.

Evaluationen können aber auch nach Abschluss eines Projektes durchgeführt werden. Diese
Evaluationsart ist zusammenfassend, bilanzierend und ergebnisorientiert und wird als sum-
mativ bezeichnet. Ziel dieser Art von Evaluation ist es, den vollen Umfang der Wirkungen,
die durch ein Projekt ausgelöst wurden, zu erfassen und zu bewerten sowie Zusammenhän-
ge aufzudecken. Dadurch wird also festgestellt, ob die Strategie bzw. das Programm eines
Projektes wirksam ist. Dazu soll die Kausalitätsfrage beantwortet werden. Dies bedeutet,
dass die Frage nach den Ursachen der beobachteten Wirkungen genau untersucht werden
soll. Eine weitere wichtige Aufgabe von summativen Evaluationen besteht darin, die Nach-
haltigkeit eines Projektes zu überprüfen (Patton, 2015; Stockmann, 2007).

3.2.2 Ziele von Evaluationen

Evaluationen können verschiedene Ziele verfolgen (Stockmann, 2007). Deshalb ist es wich-
tig, einen Überblick über mögliche Ziele von Evaluationen zu geben.

Seite 11/59
Ein erstes Ziel von Evaluationen kann darin bestehen, Erkenntnisse für die Projektsteuerung
zu gewinnen. Dies bedeutet, dass Informationen gesammelt und beurteilt werden, um daraus
Steuerungsentscheidungen abzuleiten.

Ein zweites Ziel, das Evaluationen verfolgen können, besteht in der Kontrolle. Dabei soll
festgestellt werden, ob die festgelegten Ziele erreicht wurden. Hierfür werden meistens "Er-
folgs"-Kriterien wie Effektivität, Effizienz, Akzeptanz oder Nachhaltigkeit verwendet.

Evaluationen können auch dazu dienen, Transparenz und Dialogmöglichkeiten zu schaffen,

um Entwicklungen voranzutreiben. Durch die Offenlegung von Ergebnissen kann ein Dialog
zwischen verschiedenen Stakeholdern (Mittelgeber, Durchführungsorganisation, Zielgrup-
pen, sonstige Beteiligte und Betroffene) entstehen. Wenn eine Evaluation das Ziel der Schaf-
fung von Transparenz und Dialogmöglichkeiten verfolgt, stehen Lernprozesse im Vorder-
grund, die für die Weiterentwicklung von Programmen genutzt werden sollen. Diese Funktion
spielt bei formativen Evaluationen eine zentrale Rolle.

Eine weitere Evaluationsfunktion besteht in der Legitimierung von durchgeführten Projekten.

Die Datenbasis, die dank einer Evaluation generiert wird, bietet die Möglichkeit, nachprüfbar
zu belegen, welche Effekte mit welcher Effizienz ein Projekt bewirken konnte.

3.2.3 Evaluationsmethode des vorliegenden Projektes

Im Folgenden wird auf die eigentliche Evaluationsmethode für das vorliegende Projekt ein-
gegangen. Hauptziel der Evaluation des vorliegenden Projektes ist es, Transparenz zu
schaffen. Damit soll die Steuerung des Projektes unterstützt werden, um notwenige Verbes-
serungen und Korrekturen rechtzeitig erkennen und umsetzen zu können. Dabei stehen
Lernprozesse im Vordergrund. Es handelt sich also mehrheitlich um eine formative Evaluati-
on.

3.2.3.1 Struktur
Durch die Durchführung und Auswertung von Interviews mit Safety Experten in der Aviatik
wurden spezifische Ziele formuliert, die das Tool erreichen soll (AP 1), und Rahmenbedin-
gungen identifiziert, die berücksichtigt werden sollen, um die Anschlussfähigkeit des Tools
sicherzustellen (AP 2). Die Evaluationsmethode im vorliegenden Projekt basiert auf diesen
Zielen und Rahmenbedingungen (vgl. Tabelle 1 und 2).

Um zu überprüfen, ob die Ziele des Safety-II based Tools tatsächlich erreicht werden kön-
nen, wurden objektive Indikatoren für jedes Ziel formuliert. Dies bedeutet, dass für jedes Ziel
definiert wurde, welche Daten durch die Anwendung des Tools generiert werden müssen,
damit das Ziel als erreicht betrachtet werden kann. Ob das Tool die Ziele erreicht, kann also
objektiv durch die Anwendung des Tools überprüft werden.
Inwiefern das Safety-II based Tool die von den Safety Experten aus der Aviatik formulierten
Rahmenbedingungen erfüllt, muss subjektiv eingeschätzt werden. Die Ergebnisse, die durch
die Anwendung des Safety-II based Tools generiert werden, beantworten nicht, ob das Tool
in den Organisationen der Aviatik tatsächlich gut anwendbar ist. Dafür sind Einschätzungen
von Safety Experten notwendig. Die Rahmenbedingungen sind in AP 2 mittels Interviews mit
Safety Experten identifiziert worden. Safety Experten stellen die potentiellen Hauptnutzer des
Tools dar und verfügen über die Erfahrung und das Wissen, die notwendig sind, um ein-
schätzen zu können, ob das neue Tool von Operateuren im Safety Bereich wertgeschätzt,
akzeptiert, verstanden und schlussendlich tatsächlich angewendet werden wird. Ob das Tool

Seite 12/59
die in AP 2 identifizierten Rahmenbedingungen berücksichtigt, soll also von Experten subjek-
tiv eingeschätzt werden. Die subjektiven Einschätzungen von Safety Experten werden in
AP 6 erfasst. Dadurch kann überprüft werden, ob das Safety-II based Tool die Rahmenbe-
dingungen erfüllt, die im in AP 6 zu entwickelnden Implementierungs- und Ausbildungskon-
zept berücksichtigt werden müssen. Die Evaluationsmethode ist aus den eben erwähnten
Überlegungen in zwei Teile strukturiert:
1. Der erste Teil bezieht sich auf objektive Messungen, mithilfe derer überprüft werden
kann, ob das Safety-II based Tool die spezifischen Ziele (Deliverable von AP 1) er-
reicht.
2. Der zweite Teil bezieht sich auf subjektive Messungen, mit denen man überprüfen
kann, ob das Safety-II based Tool die definierten Rahmenbedingungen (Deliverable
von AP 2) erfüllt.

3.2.3.2 Methodik

3.2.3.2.1 Objektive Messungen

Die formulierten Indikatoren sind in der mittleren Spalte der Tabelle 3 den jeweiligen Zielen
(erste Spalte der Tabelle 3) zugeordnet. Die Indikatoren wurden in Form von Fragen formu-
liert. Wenn die Frage positiv beantwortet werden kann, ist der Indikator als erfüllt und das
Ziel als erreicht zu betrachten. Dieser Sachverhalt wird an folgendem Beispiel illustriert: Um
zu überprüfen, ob das Safety-II based Tool Anpassungsleistungen identifizieren und be-
schreiben kann (Ziel 2), ist zu fragen, ob durch die Anwendung des Safety-II based Tools
tatsächlich Anpassungsleistungen identifiziert und beschrieben werden. Kann dies auf Basis
der durch die Anwendung generierten Daten bejaht werden, so ist der Indikator erfüllt und
das Ziel 2 erreicht. Die Logik der Ableitung der einzelnen Indikatoren aus den Zielen wird in
der letzten Spalte der Tabelle 3 beschrieben.

Seite 13/59
Tabelle 3: Ableitung von Indikatoren aus den Zielen des Safety-II based Tools
Ziele des
Safety-II based Tools
1. Das Safety-II based
Tool beschreibt Ar-
beitsausführung bzw.
"work as done".
2. Das Safety-II based
Tool identifiziert und
beschreibt Anpas-
sungsleistungen.
3. Das Safety-II based
Tool identifiziert die
Notwendigkeit von
Anpassungs-
leistungen.
4. Das Safety-II based
Tool identifiziert und
beschreibt Ausfüh-
rungsbedingungen.
5. Das Safety-II based
Tool identifiziert und
beschreibt Rahmen-
bedingungen.
Seite 14/59
Indikatoren Beschreibung der Logik
Oft unterscheidet sich die tatsächliche Ar-
beitsausführung bzw. "work as done" von
der erwarteten oder vorgestellten Arbeits-
ausführung bzw. "work as imagined".
Die tatsächliche Arbeitsausführung muss
immer unter bestimmten Ausführungsbe-
1. Werden Variabilitä- dingungen ausgeführt werden, die in einer
ten von Ausfüh- Beschreibung von work as imagined ver-
rungsbedingungen nachlässigt werden. Um work as done zu
identifiziert? identifizieren, müssen also Ausführungsbe-
dingungen beschrieben werden. Ausfüh-
rungsbedingungen variieren über die Zeit.
Um sie zu beschreiben, sollen also ihre Va-
riabilitäten mitberücksichtigt werden. Wenn
die Variabilitäten von Ausführungsbedin-
gungen identifiziert werden, wird work as
done beschrieben.
2. Werden Anpas-
Das Safety-II based Tool soll in der Lage
sungsleistungen
sein, Anpassungsleistungen direkt zu identi-
identifiziert und
fizieren.
beschrieben?
Werden durch die Anwendung des Safety-II
3. Wird die Notwendig- based Tools Begründungen generiert, wes-
keit von Anpas- halb die identifizierten Anpassungsleistun-
sungsleistungen gen notwendig sind, gilt die Notwendigkeit
begründet? dieser Anpassungsleistungen als identifi-
ziert.
4. Werden die Aspekte
Inputs, Controls, Die Aspekte Inputs, Controls, Resources,
Resources, Time, Time und Preconditions stellen die Ausfüh-
Preconditions identi- rungsbedingungen dar.
fiziert und beschrie- (vgl. Definitionen in Kapitel 4.3.2)
ben?
5. Werden Bedingun- Rahmenbedingungen werden als Bedin-
gen erkannt, die gungen definiert, die über eine längere Zeit
über eine längere hinweg stabil sind.
Zeit hinweg stabil
(vgl. Definitionen in Kapitel 4.3.2)
sind?

6. Das Safety-II based 6.
Tool identifiziert und
beschreibt Stärken
von Anpassungsleis-
tungen.
7. Das Safety-II based 7.
Tool identifiziert und
beschreibt Schwä-
chen von Anpas-
sungsleistungen.
8.1. Wird erkannt, ob das
8. Das Safety-II based
Tool identifiziert und
beschreibt Vorteile
8.2. Wird erkannt, ob das
von Massnahmen.
9.1. Wird erkannt, ob das
9. Das Safety-II based
Tool identifiziert und
beschreibt Nachteile
von Massnahmen.
9.2. Wird erkannt, ob das
Seite 15/59
Stärken von Anpassungsleistungen sind
alle positiven Effekte, die aus dem Vorneh-
Wird erkannt, ob
men von Anpassungsleistungen entstehen.
durch die Anpas-
Erwünschte Ziele, die dank den Anpas-
sungsleistungen er-
sungsleistungen erreicht werden können,
wünschte Ziele er-
stellen den Hauptgrund dar, weshalb sie
reicht werden?
vorgenommen werden, und stellen dem-
nach deren zentralen positiven Effekt dar.
Entsprechend der Stärken sind Schwächen
von Anpassungsleistungen alle negativen
Wird erkannt, ob
Effekte, die aus dem Vornehmen von An-
durch die Anpas-
passungsleistungen entstehen. Uner-
sungsleistungen
wünschte Ereignisse, die aufgrund von vor-
unerwünschte Er-
genommen Anpassungsleistung eintreten,
eignisse eintreten?
entsprechen somit Schwächen von Anpas-
sungsleistungen.
Erreichen von er-
wünschten Zielen,
das auf die Anpas- Vorteile von Massnahmen entsprechen
sungsleistungen Stärken von Anpassungsleistungen, die von
zurückzuführen ist, der Massnahme zugelassen werden. Vor-
durch die Massnah- teile von Massnahmen entsprechen gleich-
me zugelassen wird? zeitig auch kompensierten Schwächen von
Anpassungsleistungen.
Eintreten von uner- (Stärken und Schwächen von Anpassungs-
wünschten Ereignis- leistungen wurden bereits für die Ziele 6
sen, das auf die An- und 7 in dieser Tabelle definiert)
passungsleistungen
zurückzuführen ist,
durch die Massnah-
me behindert wird?
Eintreten von uner-
wünschten Ereignis- Entsprechend der Vorteile sind Nachteile
sen, das auf die An- von Massnahmen Schwächen von Anpas-
passungsleistungen sungsleistungen, die von der Massnahme
zurückzuführen ist, zugelassen werden. Nachteile von Mass-
durch die Massnah- nahmen entsprechen gleichzeitig auch
Stärken von Anpassungsleistungen, die be-
me zugelassen wird?
hindert werden.
(Stärken und Schwächen von Anpassungs-
Erreichen von er-
leistungen wurden bereits für die Ziele 6
wünschten Zielen,
und 7 in dieser Tabelle definiert)
das auf die Anpas-
sungsleistungen zu-
rückzuführen ist,
 durch die Massnah-
me behindert wird?
10.1 Wird erkannt, was
passieren würde,
wenn keine Anpas-
sungsleistung statt-
findet?
10. Das Safety-II based 10.2 Wird erkannt, was
Tool identifiziert und passieren würde,
beschreibt uner- wenn die Anpas-
wünschte (Neben-) sungsleistung ver-
Wirkungen. steckt erfolgen
muss?
10.3 Werden verschobe-
ne Anpassungsleis-
tungen erkannt?
11.1 Werden primäre
Ausführungsbedin-
gungen erkannt?
11. Das Safety-II based (vgl. Definitionen in Kapi-
Tool gibt Hinweise tel 4.3.2)
dazu, wie Massnah-
men hinsichtlich iden-
tifizierter (Neben-)
Wirkungen angepasst
werden sollten. 11.2 Werden sekundäre
Ausführungsbedin-
gungen erkannt?
(vgl. Definitionen in Kapi-
tel 4.3.2)
12. Das Safety-II based 12. Werden Daten aus
Tool berücksichtigt dem Monitoring von
Daten aus dem Moni-
KPI's, Ereignisanaly-
toring von KPI's, Er-
sen, Audits und weite-
eignisanalysen, Au-
ren Untersuchungen
dits und weiteren Un-
berücksichtigt?
tersuchungen.
13. Das Safety-II based 13. Wird erkannt, ob Mas-
Tool prüft, ob Mass-
snahmen tatsächlich
nahmen umgesetzt
umgesetzt werden?
werden.
Seite 16/59
Folgende drei möglichen Szenarien von
unerwünschten (Neben-)Wirkungen von
Massnahmen sind denkbar:
1. Es findet keine Anpassungsleistung statt
und somit treten keine positiven Effekte
infolge der Anpassungsleistung ein.
2. Die Anpassungsleistung erfolgt als
Verstoss gegen die Massnahme.
3. Die Anpassungsleistung erfolgt nicht in
der von der Massnahme regulierten
Funktion (vgl. Definitionen in Kapitel
4.3.2), sie verschiebt sich jedoch und er-
folgt in einer anderen Funktion im Sinne
einer Kompensation.
Primäre Ausführungsbedingungen zwingen
den Operateur, Anpassungsleistungen vor-
zunehmen. Wenn primäre Ausführungsbe-
dingungen erkannt werden, wird auch er-
kannt, welche Ausführungsbedingungen –
falls möglich – kontrolliert werden müssen,
damit der Operateur keine Anpassungsleis-
tungen vornehmen muss.
(vgl. Definitionen in Kapitel 4.3.2)
In sekundären Ausführungsbedingungen
sind Kriterien enthalten, die den Operateur
in der Entscheidung unterstützen, wie er
seine Leistung anpassen soll – falls eine
Anpassungsleistung nicht vermieden wer-
den kann.
(vgl. Definitionen in Kapitel 4.3.2)
Das Safety-II based Tool soll Daten aus
dem Monitoring von KPI’s, Ereignisanaly-
sen, Audits und weiteren Untersuchungen
berücksichtigen.
Das Safety-II based Tool soll überprüfen,
ob Massnahmen tatsächlich umgesetzt
werden.
 Eine Massnahme ist effektiv, wenn sie das
Ziel erreicht, für das sie eingeführt wurde.
Um dies zu überprüfen, soll beurteilt wer-
den, ob:
 die Operateure über das notwendige
14.1 Werden kognitive
Wissen zur Befolgung der Massnahme
Aspekte identifiziert? verfügen (kognitive Aspekte)
14.2 Werden affektive  die Operateure der Massnahme gegen-
Aspekte identifiziert? über positiv eingestellt sind, d.h. die
14.3 Werden verhaltens- Massnahme beispielsweise als reali-
bezogene Aspekte sierbar einschätzen (affektive Aspekte)
14. Das Safety-II based identifiziert?  das von den Operateuren gezeigte Ver-
Tool prüft die Wirk-
14.4 Werden transferbe- halten massnahmenkonform ist (verhal-
samkeit von Mass-
günstigende bzw. tensbezogene Aspekte)
nahmen.
-behindernde Bedin-  die Bedingungen der Organisation ein
gungen identifiziert? massnahmenkonformes Verhalten be-
14.5 Wird erkannt, ob das günstigen oder behindern (transferbe-
angestrebte Ziel der günstigende bzw. -behindernde Bedin-
Massnahme erreicht gungen)
wird?  das angestrebte Ziel der Massnahme
tatsächlich erreicht wird und die Mass-
nahme unter den aktuellen Rahmenbe-
dingungen noch Gültigkeit hat (Ergeb-
nis)
(vgl. Definitionen in Kapitel 4.4.3)

3.2.3.2.2 Subjektive Messungen

Durch Interviews können Daten über Personen und ihre Gedanken systematisch erfasst
werden (Bhattacherjee, 2012). Subjektive Einschätzungen von Safety Experten zur Überprü-
fung der Entsprechung des Safety-II based Measure Evaluation Tools hinsichtlich der defi-
nierten Rahmenbedingungen können deshalb durch Interviews erfasst werden. In AP 6 soll
ein Implementierungs- und Ausbildungskonzept für die Befähigung von Safety Experten zur
Anwendung des Safety-II based Measure Evaluation Tools entwickelt werden, das auch die
in AP 2 definierten Rahmenbedingungen erfüllen soll. Edwards und Holland (2013) machen
darauf aufmerksam, dass Interviews in Gruppen oder individuell durchgeführt werden kön-
nen. Beide Formen haben ihre Vor- und Nachteile, weshalb es sich empfiehlt, sie zu kombi-
nieren. Die Interviews werden aus diesem Grund in AP 6 sowohl individuell als auch im
Rahmen eines Workshops mit Safety Experten durchgeführt. Gruppeninterviews haben ge-
genüber individuellen Interviews den Vorteil, dass anregende Diskussionen entstehen kön-
nen, wodurch vielfältige und zahlreiche Empfehlungen für die Verbesserung des Tools gene-
riert werden können. Individuelle Interviews haben hingegen den Vorteil, dass Fragen mehr
vertieft werden können.

Seite 17/59
3.3 Deliverable: Evaluationsmethode inkl. Instruktionen zur Anwendung

3.3.1 Objektive Messungen

Da das Safety-II based Tool aus dem Safety-II based Measure Evaluation Tool und dem Ef-
fectiveness Assessment Tool besteht, wurde eine Evaluationsmethode für das Safety-II
based Measure Evaluation Tool und eine für das Effectiveness Assessment Tool erarbeitet.

3.3.1.1 Safety-II based Measure Evaluation Tool

Das Safety-II based Measure Evaluation Tool ist in mehrere Schritte gegliedert (vgl. Kapitel
4.3.4). In der Evaluationsmethode (vgl. Tabelle 4) wird genau beschrieben, in welchem An-
wendungsschritt des Tools jeweils überprüft werden soll, ob die Ziele des Safety-II based
Tools erreicht sind. Als erreicht wird ein Ziel dann erachtet, wenn ein entsprechender Indika-
tor als erfüllt betrachtet werden kann.

Tabelle 4: Evaluationsmethode des Safety-II based Measure Evaluation Tools

Schritte im Safety-II based

Ziele des Indikatoren Measure Evaluation Tool,
Safety-II based Tools in welchen die Indikatoren erfüllt
werden sollen

1. Das Safety-II based

Tool beschreibt Ar-
beitsausführung bzw.
"work as done".
Schritt 5b: Die Variabilitäten von
1. Werden Anpassungsleis-
Ausführungsbedingungen werden
tungen erkannt?
in Schritt 5b identifiziert.

2. Das Safety-II based

2. Werden Anpassungsleis- Schritt 1: Nachdem Anpassungs-
Tool identifiziert und
tungen identifiziert und leitungen erkannt wurden, sollen
beschreibt Anpas-
beschrieben? sie in Schritt 1 beschrieben werden.
sungsleistungen.

Schritt 7: In diesem Schritt werden

3. Das Safety-II based
3.
Tool identifiziert Not-
wendigkeit von Anpas-
sungsleistungen.
Wird die Notwendigkeit
von Anpassungsleistun-
gen begründet?
u.a. die positiven Effekte von An-
passungsleistungen identifiziert.
Diese sollen als Begründungen
dafür angesehen werden, weshalb
die Anpassungsleistung als not-
wendig zu betrachten ist.

Schritte 4 und 5a: In diesen Schrit-

4. Werden die Aspekte
Inputs, Controls, Re-
4. Das Safety-II based sources, Time, Precondi-
Tool identifiziert und tions identifiziert und be-
beschreibt Ausfüh- schrieben?
rungsbedingungen.
(vgl. Definitionen in Kapitel
4.3.2)
ten werden die Aspekte Inputs,
Controls, Resources, Time und
Preconditions identifiziert.
Schritt 5b: In diesem Schritt wer-
den Ausführungsbedingungen ge-
nauer beschrieben, indem ihre
Variabilitäten identifiziert werden.
(vgl. Definitionen in Kapitel 4.3.2)

Die Rahmenbedingungen werden

5. Das Safety-II based
Tool identifiziert und
beschreibt Rahmenbe-
dingungen.
5. Werden Bedingungen
erkannt, die über eine
längere Zeit hinweg
stabil sind?
mithilfe des Effectiveness Assess-
ment Tools erkannt. Das Safety-II
based Measure Evaluation Tool
legt den Fokus auf die Ausfüh-
rungsbedingungen.

Seite 18/59
 Da das Effectiveness Assessment
Tool die Effektivität von Massnah-
men überprüft, ist dieses Tool bes-
ser geeignet, den Kontext zu unter-
suchen, in welchem die Massnah-
me eingeführt wird (d.h. die Rah-
menbedingungen einer Massnah-
me).

Schritt 7: In diesem Schritt wird

6. Das Safety-II based 6.
Tool identifiziert und
beschreibt Stärken von
Anpassungsleistungen.
u.a. untersucht, welche Folgen
Wird erkannt, ob durch
eintreten würden, wenn die Anpas-
die Anpassungsleistun-
sungsleistung stattfindet. Falls sie
gen erwünschte Ziele er-
zur Erreichung von erwünschten
reicht werden?
Zielen führt, wird das in diesem
Schritt identifiziert.

Schritt 7: In diesem Schritt wird

7. Das Safety-II based
7.
Tool identifiziert und
beschreibt Schwächen
von Anpassungsleis-
tungen.
u.a. untersucht, welche Folgen
Wird erkannt, ob durch
eintreten würden, wenn die Anpas-
die Anpassungsleistun-
sungsleistung stattfindet. Falls sie
gen unerwünschte Er-
zu unerwünschten Ereignissen
eignisse eintreten?
führt, wird das in diesem Schritt
identifiziert.

Schritt 8: In diesem Schritt wird

untersucht, auf welchen Kriterien
8.1 Wird erkannt, ob das (die im Schritt 5a identifiziert wur-
Erreichen von erwünsch- den) basierend der Operateur ent-
ten Zielen, die auf die scheiden soll, wie bzw. welche
Anpassungsleistungen Aufgaben er priorisieren soll. Falls
zurückzuführen ist, durch die Massnahme Anpassungsleis-
die Massnahme zugelas- tungen zulässt, die basierend auf
sen wird? diesen Kriterien korrekt entschie-
den wurden, lässt die Massnahme
das Erreichen von erwünschten
8. Das Safety-II based
Zielen zu.
Tool identifiziert und
beschreibt Vorteile von
Massnahmen. Schritt 8: In diesem Schritt wird
untersucht, auf welchen Kriterien
(die im Schritt 5a identifiziert wur-
8.2 Wird erkannt, ob das
den) basierend der Operateur ent-
Eintreten von uner-
scheiden soll, wie bzw. welche
wünschten Ereignissen,
Aufgaben er priorisieren soll. Falls
die auf die Anpassungs-
die Massnahme Anpassungsleis-
leistungen zurückzufüh-
tungen behindert, die basierend auf
ren ist, durch die Mass-
diesen Kriterien falsch entschieden
nahme behindert wird?
wurden, verhindert die Massnahme
das Eintreten von unerwünschten
Ereignissen.

Seite 19/59
 Schritt 8: In diesem Schritt wird
untersucht, auf welchen Kriterien
9.1 Wird erkannt, ob das (die im Schritt 5a identifiziert wur-
Eintreten von uner- den) basierend der Operateur ent-
wünschten Ereignissen, scheiden soll, wie bzw. welche
die auf die Anpassungs- Aufgaben er priorisieren soll. Falls
leistungen zurückzufüh- die Massnahme Anpassungsleis-
ren ist, durch die Mass- tungen behindert, die basierend auf
nahme zugelassen wird? diesen Kriterien korrekt entschie-
den wurden, verhindert die Mass-
nahme das Erreichen von er-
9. Das Safety-II based wünschten Zielen.
Tool identifiziert und
beschreibt Nachteile
von Massnahmen. Schritt 8: In diesem Schritt wird
untersucht, auf welchen Kriterien
(die im Schritt 5a identifiziert wur-
9.2 Wird erkannt, ob das
den) basierend der Operateur ent-
Erreichen von erwünsch-
scheiden soll, wie bzw. welche
ten Zielen, die auf die
Aufgaben er priorisieren soll. Falls
Anpassungsleistungen
die Massnahme Anpassungsleis-
zurückzuführen ist, durch
tungen zulässt, die basierend auf
die Massnahme behin-
diesen Kriterien falsch entschieden
dert wird?
wurden, lässt die Massnahme das
Eintreten von unerwünschten Er-
eignissen zu.

10.1 Wird erkannt, was pas-

sieren würde, wenn kei-
ne Anpassungsleistung
10. Das Safety-II based stattfindet?
10.2 Wird erkannt, was pas- Schritt 7: In diesem Schritt werden
Tool identifiziert und
sieren würde, wenn die die unter den Indikatoren aufge-
beschreibt unerwünsch-
Anpassungsleistung ver- führten Fragen gestellt.
te (Neben-)Wirkungen.
steckt erfolgen muss?
10.3 Werden verschobene
Anpassungsleistungen
erkannt?

11.1 Werden primäre Ausfüh-

rungsbedingungen er-
kannt?
11. Das Safety-II based
Tool gibt Hinweise da- (vgl. Definitionen in Kapitel Schritt 5a: In diesem Schritt wer-
zu, wie Massnahmen 4.3.2) den primäre und sekundäre Aus-
hinsichtlich identifizier- führungsbedingungen identifiziert.
ter (Neben-)Wirkungen
11.2 Werden sekundäre Aus- (vgl. Definitionen in Kapitel 4.3.2)
angepasst werden soll-
führungsbedingungen er-
ten.
kannt?
(vgl. Definitionen in Kapitel
4.3.2)

12. Das Safety-II based

12. Werden Daten aus dem Gilt für das gesamte Safety-II
Tool berücksichtigt Da-
Monitoring von KPI's, Er- based Tool:
ten aus dem Monito-
eignisanalysen, Audits
ring von KPI's, Ereig- Das Tool ist geeignet, Daten aus
und weiteren Untersu-
nisanalysen, Audits solchen Untersuchungen zu inte-
chungen berücksichtigt?
und weiteren Untersu- grieren.
chungen.

Seite 20/59
3.3.1.2 Effectiveness Assessment Tool
Das Effectiveness Assessment Tool ist in zwei Teile gegliedert: (i) einen Methodenteil zum
Prozess der Ableitung und der Messung von Indikatoren der Umsetzung und der Wirksam-
keitsprüfung sowie (ii) einen Leitfaden mit Fragen zur Unterstützung dieses Prozesses. In
Tabelle 5 wird beschrieben, anhand welcher Fragen zu beantworten ist, ob die Indikatoren
bzw. die Ziele des Effectiveness Assessment Tools erreicht werden. Auch hier gelten die
Ziele als erreicht, wenn die entsprechenden Indikatoren durch Bejahen der Frage als erfüllt
anzusehen sind.

Tabelle 5: Evaluationsmethode des Effectiveness Assessment Tools

Schritte im
Ziele des Effectiveness Assessment Tool,
Indikatoren
Safety-II based Tools in welchen die Indikatoren erfüllt
werden sollen

5. Das Safety-II based 5. Werden Bedingungen

Tool identifiziert und be- erkannt, die über eine vgl. Leitfragen in Kapitel 4.4.8 zu
schreibt Rahmenbedin- längere Zeit hinweg stabil den Rahmenbedingungen
gungen. sind?

13. Das Safety-II based 13. Wird erkannt, ob Mass-

Tool prüft, ob Mass- nahmen tatsächlich um- vgl. Leitfragen in Kapitel 4.4.8 zur
nahmen umgesetzt gesetzt werden? Umsetzung von Massnahmen
werden.

14.1 Werden kognitive Aspek-

14. Das Safety-II based
Tool prüft die Wirksam-
keit von Massnahmen.
te von Operateuren iden-
tifiziert?
14.2 Werden affektive Aspekte
von Operateuren identifi-
ziert?
14.3 Werden verhaltensbezo-
vgl. Leitfragen in Kapitel 4.4.8 zu
gene Aspekte von Opera-
kognitiven, affektiven und verhal-
teuren identifiziert?
tensbezogenen Aspekten, den
14.4 Werden transferbegüns-
transferbegünstigenden bzw.
tigende bzw. -behindern-
-behindernden Bedingungen und
de Bedingungen identifi-
zum Ergebnis
ziert?
14.5 Wird erkannt, ob das
angestrebte Ziel der
Massnahme erreicht
wird?
(vgl. Definitionen in Kapitel
4.4.3)

Seite 21/59
3.3.2 Subjektive Messungen
Für die Durchführung der Interviews wurde ein Leitfaden von Fragen formuliert (vgl. Tabel-
le 6). Diese entsprechen den in AP 2 identifizierten Rahmenbedingungen, die das Safety-II
based Tool berücksichtigen soll.

Tabelle 6: Leitfaden mit Fragen für Interviews mit Safety Experten

1. Berücksichtigt das Tool die gesetzlichen Vorschriften? Könnte das Tool die gesetzlichen Vor-
schriften besser berücksichtigen? Wie?

2. Ermöglicht das Tool das Erreichen eines guten Verhältnisses zwischen Aufwand und Nutzen?
Wie kann der Aufwand der Anwendung des Tools reduziert werden? Wie kann der Nutzen er-
höht werden?

3. Ist das Tool einfach gestaltet (z.B. wird es kurz beschrieben, sind seine Funktionsweise, Abläufe
und Prozesse einfach verständlich und logisch, ist seine Anwendung einfach)? Was könnte ver-
einfacht werden?

4. Ist das Tool gut in den Arbeitsalltag integrierbar (z.B. ist es gut in der eigenen Arbeit anwendbar,
wird es regelmässig gebraucht, vereinfacht es den Arbeitsalltag)? Was sollte verbessert werden,
damit das Tool noch besser in den Arbeitsalltag integriert werden kann?

5. Erreicht das Tool bei den Anwendenden eine hohe Akzeptanz aufgrund des wahrgenommenen
Nutzens (z.B. wird sein Sinn erkannt, weist es einen deutlichen Bezug zur Praxis auf, unterstützt
es den Arbeitsalltag)? Was könnte verbessert werden, damit der Nutzen des Tools deutlicher
wird?

6. Erreicht das Tool bei den Anwendenden eine hohe Akzeptanz aufgrund von Prozesstranspa-
renz (z.B. ist sein Ziel nachvollziehbar, ist seine Funktionsweise gut verständlich, macht die
Plausibilität der Ergebnisse das Tool vertrauenswürdig)? Wie könnte die Prozesstransparenz
erhöht werden?

7. Erreicht das Tool bei den Anwendenden eine hohe Akzeptanz aufgrund seiner Mitarbeiten-
denorientierung (z.B. macht die Anwendung des Tools Spass, entsteht durch die Anwendung
des Tools Wertschätzung gegenüber der Arbeit der Mitarbeitenden, werden die Mitarbeitenden
in die Entwicklung des Tools einbezogen)? Was könnte verbessert werden, um den Bedürfnis-
sen der Mitarbeitenden noch mehr zu entsprechen?

8. Wird das Tool gut geschult und eingeführt (z.B. verfügen die Anwendenden über ein gemeinsa-
mes Verständnis für die Anwendung des Tools)? Wie können Schulung und Einführung des
Tools verbessert werden?

9. Sind die Ergebnisse gut sichtbar (z.B. sind Veränderungen durch das Tool gut sichtbar, sind die
Ergebnisse einfach verständlich und plausibel)? Wie könnte die Sichtbarkeit der Ergebnisse
verbessert werden?

Seite 22/59
3.4 Ergebnisse der Evaluation

3.4.1 Objektive Messungen

3.4.1.1 Safety-II based Measure Evaluation Tool

Das Safety-II based Measure Evaluation Tool wurde in mehreren Pilotierungen mit dem Pro-
jektpartner (SR Technics), der Helvetic Airways AG und anlässlich einer Zusammenkunft der
Sparte Flugsicherheit der Luftwaffe angewendet (vgl. Kapitel 3.1). Dabei konnte die in Kapitel
3.3.1.1 enthaltene Evaluationsmethode für das Safety-II based Measure Evaluation Tool
umgesetzt werden. Dank dieser formativen Evaluation war es möglich, das Safety-II based
Measure Evaluation Tool nach jeder Anwendung anzupassen und zu verbessern, sodass die
finale Version des Safety-II based Measure Evaluation Tools bei der letzten Anwendung bei
SR Technics alle Indikatoren, die es zu erfüllen hat, in den spezifizierten Schritten erfüllt hat-
te. Die inhaltlichen Ergebnisse der Anwendung des Safety-II based Measure Evaluation
Tools werden in diesem Bericht nicht beschrieben. Es handelt sich dabei um vertrauliche
Daten der involvierten Organisationen.

3.4.1.2 Effectiveness Assessment Tool

Da das Safety-II based Measure Evaluation Tool den zentralen Teil des Safety-II based
Tools darstellt, wurde bei den Testungen der Fokus auf das Safety-II based Measure Evalua-
tion Tool gelegt. Das Effectiveness Assessment Tool wurde aus diesem Grund noch nicht
praktisch umgesetzt und deshalb liegen keine konkreten Ergebnisse dafür vor.

3.4.2 Subjektive Messungen

Die Interviews zur Erhebung der subjektiven Einschätzungen von Safety Experten werden in
AP 6 durchgeführt. Dabei wird überprüft, ob das Safety-II based Tool den Rahmenbedingun-
gen entspricht, die im Implementierungs- und Ausbildungskonzept in AP 6 berücksichtigt
werden.

Seite 23/59
4 Deliverable AP 3 & 5: Safety-II based Tool sowie Einsatzkonzept
Nachstehend wird das Safety-II based Tool mit Einsatzkonzept beschrieben. Dieses wurde in
Form eines Manuals gestaltet. Da sich aus den in AP 2 identifizierten Rahmenbedingungen
(vgl. Tabelle 2) ergab, dass eine englische Version des Safety-II based Tools seine Umsetz-
barkeit unterstützen würde, wurde das Manual auf Englisch verfasst. In diesem wird zuerst
eine Einführung in das Safety-II based Tool gemacht und die Struktur des Manuals beschrie-
ben. Im Manual wird zuerst das Konzept des Safety-II based Tools erklärt. Darauf folgt ein
erster Teil, in welchem auf das Safety-II based Measure Evaluation Tool eingegangen wird,
und darauf ein zweiter Teil, in welchem das Effectiveness Assessment Tool beschrieben
wird.

4.1 Introduction and Structure of the Manual

Based on the latest insights in safety science, a Safety-II based Tool has been developed. In
this manual the concept of the Safety-II based Tool is described first.

The Safety-II based Tool is divided in two parts: a "Safety-II based Measure Evaluation Tool"
and an "Effectiveness Assessment Tool". The reasoning for this structure of the Safety-II
based Tool is discussed in chapter 4.2. Chapter 4.3 describes the Safety-II based Measure
Evaluation Tool with its application concept, the definitions of the terms used, its goals, its
description, and the tool itself. Chapter 4.4 describes the Effectiveness Assessment Tool with
its application concept, the relevant terms and the tool itself.

4.2 Concept of the Safety-II based Tool

The main aim of the Safety-II based Tool is to improve safety from a safety-II perspective.
This safety-II perspective bases on the assumption that it is not always possible to perform
every job thoroughly. It recognizes the fact that performing a job requires adaptation to dy-
namic operating conditions. Against this background the Safety-II based Tool analyses
whether safety measures or other organizational changes inadequately hamper the human
operator’s opportunities to adapt to dynamic operating conditions. These constraints of the
human's scope of action may be not intended but a side effect or a long-term effect of a safe-
ty measure or an organizational change. Nevertheless, it can create a safety risk itself. Fig-
ure 1 depicts the concept of the Safety-II based Tool. Any trigger (1) (e.g. an unwanted
event) may bring about a safety measure or another kind of organizational change (2). This
is in fact the core target of the Safety-II based Tool. It aims at analysing strengths and weak-
nesses (3) of adaptation (prioritizations / adjustment performances) when performing a job.
Typically, such prioritizations / adjustment performances executed by human operators are
considered as deviations that should be eliminated and controlled by safety measures be-
cause they can lead to unwanted outcomes such as incidents or accidents. However, prioriti-
zations / adjustment performances show also strengths, i.e. as they allow for adapting to dy-
namics in conditions they lead also to wanted effects that in specific situations couldn't be
reached by just following the specification. A better designed safety measure would therefore
take into account both weaknesses and strengths of prioritizations / adjustment performanc-
es, compensating for the weaknesses but supporting the strengths. With respect to condi-
tions, it can be differentiated between "framework conditions" and "operating conditions" (4).
Operating conditions on the one side are the working conditions that directly require prioriti-
zations / adjustment performances. These are important because on the one hand they ex-
plain why the human operator has to adjust his performance (primary operating conditions)

Seite 24/59
and on the other hand give insights of how the operator has to adjust his performance (sec-
ondary operating conditions). Framework conditions on the other side are more general and
stable over time. They influence the operating conditions. These should also be considered
because they describe the context of a safety measure or an organizational change and
hence, whether it is actual and appropriate in the specific context where it is (to be) imple-
mented. As discussed, safety measures or any organizational change should take into ac-
count both, weaknesses and strengths of prioritizations / adjustment performances. Against
this background, the Safety-II based Tool is conceived to identify possible side effects of
safety measures or other organizational changes (5). By impeding the human operator to
adapt their performance to operating conditions, safety measures or other organizational
changes could:
1. Hinder the positive effects of prioritizations / adjustment performances,
2. Force somehow to compensate for the lacking prioritizations / adjustment perfor-
mances somewhere else,
3. Force the human operator to adapt his performance anyway hidden as a violation.
The two remaining elements of the Safety-II based Tool are the implementation control (6)
and the effectiveness control. It is in fact important to distinguish the conceptualization of a
safety measure from its implementation. Even a very good concept may be implemented
poorly. This is why the Safety-II based Tool aims also at assessing if the safety measure or
any other organizational change is in fact really implemented (6). But even if it is really im-
plemented it must be checked if this implementation is effective, i.e. if the goal why it was
introduced in the first place is really achieved. For this reason, the Safety-II based Tool also
provide support for effectiveness control (7) measures. As it is important to distinguish be-
tween the concept of a safety measure or another organizational change and its implementa-
tion, the two last element of the Safety-II based Tool, the implementation control (6) and the
effectiveness control (7) are separated from the rest of the tool. The Safety-II based Tool is
therefore divided in a Safety-II based Measure Evaluation Tool that analyses and aims at
improving the concept of safety measures and an Effectiveness Assessment Tool that
aims at checking the implementation and assessing the effectiveness of safety measures,
even though this last part does not exclusively base on safety-II assumption.

Figure 1: Concept of the hexagon of the Safety-II based Tool

Seite 25/59
4.3 Safety-II based Measure Evaluation Tool

4.3.1 Application Concept

Table 1 shows the application concept of the Safety-II based Measure Evaluation Tool. In the
application concept scenarios of applications, time requirements, materials, users for the
application and tasks that should be executed by the users are specified. The information is
to be understood as a guideline. The tool itself can be adapted to the existing needs.

Table 1: Application concept of the Safety-II based Measure Evaluation Tool

The tool can be applied in at least two scenarios:

Scenarios of
1) to develop a new safety measure
applications 2) to review an already existing safety measure

Time requirements For application of the Safety-II based Measure Evaluation Tool should be re-
for the application served a half of a day.

For the implementation of the tool following materials are needed:

 The questions described in chapter 4.3.5 are needed only for the per-
son who applies the Safety-II based Measure Evaluation Tool, i.e. the
expert of the tool.
 A paper with the definitions of the operating conditions (Figure 11)
should be distributed to the other participants.
 A paper with the definitions of the primary and secondary operating
conditions (Table 7) should be distributed to the other participants.
 A poster paper where the results of the discussions should be noticed.
Material In this poster paper the hexagon of the operating conditions (Figure 12)
should be sketched or printed in order to notice the core function, the
operating conditions and their variabilities (questions one to six). It is
important that this paper is hanged up so that the other participants can
also see the results of the discussion.
 The results of questions eight and nine should be noticed in a separate
paper.
 The necessity to write the results of the discussion should be available.
 Eventually adhesive tape could be helpful to hang up the poster paper.
The team of the safety officer that usually conduct the safety investigation
should be present. It is crucial that the person who committed the deviation is
Users present so that the actual happening can be described by this person. An expert
of the tool who read the theoretical concepts and the instruction of the Safety-II
based Measure Evaluation Tool must be present.
The expert of the Safety-II based Measure Evaluation Tool should lead the dis-
cussion and notice the results on the poster paper (for the questions one to six)
and on the separated paper (for the questions seven and eight).
Tasks
The rest of the safety team should contribute to the discussion, whereby the
investigated person – i.e. the person who committed the deviation – should have
the key role in the discussion.

Seite 26/59
4.3.2 Definitions of Relevant Terms
In Table 2 the main terms of the Safety-II based Measure Evaluation Tool are defined.

Table 2: Definitions of relevant terms of the Safety-II based Measure Evaluation Tool

Safety-I measures:
Safety-I measures aim at improving safety. However, they base on the
assumption that it is possible to completely eliminate the necessity to
prioritize from a function, i.e. that it is possible to perform every job
thoroughly. Hence, safety measures aim at limiting the scope of action
of the human operator performing a function and specify – more or
less precisely – the one-best-way to execute a function that has to be
followed thoroughly.
Safety measures
Safety-II measures:
Safety-II measures as well aim at improving safety. However, they
base on the assumption that it is not always possible to perform every
job thoroughly, i.e. that sometimes the operator has to prioritize jobs
over others by being more thorough in the prioritized jobs and more
efficient (i.e. less thorough) in other jobs (ETTO: Efficiency Thorough-
ness Trade Off) (Hollnagel, Hounsgaard, & Colligan, 2014). Safety-II
measures aim at completing safety-I measures by supporting the op-
erator when he needs to prioritize.
A function comprises the activities that are needed to produce a cer-
tain result, i.e. a function describes what people, organisations and/or
technical systems have to do when performing a task aiming to
achieve a specified objective. If the objective is "maintained technical
device" the corresponding function is "maintaining the technical de-
vice" (Hollnagel et al., 2014).
Function and job
A job is a specific instantiation of a function, it is normally planned with
a due date. If the function is "maintaining the technical device" a corre-
sponding job is the execution of a specific order to perform that
maintenance at a designated device. Often jobs are planned by plan-
ning systems (e.g. ERP) and are ordered by assignments.
The core function is the very function in the focus of the analysis when
Core function applying the Safety-II based Measure Evaluation Tool.

>>> to be continued on the next page

Seite 27/59
 Aspects of a function (Figure 2) describe basic characteristics of a
function. They cover its output as well as its operating conditions.
Every function has six aspects that characterize it: Output, Inputs,
Time, Controls, Preconditions and Resources. Depending on the con-
crete state of these operating conditions, the core function has to be
executed in different ways to achieve its output. Therefore, the opera-
ting conditions influence the execution of a function.
 Outputs:
The outputs are that which is the result of the function.
 Operating conditions:
- Inputs:
Inputs cover that which activates the function and/or
is used or transformed to produce the output.
- Times:
Times are temporal aspects that affect how the func-
tion is carried out (constraint, resource).
- Controls:
Controls supervise or regulate the function, e.g.
plans, procedures, guidelines or other functions.
- Preconditions:
Preconditions are system conditions that must be ful-
Aspects of a function filled before a function can be carried out.
- Resources:
Resources contain that which is needed or consumed
by the function when it is active (matter, energy, com-
petence, software, manpower).

Figure 2: Hexagon of the core

function representing its aspects

(Hollnagel et al., 2014)

Variabilities refer to variations or changes in the operating conditions
over time. Operating conditions could for example be every time iden-
Variabilities
tical, every time different or could be different only in the specific case
that is being analysed.
A deviation is a divergence from prescriptions (e.g. rules, regulations,
Deviations
standard procedures, etc.).
Prioritizations / adjustment performances are required in order to adapt
to:
 Variabilities in the operating conditions,
 Scarcity of operating conditions or lacking operating condi-
tions,
Prioritizations / adjustment
performances  Uncertainties / ambiguities resulting from operating conditions.
Prioritizations / adjustment performances are due to the necessity to
do a trade-off between efficiency and thoroughness (ETTO-principle)
when performing a job. They can result in deviations from prescriptions
(e.g. rules, regulations, standard procedures, etc.) or improvisations
when no rule is available.

>>> to be continued on the next page

Seite 28/59
 Primary operating conditions cause a necessity to do prioritizations /
adjustment performances when performing a job. Thus, primary oper-
ating conditions determine the reason «why» there must be a trade-off
between efficiency and thoroughness (ETTO-principle) when perform-
ing a job. Scarcity of time is an example for a primary operating condi-
tion. The reason for scarcity of time can be manifold: Too little time
planned for performing a job, too many jobs planned for a time period,
etc. Primary operating conditions do not give an indication regarding
what (e.g. which job) should be prioritized over what (e.g. which other
job). They only determine the need to prioritize. Often primary operat-
ing conditions are not job specific but due to the set of jobs given in a
certain job situation.

Secondary operating conditions are decisive when a prioritization is

Primary and secondary
required. Thus, secondary operating conditions provide decision-
operating conditions
making criteria for the prioritization if a trade-off between efficiency and
thoroughness (ETTO-principle) is required when performing a job.
Hence, they determine the “how” of the prioritization. Riskiness of a job
(e.g. resulting from lacking resources) is an example for a secondary
operating condition. A job with a high riskiness needs to be performed
more thorough than a job with a low riskiness. When there is a need to
prioritize between two jobs because there is a primary operating condi-
tion in place, the secondary operating condition determines which of
the two jobs is prioritized over the other. Thus, secondary operating
conditions do give an indication regarding what should be prioritized
over what but do not determine the need to prioritize. Secondary oper-
ating conditions are job specific.

The same operating condition may have primary and secondary

character.

4.3.3 Goals of the Safety-II based Measure Evaluation Tool

In an occurrence analysis only the situation where the occurrence took place is analysed.
The goal of this Safety-II based Measure Evaluation Tool is to understand not only what
happened in the specific situation where things went wrong but instead also why things nor-
mally went right when performing the same function. This permits to develop better safety
measures that regulate these functions in such a way that weaknesses in performance are
hindered but strengths that permit things to go right are promoted.

In order to do so, the Safety-II based Measure Evaluation Tool aims at achieving the follow-
ing objectives:

1. Describing the work as it really is (i.e. work as done).

2. Identification of prioritizations / adjustment performances.
3. Identification of the necessity of prioritizations / adjustment performances.
4. Identification of operating conditions.
5. Identification of strengths of prioritizations / adjustment performances.
6. Identification of weaknesses of prioritizations / adjustment performances.
7. Identification of advantages of safety measures.
8. Identification of disadvantages of safety measures.
9. Identification of side effects of safety measures.
10. Based on these analyses, support the development / improvement of safety
measures.
11. Integrating the tool in already existing analyses.

Seite 29/59
4.3.4 Description of the Safety-II based Measure Evaluation Tool
The Safety-II based Measure Evaluation Tool can be integrated in already existing tools
(goal 11) – e.g. root cause analyses – and is structured in several steps. For every step guid-
ing questions are provided. Following the eight steps of the Safety-II based Measure Evalua-
tion Tool are described:
1. In a first step, the core function should be identified. The core function is per defini-
tion the function where the prioritization / adjustment performance, considered as a
deviation, took place. Through this step it is therefore possible to identify the work as
it really is done and not as it should be done according to the specifications of the
safety measure (goal 1) and to identify the prioritizations / adjustment performances
that the operator actually did (goal 2).
2. In the second step, the concept of the six aspects should be introduced.
3. In a third step, the output should be identified in order to identify wanted and unwant-
ed outcomes of the core function.
4. In the fourth step, the first operating condition, the input, should be identified (goal 4).
Also, variabilities that could arise in the input should be identified in this step.
5. In step 5, the remaining operating conditions and the variabilities that could arise in
these operating conditions should be identified (goal 4). In this step, for all the oper-
ating conditions (including the input) should be further specified if they are primary or
secondary operating conditions, whereby some of them can be both. This is crucial
because through the identification of primary operating conditions the appropriate-
ness of a safety measure can partially be improved (in step 8) from a safety-I per-
spective by reducing the variabilities in the operating conditions that force the opera-
tor to adjust his performance. On the other side, in a safety-II perspective, the identi-
fication of secondary operating conditions would allow to formulate criteria based on
which the operator should decide how / which jobs he should prioritize when the pri-
oritization / adjustment performance cannot be avoided (goal 10).
6. In step 6, the importance of the operating conditions (i.e. how much they influence
the decision of prioritization) should be determined.
7. The consequences of the prioritization / adjustment performance should be identified
in step 7. Through this step the necessity of prioritization / adjustment performance
(goal 3), strengths and weaknesses of prioritization / adjustment performance (goals
5 and 6) and possible side effects of safety measures (goal 9) can be assessed.
8. In step eight, suggestions for developing / improving the safety measure should be
formulated (goal 10).

From a safety-I perspective:

First, it should be focused on the most important primary operating conditions (iden-
tified in step 5 and 6) that should be controlled, i.e. the variabilities of these operating
conditions (identified in step 5) should be reduced in order to make the safety meas-
ure more appropriate for the real working conditions.

From a safety-II perspective:

Then, it should be discussed which decisions of prioritizations / adjustment perfor-
mances should be supported and which should instead be hindered. This discussion
should be based on the criteria identified in step 5 where secondary operating con-
ditions have been identified.

Seite 30/59
  Prioritizations / adjustment performances that are identified to be correct
based on the criteria identified in step 5 should be supported. These lead in
fact to positive outcomes – where the positive outcomes correspond to the
strengths of the prioritization / adjustment performance identified in step 7.
 Prioritizations / adjustment performances that are identified to be incorrect
based on the criteria identified in step 5 should be hindered. These in fact
lead to negative outcomes – where the negative outcomes correspond to the
weaknesses of the prioritization / adjustment performance identified in step 7.
This step allows so to identify advantages of safety measures (i.e. supporting the
strengths or hindering the weaknesses of prioritizations / adjustment performances)
that should be enhanced (goal 7) and also to identify disadvantages of safety
measures (i.e. hindering the strengths or allowing the weaknesses of prioritizations /
adjustment performances) that should be reduced (goal 8). This permits to develop
better designed or improve already existing safety measures by enhancing their
strengths and reducing their weaknesses.

4.3.5 Guiding Questions for the Safety-II based Measure Evaluation

For the application of the Safety-II based Measure Evaluation Tool the following guiding
questions (Table 3) are provided. These are intended to give a structure for the implementa-
tion of the tool. The questions do not have to be asked exactly in the formulated terms. Also,
the sequence does not have to be followed strictly, whereby the first three questions should
be asked first because they determine the base for all the subsequent questions. Further-
more, the last question should be asked last because it bases on the results gained through
all the preceding questions.

Table 3: Guiding questions of the Safety-II based Measure Evaluation Tool

1. Identification of the core function

 What was the deviation?

 In what action / task / job did the deviation occur?
 (if so) What measures to avoid the deviation (in future) are taken?
 ...

2. Introduction of the 6 aspects

3. Identification of the output under normal operations

Output:
 Wanted outcomes:
o What is (normally) the result / the output of this core function?
o What indicates (normally) that the function is completed?
o How does the human operator see that the job is done?
o ...
 Unwanted outcomes:
o What should not result from the action/task/job/function?
o What indicates the human operator that he did not do his job satisfactorily / perfectly?
o ...

>>> to be continued on the next page

Seite 31/59
4. Identification of the input under normal operations (and the respective variabilities)

Input:
 Input:
o What activates the function? What starts the function?
o How does the human operator know that he has to perform the function?
o ...
 Level of variability: How much can the operating conditions variate?
o What does it mean that they are strongly present?
o What does it mean that they are moderately present?
o What does it mean that they are little present?
 Key questions to identify variability: Regarding all operating conditions:
o What uncertainties / ambiguities may occur?
o What may be / is usually unclear for the human operator?
o What may be scarce or lacking? What obstacles may occur?
o ...

5a. Identification of the operating conditions (and the respective variabilities, cf. 5b)

Separately asking for:

 Why would human operator have to prioritize? What is the reason for prioritization?
(Primary operating conditions)
 Based on what / which criteria would human operator decide how to prioritize?
(Secondary operating conditions)
Aspects:
 Resources: What is needed / consumed when performing the function?
o (formal: matter, energy, competence, software, manpower, ...)
o (informal: experienced colleagues, helpful support, loyalty, unconventional aid, ...)
 Time: What temporal aspects affect the carrying out of the function?
o (formal: temporal constraints, deadlines, time slots, time frames, windows, ...)
o (informal: unwritten priorities, boss's preferences, ...)
 Controls: What regulates / supervises the carrying out of the function?
o (formal: plans, procedures, guidelines, standards, procedures, rules, other functions, ...)
o (informal: culture, behavioral patterns, taboos, unwritten rules, ...)
 Preconditions: What needs to be fulfilled before the function can be carried out?
o (formal: completed other (upstream) functions, legal preconditions, ...)
o (informal: informal communications or routines are performed, ...)

5b. Identification of (degree of) variabilities (maybe mixed with step 5a)

 Level of variability: How much can the operating conditions variate?

o What does it mean that they are strongly present?
o What does it mean that they are moderately present?
o What does it mean that they are little present?
 Key questions to identify variability: Regarding all operating conditions:
o What uncertainties / ambiguities may occur?
o What is usually unclear for the human operator?
o What may be scarce or lacking? What obstacles may occur?
o ...

6. Determination of the importance of the operating conditions

 Which of the identified operating conditions are the most important, i.e. have the biggest influence
on the prioritization?
 Which are the less important, i.e. have the smallest influence on the prioritization?

>>> to be continued on the next page

Seite 32/59
7. Impact of the absence of adjustment performances (unscheduled performances that the employees
have to execute to adapt to variabilities in the operating conditions)

 What happens if the deviation / adjustment performance is retained?

o Scenario 1:
What happens if there is no adjustment performance?
 Positive effects
 Negative effects
o Scenario 2:
What happens if the adjustment performance is hidden / covered / masked?
 Positive effects
 Negative effects
o Scenario 3:
Where else / who else may compensate for the lacking adjustment performance?

8. Suggestions for improving / developing the safety measure

 Safety-I measures – fix the problem (in order to reduce the necessity for prioritizing):
o Which ones of the variabilities in the operating conditions (all or only the most important)
can be reduced?
 Safety-II measures – make sure that in the (unavoidable) remaining need for prioritizing, prioritiza-
tions are done in an appropriate way
o On which ones of the criteria included in the secondary conditions should human opera-
tors base their prioritizations?
o Can the adjustment performances that follow these prioritizations be allowed / can such a
scope of action be integrated in a safety measure?

Seite 33/59
4.4 Effectiveness Assessment Tool

4.4.1 Application Concept

Table 4 shows the application concept of the Effectiveness Assessment Tool. The applica-
tion concept specifies when it is indicated to apply the tool and from whom as well as what
material is required. The information is to be understood as a guideline. The tool itself can be
adapted to the existing needs.

Table 4: Application concept of the Effectiveness Assessment Tool

The tool requires at least three times of application:

1) when developing the safety measure

2) after implementing the safety measure
3) after the safety measure had time to unfold a potential effect

Times of application

The application of the tool requires only the manual of the tool. For the docu-
Material mentation, templates were developed which can be used if necessary. These
are included in the appendix (cf. Table 8).
The person, that is responsible for the application of the tool, facilitates the pro-
cess and tracks its state. Furthermore, this person decides whether and when
Users other persons have to be involved. Sometimes, it might be useful to consult
subject matter experts. To fulfill the function as facilitator this person has to been
trained in applying the tool.

4.4.2 Process of Implementation Check and Effectiveness Assessment

The aim of the Effectiveness Assessment Tool is to provide guidance for the implementation
check and effectiveness assessment of safety measures. Figure 3 shows the process of im-
plementation check and effectiveness assessment:

Figure 3: Process of implementation check and effectiveness assessment

Seite 34/59
4.4.3 Definitions of Relevant Terms
Table 5 contains definitions of the relevant terms of the Effectiveness Assessment Tool.

Table 5: Definitions of relevant terms of the Effectiveness Assessment Tool

Safety-I measures: Safety-I measures aim at improving safety. How-

ever, they base on the assumption that it is possible to completely elim-
inate the necessity to prioritize from a function, i.e. that it is possible to
perform every job thoroughly. Hence, safety measures aim at limiting
the scope of action of the human operator performing a function and
specify – more or less precisely – the one-best-way to execute a func-
tion that has to be followed thoroughly.
Safety measures Safety-II measures: Safety-II measures as well aim at improving safe-
ty. However, they base on the assumption that it is not always possible
to perform every job thoroughly, i.e. that sometimes the operator has to
prioritize jobs over others by being more thorough in the prioritized jobs
and more efficient (i.e. less thorough) in other jobs (ETTO: Efficiency
Thoroughness Trade Off) (Hollnagel et al., 2014). Safety-II measures
aim at completing safety-I measures by supporting the operator when
he needs to prioritize.
Introduction of the measure into existing process landscapes and sys-
Implementation tems through campaigns, trainings and other actions (e.g. new checklist
through training).
Subjective attitude of an individual to the measure (e.g. individual per-
ception of feasibility of the measure or individual view on the reasona-
Attitude bleness of the measure). A positive attitude is a precondition for ac-
ceptance of the measure and as a consequence also for behavior that is
conform to the measure.
Individual's knowledge about the measure and its directives for safe
Knowledge behavior (e.g. how to apply the new checklist correctly). Knowledge is
another precondition for behavior that is conform to the measure.
Individual's behavior that should be conform to the measure (e.g. apply-
Behavior
ing the new checklist in the right way).
Work conditions (e.g. resources) and other factors of the organizations
Transfer conditions
(e.g. safety culture) that allow to behave in conformity with the measure.
Outcome of the measure (e.g. less incidents) that should correspond with
the pursued objective of the measure. When the achievement of an out-
come is assessed, a review of the measure in terms of its actuality taking
Outcome into account framework conditions is indicated. Framework conditions
are relatively stable, but can still change. They define whether a measure
remains valid in the sense of appropriateness. This can be recognized
through their investigation and monitoring.
Check whether the measure is implemented as planned (e.g. number of
Implementation check
participants in checklist training).
Assessment whether the measure is effective on different levels:
1st level: individuals have built a positive attitude and knowledge
regarding the measure
2nd level: individuals behave conform to the measure
3rd level: the pursued objective of the measure is achieved and
the measure is still valid under the current framework
Effectiveness assessment
conditions
Oversight of transfer conditions which are organizational variables that
facilitate (promoter) or if not given hinder (barrier) a behavior in conformi-
ty with the measure. The monitoring of these conditions is important as
transfer research showed that behavior is strongly dependent on the
characteristics of the environment.

Seite 35/59
4.4.4 Introduction in Methodology
Safety measures usually refer to specific safety issues. Examples for such issues are lack of
safety awareness or objects on a landing strip that can be dangerous. Regardless of what
the safety measures are, indicators for their measurement have to be developed and meth-
ods for the measurement of these indicators have to be defined. Figure 4 shows the process
of development, measurement and assessment of indicators. The whole process will be ex-
plained by reference to an (fictional) example. This example assumes that a safety measure
demands the application of a new checklist in the cockpit. The reason is the appearance of
incidents that were assessed as a risk for flight safety. The new checklist was designed by a
safety expert. The target group of this safety measure is the pilots.

Figure 4: Process of development, measurement and assessment of indicators

Seite 36/59
4.4.5 Step 1 - Development of Indicators
In the following sections information on the steps of development of indicators are provided.
The example presented in Figure 5 is explained step by step.

Figure 5: Steps of development of indicators

4.4.5.1 Definition of Construct

First, the theoretical construct to be measured must be determined. In particular, it has to be
specified what the (various) elements of this construct are. Therefore, theories and theoreti-
cal models but also understandings from practice and experience can be useful. In the ex-
ample shown in Figure 5 the construct is the application of a new checklist. The questions
that can be asked are: How is «application» defined? What is the usage of a checklist in the
workplace?

4.4.5.2 Definition of Indicators

How do constructs and indicators differ? A construct is not empirically measurable. To draw
conclusions on the construct, indicators that are related to the construct and that are meas-
urable have to be defined. These indicators allow a statement on the construct. This process
is known as operationalization which means that a construct is made measurable. There are
constructs that are more easily to operationalize than others. For example, while the number
of incidents is easily observable and allows a conclusion on a specific safety issue, safety
awareness is more a theoretical construct that has to be operationalized. Figure 6 shows an
example of an easily measurable fact as well as a theoretical construct and its indicators.

Figure 6: Example of an easily measureable fact and an operationalization of a complex construct

Seite 37/59
There are two types of indicators: quantitative indicators and qualitative indicators. The dif-
ference is based on the scales of measurement. A scale represents a reference system and
describes the way in which characteristics of indicators are recorded. This is explained more
detailed in the following chapters.

4.4.5.2.1 Quantitative Indicators

Quantitative indicators are expressed in numbers. Examples are the number of incidents or
the number of participants in training, but also mean values of answers given in a question-
naire. If quantitative indicators with a multi-stage rating scale are chosen, the number of
points of the rating scale (e.g. five-point scale, 1 = «I totally disagree» to 5 = «I totally
agree») have to be defined.

4.4.5.2.2 Qualitative Indicators

Qualitative indicators are expressed in categories that can but must not have an order. An
example for a qualitative indicator is one that is based on a behavioral marker system
(cf. Figure 7). In this case, examples are formulated in terms of anchors (e.g. "behavioral
markers") for positive and negative behavior (Manser, Perry & Schmutz, 2013).

Figure 7: Example of a rating system for behavior (cf. Klampfer et al., 2001, S. 26)

If qualitative indicators are chosen, the number of categories and their content must be de-
fined. This means for example, if there are two categories with good and bad behavior, it is
also necessary to define what good and bad behavior is. It is important that the definitions
are clear comprehensible, unambiguous and easily to understand (Martin & Bateson, 2007).

In the example presented in Figure 5 it is necessary to consider how the application of a

checklist can be measured. Indicators that could be used to measure this are the number of
incidents after the introduction of the checklist and the self-appraisal of pilots to what extent
they apply the checklist.

4.4.5.3 Definition of References

In a next step references have to be set. A measurement allows only a statement on the ac-
tual state. Usually, measures aim for improvement or reduction of specific aspects. To as-
sess the indicators after the measurement and to make a statement on the progress, a refer-
ence is needed. If there is no reference for comparison given, a reference has to be set.

Seite 38/59
In the example shown in Figure 5 a reference for the indicator "rate of incidents" might be the
number in the previous year. The comparison of the number of incidents of the previous year
and the current number allows a statement regarding the improvement or reduction. For the
indicator "self-appraisal by pilots" a reference could be a mean value of 4 on the five-point
rating scale.

4.4.6 Step 2 - Measurement of Indicators

The measurement of indicators (cf. Figure 8) is based on data. This data may be collected as
a result of existing processes. Otherwise, it has to be collected specifically. Various methods
are available for this. The choice of the method depends on the indicator to be measured. In
the following sections information on the measurement of indicators are provided. At the end,
some guiding questions for choosing the appropriate method for your indicators are present-
ed too.

Figure 8: Steps of measurement of indicators

4.4.6.1 Quality Criteria

Independently from the method to measure an indicator there are three main quality criteria:
objectivity, reliability and validity. Every method should meet these quality criteria, which are
explained more detailed in the following chapters.

4.4.6.1.1 Objectivity
Objectivity refers to the degree of independence of the results from the examiner. The quality
criterion objectivity can be differentiated into three aspects: objectivity of examination, evalu-
ation and interpretation (Lienert & Raatz, 1998).

Objectivity of examination is the independence of random or systematic behavior variations

of the examiner during the measurement that affects the result. Standardization increases
the likelihood of high objectivity of examination (Lienert & Raatz, 1998). This requires for ex-
ample to ask the same questions to every interviewee in the case of several interviewers or
to use the same questionnaire to all the respondents or to observe comparable situations.

Objectivity of evaluation is the independence of the evaluated result of an examination by the

evaluating person. In order to achieve a high objectivity of evaluation, the evaluation of an
examination has to be carried out according to predetermined rules. For questionnaires,

Seite 39/59
which have a closed response format, a high objectivity of evaluation is given. In the case of
methods with open question answering (e.g. open questions in a questionnaire or in an inter-
view) that require interpretation, a high objectivity of evaluation is more difficult to achieve. In
contrast to closed response formats, the evaluating person has to decide whether or not a
given answer points in the aimed direction (Lienert & Raatz, 1998). For this, detailed evalua-
tion rules are necessary, the consistent application of which has to be tested (Moosbrugger &
Kelava, 2012).

Objectivity of interpretation is the independence of the interpretation of the result of the ex-
amination by the examiner. A perfect objectivity of interpretation is achieved if different exam-
iners draw the same conclusions from the same evaluation results (Lienert & Raatz, 1998).

4.4.6.1.2 Reliability
Reliability is the degree of accuracy with which a method measures a certain fact (Lienert &
Raatz, 1998). Accuracy means that the measured values of the examination are as free as
possible from measurement errors. The prerequisite for the reliability of a method is its objec-
tivity (Schermelleh-Engel & Werner, 2012). The judgment of an examiner is accurate when
he or she is interchangeable. This is the case when the differences of several examiners are
negligibly small for the same subject (Wirtz & Caspar, 2002). The following example illus-
trates the difference between objectivity and reliability: A recruitment interview is objective if
there is a list with questions (interview guide), all the questions are asked to every interview-
ee in the same order, all interviews take an equally time and there are standardized instruc-
tions for the evaluation of the answers and the interpretation of the results of the evaluation.
The measures to ensure objectivity are used to prevent measurement errors which can arise,
for example through the influence of sympathy and antipathy between interviewers and inter-
viewees, self-presentation strategies of interviewees etc. In addition, errors in the evaluation
are reduced since all interviewers evaluate the answers in the same way. Thus the interview
is a reliable method because it measures the characteristics of interviewees as freely as
possible from non-relevant factors.

4.4.6.1.3 Validity
The validity of a method indicates the degree of accuracy with which this method actually
measures the fact that it is intended to measure or predict (Lienert & Raatz, 1998). Reliability
is an important prerequisite for the validity of a test (Schermelleh-Engel & Werner, 2012).
The following example illustrates the difference between reliability and validity: A recruitment
interview that intends to measure analytical skills but actually measures expertise (which is
not the same as analytical skills) is not valid, but can nevertheless measure expertise objec-
tively and reliably.

4.4.6.2 Methods of Collection of Data

There are different types of methods. In the following chapter an overview of different meth-
ods is given. The focus thereby is on methods that can be applied in a majority of organiza-
tions. Methods such as experiments with eye trackers are therefore not listed.

4.4.6.2.1 Questionnaire survey

A questionnaire is a method consisting of a set of questions (sometimes also referred to as
«items») intended to capture responses from participants in a highly standardized manner
(Bhattacherjee, 2012).

Seite 40/59
There are different types of questionnaire surveys (based on Bhattacherjee, 2012):

- Common are mail surveys, where the questionnaire is mailed to a selected group of
people and willing participants can answer the questionnaire and return it in postage-
prepaid envelopes.
- A more recent type is an online or web survey. Participants may receive an e-mail re-
quest for participation in the survey with a link to an online website or as an alterna-
tive the survey may be embedded into an e-mail and can be completed and returned
via e-mail.

Questionnaires can have different types of questions (based on Jonkisz, Moosbrugger &
Brandt, 2012):

- For open questions are no response alternatives specified. The answer is formulated
by the person himself. An advantage of this type of questions is that they require a
reproduction of knowledge or a self-generated response. This makes random re-
sponses (random selection of response options) more difficult. Open questions are
much time-consuming for the participant (and the evaluator). That can be seen as a
disadvantage. Furthermore the evaluation objectivity and therefore also the interpre-
tation objectivity is restricted because of the often occurring ambiguity of the given
answers. Besides, this type of questions are challenging for participants with difficul-
ties in writing.
- Closed questions are characterized by the fact that several alternatives for answers
are offered. The task for the participants is to select the most appropriate or correct
answer category for them. An advantage of this type of question is that it is very eco-
nomical in answering by participants and in the evaluation. Very often the evaluation
of the given responses is done computer-assisted by immediate input of the respons-
es in the computer by participants. As a result, the evaluation objectivity is usually
higher than that of questions with free response format.

Closed questions can have different response formats (based on Bhattacherjee, 2012):

- Dichotomous response, where participants have to select one of two possible choic-
es, e.g. true/false, yes/no, agree/disagree.
- Nominal response, where participants are asked to choose one of more than two un-
ordered options, e.g. place of residence: Zurich, Bern, Basel or other.
- Ordinal response, where participants have more than two ordered options, e.g. age
class: 20-29, 30-39, 40-49, 50-59, 60-69.
- Interval (metric) scaled response, where participants are presented with a rating
scale, e.g. 1-5 or 1-7 points to express the degree of job satisfaction. There are differ-
ing views on the question whether rating scales are ordinal or metric scaled. The re-
search practice assumes that rating scales measure the respective characteristic
metrically (Bortz & Schuster, 2010).

Answers in questionnaires depend strongly on the wording of the questions. The following
should be considered (based on Bhattacherjee, 2012):

- Comprehensibility, which can be achieved with questions verbalized in a simple lan-

guage that is familiar to the target group. Questions should be worded in a similar
manner to make it easy for participants to read and understand them.

Seite 41/59
 - Consistency, which means that questions should not use verbalizations or expres-
sions that may be interpreted differently by different participants.
- Uniqueness, which is the absence of double-barreled questions that have multiple
answers, e.g. "Are you satisfied with your tasks and your supervisor?".

It is recommended to conduct a pretest to evaluate the questions before starting the ques-
tionnaire survey. This can help to enhance the quality of the received answers, for example
through the identification of questions that are understood differently by different participants.
A common pretest procedure is an interview with the aim to gain information on whether a
question generates the information that is intended by its constructors (Faulbaum, Prüfer &
Rexroth, 2009). For example, it is of interest how questions or terms are interpreted and un-
derstood (Prüfer & Rexroth, 2005). The following techniques can easily be used in such in-
terviews (based on Faulbaum et al., 2009):

- Probing, where a given response from a pretest-participant is queried by one or more

additional questions (probes) with the aim of getting more information about the un-
derstanding of the question (e.g. "How do you understand the term X in this ques-
tion?").
- Paraphrasing, where pretest-participants are asked to repeat the question text in their
own words. The way in which the question is verbalized attempts to draw conclusions
about the question.
- Think-aloud, where pretest-participants are asked to think aloud and verbalize all the
thoughts that led to the answer.

4.4.6.2.2 Interview
Interviews are a method to collect data about people and their preferences, thoughts, and
behaviors in a systematic way (Bhattacherjee, 2012).

There are various forms of interviews from structured, through semi-structured, to unstruc-
tured interviews. These forms can be described as follows (based on Edwards & Holland,
2013):

- In a structured interview the interviewer has prepared all questions beforehand (inter-
view guide) and they are put in the same order to each interviewee. There is no or
only little flexibility available to the interviewer.
- In a semi-structured interview the interviewer has a list of questions (interview guide)
he wants to cover in the interview. There is flexibility in how and when the questions
are put and how the interviewee can respond.
- In an unstructured interview the interviewer has goals for the interview and its topic,
but the importance of this form of interview is to allow the interviewee to talk from his
own perspective using his own ideas and meanings that is familiar to him. The inter-
viewer can use a single question in the beginning of the interview, where the inter-
viewee is encouraged to tell his story.

There are also different types of questions – open and closed questions (see above in sec-
tion questionnaires). Closed questions in interviews are questions where participants are
asked to classify their answer, e.g. "On a scale from 1 to 3, where 1 means «I totally disa-
gree», 2 means «I partly agree » and 3 means «I totally agree», how would you rate the fol-
lowing statement […]?". Open questions in interviews are similar to those in questionnaires
(e.g. "May I ask you to describe the situation […]?"). An advantage of this type of questions

Seite 42/59
in interviews is the possibility to ask again for more depth (e.g. "What happened next?" /
"Who was involved?").

Interviews are an interactional exchange of dialogue. The dialogue can proceed in different
compositions (based on Edwards & Holland, 2013):

- In an individual interview the dialogue is between the interviewer and an interviewee.

- In a group interview (sometimes also referred to as «focus group») a group of people
take part. The construction of the group is guided by the topic of the interview. They
could be employees at the same or different levels in the organization, people of the
same age, gender, role or people of varying ages, genders and roles – depending on
the issue under study. Group interviews can take place at the start of a project (for
generating ideas about the issue under study) as well as at the end, to get feedback
on results.

Interviews can take place in different settings (based on Edwards & Holland, 2013):

- A face-to-face interview (individual or group interview) is recommended to be located

in a space that is available for use, convenient and accessible to interviewer and in-
terviewee, where interruption can be avoided and – if necessary – an adequate
sound recording of the interview can be made.
- There are situations where the interviewer and the interviewee are separated in time
and space. Dependent on the communication tool used they can respond to each
other asynchronically (e.g. via email) or synchronically (e.g. via telephone, skype or
an instant messenger). A telephone interview can be more acceptable to some inter-
viewee when discussing sensitive topics, for privacy or convenience and also for fit-
ting into busy lives. Disadvantages are the lack of information about the other from
their appearance and non-verbal communication in the interaction. Skype or other
suchlike tools (e.g. facetime) can counteract these effects. The advantages of an e-
interview (interview via email) are that the conversation is written and is therefore well
documented which saves time and resources, it is very flexible about when it takes
place and the interviewer can have several interviews running at the same time. A
disadvantage (in addition to the ones already mentioned related to the telephone in-
terview) is that responses are given less spontaneous. In return they might be more
reflected.

Interviews can be documented with notes in a document created for this purpose («inter-
view protocol») or – more elaborately and therefore probably mostly not feasible in practice –
with transcripts from audio records (Mayring, 2014). It is crucial to write down the given an-
swers without already interpreting them. Therefore the answers should be documented as
complete as possible.

4.4.6.2.3 Observation
Observations are a method to collect data of behavior or events that cannot be asked and
the observed persons are not aware of. They are also a method to verify subjective percep-
tions of people (e.g. the feeling of being interrupted during work often does not necessarily
mean that many interruptions occur). The focus of observations is often on verbal and non-
verbal behavior, social behavior and interaction, and on processes (not results).

Seite 43/59
Observations can be classified with the following criteria (based on Greve & Wentura,
1997):

- Immediacy, which can be differentiated in technically mediated observation (through

media such as video recordings) vs. immediate observation.
- Visibility of observers, which can be differentiated in open observations and covert
observations. Open observations mean that the persons to be observed are informed
about the observations. In covert observation the persons to be observed are not
aware that they are being observed (e.g. hidden cameras, disposable mirrors), which
is often ethically and legally not justifiable.
- Role of observers, that can be differentiated in participatory observation vs. non-
participatory observation. Participatory observation means that data is gathered
through direct contact with a situation in which the activities of the persons to be ob-
served take place (e.g. a teacher is watching his students during the lecture). This
method often results in role conflicts and the observer is not very objective. An ad-
vantage is that the observer has a very direct access to behavior, attitudes, opinions
and events. In non-participatory observation, the observer is not part of the situation
and is not involved in the activities of the person to be observed (e.g. only accompa-
nying persons during their shift).
- Degree of structuring, that can be differentiated in structured observation and un-
structured observation. In the case of structured observations, the observer deter-
mines in advance what should be observed and how the data should be collected.
The unstructured observation serves to observe all aspects that might be relevant to
the description of the focused topic. This is useful when little is known about the sub-
ject, and therefore one does not know what to look for in an observation.

There are different types of measure in observations (based on Martin & Bateson, 2007):

- Latency is the time from a certain stimulus (e.g. an alert) to the onset of a specified
behavior or event. Latency is measured in time units, e.g. seconds, minutes or hours.
- Frequency is the number of events of occurrences of a specified behavior or event
(e.g. the number of interruptions). This information is only useful and informative
when the total time of which the observed behavior or event is recorded (number per
time).
- Duration is the length of time for which a specified behavior or event lasts (e.g. resus-
citation). Duration is also measured in time units, e.g. seconds, minutes or hours. If a
single act out of a behavior is measured (e.g. the positioning of a patient before start-
ing chest compression and ventilation) it is also necessary to measure the total dura-
tion of the behavior (resuscitation). This allows statements as "2 out of 10 minutes" or
"20% of the time fell on".
- Intensity is the estimation of intensity of a behavior (e.g. situation awareness). The in-
tensity is measured with behavioral marker systems, which usually contain an order
(e.g. 1 = «very bad» to 5 = «very good»).This type is challenging. The categories of
the behavioral marker system must be theoretically well-founded and well defined.
Otherwise, the measurement is error-prone (cf. quality criteria) and non-transparent.

Two basic types of sampling can be differentiated (based on Martin & Bateson, 2007). The
choice of the type depends on the subject of the observation.

Seite 44/59
 - Continuous recording or event sampling with continuous observation over a certain
period of time (e.g. "How many times does a certain event occur in a shift of a me-
chanic?"). This type is useful to determine the "true" duration of a behavior or event,
but it may sometimes be difficult to determine the beginning and the end of the be-
havior/event.
- Time sampling, which means the observation of short sequences within a longer epi-
sode (e.g. "How many times does a specific event occur within 10 minutes during the
shift of a mechanic?"). This type is useful when expected behavior or events occur
repeatedly. However, it does not allow determining the "true" duration of a behavior or
event.

The documentation of observations depends on the characteristics of the observations.

Observational studies which are not fully structured produce protocols with notes. The result
then is text material. More often observations are structured and their documentation is the
result of the data collection which is usually made using category systems. These system
can be very simple (e.g. a table where dates and times can be noted and frequencies of
events are recorded in the form of tallies) or complex (e.g. behavioral marker systems where
behavior has to be described and then rated).

4.4.6.3 Methods of Evaluation of Data

After data collection there are two classes of results: quantitative data (e.g. questionnaire
values or tallies in standardized observation studies) or qualitative data (e.g. interview proto-
cols or text from open questions in interviews or notes from observations). Methods of evalu-
ation of quantitative and qualitative data are detailed in the following chapters.

4.4.6.3.1 Evaluation of Quantitative Data

Quantitative data are evaluated statistically. There are numerous statistical procedures that
require in-depth training in these methods. Such procedures are not addressed. Rather,
methods are described which can be used simply and with Excel (instead of statistics soft-
ware).

Frequency distributions describe how often the different characteristics (e.g. step 1, step 2,
step 3, step 4, step 5 on a five-point scale) of a variable (e.g. an item concerning job satisfac-
tion) occur. It is necessary to differentiate between absolute and relative frequencies: the
absolute frequency indicates how frequently a characteristic is present (e.g. 38 out of 180
employees who participated in the survey are very satisfied with their job). To calculate the
relative frequency, the absolute frequency is referred to the total number (e.g. 21% of the
employees are very satisfied with their job). Histograms and pie charts are well suited to pre-
sent frequencies. Figure 9 illustrates the difference between absolute and relative frequen-
cies in a histogram (on the left part) and a pie chart (on the right part).

Seite 45/59
 Figure 9: Absolute and relative frequencies presented in a histogram and a pie chart

The mean value is very common to express the frequency distribution by a single value
which is to represent the entire distribution as well as possible (e.g. the average of the em-
ployee's job satisfaction is 3.5 or a mechanic is interrupted on average 27 times by a tele-
phone call in a shift). The mean value can be calculated if the data is interval (metric) scaled,
which also applies to rating scales (cf. chapter 4.4.6.2). If data is for example dichotomous
(e.g. yes/no) or nominal scaled (e.g. place of residence: Zurich, Bern, Basel or other) a mean
value is little meaningful. It makes sense to make a statement as "The employees are on
average rather satisfied", but not "The employees have their place of residence on average
in Zurich". For such data frequency distributions must be used.

4.4.6.3.2 Evaluation of Qualitative Data

Text material can be evaluated systematically with the method of content analysis. This
method can be supported by software for qualitative data analysis. The use of this method
and such software requires in-depth training. Therefore, techniques are presented in a way
that is applicable in practice.

There are three basic forms of content analysis (based on Mayring, 2014):

- The objective of the summary is to reduce text material to the essential contents. The
summary is intended to represent the entire base material. This form is useful to ob-
tain an overview which is the case when little is known about a problem or situation
(e.g. a summary based on notes of an unstructured observation).
- The explication aims to provide additional material on specific parts or issues to gain
a deeper understanding (e.g. an explication of the answers to an open question in the
interview regarding the perception of support of supervisors or to an open question
regarding the reasons for turnover).
- The object of structuring is to filter out particular aspects of the material with prede-
fined criteria. There are several sub forms of this type of analysis. One of these is well
suited for practice. Scaling aims to assess material or certain material parts on a
scale (usually on an ordinal scale). The criteria on which the material is to be as-
sessed on the scale and the scale itself are defined beforehand. An example: If it is
known from literature that autonomy is an important factor for job satisfaction, it is
possible to systematically evaluate interview protocols with regard to statements on
autonomy. Statements can then be assessed on a scale. This scale could have three
steps: 1 = «feels high autonomy at work», 2 = «feels partial autonomy at work», 3 =
«feels little autonomy at work». It has to be described what indicators for these steps
are (e.g. "indicators for a feeling of high autonomy are […]").

Seite 46/59
The procedure of a content analysis is as shown in Figure 10 (based on Mayring, 2014;
adapted to practice):

Figure 10: Procedure of different forms of content analysis

4.4.6.3.3 Combination of the methods

Quantitative and qualitative methods for evaluation of data can also be combined. For exam-
ple, according to a content analysis with the form "scaling", frequencies or even mean values
of the characteristics of the scale can be calculated.

4.4.7 Step 3 - Assessment of Indicators

After having collected and evaluated data to measure the indicators, they have to be inter-
preted. Therefore, the results of the data evaluation have to be compared with the references
set (cf. chapter 4.4.5.3).

In the example made with the application of new checklist in the cockpit, the frequency of
incidents has to be compared with the numbers of incidents last year and the mean value
calculated for the self-appraisal of pilots has to be checked against the defined mean value
of 4.

4.4.8 Guiding Questions for Implementation Check and Effectiveness Assessment

The guiding questions presented in Table 6 aim to support the process of implementation
check and effectiveness assessment of safety measures. The questions are generic which
means they can be used for any measure. The questions are arranged thematically and do
not follow a sequence within a question block. They should provide guidance for the deriva-
tion of appropriate indicators and the choice of appropriate methods. The questions are not
exhaustive.

Seite 47/59
Table 6: Guiding questions for implementation check and effectiveness assessment

1. Development of indicators

Implementation Check
 How could the implementation of the measure be checked? Which indicators are appropriate for the
measurement?

Effectiveness Assessment
Attitude
 What are important characteristics of the attitude of an individual that is supportive or hindering to
the application of the measure? How can these characteristics be recognized?
 Does the employee's assessment of the advantages of the measure in comparison to the costs af-
fect the application of the measure? How? And how can this assessment be recognized?
 Do the employees assess the measure as
o desirable (Do they expect a value from applying the measure?)
o reasonable (Do they assess the measure as appropriate for the aim of the measure?)
o feasible (Are they convinced that their behavior actually leads to the aim of the measure?)
How can the subjectively assessed desirability, reasonability and feasibility be recognized?

Knowledge
 Do employees know the measure's directives? Do employees know the changes due to the meas-
ure in their daily work? How can this be recognized?
 Have employees built the knowledge that is needed to follow the measure's directives? How can
this be recognized?

Behavior
 How does conform behavior differ from not conform behavior? How can conform / not conform be-
havior be recognized?

>>> to be continued on the next page

Seite 48/59
 Transfer promoters and barriers (the list is not exhaustive; there might be other and/or more transfer
promoters and barriers)
 Accordance of the measure with workplace:
o Does the measure fit into existing processes? How can a fit be recognized?
o Are there any existing procedures that are contradictory to the new measure? How can con-
tradictions be recognized?
o Does the measure consider the working environment? Are the needed resources (personnel,
time and material) to implement the measure available? What are other important influencing
factors in regard to the implementation of the measure?
 Culture for something new:
o How could the organization's/department's/team's culture for changes and innovations be de-
scribed? How does the culture affect the application of the measure? And how can this be
recognized?
 Resources:
o Are the needed resources (personnel, time and material) to perform the measure available?
How can this be recognized?
 Support of supervisors:
o Do supervisors commit themselves to the measure? How can their commitment be recog-
nized?
o Do supervisors provide support to follow the measures directives? How can supportive ac-
tions be recognized?
 Support of team colleagues:
o Do team colleagues commit to the measure? How can their commitment be recognized?
o Do team colleagues provide support to follow the measures directives? How can supportive
actions be recognized?
 Feedback:
o Do employees receive feedback if showing a behavior that is in conformity with the measure,
for example from supervisors or through the task itself? How can this be recognized?
Outcome
 How can be recognized whether the pursued aim of the measure is achieved?
 What were the framework conditions when developing and implementing the measure? What are
the current framework conditions? Is the measure still valid under the current framework conditions?
How can this be recognized?

2. Definition of references

 What could the chosen indicator(s) be compared with?

3. Methods of collection of data

 Which method(s) seem(s) to be able to measure the indicators?

 What are advantages and disadvantages of this method(s)? Based on the advantages and disad-
vantages identified, which method is the most appropriate in this case? Or are there equal methods
and one is less costly in its application than the other?
 Does the chosen method satisfy the quality criteria? What is needed to meet the quality criteria?
How can the influence of the examiner on the result be reduced? How can the chosen method of
data collection be applied in a more standardized manner?

>>> to be continued on the next page

Seite 49/59
4. Methods of evaluation of data

 Which method(s) seem(s) to be able to evaluate the collected data having regard to the type of data
(quantitative data or qualitative data) and the kind of scale (e.g. ordinal or interval)?
 If a qualitative method is chosen, what form of content analysis is appropriate considering the ques-
tioning of the examination?
 Is it meaningful to combine quantitative and qualitative methods? How?

5. Assessment of indicators

 Is there an improvement or a decline?

 Does the data as measured compared by the reference allow a statement on the implementation
and effectiveness of the measure? What is the statement?

Seite 50/59
4.5 Appendix

4.5.1 Templates for the Safety-II based Measure Evaluation Tool

Table 7: Template with the definitions of primary and secondary operating conditions

Primary operating conditions cause a necessity to do prioritizations /

adjustment performances when performing a job. Thus, primary
operating conditions determine the reason «why» there must be a
trade-off between efficiency and thoroughness (ETTO-principle) when
Primary performing a job. Scarcity of time is an example for a primary opera-
operating ting condition. The reason for scarcity of time can be manifold: Too
conditions little time planned for performing a job, too many jobs planned for a
(OC's) time period, etc. Primary operating conditions do not give an indica-
tion regarding what (e.g. which job) should be prioritized over what
(e.g. which other job). They only determine the need to prioritize. Of-
ten primary operating conditions are not job specific but due to the set
of jobs given in a certain job situation.
Secondary operating conditions are decisive when a prioritization is
required. Thus, secondary operating conditions provide decision-
making criteria for the prioritization if a trade-off between efficiency
and thoroughness (ETTO-principle) is required when performing a
job. Hence, they determine the “how” of the prioritization. Riskiness of
Secondary a job (e.g. resulting from lacking resources) is an example for a
operating secondary operating condition. A job with a high riskiness needs to be
conditions performed more thorough than a job with a low riskiness. When there
(OC's) is a need to prioritize between two jobs because there is a primary
operating condition in place, the secondary operating condition de-
termines which of the two jobs is prioritized over the other. Thus,
secondary operating conditions do give an indication regarding what
should be prioritized over what but do not determine the need to prio-
ritize. Secondary operating conditions are job specific.

Both However, the same OC could have primary and secondary character.

Seite 51/59
 Figure 11: Template with the definitions of the operating conditions

Seite 52/59
 Figure 12: Template for the identification of the core function and of the operating conditions

Seite 53/59
4.5.2 Templates for the Effectiveness Assessment Tool
Table 8: Templates for the documentation of development, measurement and assessment of indicators

☐ Construct that wants to be measured is set

Description of construct:

.....................................................................................................................................................

.....................................................................................................................................................

.....................................................................................................................................................

.....................................................................................................................................................

.....................................................................................................................................................

.....................................................................................................................................................

Indicators (quantitative or qualitative) that allow a conclusion on the construct and references to
☐
assess the indicators after their measurement are set

Indicator 1: ...........................................................................................................................

...........................................................................................................................

...........................................................................................................................

Reference: ...........................................................................................................................

...........................................................................................................................

Indicator 2: ...........................................................................................................................

...........................................................................................................................

...........................................................................................................................

Reference: ...........................................................................................................................

...........................................................................................................................

Indicator 3: ...........................................................................................................................

...........................................................................................................................

...........................................................................................................................

Reference: ...........................................................................................................................

...........................................................................................................................

Seite 54/59
 Method(s) for collecting and evaluating data to measure the indicators are set taking account of
☐
quality criteria

Measurement ...........................................................................................................................
of indicator 1:
...........................................................................................................................

...........................................................................................................................

...........................................................................................................................

...........................................................................................................................

Measurement ...........................................................................................................................
of indicator 2:
...........................................................................................................................

...........................................................................................................................

...........................................................................................................................

...........................................................................................................................

Measurement ...........................................................................................................................
of indicator 3:
...........................................................................................................................

...........................................................................................................................

...........................................................................................................................

...........................................................................................................................

☐ Statement of progress/regress is made through comparison of the results with the references set

Summary of statement:

.....................................................................................................................................................

.....................................................................................................................................................

.....................................................................................................................................................

.....................................................................................................................................................

.....................................................................................................................................................

.....................................................................................................................................................

Seite 55/59
5 Literaturverzeichnis
Amalberti, R. (2013). Navigating Safety. Dordrecht: Springer.

Bhattacherjee, A. (2012). Social Science Research: Principles, Methods, and Practices. Flor-
ida, FL: University of South Florida.

Bortz, J. & Schuster, C. (2010). Statistik für Human- und Sozialwissenschaftler (7. Aufl.). Ber-
lin: Springer. doi:10.1007/978-3-642-12770-0

Edwards, R. & Holland, J. (2013). What is qualitative interviewing? London: Bloomsbury.

Faulbaum, F., Prüfer, P. & Rexroth, M. (2009). Was ist eine gute Frage? Die systematische
Evaluation der Fragenqualität. Wiesbaden: VS Verlag.

Grewe, W. & Wentura, D. (1997). Wissenschaftliche Beobachtung: Eine Einführung. Wein-

heim: Beltz.

Hollnagel, E. (2014). Safety-I and Safety II. The Past and the Future of Safety Management.
Farnham: Ashgate.

Hollnagel, E., Hounsgaard, J., & Colligan, L. (2014). FRAM-the Functional Resonance Anal-
ysis Method: A Handbook for the Practical Use of the Method. Centre for Quality, Re-
gion of Southern Denmark.

Jonkisz, E., Moosbrugger H. & Brandt, H. (2012). Planung und Entwicklung von Tests und
Fragebogen. In H. Moosbrugger & A. Kelava (Hrsg.), Testtheorie und Fragebogenkon-
struktion (S. 27–74). Berlin: Springer. doi:10.1007/978-3-642-20072-4

Klampfer, B., Flin, R., Helmreich, R. L., Häusler, R., Sexton, B., Fletcher, G. et al. (2001).
Enhancing Performance in High Risk Environments: Recommendations for the Use of
Behavioural Markers. Zürich: Gottlieb Daimler und Karl Benz Stiftung.

Lienert, G. A. & Raatz, U. (1998). Testaufbau und Testanalyse (6. Aufl.). Weinheim: Beltz.

Manser, T., Perry, J. & Schmutz, J. (2013). Verhalten ist messbar: Behavioural Marker Sys-
teme und Kompetenzentwicklung. In M. St.Pierre, & G. Breuer (Hrsg.), Simulation in der
Medizin (S. 170–180). Berlin: Springer.

Martin, P. & Bateson, P. (2007). Measuring Behavior: An Introductory Guide. Cambridge:

University Press.

Mayring, P. (2014). Qualitative Content Analysis. Theoretical Foundation, Basic Procedures

and Software Solution. Klagenfurt: SSOAR.

Moosbrugger, H. & Kelava, A. (2012). Qualitätsanforderungen an einen psychologischen

Test (Testgütekriterien). In H. Moosbrugger & A. Kelava (Hrsg.), Testtheorie und Frage-
bogenkonstruktion (2. Aufl., S. 7–26). Berlin: Springer. doi:10.1007/978-3-642-20072-4

Patton, M. Q. (2015). Qualitative research & evaluation methods: Integrating theory and
practice (4th ed.). Thousand Oaks, California: SAGE.

Prüfer, P. & Rexroth, M. (2005). Kognitive Interviews. Mannheim: Zentrum für Umfragen,
Methoden und Analysen.

Seite 56/59
Schermelleh-Engel, K. & Werner, C. S. (2012). Methoden der Reliabilitätsbestimmung. In H.
Moosbrugger & A. Kelava (Hrsg.), Testtheorie und Fragebogenkonstruktion (2. Aufl.,
S. 119–141). Berlin: Springer. doi:10.1007/978-3-642-20072-4

Stockmann, R. (Hrsg.). (2007). Handbuch zur Evaluation: eine praktische Handlungsanlei-

tung. Münster: Waxmann Verlag.

Stolzer, A. J., Halford, C. D & Goglia, J. J. (2008). Safety Management Systems in Aviation.
UK: Ashgate.

Wirtz, M. & Caspar, F. (2002). Beurteilerübereinstimmung und Beurteilerreliabilität. Metho-

den zur Bestimmung und Verbesserung der Zuverlässigkeit von Einschätzungen mittels
Kategoriensystemen und Ratingskalen. Göttingen: Hogrefe.

Seite 57/59
6 Abbildungsverzeichnis
Figure 1: Concept of the hexagon of the Safety-II based Tool 25

Figure 2: Hexagon of the core function representing its aspects 28

Figure 3: Process of implementation check and effectiveness assessment 34

Figure 4: Process of development, measurement and assessment of indicators 36

Figure 5: Steps of development of indicators 37

Figure 6: Example of an easily measureable fact and an operationalization of a complex

construct 37

Figure 7: Example of a rating system for behavior (cf. Klampfer et al., 2001, S. 26) 38

Figure 8: Steps of measurement of indicators 39

Figure 9: Absolute and relative frequencies presented in a histogram and a pie chart 46

Figure 10: Procedure of different forms of content analysis 47

Figure 11: Template with the definitions of the operating conditions 52

Figure 12: Template for the identification of the core function and of the operating
conditions 53

Seite 58/59
7 Tabellenverzeichnis
Tabelle 1: Pflichtenheft mit spezifischen Zielen für das Safety-II based Tool 8

Tabelle 2: Pflichtenheft mit spezifischen Rahmenbedingungen für das Safety-II based Tool 9

Tabelle 3: Ableitung von Indikatoren aus den Zielen des Safety-II based Tools 14

Tabelle 4: Evaluationsmethode des Safety-II based Measure Evaluation Tools 18

Tabelle 5: Evaluationsmethode des Effectiveness Assessment Tools 21

Tabelle 6: Leitfaden mit Fragen für Interviews mit Safety Experten 22

Table 1: Application concept of the Safety-II based Measure Evaluation Tool 26

Table 2: Definitions of relevant terms of the Safety-II based Measure Evaluation Tool 27

Table 3: Guiding questions of the Safety-II based Measure Evaluation Tool 31

Table 4: Application concept of the Effectiveness Assessment Tool 34

Table 5: Definitions of relevant terms of the Effectiveness Assessment Tool 35

Table 6: Guiding questions for implementation check and effectiveness assessment 48

Table 7: Template with the definitions of primary and secondary operating conditions 51

Table 8: Templates for the documentation of development, measurement and

assessment of indicators 54

Seite 59/59