Universitt Bremen

Sicherheit in der Robotik

Axel Lankenau
Sicherheit: Safety vs. Security Sicherheitskritische Systeme Sicherheit in der Robotik - Ein berblick Fallstudie I: Bedrohungsanalyse Fallstudie II: Mode Confusion Zusammenfassung

Universitt Bremen

Rckblick Navigation
Konfigurationsraum Hindernisse im K-Raum Bahnen im K-Raum

Planen

Potentialfeld

Zelldekomposition

8 8 Start 0 10 3 3 5 12 13 2 9 8 6 3 13

17 9 18 16 7 2 23 25 26 Ziel

7 8 4 6 7

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Sicher? Sicher!
si|cher [mhd. sicher, ahd. sichur < lat. securus = sorglos, unbekmmert, sicher, zu: cura, Kur]: I. Adj. 1. ungefhrdet, von keiner Gefahr bedroht; geschtzt: ein -er Arbeitsplatz; sich in -em (Schutz bietendem) Abstand halten; sich vor Beobachtung s. fhlen; das Geld s. aufbewahren; bei diesem Verkehr kann man nicht mehr s. ber die Strae gehen; das -ste/am -sten wre es, wenn du mit der Bahn fhrest; R s. ist s. (lieber zuviel als zuwenig Vorsicht). 2. zuverlssig: ein -er Beweis; das wei ich aus -er Quelle; ein -es (gesichertes) Einkommen haben. 3. auf Grund von bung, Erfahrung keine Fehler machend: ein -es Urteil; einen en Geschmack haben; der Chirurg braucht eine -e Hand; er war sehr s. im gesellschaftlichen Umgang; sie fhrt sehr s. Auto. (c) Duden Deutsches Universalwrterbuch, Dudenverlag (1995)

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Entwurf sicherheitskritischer Systeme

Modell des Systemverhaltens
Technisches Basissystem (EUC)
Gesetze d. Physik, Semantik der Steuerung Gesetze d. Physik Gesetze d. Physik, Semantik des Sicherheitssystems

Technisches BasisSystem system + Umgebung

Aktuatoren Sensoren
4

Ausfhrung in bestimmter Umgebung Sicherheitssystem

Formale Spezifikation
Sicherheitsbedingungen

Sicherheitssystem

Physikalisches Modell: EUC + Umgebung Sicherheitssystem

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Sicherheit in der Robotik - Motivation

Menschen sind zunehmend abhngig von der Maschine

Nutzer, z.B. Fahrer eines Rollstuhl-Roboters Leute in der Umgebung, z.B. Passanten in einem Flughafengebude Fehlfunktionen knnen erheblichen Schaden anrichten bei Mensch und Material Formales Vorgehen beim Entwurf, der Validierung und dem Testen

Rehabilitationsroboter sind sicherheitskritische Systeme

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Sicherheit in der Robotik

Standards
ANSI/RIA R15.06-1999
Nur relevant fr Industrieroboter (automatically controlled, reprogrammable multipurpose manipulators programmable in three or more axes which may be either fixed in place or mobile for use in industrial automation applications) Bedrohungs-/Risikoanalyse whrend der Entwurfsphase Notaus mit bergang in sicheren Zustand

Unterschiedliche Sicherheitsbegriffe
Technisch/Ingenieurwissenschaftlich
Mechanische, physikalische Beschrnkungen (Nagoya) Automatische Verifikation (CMU) Analyse, Spezifikation, Verifikation (Lancaster, Bremen)

Formal/Mathematisch

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Sichere Robotik - berblick I

Universitt Nagoya (Japan) Evaluierung
Schadensklassen Sicherheitsstrategien
Pre-contact safety strategy Post-contact safety strategy Danger index Material

  

Definition verschiedener Mae

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Sichere Robotik - berblick II

LUCIE (Universitt Lancaster, UK)
Autonomes Fundamentausheben Bedrohungsanalyse
Kollision (Fahrzeug/Schaufel) Umkippen des Baggers
  

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Sichere Robotik - berblick III

Care-O-Bot (Fraunhofer - IPA) Methoden
Risikoanalyse (?) Befehls-Monitor incl. Hindernisvermeidung Laser-Scanner, Bumper+IR, Magnetsensoren
     

3-Stufen-Sicherheitskonzept

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Fallstudie I: Bedrohungsanalyse
Bedrohung [engl. hazard] Quelle mglichen Schadens, Situation mit mglichem Schadenspotential Ziel: Bedrohungen whrend des Systementwurfs identifizieren Methoden:
FME(C)A etc. (bottom-up)
Auswirkungen von Fehlern in Systemkomponenten systematisch untersuchen Untersucht auch unkritische Fehler, aber keine multiplen Fehler FMECA: Verfeinerung, da Untersuchung gewichtet nach Wichtigkeit der Fehler Entwickelt in den Bell Labs (1961) Deutlich effektiver, da nur kritisches (ungewnschtes) Verhalten modelliert Auch menschliche Fehler modellierbar, ebenso multiple Fehler
          

Fehlerbaumanalyse (top-down)

Vorlesung Kognitive Robotik II - Sichere Robotik

10

Universitt Bremen

Sicherer Rollstuhl Rolland

Vorlesung Kognitive Robotik II - Sichere Robotik

Se de nso r U r-S mg ca eb n un g

hl fe k be tic hr ys Fa r Jo pe

Sicherheitsmodul

Sicheres Kommando

11

Universitt Bremen

Fehlerbaumanalyse (Rolland)
System safety violated

Safety module failure

Collision

Communication failure

Active Collision

Passive Collision

Vorlesung Kognitive Robotik II - Sichere Robotik

12

Universitt Bremen

Spezifikation des Systems

Negation von Bedrohungen an Blttern
Fehlerbaum
1.2.3 Sensorik/Aktuatorik-Modul-Fehler | 1.2.3.1 Geschwindigkeit nicht korrigiert, obwohl Kollision vorhersehbar wre. | ...
 

Sicherheitsbedingung
Geschwindigkeit wird korrigiert, wenn Kollision vorhersehbar.

Sicherheitsmechanismen garantieren Bedingungen Angriffspunkt abhngig von Verknpfung

+ + A B C A + | | B C
13

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Spezifikation der Umwelt

Bltter des Fehlerbaums
Safety requirements of the system violated | 1 Collision (at sensor level) | 1.1 Passive Collision # | 1.2 Active Collision ... | 2 Collision (not at sensor level) # | 3 Downfall (staircase etc.) # ...


Anforderungen an die Umwelt

No active obstacles Maximum horizontal extent of all obstacles at sensor level No staircases, etc.
  

Vorlesung Kognitive Robotik II - Sichere Robotik

14

Universitt Bremen

Verifikationsidee
Ableiten von Sicherheitsbedingungen aus Blttern des Fehlerbaums Einfhrung von Sicherheitsmechanismen Beweisbar korrektes Systemverhalten
  

Artificial Events

SAFETY MECHANISMS
Release/ Block

Relevant Events

FAULT TREE

Artificial Events

ENVIRONMENT+ EUC Reality

Vorlesung Kognitive Robotik II - Sichere Robotik

15

Universitt Bremen

Fallstudie II: Mode Confusion

Technisches Basissystem + Umgebung
Aktuatoren Sensoren Status Befehl

Automatik Mensch Mensch

Befehl Status

Sicherheitssystem

Gemeinsame Steuerung durch Mensch und technisches System

Divergente interne Reprsentation des aktuellen Systemzustands mglich Ergebnis: mode confusion
16
 

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Mode Confusion - Grundlagen

Schlagworte
Mode awareness Cognitive load Undurchschaubarkeit der internen Vorgngen Komplexitt des technischen Systems Inkorrektes Mentales Modell (naive Theorie) des technischen Systems Fehlinterpretation des Interfaces Einschrnkung der Nutzerbefugnis Fehlendes angemessenes Feedback Indirekter Moduswechsel
           

Hauptursachen fr Mode Confusion (Butler et al., 1999)

Fehlerkategorien (Leveson et al., 1997)

Vorlesung Kognitive Robotik II - Sichere Robotik

17

Universitt Bremen

Mode Confusion in der Luftfahrt

Mulhouse-Habsheim, Air France A320, 26.06.1988
The aircraft crashed into a wood while performing a low pass at an airshow. Failure of the thrust computers to apply go-around thrust when the Captain repeatedly pressed the TO/GA button. Contributing to the accident was a design flaw in the aircraft, which prevented power from being applied (with the auto-throttle armed) even by manual movement of the thrust levers. Three killed.


Bangalore, Indian Airlines A320, 14.02.1990

Controlled flight into terrain during approach. Aircraft hit about 400 meters short of the runway after the crew allowed the airspeed to deteriorate to the point of a stall. Pilot error due to mode confusion. 92 killed.

Strasbourg, Air Inter A320, 20.01.1992

Whilst on approach into Strasbourg the aircraft impacted the side of a mountain. The cause of the crash was found to be a faulty design in the mode selector switch which resulted in an excessive rate of descent. The crew inadvertently selected 3,300fpm descent rate on approach instead of 3.3 degree flight path angle. 87 killed.

Vorlesung Kognitive Robotik II - Sichere Robotik

18

Universitt Bremen

Mode Confusion Potential Beispiel I

Vorlesung Kognitive Robotik II - Sichere Robotik

19

Universitt Bremen

Mode Confusion Potential Beispiel II

Divergenz zwischen mentalem Modell und Automatik Cordless phone rings in hand User pushes receiver button Speaks Cordless phone rings in cradle User lifts the handset Pushes receiver button Grmmpf!
Vorlesung Kognitive Robotik II - Sichere Robotik 20


Universitt Bremen

Model-Checking auf Mode Confusion

Untersuchung bisher primr im Luft- und Raumfahrtumfeld Automatik kann als endlicher Automat modelliert werden
receiver button
 

Phone in hand, no line

handset hung up incoming call handset picked up

Phone in hand, ringing

Phone in hand, line established

receiver button handset picked up handset picked up

Phone in cradle, no line

incoming call

Phone in cradle, ringing

Mentales Modell (Naive Theorie ber Systemverhalten) ebenso Suche nach Mode Confusion Potential mit Model-Checking Tools
21

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Mode Confusion bei Reha-Robotern

Mensch-Maschine Schnittstelle Shared-Control

Status Equipment under control + Environment Command Actuators Sensors

Human Operator

Protection System

Anpassbarkeit an Bedrfnisse einzelner Nutzer Vielzahl von Modi

Nutzung verschiedener Sensoren/Aktuatoren und Schnittstellen Mehre Stufen der Untersttzung
! !

Beispiel: Kooperatives Ausweichen von Rolland

Vorlesung Kognitive Robotik II - Sichere Robotik 22

Universitt Bremen

Kooperatives Ausweichen

hitec, 3sat (2000)

Vorlesung Kognitive Robotik II - Sichere Robotik

23

Universitt Bremen

Analysis I - Modellierung
Spezifikation beider Modelle in CSP (Hoare, 1985)
HAND_U = hand_u -> read_tm?v_t.r_t -> if (v_t == 0) then HAND_A = hand_a -> read_tm?v_t.r_t -> handStop -> STOP_U if (v_t == 0) then else A handStop -> STOP_A read_u_free?free -> U U else if (free == true) then T S read_a_free?free -> HAND_U if (free == true) then O E else frameTick -> HAND_A handAuto -> AUTO_U M R else A writeOriginalRadius!r_t -> T readCurrentOrientation?co -> I writeTargetOrientation!co -> handAuto -> O AUTO_A N
"

Vorlesung Kognitive Robotik II - Sichere Robotik

24

Universitt Bremen

Analyse II - Prfung auf Divergenz

Model Checking mit FDR2

Vorlesung Kognitive Robotik II - Sichere Robotik

25

Universitt Bremen

Zusammenfassung
(Service-)Roboter sind sicherheitskritische Systeme Unterschiedliche Sicherheitsbegriffe Formale Methoden in der Robotik
Bedrohungsanalyse Mode Confusion Problematik in Shared-Control Systemen
$ $ # # #

Vorlesung Kognitive Robotik II - Sichere Robotik

26