Sie sind auf Seite 1von 26

Universitt Bremen

Sicherheit in der Robotik


Axel Lankenau
Sicherheit: Safety vs. Security Sicherheitskritische Systeme Sicherheit in der Robotik - Ein berblick Fallstudie I: Bedrohungsanalyse Fallstudie II: Mode Confusion Zusammenfassung

Universitt Bremen

Rckblick Navigation
Konfigurationsraum Hindernisse im K-Raum Bahnen im K-Raum

Planen

Potentialfeld

Zelldekomposition

8 8 Start 0 10 3 3 5 12 13 2 9 8 6 3 13

17 9 18 16 7 2 23 25 26 Ziel

7 8 4 6 7

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Sicher? Sicher!
si|cher [mhd. sicher, ahd. sichur < lat. securus = sorglos, unbekmmert, sicher, zu: cura, Kur]: I. Adj. 1. ungefhrdet, von keiner Gefahr bedroht; geschtzt: ein -er Arbeitsplatz; sich in -em (Schutz bietendem) Abstand halten; sich vor Beobachtung s. fhlen; das Geld s. aufbewahren; bei diesem Verkehr kann man nicht mehr s. ber die Strae gehen; das -ste/am -sten wre es, wenn du mit der Bahn fhrest; R s. ist s. (lieber zuviel als zuwenig Vorsicht). 2. zuverlssig: ein -er Beweis; das wei ich aus -er Quelle; ein -es (gesichertes) Einkommen haben. 3. auf Grund von bung, Erfahrung keine Fehler machend: ein -es Urteil; einen en Geschmack haben; der Chirurg braucht eine -e Hand; er war sehr s. im gesellschaftlichen Umgang; sie fhrt sehr s. Auto. (c) Duden Deutsches Universalwrterbuch, Dudenverlag (1995)

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Entwurf sicherheitskritischer Systeme


Modell des Systemverhaltens
Technisches Basissystem (EUC)
Gesetze d. Physik, Semantik der Steuerung Gesetze d. Physik Gesetze d. Physik, Semantik des Sicherheitssystems

Technisches BasisSystem system + Umgebung


Aktuatoren Sensoren
4

Ausfhrung in bestimmter Umgebung Sicherheitssystem


Formale Spezifikation
Sicherheitsbedingungen

Sicherheitssystem

Physikalisches Modell: EUC + Umgebung Sicherheitssystem

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Sicherheit in der Robotik - Motivation

Menschen sind zunehmend abhngig von der Maschine


Nutzer, z.B. Fahrer eines Rollstuhl-Roboters Leute in der Umgebung, z.B. Passanten in einem Flughafengebude Fehlfunktionen knnen erheblichen Schaden anrichten bei Mensch und Material Formales Vorgehen beim Entwurf, der Validierung und dem Testen

Rehabilitationsroboter sind sicherheitskritische Systeme


Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Sicherheit in der Robotik


Standards
ANSI/RIA R15.06-1999
Nur relevant fr Industrieroboter (automatically controlled, reprogrammable multipurpose manipulators programmable in three or more axes which may be either fixed in place or mobile for use in industrial automation applications) Bedrohungs-/Risikoanalyse whrend der Entwurfsphase Notaus mit bergang in sicheren Zustand

Unterschiedliche Sicherheitsbegriffe
Technisch/Ingenieurwissenschaftlich
Mechanische, physikalische Beschrnkungen (Nagoya) Automatische Verifikation (CMU) Analyse, Spezifikation, Verifikation (Lancaster, Bremen)

Formal/Mathematisch

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Sichere Robotik - berblick I


Universitt Nagoya (Japan) Evaluierung
Schadensklassen Sicherheitsstrategien
Pre-contact safety strategy Post-contact safety strategy Danger index Material



Definition verschiedener Mae

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Sichere Robotik - berblick II


LUCIE (Universitt Lancaster, UK)
Autonomes Fundamentausheben Bedrohungsanalyse
Kollision (Fahrzeug/Schaufel) Umkippen des Baggers
 

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Sichere Robotik - berblick III


Care-O-Bot (Fraunhofer - IPA) Methoden
Risikoanalyse (?) Befehls-Monitor incl. Hindernisvermeidung Laser-Scanner, Bumper+IR, Magnetsensoren
     

3-Stufen-Sicherheitskonzept

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Fallstudie I: Bedrohungsanalyse
Bedrohung [engl. hazard] Quelle mglichen Schadens, Situation mit mglichem Schadenspotential Ziel: Bedrohungen whrend des Systementwurfs identifizieren Methoden:
FME(C)A etc. (bottom-up)
Auswirkungen von Fehlern in Systemkomponenten systematisch untersuchen Untersucht auch unkritische Fehler, aber keine multiplen Fehler FMECA: Verfeinerung, da Untersuchung gewichtet nach Wichtigkeit der Fehler Entwickelt in den Bell Labs (1961) Deutlich effektiver, da nur kritisches (ungewnschtes) Verhalten modelliert Auch menschliche Fehler modellierbar, ebenso multiple Fehler
          

Fehlerbaumanalyse (top-down)

Vorlesung Kognitive Robotik II - Sichere Robotik

10

Universitt Bremen

Sicherer Rollstuhl Rolland

Vorlesung Kognitive Robotik II - Sichere Robotik

Se de nso r U r-S mg ca eb n un g

hl fe k be tic hr ys Fa r Jo pe

Sicherheitsmodul

Sicheres Kommando

11

Universitt Bremen

Fehlerbaumanalyse (Rolland)
System safety violated

Safety module failure

Collision

Communication failure

Active Collision

Passive Collision

Vorlesung Kognitive Robotik II - Sichere Robotik

12

Universitt Bremen

Spezifikation des Systems


Negation von Bedrohungen an Blttern
Fehlerbaum
1.2.3 Sensorik/Aktuatorik-Modul-Fehler | 1.2.3.1 Geschwindigkeit nicht korrigiert, obwohl Kollision vorhersehbar wre. | ...
 

Sicherheitsbedingung
Geschwindigkeit wird korrigiert, wenn Kollision vorhersehbar.

Sicherheitsmechanismen garantieren Bedingungen Angriffspunkt abhngig von Verknpfung


+ + A B C A + | | B C
13

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Spezifikation der Umwelt


Bltter des Fehlerbaums
Safety requirements of the system violated | 1 Collision (at sensor level) | 1.1 Passive Collision # | 1.2 Active Collision ... | 2 Collision (not at sensor level) # | 3 Downfall (staircase etc.) # ...


Anforderungen an die Umwelt


No active obstacles Maximum horizontal extent of all obstacles at sensor level No staircases, etc.
  

Vorlesung Kognitive Robotik II - Sichere Robotik

14

Universitt Bremen

Verifikationsidee
Ableiten von Sicherheitsbedingungen aus Blttern des Fehlerbaums Einfhrung von Sicherheitsmechanismen Beweisbar korrektes Systemverhalten
  

Artificial Events

SAFETY MECHANISMS
Release/ Block

Relevant Events

FAULT TREE

Artificial Events

ENVIRONMENT+ EUC Reality

Vorlesung Kognitive Robotik II - Sichere Robotik

15

Universitt Bremen

Fallstudie II: Mode Confusion


Technisches Basissystem + Umgebung
Aktuatoren Sensoren Status Befehl

Automatik Mensch Mensch


Befehl Status

Sicherheitssystem

Gemeinsame Steuerung durch Mensch und technisches System


Divergente interne Reprsentation des aktuellen Systemzustands mglich Ergebnis: mode confusion
16
 

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Mode Confusion - Grundlagen


Schlagworte
Mode awareness Cognitive load Undurchschaubarkeit der internen Vorgngen Komplexitt des technischen Systems Inkorrektes Mentales Modell (naive Theorie) des technischen Systems Fehlinterpretation des Interfaces Einschrnkung der Nutzerbefugnis Fehlendes angemessenes Feedback Indirekter Moduswechsel
           

Hauptursachen fr Mode Confusion (Butler et al., 1999)

Fehlerkategorien (Leveson et al., 1997)

Vorlesung Kognitive Robotik II - Sichere Robotik

17

Universitt Bremen

Mode Confusion in der Luftfahrt


Mulhouse-Habsheim, Air France A320, 26.06.1988
The aircraft crashed into a wood while performing a low pass at an airshow. Failure of the thrust computers to apply go-around thrust when the Captain repeatedly pressed the TO/GA button. Contributing to the accident was a design flaw in the aircraft, which prevented power from being applied (with the auto-throttle armed) even by manual movement of the thrust levers. Three killed.


Bangalore, Indian Airlines A320, 14.02.1990


Controlled flight into terrain during approach. Aircraft hit about 400 meters short of the runway after the crew allowed the airspeed to deteriorate to the point of a stall. Pilot error due to mode confusion. 92 killed.

Strasbourg, Air Inter A320, 20.01.1992


Whilst on approach into Strasbourg the aircraft impacted the side of a mountain. The cause of the crash was found to be a faulty design in the mode selector switch which resulted in an excessive rate of descent. The crew inadvertently selected 3,300fpm descent rate on approach instead of 3.3 degree flight path angle. 87 killed.

Vorlesung Kognitive Robotik II - Sichere Robotik

18

Universitt Bremen

Mode Confusion Potential Beispiel I

Vorlesung Kognitive Robotik II - Sichere Robotik

19

Universitt Bremen

Mode Confusion Potential Beispiel II


Divergenz zwischen mentalem Modell und Automatik Cordless phone rings in hand User pushes receiver button Speaks Cordless phone rings in cradle User lifts the handset Pushes receiver button Grmmpf!
Vorlesung Kognitive Robotik II - Sichere Robotik 20


Universitt Bremen

Model-Checking auf Mode Confusion


Untersuchung bisher primr im Luft- und Raumfahrtumfeld Automatik kann als endlicher Automat modelliert werden
receiver button
 

Phone in hand, no line


handset hung up incoming call handset picked up

Phone in hand, ringing

Phone in hand, line established

receiver button handset picked up handset picked up

Phone in cradle, no line


incoming call

Phone in cradle, ringing

Mentales Modell (Naive Theorie ber Systemverhalten) ebenso Suche nach Mode Confusion Potential mit Model-Checking Tools
21

Vorlesung Kognitive Robotik II - Sichere Robotik

Universitt Bremen

Mode Confusion bei Reha-Robotern


Mensch-Maschine Schnittstelle Shared-Control

Status Equipment under control + Environment Command Actuators Sensors

Human Operator

Protection System

Anpassbarkeit an Bedrfnisse einzelner Nutzer Vielzahl von Modi


Nutzung verschiedener Sensoren/Aktuatoren und Schnittstellen Mehre Stufen der Untersttzung
! !

Beispiel: Kooperatives Ausweichen von Rolland


Vorlesung Kognitive Robotik II - Sichere Robotik 22

Universitt Bremen

Kooperatives Ausweichen

hitec, 3sat (2000)

Vorlesung Kognitive Robotik II - Sichere Robotik

23

Universitt Bremen

Analysis I - Modellierung
Spezifikation beider Modelle in CSP (Hoare, 1985)
HAND_U = hand_u -> read_tm?v_t.r_t -> if (v_t == 0) then HAND_A = hand_a -> read_tm?v_t.r_t -> handStop -> STOP_U if (v_t == 0) then else A handStop -> STOP_A read_u_free?free -> U U else if (free == true) then T S read_a_free?free -> HAND_U if (free == true) then O E else frameTick -> HAND_A handAuto -> AUTO_U M R else A writeOriginalRadius!r_t -> T readCurrentOrientation?co -> I writeTargetOrientation!co -> handAuto -> O AUTO_A N
"

Vorlesung Kognitive Robotik II - Sichere Robotik

24

Universitt Bremen

Analyse II - Prfung auf Divergenz

Model Checking mit FDR2

Vorlesung Kognitive Robotik II - Sichere Robotik

25

Universitt Bremen

Zusammenfassung
(Service-)Roboter sind sicherheitskritische Systeme Unterschiedliche Sicherheitsbegriffe Formale Methoden in der Robotik
Bedrohungsanalyse Mode Confusion Problematik in Shared-Control Systemen
$ $ # # #

Vorlesung Kognitive Robotik II - Sichere Robotik

26