Heidi Weber, Américo Mateus und Antonio Cruz Rodriguez

Ins Gesicht geschrieben –

Emotionen erkennen und
bewerten

1. Abstract

Dieser Beitrag beschäftigt sich hauptsächlich mit der automatisierten

Erkennung von Emotionen in Fotografien. Diese Technologie wurde
eingesetzt im Rahmen einer Voruntersuchung für ein Forschungsvor-
haben im Kontext Emotion/Stimmung in Design Thinking. Ziel der
Untersuchung war es, herauszufinden ob die angestrebte Suche nach
Emotionen innerhalb der Fragestellung wie geplant sinnvoll ist und ob
die automatisierte Emotionserkennung mit Microsoft Cognitive Services
verwertbare Ergebnisse liefert.

Diese Voruntersuchung lieferte wichtige Erkenntnisse, zeigte aber auch,

dass das geplante Vorhaben so nicht sinnvoll für die Bearbeitung der
Forschungsfrage einsetzbar ist.

Ziel dieses Artikels ist nicht nur, das beschriebene Forschungsprojekt zu

erläutern, sondern er soll auch aufzeigen, welche Punkte bei so einem
auf den ersten Blick einfachen Projekt zu beachten sind und wie vielfältig
die Fachgebiete sein können, mit denen man sich dabei beschäftigen
muss.

2. Die Fragestellungen

Design Thinking ist eine Methode zur Entwicklung von Innovationen

und zur Lösung von komplexen wirtschaftlichen und gesellschaftlichen
Fragestellungen, die in den letzten Jahren auch im deutschsprachigen
Raum mehr und mehr Erfolg hat und mit großem Erfolg eingesetzt wird
(Alvares de Souza Soares 2016; Schmiedgen u.a. 2015, S. 100).
Aber die Methode ist längst nicht perfekt und benötigt selbst Innovati-
on. Sie wurde sogar schon zum fehlgeschlagenen Experiment deklariert,
allerdings von einem Autor, der eine Methode propagiert, die eine
Weiterentwicklung von Design Thinking darstellt (Nussbaum 2011).

108 Ins Gesicht geschrieben – Emotionen erkennen und bewerten

Es ist die Verpflichtung der Forscher in diesem Gebiet – wie in jedem
Forschungsbereich - die eingesetzten Methoden und Denkweisen in
Frage zu stellen und nach Erneuerung und Optimierung zu suchen (Mei-
nel; von Thienen 2016, S. 314).

Aber es entsteht der Eindruck, dass viele Forschungsprojekte im Be-

reich Design Thinking nach optimierten, einfacher einzubindenden und
schnelleren Prozessen suchen, aber die beteiligten Personen selbst
weitgehend außer Betracht lassen (Paula; Cormican 2016, S. 62). Es
ist an der Zeit, „die untrennbar menschenzentrierte Natur von Design
Thinking“ (Brown 2009, S. 115) auf Design Thinking selbst anzuwenden.
Die Forschungsfrage des eigentlichen Forschungsprojektes untersucht
Geisteshaltungen, Emotionen und Stimmungen der Design Thinking
Teammitglieder und sucht nach Möglichkeiten mit diesen zu arbeiten.
Dem Forschungsvorhaben liegt folgende Hypothese und Fragestellung
zugrunde (Weber; Cruz Rodrigues; Mateus 2016, S. 66): Jede Phase in
einem durch Design Thinking vorangetriebenen Innovationsprozess
erfordert eine bestimmte Geisteshaltung (mindset). Wie kann diese im
Prozess erkannt, erhalten und moduliert werden?

Vor der hier vorgestellten Voruntersuchung wurde davon ausgegangen,

dass die Geisteshaltung vor allem durch Emotion geprägt wird. Im Fol-
genden wird noch gezeigt werden, wieso diese Annahme nicht korrekt
ist und wie sie weiterentwickelt wurde.

Für die Voruntersuchung war aber Emotion die relevante Größe. Im

Rahmen einer Lehrveranstaltung über Design Thinking, bei welcher der
Design Thinking Ablauf exemplarisch durchgespielt wurde, sollten die
vorherrschenden Emotionen ermittelt und ihr Bezug zur aktuellen Phase
evaluiert werden.

Für diese Aufgabe bedurfte es wissenschaftlich gesicherter Methoden

zur Emotionserkennung und eine Technologie, welche die Analyse von
großen Bildmengen ermöglicht. Die Voruntersuchung setzte hierzu
Microsoft Cognitive Services („Microsoft Cognitive Services - Emotion
API“ 2016) ein; ein Service der Clouddienstplattform Microsoft Azure,
die zur Emotionserkennung eine Weiterentwicklung das Facial Action
Coding System (FACS) nach Friesen und Ekman ( 2003) einsetzt.

3. Emotionen erkennen

3.1 Visuelle Identifikation von Emotionen

Menschen drücken Emotionen über ihre Gesichtszüge aus. Diese Mus-
kelbewegungen sind universell – sowohl kulturell als auch alters- oder
geschlechtsbedingt. Schon Charles Darwin schrieb 1872 „facial expres-
sions of emotion are universal, not learned differently in each culture“
(„The Expression of the Emotions in Man and Animals“ 2016). In der
zweiten Hälfte des zwanzigsten Jahrhunderts wurde die Mimik der Emo-
tionen systematisch wissenschaftlich untersucht und durch Carl-Herman

109 Heidi Weber, Américo Mateus und Antonio Cruz Rodriguez

 Hjortsjö in einem Schema geordnet (Calistra 2015). Er identifizierte 23
Muskeln und Muskelgruppen welche für die Emotionsdarstellung der
Mimik relevant sind (siehe Abb. 1).

Abb. 1
Schematische Darstel-
lung der Mimikmus-
kulatur

Abb. 2
Beispieldarstellung
der Gruppe H für die
Emotionserkennung

110 Ins Gesicht geschrieben – Emotionen erkennen und bewerten

Eine der schillerndsten Personen im Kontext der Emotionserkennung
ist Paul Ekman, auf dessen Profil die Krimiserie „Lie to me“ (http://www.
imdb.com/title/tt1235099) basiert. Ekman entwickelte mit Wallace Frie-
sen auf der Basis von Hjortsjö das Facial Action Coding System (FACS),
das mimische Ausdrücke systematisch kodiert. In der Weiterentwicklung
wurde das EMFACS (Emotional Facial Action Coding System) erarbeitet,
das die Mimik der Emotionen so systematisiert, dass sie kulturübergrei-
fend Gültigkeit hat und auch für automatisierte Systeme einsetzbar ist
(Ekman; Friesen 1976). Allerdings wurden die Emotionen hierfür auf
sechs – Freude, Traurigkeit, Überraschung, Angst, Ärger und Ekel - re-
duziert, da die Autoren nur diese für ausreichend identifizierbar klassifi-
zierten (Friesen; Ekman 1975, S. 22). Später wurde noch Verachtung als
siebte identifizierbare Emotion zugefügt (Ekman 2007, S. 180). Es gab
parallel noch weitere Entwicklungen in diesem Bereich, deren Beschrei-
bung aber den Rahmen dieses Beitrags sprengen würde.

Interessant ist hierbei die strenge Vorgabe für die Emotionsforschung,

die für die Entwicklung von FACS genutzt wurde. Die Forschenden
mussten Personen finden, von denen sie wussten, dass sie die entspre-
chende Emotion gerade hatten, und erstellten von diesen Fotografien
oder Filmsequenzen. Diese wurden dann Beobachtenden vorgeführt,
welche die Emotion identifizierten mussten. Nur wenn bekannte und
identifizierte Emotion übereinstimmten, war die geforderte Genauigkeit
erfüllt (Friesen; Ekman 1975, S. 22). Dies wurde von vielen Emotionsfor-
schern nicht so etabliert. Hjortsjö zum Beispiel bat Personen die gefor-
derte Emotion zu imitieren und erstellte daran dann seine Spezifikati-
onen (Hjortsjö 1970, S. 67). Künstlich generierte Mimiken liefern keine
exakten, verbindlichen Ergebnisse und sind für zuverlässige Emotionser-
kennung nur beschränkt einsetzbar (Yu; Zhang 2015, S. 1).

3.2 Automatisierte Emotionserkennung

Der nächste große Schritt ist nun allerdings die automatisierte Erken-
nung. Bewertungen durch Fachpersonen sind sehr zeitintensiv und
erfordern aufwändig ausgebildetes Personal (Cohn u.a. 1999, S. 36).
Dies ist für größere Forschungsbestrebungen nur selten sinnvoll und
finanzierbar. Die ersten Bestrebungen lieferten allerdings nur Ergebnis-
se, wenn die vorgegebenen Aufnahmen und aufgezeichneten Personen
sehr strengen Vorgaben folgten (Größe, Bildausschnitt, Kopfneigung,
Gesichtsform, etc.). Selbst dann stellten sich leicht fehlerhafte Ergeb-
nisse ein (Cohn u.a. 1999, S. 36). Die Identifikation von bestimmten
Gesichtsselementen wurde anfänglich manuell erstellt und dann vom
Computer mittels motion tracking weiterverfolgt und analysiert (siehe
Abb. 3).

111 Heidi Weber, Américo Mateus und Antonio Cruz Rodriguez

Abb. 3
Halbautomatisierte
Emotionserkennung.
Zuerst werden rele-
vante Elemente durch
eine Person identifiziert.
Mittels motion tracking
werden dann die Modi-
fikationen erkannt

Weitere Entwicklungen identifizierten Mimiken durch komplexe Filterun-

gen und Mustererkennungsprozesse (Beispiel: siehe Abb. 4).

Abb. 4
Extraktion von Bild-
information mit sog.
Gabor Wavelets

Der gesamte Prozess der automatisierten Erkennung von Emotionen

ist also höchst komplex, da er in der Lage sein soll, unabhängig von
Alter, Geschlecht, Ethnie, Bildausschnitt und vielen weiteren bildbe-
einflussenden Faktoren, zuverlässige Emotionswerte zu identifizieren.
Diese Komplexität ist nicht von Systemen bewältigbar, die konventionell
programmiert wurden. Die Lösung bieten moderne Systeme, die im
Ablauf ständig Informationen sammeln und damit ihre Ergebnisse selbst
optimieren. Die Systeme simulieren die Lernmethoden des menschli-
chen Gehirns und bestehen aus vielschichtigen Netzen hochspeziali-
sierter Algorithmen. Sie werden dementsprechend künstliche neurale
Netze genannt. Moderne, sehr vielschichtige Systeme bezeichnet man
als deep learning Systeme (Schmidhuber 2015).

4. Microsoft cognitive Services

Für das Forschungsprojekt wurde die Emotion API der Cognitive Servi-
ces in Microsoft Azure eingesetzt (siehe https://azure.microsoft.com/de-
de/services/cognitive-services/emotion/). Dieses System ermöglichte es,
tausende Bilder automatisiert analysieren zu lassen und die Ergebnisse
in eine eigene Datenbank zu überführen.

112 Ins Gesicht geschrieben – Emotionen erkennen und bewerten

 Microsoft stellt in Azure einen cloudbasierten Service zur Verfügung,
der derzeit (2016) in dem erforderlichen Umfang kostenfrei nutzbar ist.
Ein Set von Softwaredevelopmentkits (SDK) ermöglicht den Zugriff auf
unterschiedliche Plattformen und mit diversen Programmiersprachen
(„Microsoft Cognitive Services - SDKs & samples“ o. J.).

5. Die Voruntersuchung
Wie oben (siehe Kapitel 2) beschrieben, dient die Voruntersuchung
dazu, herauszufinden, ob mit der gewählten Methode voraussichtlich
sinnvolle Ergebnisse ermittelt werden können, also die Emotionen der
Probanden und Probandinnen messbar sind.

Die Untersuchung hatte drei Elemente:

1. Photographische Aufnahme der Testpersonen während der
gesamten Session
2. Schriftliche Befragung: Die Testpersonen sollten nach jeder Pha-
se des Prozesses die stärkste Emotion in einem Formular festhalten
(siehe unten)
3. Observation des Ablaufes durch die Teamleiter (A. Mateus und H.
Weber) incl. kurzer persönlicher Gespräche mit den Testpersonen.
Außerdem konnten die Testpersonen in einem Feedback-Fragebo-
gen ihre Meinung schriftlich äußern.

Das Projekt folgte der ideas(r)evolution Methodologie mit 6 Phasen

(siehe Abb. 7)

Abb. 7
Das Design Thinking
Model nach ideas(r)
evolution (Mateus
2016)

Die Studierendengruppe bestand aus 13 Personen mit unterschiedli-

chem kulturellen Hintergrund. Da dies ein Auslandssemester war, kamen
5 Studierende von anderen Hochschulen (Australien, Niederlande,
Deutschland, Tschechische Republik). Alle waren im 4. bis 6. Semester in
einem Design Bachelorstudiengang.

113 Heidi Weber, Américo Mateus und Antonio Cruz Rodriguez

 Der Service erkennt automatisch Gesichter in einer Bilddatei und iden-
tifiziert darin Mimiken, die auf bestimmte Emotionen hinweisen. Die er-
kannten Emotionen werden dann gewichtet ausgegeben (siehe Abb. 5).

Abb. 5
Demo Beispiel für
die Ergebnisse der
Emotion API

Die genauen Details der endgültigen Implementation werden von Mi-

crosoft nicht veröffentlicht. Allerdings gibt es ein detailliertes Research-
paper, das den geplanten Prozess genau erläutert (Yu; Zhang 2015).
Unveröffentlicht ist, ob diesem Vorschlag genau Folge geleistet wurde.
Im vorliegenden Artikel hilft das Konzept aber, die prinzipielle Herange-
hensweise ein wenig zu illustrieren.

Der Prozess der Emotionserkennung ist mehrstufig. In einem ersten

Schritt müssen Gesichter in den Bilddateien identifiziert werden. Da der
Anspruch besteht, auch Gesichter im Halbprofil, in unterschiedlichen
Positionen und bei schlechten Kontrast- und Schärfebedingungen zu
erkennen, ist allein dafür schon erforderlich, mehrere Methoden einzu-
setzen. Es ist nicht sinnvoll, nur auf eine Variante zurück zu greifen, da
jede Methode ihre Stärken hat und nur in der Kombination ein optimales
Ergebnis erlangt werden kann (Yu; Zhang 2015, S. 2).

Abb. 6
Gesichtserkennung
mit zwei Methoden (rot
und blau)

In einem nächsten Schritt werden die erkannten Gesichter bearbeitet

(Größe, Rotation, Farbinformation), um sie optimal für die Emotions-
erkennung vorzubereiten. Die Klassifizierung der Emotionen erfolgt
in einem Cluster von „Deep Convolutional Neural Networks (CNN)“
– selbstlernenden neuralen Netzen (Yu; Zhang 2015, S. 1). Diese Netze
werden mit einem Set von über 35.000 Bildern, die für die facial expres-
sion recognition challenge 2013 erstellt und manuell klassifiziert wurden
(Goodfellow u.a. 2013), trainiert, also für die Emotionserkennung
vorbereitet. Der Lernprozess geht aber ständig weiter und optimiert die
Ergebnisse.

114 Ins Gesicht geschrieben – Emotionen erkennen und bewerten

 5.1 Photographische Aufnahme
Die Photographien wurden mit drei Spiegelreflexkameras mit Zoom-
objektiv und automatischem Auslöser erstellt. Die Kameras wurden so
positioniert, dass möglichst viele Testpersonen frontal oder im Halbprofil
aufgenommen werden konnten (siehe Abb. 8). Da zwei Gruppen gleich-
zeitig arbeiteten, wurde je eine der Kameras fest einer Gruppe zugeord-
net, die dritte wurde je nach Bedarf zwischen den Gruppen gewechselt
und ihre jeweilige Position protokolliert. Die Zeitfenster der Arbeitspha-
sen wurden ebenfalls protokolliert. Innerhalb der Arbeitsphasen erstellte
jede Kamera ein Bild pro Minute. Alle Bilddateien erhielten eine Benen-
nung, welche die Kameranummer, das aktuelle Datum, die Uhrzeit und
eine laufende Nummer enthielt, um später jedes Bild genau identifizie-
ren und zuordnen zu können. Beispiel: Kam2_160510_1113_0251.jpg.
Bei einer der Kameras war die Systemuhr nicht auf Sommerzeit einge-
stellt. Alle Dateien dieser Kamera mussten später aufwändig umbenannt
werden, um die Daten mit denen der anderen Kameras angleichen zu
können.

Abb. 8
Positionierung der
Kameras bei den
Arbeitsgruppen

5.2 Erhebungsbogen
Zu Beginn des Projektes wurden den Testpersonen ein Erhebungsbogen
mit der Limbic Map nach Häusel (Häusel 2014, S. 110–113) ausgehän-
digt, mit der Bitte nach jeder Phase des Design Thinking Prozesses die
vorherrschend gefühlte Emotion mit einem nummerierten Aufkleber zu
markieren (siehe Abb. 9).

Die Probanden wurden am Ende jeder Phase nochmals daran erinnert,

die Aufkleber anzubringen.

Das Ergebnis dieses Prozesses waren über 2000 Fotografien und 11

verwertbar ausgefüllte Formulare, die im Folgenden ausgewertet und
analysiert wurden.

115 Heidi Weber, Américo Mateus und Antonio Cruz Rodriguez

Abb. 9
Der Erhebungsbogen

5.3 Observation des Projektes und der Probandenreaktionen

Im Rahmen dieser formlosen Voruntersuchung wurde keine streng
protokollierte Observation des Projektablaufes durchgeführt, sondern
lediglich mit freien Notizen zu den Beobachtungen gearbeitet, die
sowohl täglich als auch ausführlicher am Projektende diskutiert wurden.
Besonderen Wert wurde auf die Reaktion der Studierenden auf die De-
sign Thinking Methoden gelegt.

Die Studierenden zeigten ein intensives Interesse am Thema und arbei-

teten zumeist sehr konzentriert. Leider führte eine anstehende größere
Prüfung in einer anderen Lehrveranstaltung für einige Ablenkung.
Sowohl die schriftlichen (auf Papier und/oder auch elektronisch anonym
möglich) als auch mündlichen Feedbacks waren durchwegs positiv. Die
Studierenden teilten den Beobachtenden mit, dass sie die Veranstaltung
genossen haben und gute Lernergebnisse mitnehmen konnten. Wie-
derholt wurde angesprochen, dass sie Spaß und Freude im Unterricht
hatten. Ein Student beklagte die störenden Aufnahmegeräusche der
Spiegelreflexkameras. Dieser Eindruck wurde von den Beobachtenden
geteilt.

6. Extraktion der Daten

Für die Extraktion der Emotionen aus den Photographien wurde ein
PHP Programm erstellt, das pro Photographie eine Anfrage an Cognitive
Services stellt und den zurückgeschickten Textstring aufgelöst in eine
MySQL-Datenbank schreibt. Die kostenfreie Version mit der gearbeitet
wurde, lässt außerdem nur 3 Dateien pro Minute zu. Ein entsprechender
Timer stellte sicher, dass alle Bilder in korrekten Zeitabständen bearbei-
tet wurden und so keine Datenlücken entstanden.

116 Ins Gesicht geschrieben – Emotionen erkennen und bewerten

Parser Ein Beispiel für einen solchen Textstring:
Ein Parser ist ein
Computer-programm,
[{„faceRectangle“:{„height“:77,“left“:1300,“top“:349,“width“:77},“scores“:{„anger“:0.4946230
das in der Informatik
für die Zerlegung und
35,“contempt“:0.003738962,“disgust“:0.0105080921,“fear“:0.0107938172,“happiness“:7.5
Umwandlung einer 0795743E‑06,“neutral“:0.44200176,“sadness“:0.0129284291,“surprise“:0.0253984053}},{„f
Eingabe in ein für die aceRectangle“:{„height“:75,“left“:1050,“top“:430,“width“:75},“scores“:{„anger“:0.000271838
Weiterverarbeitung 042,“contempt“:0.004863225,“disgust“:4.70162558E‑05,“fear“:3.45343E‑05,“happiness“:0.
geeigneteres Format
0148457335,“neutral“:0.9770476,“sadness“:0.00252301758,“surprise“:0.0003670246}}]
zuständig ist.

Es werden also in dem Bild Rechtecke deklariert, in denen ein Gesicht

erkannt wurde. Diesem Rechteck werden dann Werte für die Emotionen
zwischen 0 und 1 zugewiesen. Die Syntax ist klar strukturiert, sodass
leicht ein Parser für die Extraktion der Daten erstellt werden konnte.

In der Datenbank wurden mehrere Tabellen erzeugt, um möglichst

große Flexibilität bei der Auswertung der Daten zu erhalten und um die
Möglichkeit zu haben, die Datenbank auch für weitere Untersuchungen
zu nutzen. Hierzu wurde zum Beispiel eine Tabelle für das Projekt und für
die Kameras (Observer) angelegt, in die man auch weitere Informatio-
nen speichern kann, wie Bemerkungen zum Event oder der Position und
technischen Ausstattung der Kamera. Auch wurden die Emotionen nicht
als unterschiedliche Felder, sondern als separate Tabelle angelegt. So
wäre die Datenbank zum Beispiel auch nutzbar, wenn sich die klassifi-
zierten Emotionen ändern oder erweitern würden (siehe Abb. 10).

Abb. 10
Die Datenbankstruktur
für die Emotionser-
kennung

Für eine Bilddatei ergab dies beispielsweise ein Ergebnis wie in Abb. 11
dargestellt. Das Profil des Studenten am Bildrand wurde nicht als ver-
wertbares Gesicht erkannt. Nur die beiden Studentinnen, die sich direkt
der Kamera gegenüber befinden, wurden identifiziert und ihre Mimik
bewertet.

Links Rechts
anger: 0,00004 0,00592
contempt: 0,00203 0,00574
disgust: 0,00020 0,00013
fear: 0,02548 0,00000
happiness: 0,98505 0,00184

Abb. 11 neutral 0,01258 0,98576

Beispielfoto und sadness 0,00001 0,00049
Ergebnisse aus dem
Untersuchungskontext surprise 0,00009 0,00013

117 Heidi Weber, Américo Mateus und Antonio Cruz Rodriguez

 Im Ergebnis wurden aus dem Prozess 1682 verwertbare Dateien mit
3379 erkennbaren Gesichtern und 27032 gewichteten Emotionen
ermittelt. Aus der Datenbank können die Daten dann wieder exportiert
werden, um in z.B. Excel oder SPSS Analyseprozesse durchzuführen.

Für die Erhebung mit der Limbic-Map wäre eine numerische Auswer-
tung über ein Koordinatensystem oder Vermessung der Abstände zu
relevanten Punkten möglich. Für diese Voruntersuchung wurde aber
darauf verzichtet und nur eine visuelle Bewertung durchgeführt. Um die-
se sinnvoll möglich zu machen, wurden aber alle erfassten Ergebnisse in
InDesign nachgezeichnet. So ist es möglich, Ergebnisse übereinander zu
legen oder nach Bereichen zu gruppieren (siehe Kapitel 7).

7. Analyse der Daten

7.1 Photographische Aufnahme

Für die Analyse der Daten wurde für diese Voruntersuchung nur Excel
herangezogen und keine tiefere statistische Auswertung mit SPSS ge-
macht, da nur herausgefunden werden sollte, ob diese Form der Unter-
suchung prinzipiell sinnvoll für das Forschungsvorhaben ist. Die Daten
wurden auf unterschiedliche Weise aus der Datenbank exportiert (z.B.
alle Werte, nur die maximalen Werte des jeweiligen Frames oder grup-
piert nach Zeitfenstern). Die meiste Arbeit wurde aber in Excel mithilfe
von Pivot-Analysen und vorwiegend visueller Beurteilung vollzogen.
Es wurden verschiedene Auswertungen erstellt, die aber alle ähnliche
Ergebnisse zeigten wie das folgende einfache Beispiel:
Alle Werte wurden zur Auswertung herangezogen. Die Werte jeder
Emotionskategorie wurden jeweils in 10 Minuten–Clustern zusammen-
gefasst und das arithmetische Mittel gebildet. Die Ergebnisse wurden
als Liniendiagramm dargestellt. Es zeigte sich sehr schnell, dass der
Emotionswert „neutral“ stark vorherrscht (siehe Abb. 12) und eine visuel-
le Beurteilung der weiteren Ergebnisse kaum zulässt.

Abb. 12
Darstellung der
Ergebnisse inklusive
„neutral-Werte“

Zur besseren Visualisierung wurde deshalb ein Diagramm ohne die Wer-
te für „neutral“ erzeugt und zusätzlich die einzelnen Phasen des Design
Thinking Prozesses farblich codiert (siehe Abb. 13). Lediglich die Werte
für „happiness“(grün) und „sadness“(blau) zeigten signifikante Werte.

118 Ins Gesicht geschrieben – Emotionen erkennen und bewerten

Abb. 13
Darstellung der Ergeb-
nisse ohne „neutral“
und mit farblicher Co-
dierung der Zeitfenster

Das Ergebnis zeigt keine verwertbaren Muster oder Schwerpunkte. Über

die Tage und Phasen ist wenig von Relevanz zu bemerken. Lediglich der
letzte Tag zeigt einen gewissen Ablauf, der mit einer ruhigen Einstiegs-
phase beginnt, dann erhöhte Emotionswerte im Laufe des Tages zeigt
und gegen Ende wieder abflacht. Eine andere Analyse, welche die An-
zahl der erhöhten nicht neutralen Emotionswerte (über 0.25) ermittelte,
zeigte etwas deutlicher, dass es immer wieder Phasen erhöhter Agitati-
on gab, aber auch hier nicht wirklich signifikante Werte. Die Darstellung
(Abb. 14) zeigt die Anzahl signifikanter nicht-neutraler Emotionswerte
(blau) und den Prozentsatz signifikanter nicht-neutraler Emotionswerte
(orange), die unterschiedliche Interpretationen zulassen, aber hier ohne
ein minutengenaues Verlaufsprotokoll der Ereignisse keine relevanten
Ergebnisse liefern. Der Unterschied zwischen Anzahl und Prozentsatz er-
gibt sich dadurch, dass in dem 10 Minuten-Block eine unterschiedliche
Anzahl an auswertbaren Gesichtern erfasst wurde, je nachdem wie viele
Personen gerade frontal oder im Halbprofil zur Kamera saßen.

Abb. 14
Darstellung signifi-
kanter, nicht-neurtaler
Emotionswerte, Anzahl
und Prozentwert im
Vergl. zu Neutral

7.2 Erhebungsbogen
Die Auswertung der Erhebungsbögen erfolgte auf drei Weisen. Zum
einen wurden die ermittelten Daten im Lauf des Prozesses einer Gruppe
(emotional journey) begutachtet. Danach wurden die Daten pro Arbeits-
phase gruppiert und zu guter Letzt wurde über eine Visualisierung, die
an die Heatmap-Darstellung (Schumacher 2012, S. 119) der Interaktions-
forschung angelehnt ist.

119 Heidi Weber, Américo Mateus und Antonio Cruz Rodriguez

 Der Vergleich des Emotionsverlaufs zeigte sehr unterschiedliche Ergeb-
nisse. Viele Studierende empfanden sehr variable Stimmungen je nach
Aufgabe (siehe Abb. 15). Die Pfade variierten aber stark von Gruppe zu
Gruppe.

Abb. 15
Beispiele für stark
variierende Emotions-
verläufe
Bei einigen Probanden zeigte sich eine klare Konzentration auf einen
Bereich (siehe Abb. 16).

Abb. 16
Beispiele für Emoti-
onsverläufe in einem
engen Bereich der
Limbic Map

Für die weitere Forschung ist ebenfalls relevant, wie sich die Verteilung
über die verschiedenen Arbeitsphasen zeigt. Diese Darstellung zeigt,

Abb. 17
Angegebene Emotio-
nen in den verschiede-
nen Arbeitsphasen

120 Ins Gesicht geschrieben – Emotionen erkennen und bewerten

 dass es in den meisten Phasen eine Tendenz in einen bestimmten
Bereich gab (siehe Abb. 17). Unerwartet war die allgemeine Tendenz
zum Bereich Disziplin/Kontrolle, die weiter unten (Kap. 9) noch diskutiert
wird.

Zum Abschluss wurde noch ein Experiment durchgeführt, um zu sehen,

ob eine Darstellung, die der Heatmap nachempfunden ist, eine Visuali-
sierung ergibt, die bei der Analyse von solchen Erhebungsbögen oder
der Ergebnisdarstellung helfen kann. Dazu wurden alle erfassten Punkte
rot eingefärbt, weich gezeichnet und gemeinsam mit reduzierter Trans-
parenz dargestellt (siehe Abb. 18). Das Ergebnis zeigt, dass der Sektor
Disziplin/Kontrolle und der Bereich um Kreativität besonders oft gewählt
wurde. Interessant ist der Fokus auf den Begriffen Qualität, Funktionalität
und Effizienz. In wie weit solch eine Darstellung valide ist, wird in der
Folge noch zu diskutieren sein.

Abb. 18
Experiment Heatmap
Darstellung

8. Emotion, Stimmung, Gefühl, Motiv

8.1 Emotion
Die vorhergehenden Kapitel zeigen, dass Geisteszustände, die landläu-
fig als „Emotion“ bezeichnet werden, sehr vielfältig und komplex sind
und einer genaueren Definition bedürfen. Schwierig ist dabei allerdings,
dass der Begriff auch im wissenschaftlichen Kontext sehr unterschiedlich
definiert wird. Es fehlt an einer allgemein anerkannten Definition für
Emotion (Izard 2010, S. 269)

„Für Psychiater, Neurologen, Neurobiologen, Neuropharmakologen,

Neuroanatomen, Neurochemiker, Neuroethologen, Neuropsycho-
logen, Allgemeinmediziner, Physiologische Psychologen, Sozialpsy-
chologien, Soziologen, Kognitionswissenschaftler und Geistliche
stehen jeweils andere Aspekt{sik!} der Emotionen im Vordergrund.“
(Wassmann 2002, S. 141)

Paul und Anne Kleinginna sammelten, strukturierten und analysierten

eine Vielzahl von Definitionen und schlagen als Definition vor (eigene
Übersetzung): Emotion ist eine komplexe, durch neurale/hormonale

121 Heidi Weber, Américo Mateus und Antonio Cruz Rodriguez

 Systeme herbeigeführte Abfolge von Interaktionen zwischen subjektiven
und objektiven Faktoren, welche (a) affektive Erfahrungen wie Gefühle
der Erregung, Behagen/Missbehagen verursachen; (b) kognitive Prozes-
se wie emotional relevante Wahrnehmungseindrücke, Bewertungen und
Benennungen generieren; (c) umfassende physiologische Anpassungen
an den verursachten Zustand aktivieren; und (d) zu einem Verhalten
führt, das oft, aber nicht immer, expressiv, zielorientiert und adaptiv ist
(Kleinginna; Kleinginna 1981, S. 273).

Die Definition scheint noch immer sehr komplex. Sie folgt in ihrer
Mehrstufigkeit dem modalen Modell mit Situation, Aufmerksamkeit, Be-
wertung und Reaktion (siehe Abb. 19). Zerteilt man die Definition nach
diesem Ablauf, wird sie verständlicher und nachvollziehbar. „Emotionen
gehen mit Veränderungen des subjektiven Erlebens einher“ (Rother-
mund; Eder 2011, S. 168). Sie motivieren und unterstützen Aktionen,
soziale Interaktionen und sowohl adaptives als auch maladaptives
Verhalten (Izard 2010, S. 368). Somit kann das Aktivieren der richtigen
Emotion Leistungsbereitschaft und Leistungsfähigkeit beim Rezipienten
verbessern (Häusel 2013, S. 28).

Situation Attention Appraisal Response

Abb. 19
Das modale Modell der
Emotion

Von einem biologischen Standpunkt gesehen, sind Emotionen unerläss-

lich für das Überleben einer Spezies. Um dies zu ermöglichen, haben
Emotionen die Aufgabe zu motivieren, aktivieren, evaluieren, regulieren,
vorbereiten und kommunizieren (Häusel 2009, S. 15). Gemäß Antonio
Damasio ist ein Mensch ohne Emotion nicht einmal mehr zum Treffen
einer Entscheidung imstande, deren Folge nicht ganz sicher ist, die
damit also „nach Gefühl“ zu treffen ist (Damasio 2004, S. 165). Dies gilt
insbesondere für die Basis-Emotionen Ärger, Traurigkeit, Überraschung,
Abscheu und Freude, die durch Neurotransmitter erzeugt und unterbe-
wusst im limbischen System des Gehirns verarbeitet werden (Beck; Jo-
seph 2015). Diese Basis-Emotionen haben evolutionäre Wurzeln und
sind nicht nur beim Menschen, sondern auch bei vielen Säugetieren zu
finden. Auch ihr Ausdruck ist nicht kulturell determiniert (wenn auch ihre
Intensität unterschiedlich stark unterdrückt werden kann) und somit für
alle gesunden Menschen weltweit vergleichbar. Das auf dieser Erkennt-
nis entwickelte facial action coding system wurde schon in Kapitel 3
beschrieben (Ekman 2007, S. 1–17).

8.2 Stimmung
Viele Autoren differenzieren zwischen Emotion und Stimmung. Stim-
mungen sind zeitlich ausgedehnt und nicht so intensiv wie Emotionen.
Sie entstehen auf der Basis des Allgemeinzustands der Person und sind
eher diffus. Emotionen hingegen sind eher von kurzer Dauer und auf
etwas ausgerichtet, also objektbezogen (Brandstätter u.a. 2013, S. 130).

122 Ins Gesicht geschrieben – Emotionen erkennen und bewerten

 Emotionen und Stimmungen beeinflussen einander. Freude an etwas
(gezeigt durch ein Lächeln oder Lachen) führt oft zu einer fröhlicheren
Stimmung und umgekehrt ist es leichter, eine Person zum Ärgern zu
bringen, die sich schon in einer schlechten Stimmung befindet (Soussig-
nan 2004, S. 188). Fast jeder kennt das Gefühl, dass die sprichwörtliche
„Fliege an der Wand“ stört, wenn man schlechter Stimmung ist und man
schon wegen einer Kleinigkeit sehr ärgerlich werden kann.

Stimmungen haben einen großen Einfluss auf uns. Forschungen zeigen,

dass positiv gestimmte Personen kreativer sind als schlecht gelaunte
(Langley 2014, S. 15). Andere Studien zeigen, dass Stimmungen be-
einflussen, wie wir Informationen und Probleme bearbeiten. Positiv
gestimmte Personen verlassen sich eher auf ihre bestehenden Kennt-
nisse und nutzen heuristische Herangehensweisen, während schlecht
gelaunte Personen eher genauen Regeln folgen und systematisch
vorgehen (Bless; Schwarz; Wieland 1996, S. 956). Nach Ekman berau-
ben uns Stimmungen der Flexibilität. Wir sind weniger empfänglich für
unsere Umgebung und adaptieren schlechter, wenn wir einer intensiven
Stimmung unterliegen. Zum Beispiel nehmen trauernde Menschen viele
Dinge um sicher herum nicht wahr und können sich über Dinge nicht
freuen, die sie sonst amüsieren würden. Emotionen haben eine ähnliche
Wirkung, die aber nur für einen sehr viel kürzeren Zeitraum auftritt und
damit weniger relevant ist (Ekman 2007, S. 50).

Stimmungen treten nicht nach außen auf. Sie haben keine mimischen
oder gestischen Signale und können allenfalls über die währenddessen
auftretenden Emotionen identifiziert werden (Ekman 2007, S. 50).

8.3 Gefühl
Antonio Damasio definierte das Gefühl als weitere Geistesverfassung.
Damasio zitiert Shake- Gefühle sind mentale Bilder, die aus bewussten Denkprozessen entste-
speares Richard II, um hen und die zur Gänze innerlich sind. Sie werden nicht durch Mimik oder
Emotion und Gefühl zu
Gestik visualisiert. „Die Emotionen treten auf der Bühne des Körpers auf,
illustrieren:
Der Schatten meines
die Gefühle auf der Bühne des Geistes“ (Damasio 2004, S. 38). Gefühle
Kummers? Ha! laß sehn: sind ein mächtiges Instrument des Menschen. Sie können automatisch
Es ist sehr wahr, mein auftretende Emotionen in gewissem Ausmaß lenken und damit steuern,
Gram wohnt innen ganz, wie eine Reaktion genau ausfällt (ebd., S.98).
Und diese äußern Wei-
sen der Betrübnis
Sind Schatten bloß vom
Die Übersetzung des von Damasio benutzten Begriffs „feeling“ mit „Ge-
ungeseh‘nen Gram, fühl“ ist nach Auffassung der Autoren nicht ganz glücklich, da „Gefühl“
Der schweigend in ge- vielfältig geprägt ist. Hans-Georg Häusel zum Beispiel nutzte eine Defi-
quälter Seele schwillt. nition für „Gefühl“, welche weitgehend der der Basis-Emotion entspricht
und wahrscheinlich genauer als „Empfindung“ bezeichnet werden
könnte (Häusel 2009, S. 42–43). Wahrscheinlich wäre die Übersetzung
des Begriffs „feeling“ bei Damasio mit „Befinden“ treffender gewesen.

8.4 Motive, Werte

Motivation ist das bewusste oder unbewusste Streben nach oder Ent-
fernen von Zielen (Heckhausen; Heckhausen 2010, S. 2). Nicht sofort
intuitiv zugänglich ist die Einordnung von Motiven und Werten im

123 Heidi Weber, Américo Mateus und Antonio Cruz Rodriguez

System der Limbic Map, das ja in erster Linie auf Emotionen aufbaut
(Häusel 2009, S. 7). Doch diese Zuordnung ist wissenschaftlich fundiert
(ebd., S.49). Emotionen haben dabei zwei Rollen. Sie indizieren den
Erreichungsgrad des Zieles und sie steuern die erforderlichen Handlun-
gen (Heckhausen; Heckhausen 2010, S. 59). Motive werden in explizite
und implizite Motive unterschieden. Explizite Motive sind bewusst und
kommunizierbar. Sie entstehen in der Regel aus Entscheidungen und
steuern auf kognitive Ziele. Implizite Motive entwickeln sich schon in
frühen Lebensphasen und sind nicht bewusst identifizierbar. Sie ent-
sprechen affektiven Bedürfnisse und führen zu stabilen Präferenzen, die
emotionsgebunden und effektvoll sind (Brandstätter u.a. 2013, S. 68).

„Emotionen können als ein rudimentäres Motivsystem bezeichnet wer-

den, das der internen und externen Kommunikation von motivationalen
Sequenzen dient.“ (Heckhausen; Heckhausen 2010, S. 61) Sie geben
eine Orientierung, die es ermöglicht, aus einer Vielzahl möglicher
Handlungen die auszuwählen, die dem Ziel entgegenkommt (Dama-
sio 2002, S. 38). Emotionen helfen auch, zu identifizieren was wertvoll
und bedeutend für die Zielerreichung ist (Häusel 2009, S. 18). Werte
sind Vorstellungen über die Wichtigkeit und Qualität eines Ziels. Sie
sind stark emotional geprägt und durch ihre aktivierende Funktion den
Motiven zuzuordnen (Rank 1997, S. 95). Werte als Ausprägungen impli-
ziter Motive können deshalb im Emotionsraum verortet werden (Häu-
sel 2009, S. 48). „Werte beeinflussen unsere Situationsdefinition durch
ihre Sensibilisierungsfunktion, bestimmte Ereignisse oder Aktivitäten als
erstrebenswert anzusehen und andere nicht.“ (ebd., S. 96)

9. Diskussion der Forschungsergebnisse

Im Laufe der Beobachtung der Design Thinking Session und bei der
Analyse und Diskussion der Forschungsergebnisse wurden folgende
Schlussfolgerungen und Gedanken entwickelt:

Die automatisiert ermittelten Emotionen und die von den Studierenden

bekundeten Gefühlsregungen stimmen nicht überein. Die Studierenden
erschienen auf den Photographien hauptsächlich mit neutralen Ge-
sichtsausdrücken oder zumindest nur mit minimalen anderen Gefühlsre-
gungen. In den Gesprächen äußerten sich die Studierenden positiv. Sie
fühlten Spaß und Freude bei dem Prozess und empfanden die Tage als
hoch kreativ. Die Erhebungsbögen wieder zeigen Schwerpunkte beim
Begriff Kreativität aber besonders stark im Bereich Disziplin, Kontrolle.

Die Beobachtenden vermuten hierfür zwei sehr unterschiedliche

Gründe:

1. Die Lehrsituation:
Das grundlegende Ziel der Veranstaltung war die Vermittlung von
Kenntnissen über den Design Thinking Prozess. Deshalb wurden zwi-
schen den Design Thinking Phasen sehr intensive Vorlesungsblöcke

124 Ins Gesicht geschrieben – Emotionen erkennen und bewerten

eingebunden, die hohe Konzentration erforderten und viel Information
vermittelten. Dies kann eine Verschiebung der allgemeinen Empfindung
für eine Phase in Richtung Disziplin zur Folge haben. In normalen Design
Thinking Prozessen erfolgt der Ablauf der Phasen für die Teilnehmenden
spielerischer und nicht als reflektierter Prozess, bei dem viele Elemente
zu beachten und zu implementieren sind. Die Aufgabe, den Prozess zu
koordinieren und die erforderlichen Werkzeuge zur Verfügung zu stellen
obliegt einer oder weniger Personen im Team (Mateus 2016, S. 307;
Liedtka; Ogilvie 2011, S. 187).

2. Suche nach der falschen Gefühlsregung

Emotion ist – wie oben gezeigt – eine kurzlebige, intensive und objekt-
bezogene Gefühlsregung. Für die Performance in einem langfristig an-
gelegten Design Thinking Prozess wird sie wohl eher zu vernachlässigen
sein. Relevant sind hier voraussichtlich Stimmungen, Motive und Werte.
Allerdings sind diese über ein Werkzeug wie die Cognitive Services
nicht determinierbar, da dort nur Basisemotionen identifiziert werden
können. Dies liegt nicht an technischen Beschränkungen, sondern ein-
fach daran, dass Stimmungen und Motive nicht in Mimik und Gestik ihre
Repräsentation finden. Das hohe Auftreten von neutralen Mimiken ist
also einfach der Tatsache geschuldet, dass normalerweise nicht ständig
intensive Emotionen auftreten und die Neutralität auch ein Zeichen der
hohen Konzentration der Studierenden ist.

Allerdings sei an dieser Stelle auch gesagt, dass die Software noch nicht
optimal arbeitet. Oft wurden zum Bespiel lächelnde Gesichter als „neu-
tral“ bewertet. Eine Bewertung durch einen menschlichen Beobachter
hätte hier wohl eher „happiness“ angegeben.

Die Dauer einer Design Thinking Session liefert ein weiteres Problem.
Es kann nie mit ausreichender Wahrscheinlichkeit gesagt werden, ob
die Probanden wirklich „bei der Sache sind“, also sich gerade mit der
gestellten Aufgabe beschäftigen. Ein deutliches Beispiel zeigt sich in
Abb. 13. Der extreme Ausschlag bei „Happiness“ in der Mitte der Grafik
befindet sich genau an der Zeitlinie zur Mittagspause. Es liegt also der
Verdacht nahe, dass die aufgezeichneten lachenden Gesichter mehr mit
Essen zu tun hatten, als mit geistiger Nahrung. Für Folgeprojekte be-
deutet dies, dass man sicherstellen muss, dass die beobachtete Person
wirklich gerade mit der Forschungsthematik beschäftigt ist, um keine
verfälschten Ergebnisse zu erhalten. Die Technologie selbst ist vielver-
sprechend, der Einsatzbereich muss aber gut überlegt und orchestriert
werden.

Die Befragung der Personen mit der Limbic Map erscheint eher viel-
versprechend. Allerdings sollte eine Version mit einer Reduktion der
angebotenen Begriffe entwickelt werden und für diese Begriffe klare
Erläuterungen/Abgrenzungen angeboten werden, um Missverständnis-
se zu vermeiden.

125 Heidi Weber, Américo Mateus und Antonio Cruz Rodriguez

Für die Beobachtung und Bewertung des Design Thinking Prozesses
muss nach anderen Forschungsmethoden gesucht werden. Vorgeschla-
gene Methoden wie Leitfähigkeitsmessung der Haut oder Pulsmeter
scheinen den Autoren auch wenig vielversprechend, da auch hier eher
Emotionen bewertet oder nur die Agitiertheit der Probanden ermittelt
werden kann.

Auch die Arbeit mit Vergleichsgruppen ist faktisch nicht realisierbar, da

die Arbeit an konkreten, praktischen Projekten stattfinden soll und dort
weder die Möglichkeit zur Wiederholbarkeit noch genügend Personal-
ressourcen für mehrere Durchgänge mit derselben Fragestellung zur
Verfügung stehen werden.

Als wichtiger Bestandteil der Forschung wird deshalb kooperative

Forschung (Co-operative inquiry) und Action Research diskutiert. Nach
Heron ist kooperative Forschung eine Form der partizipativen, personen-
zentrierten Untersuchung, die Forschung mit Menschen, nicht über sie
macht. Sie zerbricht das alte Paradigma der Trennung zwischen den Rol-
len der Forschenden und der Forschungssubjekte (Heron 1996, S. 19).
Für Jean McNiff umfasst der „action“ Teil des action research das
sorgfältige Durchdenken der Umstände, in denen die Forschenden
sich befinden; wie sie dahin gelangt sind und warum die Situation so
ist, wie sie ist. Der „research“ Teil beinhaltet Datensammlung, Reflexion
über die gezeigten Aktionen, die sich in den Daten zeigen, Generierung
von Nachweisen aus den Daten und die Erhebung von Anspruch auf
Erkenntnisse auf der Basis von Schlussfolgerungen, die aus den Nach-
weisen gezogen wurden (McNiff 2013, S. 25).

Die Definition des endgültigen Forschungsvorhabens und die Wahl der

geeigneten Forschungsmethoden wird noch einiges an Arbeit und Zeit
erfordern. Die hier beschriebene Voruntersuchung lieferte aber wertvol-
le Ergebnisse, die das Projekt deutlich voranbrachten.

Literaturverzeichnis

Alvares de Souza Soares, Philipp (2016): Design Thinking: Eine Kreati-

vitätstechnik erobert Konzernzentralen. manager magazin. Online im
Internet: http://tinyurl.com/j7l9wwr (Zugriff am: 24.06.2016).

Beck, Gabriel; Joseph, R. (2015): Limbic System: An Introduction.: Hip-

pocampus, Amygdala, Hypothalamus, Septal Nuclei, Neuroscience.

Bless, Herbert; Schwarz, Norbert; Wieland, Reiner (1996): „Mood and the
impact of category membership and individuating information.“ In: Eu-
ropean Journal of Social Psychology, 26 (1996), 6, S. 935–959.

Brandstätter, Veronika u.a. (2013): Motivation und Emotion. Berlin,

Heidelberg: Springer Berlin Heidelberg Imprint: SpringerOnline im

126 Ins Gesicht geschrieben – Emotionen erkennen und bewerten

Internet: http://dx.doi.org/10.1007/978-3-642-30150-6 (Zugriff am:
28.06.2016).

Brown, Tim (2009): Change by Design: How Design Thinking Transforms

Organizations and Inspires Innovation: How Design Thinking Can Trans-
form Organizations and Inspire Innovation. HarperBusiness

Calistra, Cole (2015): Facial Action Coding System. Kairos. Online im In-
ternet: https://www.kairos.com/blog/facial-action-coding-system (Zugriff
am: 23.08.2016).

Cohn, Jeffrey F. u.a. (1999): „Automated face analysis by feature point

tracking has high concurrent validity with manual FACS coding.“ In: Psy-
chophysiology, Cambridge University Press, (1999), 36, S. 35–43.

Damasio, Antonio R. (2004): Der Spinoza-Effekt: Wie Gefühle unser

Leben bestimmen. 1. Aufl. Berlin: List Taschenbuch

Damasio, Antonio R. (2002): Ich fühle, also bin ich: Die Entschlüsselung
des Bewusstseins. München: List Taschenbuch
Ekman, Paul (2007): Emotions Revealed: Recognizing Faces and Feelings
to Improve Communication and Emotional Life. 2. Aufl. New York: Owlet
Paperbacks

Ekman, Paul; Friesen, Wallace V. (1976): „Measuring facial mo-

vement.“ In: Environmental Psychology and Nonverbal Behavi-
or, 1 (1976), 1, S. 56–75.

Ekman, Paul; Friesen, Wallace V. (2003): Unmasking the Face: A Guide to

Recognizing Emotions from Facial Clues. Cambridge, MA: Malor Books

Fasel, B.; Luettin, Juergen (2003): „Automatic facial expression analysis:

a survey.“ In: Pattern Recognition, 36 (2003), 1, S. 259–275.

Friesen, Wallace; Ekman, Paul (1975): Unmasking the Face. Englewood

Cliffs, N.J.: Prentice-Hall

Goodfellow, Ian J. u.a. (2013): „Challenges in Representation Learning:

A report on three machine learning contests.“ In: arXiv:1307.0414 [cs,
stat], (2013). Online im Internet: http://arxiv.org/abs/1307.0414 (Zugriff
am: 06.09.2016).

Gross, James J. (Hrsg.) (2015): Handbook of emotion regulation. 2. ed.,

paperback ed. New York, NY (u.a.): Guilford Press

Häusel, Hans-Georg (2009): Die wissenschaftliche Fundierung des

Limbic® Ansatzes Online im Internet: http://tinyurl.com/gw897sf (Zugriff
am: 15.05.2016).

127 Heidi Weber, Américo Mateus und Antonio Cruz Rodriguez

Häusel, Hans-Georg (2013): Emotional Boosting. Haufe Lexware

Häusel, Hans-Georg (2014): Think Limbic! - inkl. Arbeitshilfen online:

Die Macht des Unbewussten nutzen für Management und Verkauf. 5.
Aufl. Freiburg im Breisgau: Haufe-Lexware

Heckhausen, Jutta; Heckhausen, Heinz (Hrsg.) (2010): Motivation und

Handeln. Berlin, Heidelberg: Springer Berlin Heidelberg (= Springer-
Lehrbuch)Online im Internet: http://link.springer.com/10.1007/978-3-
642-12693-2 (Zugriff am: 15.09.2016).

Heron, John (1996): HERON: COOPERATIVE INQUIRY (P): Research

into the Human Condition. London ; Thousand Oaks: Sage Publications,
Incorporated

Hjortsjö, Carl-Herman (1970): Man’s face and mimic language. Malmö:

Lund: StudentlitteraturOnline im Internet: http://diglib.uibk.ac.at/ulbti-
rol/content/titleinfo/782346 (Zugriff am: 24.08.2016).

Izard, Carroll E. (2010): „The Many Meanings/Aspects of Emotion:

Definitions, Functions, Activation, and Regulation.“ In: Emotion Re-
view, 2 (2010), 4, S. 363–370.

Kleinginna, Paul R.; Kleinginna, Anne M. (1981): „A categorized list

of motivation definitions, with a suggestion for a consensual definiti-
on.“ In: Motivation and Emotion, 5 (1981), 3, S. 263–291.

Langley, Sue (2014): Research report: The Impact of Emotions on Creati-

vity 7th European Conference on Positive Psychology AmsterdamOnline
im Internet: http://langleygroup.com.au/work/research-report-impact-
of-emotions-on-creativity/ (Zugriff am: 28.06.2016).

Liedtka, Jeanne; Ogilvie, Tim (2011): Designing for Growth: A Design

Thinking Tool Kit for Managers. New York: Columbia Univers. Press

Mateus, Américo (2016): Product / Brand co-creation methodology cros-

sing Marketing, Design Thinking, Creativity and Management: IDEAS(R)
EVOLUTION. Doctoral Thesis. Universidade de Èvora.

McNiff, Jean (2013): Action Research. 3 Rev ed. Milton Park, Abingdon,
Oxon ; New York: Routledge

Meinel, Christoph; von Thienen, Julia (2016): „Design Thinking.“ In: Infor-
matik-Spektrum, 39 (2016), S. 310–314.

„Microsoft Cognitive Services - Emotion API“ (2016): Microsoft Cognitive

Services - Emotion API. Online im Internet: http://tinyurl.com/zkwrnl6
(Zugriff am: 16.05.2016).

128 Ins Gesicht geschrieben – Emotionen erkennen und bewerten

„Microsoft Cognitive Services - SDKs & samples“ (o. J.): Microsoft Cogni-
tive Services - SDKs & samples. Online im Internet: https://www.mi-
crosoft.com/cognitive-services/en-us/SDK-Sample?api=emotion (Zugriff
am: 07.09.2016).

Nussbaum, Bruce (2011): Design Thinking Is A Failed Experiment. So

What’s Next? co.design Online im Internet: http://tinyurl.com/3whbp28
(Zugriff am: 25.06.2016).

Paula, Danielly; Cormican, K. (2016): Understanding Design Thinking in

Design Studies (2006 - 2015): A Systematic Mapping Study Excellence in
Design DubrovnikOnline im Internet: http://tinyurl.com/zq45vq5 (Zugriff
am: 26.06.2016).

Rank, Birgit (1997): Erwartungs-Wert-Theorien: Ein Theoriekonzept der

Wirtschaftspsychologie und seine Anwendung auf eine berufsbiographi-
sche Entscheidung. München und Mering: Rainer Hampp VerlagOnline
im Internet: https://www.econstor.eu/handle/10419/116846 (Zugriff am:
15.09.2016).

Rothermund, Klaus; Eder, Andreas (2011): Allgemeine Psychologie:

Motivation und Emotion. Wiesbaden: VS Verlag für Sozialwissenschaf-
tenOnline im Internet: http://dx.doi.org/10.1007/978-3-531-93420-4
(Zugriff am: 28.06.2016).

Schmidhuber, Jürgen (2015): „Deep learning in neural networks: An

overview.“ In: Neural Networks, 61 (2015), S. 85–117.

Schmiedgen, Jan u.a. (2015): Parts Without a Whole? – The Current State
of Design Thinking Practice in Organizations Potsdam: Hasso-Plattner-In-
stitut für Softwaresystemtechnik an der Universität Potsdam, S. 144. On-
line im Internet: http://thisisdesignthinking.net/why-this-site/the-study/
(Zugriff am: 26.07.2016).

Schumacher, Prof Dr phil Peter (2012): „Blickaufzeichnung in der Re-

zeptionsforschung: Befunde, Probleme und Perspektiven.“ In: Bucher,
Hans-Jürgen; Schumacher, Peter (Hrsg.) Interaktionale Rezeptionsfor-
schung. Springer Fachmedien Wiesbaden, S. 111–134. Online im Inter-
net: http://link.springer.com/chapter/10.1007/978-3-531-93166-1_4
(Zugriff am: 12.09.2016).

Soussignan, Robert (2004): „Regulatory Function of Facial Actions in

Emotion Processes.“ In: Nova Science Publishers, Inc, (= Advances in
Psychology Research)31 (2004), S. 171–196.

Wassmann, Claudia (2002): Die Macht der Emotionen: wie Gefühle un-
ser Denken und Handeln beeinflussen. Darmstadt: Wiss. Buchges

Weber, Heidi; Cruz Rodrigues, António; Mateus, Américo (2016): „Emo-

129 Heidi Weber, Américo Mateus und Antonio Cruz Rodriguez

tion and Mood in Design Thinking.“ In: Duarte, Emilia; Duarte, Carlos;
Carvalho-Rodrigues, F. C. (Hrsg.) Proceedings of the Design Doctoral
Conference 2016. Lisbon, S. 65–72. Online im Internet: http://tinyurl.
com/z4ablsf

Yu, Zhiding; Zhang, Cha (2015): „Image based Static Facial Expressi-
on Recognition with Multiple Deep Network Learning.“ In: Microsoft
Research, (2015). Online im Internet: https://www.microsoft.com/en-us/
research/publication/image-based-static-facial-expression-recognition-
with-multiple-deep-network-learning/ (Zugriff am: 24.08.2016).

„The Expression of the Emotions in Man and Animals.“ (2016): In: Wiki-
pedia, the free encyclopedia. Online im Internet: https://en.wikipedia.
org/w/index.php?title=The_Expression_of_the_Emotions_in_Man_and_
Animals&oldid=735521755 (Zugriff am: 23.08.2016).

Abbildungsverzeichnis

Abb. 1 Schematische Darstellung der Mimikmuskulatur (Hjorts-

jö 1970, S. 48)

Abb. 2 Beispieldarstellung der Gruppe H für die Emotionserkennung

nach Hjortsjö( 1970, S. 93)

Abb. 3 Halbautomatisierte Emotionserkennung. Zuerst werden relevante

Elemente

Abb. 4 Extraktion von Bildinformation mit sog. Gabor Wavelets (Fa-

sel; Luettin 2003, S. 264)

Abb. 5 Demo Beispiel für die Ergebnisse der Emotion API („Microsoft
Cognitive Services - Emotion API“ 2016)

Abb. 6 Gesichtserkennung mit zwei Methoden (rot und blau)

(Yu; Zhang 2015, S. 3)

Abb. 7 Das Design Thinking Model nach ideas(r)evolution (Mateus 2016)

Abb. 8 Positionierung der Kameras bei den Arbeitsgruppen (Photogra-

phie: Américo Mateus)

Abb. 9 Der Erhebungsbogen

Abb. 10 Die Datenbankstruktur für die Emotionserkennung

Abb. 11 Beispielfoto und Ergebnisse aus dem Untersuchungskontext

(Photographie: Heidi Weber)

130 Ins Gesicht geschrieben – Emotionen erkennen und bewerten

Abb. 12 Darstellung der Ergebnisse inclusive „neutral-Werte“ (eigene
Darstellung)

Abb. 13 Darstellung der Ergebnisse ohne „neutral“ und mit farblicher

Codierung der Zeitfenster (eigene Darstellung)

Abb. 14 Darstellung signifikanter, nicht-neutraler Emotionswerte Anzahl

und Prozentwert im Vergleich zu Neutral

Abb. 15 Beispiele für stark variierende Emotionsverläufe

Abb. 16 Beispiele für Emotionsverläufe in einem engen Bereich der

Limbic Map

Abb. 17 Angegebene Emotionen in den verschiedenen Arbeitsphasen

Abb. 18 Experiment Heatmap Darstellung

Abb. 19 Das modale Modell der Emotion (Gross 2015, S. 5)

131 Heidi Weber, Américo Mateus und Antonio Cruz Rodriguez