Session 6: Conversational UIs
User-friendly Formulation of Data Processing Purposes of
Voice Assistants – A User Perspective on the Principle of Pur-
pose Limitation
Die nutzerInnenfreundliche Formulierung von Zwecken der Datenverarbeitung von Sprachassistenten
- Die Ausgestaltung des Zweckbindungsprinzips aus NutzerInnensicht
Timo Jakobi, Maximilian von Grafenstein
Gunnar Stevens
Einstein Center for Digital Future
Universität der Künste Berlin
Verbraucherinformatik Berlin, Deutschland
Universität Siegen
m.von-grafenstein@udk-berlin.de
Siegen, Deutschland
vorname.nachname@uni-sie-
gen.de
ABSTRACT
English - In 2019 it was revealed that several providers of voice
assistants had systematically evaluated voice recordings of their
users. Since the data protection notices stated that data would also
be used to improve the service, this use was legal. For the users,
however, this evaluation represented a clear break with their ex-
pectations of privacy. The purpose limitation principle of the
GDPR with its component of purpose specification requires flexi-
bility for the processor as well as transparency for the consumer.
Against the background of this conflict of interest, the question
arises for HCI as to how processing purposes of voice assistants
should be designed to meet both requirements. To collect a user
perspective, this study first analyzes the data protection infor-
mation of the dominant voice assistants. Based on this, we present
results of focus groups that deal with the perceived processing of
data of voice assistants from the user perspective. The study
shows that existing purpose statements offer hardly any transpar-
ency for consumers regarding the consequences of data pro-
cessing and do not have any restrictive effect with regard to legal
data use. Our results on risks perceived by users allow us to draw
conclusions about the user-friendly design of processing purposes
in terms of a design resource.
Deutsch - 2019 wurde bekannt, dass mehrere Anbieter von
Sprachassistenten Sprachaufnahmen ihrer NutzerInnen systema-
Permission to make digital or hard copies of all or part of this work for personal
or classroom use is granted without fee provided that copies are not made or
distributed for profit or commercial advantage and that copies bear this notice
and the full citation on the first page. Copyrights for components of this work
owned by others than the author(s) must be honored. Abstracting with credit is
permitted. To copy otherwise, or republish, to post on servers or to redistribute
to lists, requires prior specific permission and/or a fee. Request permissions
from Permissions@acm.org.
MuC'20, September 6–9, 2020, Magdeburg, Germany
© 2020 Copyright is held by the owner/author(s). Publication rights licensed to
ACM.
ACM ISBN 978-1-4503-7540-5/20/09…$15.00
https://doi.org/10.1145/3404983.3405588
361
Dominik Pins,
Alexander Boden
Fraunhofer FIT
Sankt Augustin, Deutschland
vorname.nachname@fit.fraun-
hofer.de
tisch ausgewertet haben. Da in den Datenschutzhinweisen ange-
geben war, dass Daten auch zur Verbesserung des Dienstes ge-
nutzt würden, war diese Nutzung legal. Für die NutzerInnen
stellte diese Auswertung jedoch einen deutlichen Bruch mit ihren
Privatheitsvorstellungen dar. Das Zweckbindungsprinzip der
DSGVO mit seiner Komponente der Zweckspezifizierung fordert
neben Flexibilität für den Verarbeiter auch Transparenz für den
Verbraucher. Vor dem Hintergrund dieses Interessenkonflikts
stellt sich für die HCI die Frage, wie Verarbeitungszwecke von
Sprachassistenten gestaltet sein sollten, um beide Anforderungen
zu erfüllen. Für die Erhebung einer Nutzerperspektive analysiert
diese Studie zunächst Zweckangaben in den Datenschutzhinwei-
sen der dominierenden Sprachassistenten. Darauf aufbauend prä-
sentieren wir Ergebnisse von Fokusgruppen, die sich mit der
wahrgenommenen Verarbeitung von Daten von Sprachassisten-
ten aus Nutzersicht befassen. Es zeigt sich, dass bestehende
Zweckformulierungen für VerbraucherInnen kaum Transparenz
über Folgen der Datenverarbeitung bieten und keine einschrän-
kende Wirkung im Hinblick auf legale Datennutzung erzielen.
Unsere Ergebnisse über von Nutzern wahrgenommene Risiken er-
lauben dabei Rückschlüsse auf die anwenderfreundliche Gestal-
tung von Verarbeitungszwecken im Sinne einer Design-Res-
source.
CCS CONCEPTS
•Human-centered computing~Human computer interaction
(HCI)~Empirical studies in HCI •Security and privacy~Human
and societal aspects of security and privacy~Usability in security
KEYWORDS
Datenschutz, Datenschutzerklärungen, Zweckbindung, Zweck-
spezifizierung, Legal Design
ACM Reference format:
Timo Jakobi, Max von Grafenstein, Dominik Pins, Alexander Boden and
Gunnar Stevens. 2020. Über die nutzerInnenfreundliche Formulierung von
Zwecken der Datenverarbeitung von Sprachassistenten: Eine Interpreta-
tion des Zweckbindungsprinzips aus NutzerInnensicht. In Proceedings of
Session 6: Conversational UIs
MuC’20, September 6–9, 2020, Magdeburg, Germany
Mensch und Computer 2020 (MUC20). ACM, Magdeburg, Germany, 12 pages.
https://doi.org/10.1145/1234567890
1 Einleitung
Digitale Sprachassistenten verbreiten sich seit einigen Jahren
stark in Privathaushalten [8]. Sie dienen dabei als Einstiegstor in
ein wachsendes Ökosystem von datenbasierten Diensten, die
Dritte über Apps für Sprachassistenten entwickeln können. Diese
Sprach-Apps umfassen ähnlich wie im Falle von Smartphones
sämtliche Lebensbereiche. Im Gegensatz zum Smartphone kom-
munizieren alle Sprach-Apps zentral über die Cloud des Herstel-
lers des Sprachassistenten, um dort als Audio und Text gespei-
chert zu werden. Diese thematisch potentiell extrem weit gefä-
cherten Daten bieten Potential für unterschiedlichste Anwen-
dungsfälle und Nutzungsmöglichkeiten.
Dem gegenüber steht die Einhaltung datenschutzrechtlicher Ver-
pflichtungen: So untersteht die Verarbeitung personenbezogener
Daten in der EU der Datenschutzgrundverordnung (DSGVO). Ei-
nes ihrer Prinzipien ist die Zweckbindung von Datenverarbei-
tung, die besagt, dass Daten nur für „festgelegte, eindeutige und
legitime“ (DSGVO, Art. 5 (1) b)) Zwecke genutzt werden dürfen.
Um etwa die Innovationsfähigkeit von Unternehmen zu wahren,
sollen diese Zwecke durchaus flexibel interpretiert werden kön-
nen. Andererseits müssen sie jedoch auch die Aufgabe erfüllen,
den Verbraucher über Folgen der Datenverarbeitung zu informie-
ren und Transparenz zu schaffen (Erwägungsgrund 39, DSGVO).
Transparenzmaßnahmen für die Funktion von Systemen zu schaf-
fen ist eine der typischen Aufgaben von Forschung der HCI [20,
21, 44]. Ein natürlicher Ort für Informationen über Datenverarbei-
tungspraktiken, sind Datenschutzhinweise. Die Problematik ihrer
Unzugänglichkeit ist jedoch gut erforscht [31, 40]. Spezifisch für
Sprachassistenten zeigen Abdi et. al [1], dass für NutzerInnen die
Datenerhebung, -weitergabe und -nutzung meist unbemerkt er-
folgt und wenig nachvollziehbar ist. Verschiedene Medien berich-
ten zum Beispiel über die Praxis großer Anbieter von Sprachassis-
tenten Mitarbeiter Sprachaufnahmen auswerten zu lassen [11, 17,
42]. Obwohl legal, wurden die Praktiken der Auswertung zur Ver-
besserung der Spracherkennung (Human in the loop-Ansatz) von
Nutzern nicht als legitim wahrgenommen. Mit der Verarbeitung
von Daten muss offenbar nicht nur Legalität sichergestellt werden
muss, sondern auch Legitimität im Sinne von NutzerInnenakzep-
tanz.
Im Sinne einer mehrseitigen Sicherheit [46, 47] gilt es deshalb, die
Interessen der verschiedenen Parteien zu identifizieren und mög-
liche Strategien zu entwickeln, diese in Einklang zu bringen. Als
Ausgangspunkt dafür haben wir uns sowohl von Praxis- als auch
VerbraucherInnen-Seite an die Thematik angenähert. Wir haben
einerseits die Datenschutzhinweise der größten Anbieter von
Sprachassistenten [4] analysiert. Ein Fokus lag dabei darauf, die
angegebenen Zwecke der Datenverarbeitung zu analysieren. Um
die Verbraucherperspektive zu explorieren, haben wir zwei Work-
shops durchgeführt, um Privatheitsbedarfe und Vorbehalte ge-
genüber der Nutzung von Sprachassistenten auszuleuchten.
Diese Studie liefert damit sowohl inhaltliche als auch programma-
tische Beiträge zur Ausrichtung HCI, indem sie zeigt, wie:
362
T. Jakobi et al.
1. gegenwärtig genutzte Zweckbeschreibungen aus Daten-
schutzerklärungen für VerbraucherInnen oft nutzlos sind.
Sie erfüllen insbesondere nicht die Funktion, Folgen der Da-
tenverarbeitung verständlich zu machen, so dass Verbrau-
cherInnen wahrgenommene Risiken unter der Angabe be-
stimmter Zwecke ausschließen könnten.
2. VerbraucherInnen selbst Datenschutz-Risiken von Sprach-
assistenten artikulieren. Damit stellen wir ein gestalteri-
sches Konzept sowie einen Grundstock von wahrgenomme-
nen Risiken für die gebrauchstaugliche Gestaltung von Ver-
arbeitungszwecken bereit.
3. die HCI die Auslegung der DSGVO mit einer evidenzbasier-
ten Forschung unterstützen kann, um bspw. die Effektivität
technischer und organisatorischer Schutzmaßnahmen empi-
risch zu überprüfen.
2 Usable Privacy für Sprachassistenten und Da-
tenschutzhinweise
Der sozio-informatische Ansatz der mehrseitigen Sicherheit [33,
34, 37] und der Usable Privacy [3] bilden den Rahmen der Studie.
Sie ermöglichen es, rechtliche, ethische und soziale Fragen im
Umgang mit VerbraucherInnendaten in den Blick zu nehmen und
neue Formen der Förderung digitaler Souveränität zu erproben.
Eine Linse die für gebrauchstauglichen Datenschutz in der HCI
häufig genutzt wird, ist die Analyse von Risiken, wie NutzerInnen
sie wahrnehmen [15, 18, 19, 22, 38]. Diese Risikowahrnehmung
steht daher auch im Fokus unserer Untersuchungen, da sie für
Sprachassistenten bisher nicht fokussiert gesammelt wurden, son-
dern eher als Nebenprodukt entstanden sind (wie bspw. in [24]).
2.1 Akzeptanzstudien zu Sprachassistenten
Forschung der HCI zur Akzeptanz von Sprachassistenten ist
vielfältig. So zeigen sich bspw. grundsätzliche Vorbehalte in der
Öffentlichkeit, mit Sprachassistenten zu interagieren [30]. Mit
konkreterem Bezug auf Privatheitsbedenken zeigen
beispielsweise Easwara, Moorthy & Vu [12] für Sprachassistenten
in Smartphones, wie NutzerInnen das Senden privater
Informationen von einigen Umgebungsvariablen abhängig
machten, wobei jedoch eher das Problem des Mithörens durch
Dritte bei der Sprach-Eingabe selbst im Vordergrund steht. In
Hinblick auf die Vernetzung des Haushaltes werden intelligente
Lautsprecher mit Mikrofonen, die integrierte Sprachassistenten
benutzen, als einer der aufdringlichsten Sensoren
wahrgenommen [32]. So fanden Pradhan et al. [36] beispielsweise,
wie TeilnehmerInnen ihrer Studie das Mikrofon während
sensibler Gespräche ausschalteten oder sogar von der
Stromversorgung trennten. Diese Aktivitäten zeugen von
Misstrauen in die Hersteller, dass Mikrofone dauerhaft
angeschaltet und kontinuierlich mithören könnten [24]. Lau et al.
[24] zeigen zwar erste Privatheitssorgen von NutzerInnen, zeigen
jedoch keine geordnete Sammlung von wahrgenommenen Risi-
ken. Aus unserer Sicht noch Ergänzungspotential besteht, insbe-
sondere wenn es darum geht eine Verbindung zum Prinzip der
Zweckbindung herzustellen.
Session 6: Conversational UIs

Die nutzerInnenfreundliche Formulierung von Zwecken der Da-

MuC’20, September 6–9, 2020, Magdeburg, Germany
tenverarbeitung von Sprachassistenten

2.2 Gebrauchstauglichkeit von Datenschutz- daher begonnen, bspw. die Umsetzung von Betroffenenrechten
hinweisen aus NutzerInnensicht auf Effektivität hin zu untersuchen [5].
Der Grundsatz der Zweckbindung in Artikel 5 (1) b) DSGVO sieht
Datenschutzhinweise stellen für NutzerInnen eine der wichtigs-
vor, dass personenbezogene Daten für festgelegte, ausdrückliche
ten Möglichkeiten dar, sich über die Nutzung ihrer Daten zu in-
und rechtmäßige Zwecke erhoben werden müssen und nicht in
formieren. Ihre Gestaltung wurde schon in vielerlei Hinsicht un-
einer mit diesen Zwecken unvereinbaren Weise verwendet wer-
tersucht, denn es gilt als anerkannt, dass das Lesen von Daten-
den dürfen. Das Prinzip soll den betroffenen Personen Transpa-
schutzhinweisen eine hohe zeitliche und kognitive Belastung dar-
renz und Kontrolle über die Verarbeitung „ihrer“ Daten ermögli-
stellt, sie schwer zu lesen sind [31, 43] oder gar nicht gelesen wer-
chen. Dementsprechend muss der oder die für die Verarbeitung
den [45].
Verantwortliche seine Verarbeitungszwecke spezifizieren und sie
Im Bereich der gebrauchstauglichen Gestaltung von Datenschut-
in einer Weise explizit machen, die es den BenutzerInnen (oder
zerklärungen werden etwa unterschiedliche Methoden der Aufbe-
genauer: den „betroffenen Personen“), die Daten in einem be-
reitung und Gestaltung von Datenschutzerklärungen genutzt, wie
stimmten Kontext - etwa im Zusammenhang mit einem Dienst-
beispielsweise die (halb-) automatische Analyse [50], oder ein in-
leistungsabonnement - offenlegen, ermöglicht zu verstehen, wo-
teraktives Dialogsystem [39]. Um die Rechtstexte gestalterisch
für ihre Daten von dem/den jeweiligen Datenverarbeiter(n) ver-
aufwerten zu können, haben Kelley et al. die Analogie zu Nähr-
wendet werden können. Gleichzeitig sollten die von den für die
wertinformationen erprobt [23]. Schaub et al. haben dagegen ei-
Verarbeitung Verantwortlichen vorgesehenen Zwecke auch ge-
nen Gestaltungsraum für effektive Datenschutzhinweise entwi-
nügend Flexibilität lassen, um die Verwendung der Daten inner-
ckelt [41]. Trojer et al. [48] schlagen vor, die Herausgeber von Da-
halb eines angemessenen Spielraums zu ändern und/oder zu er-
tenschutzrichtlinien durch die Verwendung von Vorlagen bei der
weitern. Als Rechtsgrundsatz schafft der Grundsatz der Zweck-
Erstellung korrekter und transparenter Richtlinien zu unterstüt-
bindung jedoch Auslegungslücken, die eine inhärente Spannung
zen. In ähnlicher Weise präsentieren Brodie et al. [9] eine Fallstu-
zwischen den Interessen der betroffenen Personen und denen der
die zur Entwicklung von Werkzeugen, die die Erstellung, Umset-
Datenverarbeiter erzeugen können [8]. Aus der Sicht der Nutze-
zung und Überwachung der Einhaltung von Datenschutzrichtli-
rInnen kann die Verwischung der durch die Zwecke definierten
nien erleichtern. Ebenso wird das Potenzial für die Unterstützung
Grenzen eine Ausweitung der Verarbeitungspraktiken über die
von NutzerInnen bei der Entscheidungsfindung zum Datenschutz
ursprüngliche Absicht und sogar über die Zustimmung hinaus er-
untersucht [26, 40].
möglichen, die auch als „function creep“ bezeichnet wird [10, 49].
Die Frage der Wirksamkeit von Datenschutzhinweisen ist inso-
fern aktuell, als beispielsweise „Dark Patterns“ im User Experi-
ence Design entstanden sind [16, 27]. Die Tatsache, dass Daten- 3 Methode
schutzrichtlinien NutzerInnen gezielt in die Irre zu führen [2] oder
Um eine Gegenüberstellung von bestehenden Zwecken der Ver-
im Unklaren lassen können [29], unterstreicht deren Ineffektivi-
arbeitung und den von NutzerInnen wahrgenommenen Verarbei-
tät. Forgó et al. gehen dabei so weit, zu sagen, dass der Grundsatz
tungen zu erlangen, haben wir zwei Schritte durchgeführt. Zu-
der Zweckbindung mit Big Data per se nicht vereinbar sei [13].
nächst beschreiben wir hier unser Vorgehen in der Untersuchung
Neben dem Fehlen echter Wahlmöglichkeiten ist die Mehrdeutig-
der Datenschutzhinweise der zurzeit dominierenden Anbieter von
keit eines der vorherrschenden Probleme bei der Gebrauchstaug-
Sprachassistenten. Anschließend beschreiben wir die Zusammen-
lichkeit von Datenschutzrichtlinien. Die genutzten Formulierun-
setzung, Durchführung und Analyse unserer Fokusgruppen, um
gen selbst, stehen aber meist nicht im Fokus von Untersuchungen
NutzerInnenperspektiven auf mögliche Verarbeitungen von
der HCI, sondern werden als quasi-gegeben hingenommen. Wäh-
Sprachassistenz-Daten zu erhalten.
rend sie zwar rechts-praktisch etablierte Ausdrucksweisen bein-
halten mögen, ist ihre konkrete Formulierung nicht vorgeschrie-
ben. Hieraus ergibt sich für die HCI ein Gestaltungsraum rund um
3.1 Analyse der Datenschutzhinweise
die gebrauchstaugliche Beschreibung der Nutzung von Daten, den In der Analyse der Datenschutzhinweise haben wir uns 2019 die
es aus NutzerInnensicht zu untersuchen gilt. Diese Studie möchte dominierenden fünf Anbieter von Sprachassistenten angesehen.
daher einen ersten Impuls dahingehend liefern, diesen Gestal- Diese Anbieter sind Amazon (Alexa), Samsung (Bixby), Microsoft
tungsraum im Sinne von Transparenz für VerbraucherInnen zu (Cortana), Google (Google Assistant) und Apple (Siri) [4]. Dazu
interpretieren, um Datenschutzhinweise wieder stärker mit für wurden die jeweiligen Webseiten der Anbieter herangezogen,
VerbraucherInnen anschlussfähigen und sinnhaften Informatio- heruntergeladen und analysiert.
nen auszustatten. Insbesondere wurden die Datenschutzhinweise auf Verarbei-
tungszwecke hin untersucht – jeweils unabhängig voneinander
2.3 Das Prinzip der Zweckbindung von einem der Autoren und einem Studenten der Rechtswissen-
schaften. Konflikte, insb. in der Aggregation für eine Übersicht
Die DSGVO hat die Relevanz einer empirischen Überprüfung der
der Zwecke, wurden in der Diskussion behoben. Da alle Anbieter
Effektivität der Information von Verbrauchern durch Daten-
explizite Sektionen für die Zweckangaben hatten, wurden auch
schutzhinweise noch einmal erhöht: Maßnahmen zum Daten-
schutz sollen nach DSGVO „effektiv“ sein. Erste Arbeiten haben

363
Session 6: Conversational UIs
MuC’20, September 6–9, 2020, Magdeburg, Germany
lediglich diese Zweckangaben aufgenommen. Dies hatte zwei we-
sentliche Vorteile: Einerseits wurden Abweichungen zwischen
den beiden Codern minimiert, wichtiger jedoch, stellt eine Inter-
pretation von Rechtstexten schon für Juristen eine Schwierigkeit
dar, sodass dies vermieden werden sollte und sich stattdessen
größtmöglich an den konkreten Text der Datenschutzerklärungen
gehalten wurde. Die am häufigsten genutzten Zwecke wurden in
die Diskussion der Fokusgruppen eingespeist, um über ihre Sinn-
haftigkeit und Anschlussfähigkeit an Privatheitspraktiken aus
Nutzersicht zu diskutieren.
3.2 Fokusgruppen
3.2.1 Ablauf. Die Fokusgruppen wurden in vier aufeinander
aufbauenden Phasen abgehalten. Nach einer Begrüßung und Vor-
stellung wurde zunächst ein gemeinsames Verständnis der Tech-
nologie hergestellt. Dafür wurde besprochen, welche Sprachassis-
tenten TeilnehmerInnen kannten und wie diese aus ihrer Sicht
funktionieren würden. Im zweiten Schritt wurde über Anwen-
dungsszenarien gesprochen. Hierzu zählten sowohl Szenarien, die
die NutzerInnen selbst anwandten, als auch solche, die sie kann-
ten oder sich vorstellen konnten. Anschließend wurde darüber ge-
sprochen, was die TeilnehmerInnen explizit nicht mit einem
Sprachassistenten tun möchten. In diesem Stadium lag schon die
Frage, „warum“ die TeilnehmerInnen eine Aufgabe nicht einem
Sprachassistenten zukommen lassen würden: So fragten wir in ei-
nem dritten Schritt nach Nutzungen der Daten, die NutzerInnen
durch Interaktion mit den Geräten befürchteten. Dabei haben wir
uns insbesondere auf unerwünschte Verarbeitungen fokussiert.
Abschließend konfrontierten wir die TeilnehmerInnen mit den
am weitesten verbreiteten Zweckangaben aus der Analyse der Da-
tenschutzerklärungen der Sprachassistenten. Unser Interesse galt
hier der limitierenden Funktion der Zwecke: Die zentrale Frage
war, inwieweit die TeilnehmerInnen bestimmte Zwecke so ver-
standen, dass diese einige der zuvor von ihnen benannten Risiken
ausschließen würden.
3.2.2 TeilnehmerInnen. Die Akquise lief über Radio, Zeitungs-
beiträge und Internet, wobei sowohl soziale Medien als auch Pro-
jekt-Webseite und dritte Webseiten als Multiplikatoren genutzt
wurden. Es wurde keine Aufwands-Entschädigung gezahlt, so
Tabelle 1: Ausstattung der Haushalte mit Sprachassisten-
ten
W1-P1 Smartphone (unklarer Hersteller)
W1-P2 Fire TV Fernbedienung und Smartphone (Bixby)
W1-P3 Keinen
W1-P4 Smartphone (Google)
W1-P5 Keinen
W2-P1 Keinen
W2-P2 Drei Google Home und Smartphone (Google)
W2-P3 Computer (Cortana) und Smartphone (Google)
W2-P4 Keinen
W2-P5 Keinen
W2-P6 Kam später, keine Angaben vorhanden
364
T. Jakobi et al.
dass die TeilnehmerInnen aus Interesse an der Thematik und Ei-
genantrieb erschienen. Gesucht wurde, aufgrund der örtlichen Li-
mitierung in einer der größten deutschen Metropolregionen mit
mehreren Millionen Einwohnern.
In den beiden Fokusgruppen hatten wir elf TeilnehmerInnen, von
denen vier weiblich waren. Das Alter der TeilnehmerInnen vari-
ierte zwischen 25 und 62 Jahren, alle bis auf eine Studentin waren
berufstätig, die meisten mit einem Hochschulabschluss. In der
Vorstellungrunde schrieben sich die TeilnehmerInnen selbst sehr
unterschiedlich stark ausgeprägtes technisches Wissen zu, vom
Gelegenheitsinternet-NutzerInnen bis hin zum IT-Hobbyisten.
Die Haushaltsgröße variierte ebenfalls zwischen Single-Haushalt
und einer vierköpfigen Familie. Während alle TeilnehmerInnen
die Technologie recht gut kannten, nutze die Mehrheit sie noch
nicht, oder hatte auch keine Absicht sie zu nutzen (5). Eine Teil-
nehmerin besaß drei Google Home Produkte und nutzte den
Google Assistant auf dem Smartphone, ein weiterer benutzte
Spracheingabe von Alexa über den FireTV Stick und verfügte über
Samsungs Bixby. Ein anderer Teilnehmer nutzte den Google
Sprachassistenten für Navigation. Ein weiterer Teilnehmer be-
richtet von Cortana als Assistent auf seinem Computer und einem
Google Assistant auf seinem Telefon. Schließlich erwähnte ein
Teilnehmer einen Sprachassistenten auf seinem Telefon, jedoch
nicht den Anbieter (siehe Tabelle 1).
3.2.3 Datenanalyse. Die Workshops wurden jeweils auf Ton-
band aufgenommen und transkribiert. Anschließend wurden die
Transkripte von zwei ForscherInnen unabhängig codiert im Sinne
einer Inhaltsanalyse nach Mayring [28] aufbereitet. In einem
zweiten Schritt wurden mit einem der Autoren, Unterschiede und
Abweichungen diskutiert und konsolidiert.
4 Ergebnisse
In diesem Abschnitt zeigen wir die jeweiligen Ergebnisse der bei-
den empirischen Schritte. Unser Fokus liegt jeweils auf der Samm-
lung und dem Verständnis von Risiko-Zuschreibungen als mögli-
che Ressource für gebrauchstauglichen Datenschutz.
4.1 Datenschutzhinweise
Zunächst zeigte sich, dass es für die jeweiligen Sprachassistenten
bei keinem der Anbieter dezidierte Datenschutzhinweise gab. Es
wurde jeweils auf die globale Datenschutzerklärung verwiesen,
die über die Webseite zugänglich war. In den jeweiligen Doku-
menten existierten allerdings Abschnitte für Zweckangaben, die
recht weit oben und dadurch prinzipiell schnell zugänglich waren.
4.1.1 Alexa. Amazon liefert für Alexa Datenschutzhinweise
(Stand 21.3.2019) speziell für die EU aus. In diesen spezifiziert
Amazon zunächst:
“Wir verarbeiten Ihre persönlichen Daten, um die Ama-
zon Services, die wir unseren Kunden anbieten, zu be-
treiben, bereitzustellen und zu verbessern.“
Danach wird weiter ausgeführt, was dies beinhaltet. Die jeweili-
gen Zwecke werden mit jeweils einem kurzen Absatz weiter spe-
zifiziert. Für den Punkt der Erfüllung von gesetzlichen Verpflich-
tungen gibt Amazon ein erläuterndes Beispiel, bei dem es um die
Session 6: Conversational UIs

Die nutzerInnenfreundliche Formulierung von Zwecken der Da-

MuC’20, September 6–9, 2020, Magdeburg, Germany
tenverarbeitung von Sprachassistenten

Identifikation von Verkäufern auf Amazon geht, deren Informati-
onen aufbewahrt werden müssen. Auffällig ist insbesondere der
Extra-Punkt der „Bereitstellung von Sprachdiensten“. In diesem
Abschnitt verlinkt Amazon auf ein weiteres Dokument in dem
keine weiteren Zwecke, aber Informationen über die Aufnahme-
und Analyse-Praktiken gegeben werden. So ist auch das mensch-
liche Analysieren von Sprachaufnahmen Teil der Produktverbes-
serung. Außerdem verweist Amazon als gesonderten Zweck auf
mögliche weitere Zwecke, für die explizit die Zustimmung einge-
holt wird.
4.1.2 Bixby. Samsung beschreibt in seinen Datenschutzhinwei-
sen (Stand 4.6.2019) explizit, dass sie für alle Dienste und Produkte
gilt. In einigen Abschnitten gibt es gesonderte Teile insbesondere
für Smart-TV-NutzerInnen oder auch für Personen, die im Euro-
päischen Wirtschaftsraum ansässig sind. Für diese Personen listet
Samsung bspw. noch einmal explizit die rechtliche Grundlage der
Verarbeitung auf (d.h. bspw. Zustimmung, berechtigtes Interesse,
Erfüllung des Vertrages, gesetzliche Bestimmungen etc.). Hier
sind auch Ankerbeispiele für die Verwendung der Daten hinter-
legt.
Die Zwecke sind dort ebenfalls leicht anders beschrieben, was die
tatsächliche Nutzungsweise wahrscheinlich besser erläutern soll,
aber bei den Autoren eher zu Konfusion führte. Letztlich sagt der
Text zu dieser Beschreibung jedoch, dass der fragliche Absatz le-
diglich dazu dient, die rechtliche Grundlage der Verarbeitung der
zuvor aufgeführten Zwecke zu erläutern und nicht dazu, weitere
Zwecke zu definieren. Deshalb wurden die weiteren Ausführun-
gen nicht für die Studie herangezogen, sondern lediglich die ex-
plizit unter den Verarbeitungszwecken genannten Zwecke.
Samsung hat keinen eigenen Unterpunkt zu einer Öffnung der
Zwecke durch mögliche weitere Zustimmungen des Nutzers, son-
dern führt in einzelnen Zwecken auf, wo sie ggf. und nach eige-
nem Ermessen Zustimmungen des Nutzers einholen, um dort in
stärkerem Ausmaß Daten verarbeiten zu dürfen.

Tabelle 2: Übersicht über angegebene Zwecke der Datenverarbeitung nach Anbietern. In fett: Die später bei den Fokusgrup-
pen zur Diskussion gegebenen Zwecke.

Cortana Google Assistant Siri Bixby Alexa

Bereitstellung von
Bereitstellung eines von
Bereit-stel- Produkte bereitstellen, Bereitstellung unse- Erstellung, Entwicklung, Sprachdiensten, Bereit-
Ihnen gewünschten
lung diese zu aktualisieren rer Dienste Bereitstellung stellung der Amazon-
Dienstes
Dienste
Kunden besser zu verste-
Verbesserung Verbesserung unse- Entwicklung, Bereitstel-
Entwickeln und Ver- hen, für das Design unse- Verbesserung der Ama-
/ Neuent- rer Dienste, Entwick- lung, Erbringung und Ver-
bessern von Produkten rer Geräte und die Aus- zon-Dienste
wicklung lung neuer Dienste besserung
wahl von Inhalten
Bereitstellung von perso-
Personali- Personalisieren unserer Bereitstellung perso- Empfehlungen und Per-
nalisierten Inhalten und
sierung Produkte nalisierter Dienste sonalisierung.
Diensten

personalisierte personalisierte Werbean-

Unterbreiten von Wer-
Werbung Dienste, Inhalte und Werbung zeigen, Direkt-marketing- Werbung
beangeboten
Werbeanzeigen komm.

Samsung, angeschlosse- die Sicherheit von Kun-

Account- und Netzwerksi-
Sicherheit Produkte zu sichern Wartung nen Unternehmen, Part- den, Amazon Europa und
cherheit
nern oder Kunden anderen beschützen.

Mitteilungen zu versenden,
z.B. zu Käufe oder Ände-
Kommuni- Kommunikation mit
rungen der AGB u. Richtli-
kation Ihnen
nien, Ankündigungen, Up-
dates u. Veranstaltungen
Einholung Ihrer Meinun-
Um mit Ihnen zu kommu-
gen zu unseren Produk-
nizieren
ten

Einhaltung unserer ge- Einhaltung von Gesetzen

Gesetzl. Ver- interne Zwecke wie Buch- Erfüllen gesetzlicher Ver-
setzlichen Verpflich- und rechtlichen Prozes-
pflichtung prüfung pflichtungen
tung sen

Leistungs-mes- Messung der Leis-

Analyse und Leistung
sung tung
Account- und Netzwerksi-
Authentifizie- Unterstützung bei der Re-
cherheit, Betrugsbekämp- Betrugsprävention und
rung /Identifi- gistrierung von Ihnen o-
fung, Überprüfung der Kreditrisiken
kation der Ihrem Gerät
Identität
Schutz von Google, Schutz der Rechte, des Ei-
Schutz eigener
unserer Nutzer und gentums oder der Sicher-
Rechte
der Öffentlichkeit heit
Kauf und Lieferung von
Kaufabwick-
Produkten und Dienst-
lung
leistungen

365
Session 6: Conversational UIs
MuC’20, September 6–9, 2020, Magdeburg, Germany
4.1.3 Cortana. Microsofts Cortana hat in seiner globalen Daten-
schutzerklärung (Stand April 2019) einige Unterkapitel für
Dienste und Produkte, so auch zum Sprachassistenten „Cortana“.
Dort werden jedoch keine Zwecke spezifiziert. Global formuliert
Microsoft Verarbeitungszwecke wie in Tabelle 2. Dabei sind teil-
weise mehrere Punkte in einem Satz verortet. Microsoft fügt
hinzu, dass es die Daten auch für weitere legitime Zwecke nutzt
ohne dies weiter zu präzisieren.
In Bezug auf die Zwecke schreibt Microsoft für Cortana einen wei-
teren Satz, der jedoch eher eine Untersumme der globalen Zwecke
zu sein scheint:
„Die von Cortana erfassten Daten dienen zum Angeben,
Verbessern, Personalisieren und Entwickeln von
Cortana und anderen Microsoft-Produkten.“
4.1.4 Google Assistant. Google stellt in seiner ebenfalls nur glo-
balen Datenschutzerklärung (Stand 22.1.2019) die Zweckangaben
unter die Überschrift „Wir verwenden Daten zur Verbesserung
unserer Dienste“ und führt die genauen Zwecke dann mit mehre-
ren Unterkapiteln aus (siehe Tabelle 2).
4.1.5 Siri. Bei Apple gibt es in den Datenschutzhinweisen
(Stand 4.4.2019) einen Unterpunkt namens „Wie wir personenbe-
zogene Daten nutzen“. Dort beschreibt das Unternehmen in einem
Vorab-Text bezüglich der Verarbeitungszwecke einen generellen
Unterschied zwischen Zwecken, die das Unternehmen selbst ver-
folgt und der Notwendigkeit der „Einhaltung gesetzlicher Ver-
pflichtungen“. Außerdem behält sich Apple das „Offenlegen von
Informationen für die Verfolgung der legitimen Interessen von
Apple oder Dritten“ vor ohne weiter darauf einzugehen.
4.1.6 Bewertung und Konsolidierung der Zweckangaben. Insge-
samt zeichnet sich ein relativ konsolidiertes Bild der Zweckanga-
ben (siehe Tabelle 2). Auch wenn die Anbieter leicht unterschied-
liche Formulierungen nutzen und Akzente setzen sowie einige
Dinge verschiedenartig gruppieren, finden sich doch viele der
Zwecke jeweils wieder. Teils wird beispielsweise von „Sicherung“
(Cortana) gesprochen, teils von „Sicherheit für Samsung Electro-
nics“, von „Netzwerk-Sicherheit“ (Siri) oder von „Wartung“
(Google), wenn von Datenspeicherung für IT-Sicherheit der Sys-
teme die Rede war. Davon abgegrenzt versteht sich Authentifizie-
rung/Identifikation als ein Sicherungsmechanismus gegenüber
NutzerInnen. Die Personalisierung, Werbung, und die Verbesse-
rung und (neue) Entwicklung von Diensten war allerdings auch
in der Ausdrucksweise stets vorhanden. Die Kontaktaufnahme zu
KundInnen war teils sehr unspezifisch, bei Apple aber z.B. sehr
genau geregelt. Ein besonderer Ausreißer war bei Microsofts
Cortana die Nutzung für die „Belegschaft“, dessen Nutzen den Au-
toren unklar blieb.
4.2 Workshops
4.2.1 Anwendungsgebiete. Als Einstieg in die Thematik wurde
zunächst für ein gemeinsames Verständnis unter den Teilnehme-
rInnen gesorgt. Dafür wurde versucht auf Wissen der Teilnehme-
rInnen zurück zu greifen und Fragen auch durch diese beantwor-
ten zu lassen, um möglichst wenig Einfluss auf den Wissensstand
zu nehmen. Schnell kristallisierte sich aber eine gute Kenntnis und
eine sehr klare gemeinsame Vorstellung von Sprachassistenten
366
T. Jakobi et al.
Tabelle 3: Geäußerte Nutzungen von Sprachassistenten
Navigation mit dem Smartphone
Nachrichten senden über das Smartphone
Anrufe über das Smartphone
Wecker oder Erinnerungen über das Smartphone
Audio- und Video-Steuerung
Text-to-Speech (insb. Rezepte wiedergeben)
Suchanfragen / Wissensfragen
Smart Home Steuerung (insb. Licht)
Wettervorhersagen
Broadcast
heraus, da alle TeilnehmerInnen zumindest schon aus den Medien
über wenigstens eins der Produkte informiert waren. Die Mehr-
zahl der TeilnehmerInnen hatte allerdings selbst kein physisches
Gerät als Sprachassistenten im Einsatz – teils aus Überzeugung,
teils, weil noch keiner gekauft wurde. Neben der generellen Funk-
tion und Nutzungen (Tabelle 3) entpuppten sich aber im techni-
schen Detail Unklarheiten:
Ich weiß halt vom technischen nicht, [..] ob da jetzt ir-
gendwer mithört oder eigentlich würde ich sagen, ich
erwarte, dass da nicht mitgehört wird, selbst wenn mir
bewusst ist, dass es technisch natürlich möglich sein
dürfte. (W1-P2)
Auch die mediale und öffentliche Debatte über Fehlauslösungen
von Sprachassistenten spiegelte sich bei unseren TeilnehmerIn-
nen wider:
„[D]as ist halt einfach das Mikro, der analysiert die
Schallwelle ‚Alexa‘, [..] das ist sozusagen der Standard
des Startbefehls. Dann würde ich halt erwarten, dass der
am Ende irgendwann abschaltet. [..] Aber wir haben das
ja gehabt, da waren diese Fallberichte, die durch die Me-
dien gegangen sind, dass dann mitten in der Nacht was
passiert ist. (W1-P2)
Mit Bezug auf stationäre Sprachassistenten wurde zusätzliche Un-
sicherheit durch das Design des Produktes selbst verursacht:
[..] anders als ein Computer [hat der Sprachassistent]
kein Display hat und [gibt] für mich einen sehr einge-
schränkten Einblick in was das Ding macht. [..] Ich
könnte von hier aus nicht ohne weiteres beantworten:
Ist das an? Ist das aus? Ist da die originale Firmware des
Herstellers drauf oder was, was mir ein Dritter zwi-
schendurch beim Update reingeschoben hat oder nicht.
[..] Das trifft wahrscheinlich auf den Toaster und auf die
Glühlampe mit Smart Home W-LAN-Anbindung ge-
nauso zu, aber bei den Dingern ist es ja noch einmal ein
Zacken schärfer wahrscheinlich durch die Fähigkeiten,
die es hat. (W1-P2)
Die Probleme, bspw. des Kontrollverlustes, wurden zwar als ge-
nerell gültig für eingebettete Geräte gesehen. Da diese typischer-
weise Aktoren sind oder auf einige sehr spezifische Sensorik, mit
der auch nur sehr spezifische Informationen gesammelt werden,
Session 6: Conversational UIs
Die nutzerInnenfreundliche Formulierung von Zwecken der Da-
tenverarbeitung von Sprachassistenten
beschränkt sind, bilden Sprachassistenten dadurch eine Aus-
nahme.
In der Nutzung der Assistenten unterschieden sich die Teilneh-
merInnen. Hierbei führen wir sowohl aktuelle Nutzungen als auch
vorstellbare Nutzungsweisen. Ein Teilnehmer wollte sie gar nicht
verwenden, einige nutzen sie nur auf Smartphones:
Ich nutze [Sprachassistenten], aber für zuhause habe ich
keinen Bedarf gesehen. Aber ich nutze diesen Google
Maps-internen Sprachassistenten. Also wenn im Auto
halt irgendwie eine Adresse suche, es ist halt sicherer
wenn ich einmal kurz darauf klicke und es reinspreche
und es funktioniert eigentlich ganz gut. (W1-P4)
Im Fall der Smartphone-basierten Nutzung ging es im Wesentli-
chen darum, zu navigieren, Erinnerungen einzustellen, Telefonate
zu tätigen, oder Nachrichten zu schreiben.
Eine weitere Gruppe von TeilnehmerInnen hatte ein oder mehrere
Geräte im Zuhause, teils auch mehrere Systeme parallel. Anwen-
dungsfälle waren insbesondere in der Wiedergabe von Musik,
aber auch in der Steuerung von Smart Home Komponenten (ins-
besondere Licht) sowie simplen Web-Anfragen im Sinne von Wis-
sensfragen zu finden:
Ich glaub so die Klassiker sind im Moment im Smart-
Home-Kontext so diese Licht steuern, Musik an/aus, Te-
lefonate, also so die kleinen Sachen. Kleine Suchanfra-
gen stellen, wenn ich gerade nicht tippen kann. Also es
quasi wie ein Web-Interface benutzen mit Sprachsteue-
rung. (W2-P4)
Seltener war noch die Nutzung spezifischer Sprach-Apps, wie
zum Beispiel eine Unterstützung beim Kochen. Auch die
Broadcast-Funktion, die es in Geräten für Sprachassistenten gibt,
wurde nur von einer Person genutzt:
Beim Kochen: Rezept absprechen lassen. Quasi so nach,
nach den Schritten… so erster Schritt machst du das und
das, das wird dann so systematisiert abgespult. Es gibt
auch so eine Broadcast-Funktion beim Google. [..] Das
habe ich mal benutzt, um meinem Freund zu sagen, dass
ich nach Hause komme. (W2-P2)
4.2.2 Gezielte Nicht-Nutzung. Neben einem Einblick in die An-
wendungsfälle, wollten wir auch genauer wissen, in welchen Kon-
texten, die TeilnehmerInnen Sprachassistenten nicht nutzen woll-
ten. Hier reichte das Echo von einer Egal-Haltung über differen-
zierte (Selbst-)Einschränkungen in der Nutzung bis hin zu grund-
sätzlicher Ablehnung:
Also ich würde auch deswegen ja so ein Ding überhaupt
gar nicht erst in der Wohnung haben. Weil ich würde
dem nicht trauen, dass er nur dann anspringt, wenn ich
dem das sage. [..] Ich finde schon zu viel, wenn ein biss-
chen was von mir aufgezeichnet wird, denn man packt
das dann mit den anderen Sachen zusammen und insge-
samt ist das ein großes Ganzes und das fände ich einfach
schon viel. (W1-P1)
367
MuC’20, September 6–9, 2020, Magdeburg, Germany
Vertrauen spielte im Verlauf des Workshops für die Teilnehme-
rInnen stets eine große Rolle. Dieses Vertrauen mussten die Teil-
nehmerInnen einerseits aufbringen, dass Sprachdaten nur gespei-
chert würden, wenn eine absichtliche Eingabe gemacht wurde,
andererseits aber auch darin, dass die Datenverarbeiter hinter
dem Sprachassistenten verantwortungsvoll mit den Informatio-
nen umgehen würden. Beispielsweise gab es Orte, in denen Teil-
nehmerInnen keinen Sprachassistenten haben wollten:
Also ich habe z.B. auch im Schlafzimmer kein Gerät. Das
wäre für mich auch eben eine Grenzüberschreitung. Sol-
che Sachen wie Friseur-Termine buchen, was ja jetzt ir-
gendwie öfter auch gemacht wird oder eine Reise oder
irgendwie eine Zahlung kann man ja auch theoretisch
machen - ich glaube hier in Deutschland noch nicht,
aber in den USA schon - ein Zahlungstransfer. Für so-
was habe ich das nicht benutzt. Und benutze ich nicht.
Kann ich mir auch nicht vorstellen. (W2-P2)
Mit Blick auf sensible Anwendungsfälle zogen die Teilnehmerin-
nen sehr unterschiedliche Grenzen. W2-P2 nutzt Sprachassisten-
ten zwar generell und hat auch individuelle Sprach-Apps instal-
liert, möchte aber bspw. keine Zahlungen über den Sprachassis-
tenten abwickeln. Andere minimierten ihre Interaktion mit
Sprachassistenten unabhängig vom Themenfeld soweit es geht:
Also ich schränke das soweit wie es eben geht ein. Weil
es mir besser geht, wenn meine Privatsphäre gewahrt
wird, das ist mir einfach wichtig. (W1-P1)
Eine Teilnehmerin hatte bereits schlechte Erfahrung im Bereich
personalisierter Werbung gemacht und überträgt ihre Reaktion
darauf auch auf Sprachassistenten:
Ich hatte vor ein paar Jahren mit meiner Nichte zusam-
men nach Prada gesucht und ich kriege ständig von ir-
gendwelchen Bekleidungsgeschäften die Reklame und
ich habe X mal die ganzen Daten gelöscht und so. Ist
irgendwie total egal, ich kriege immer diese blöde Re-
klame. Ich bin so genervt, dass ich tatsächlich auch mein
Verhalten irgendwie geändert hab [und nicht mehr im
Internet suche] was mich schon ein bisschen geärgert
hat, denn dafür habe ich eigentlich das Internet, dass ich
so Sachen nachgucken kann. (W1-P1)
Aus Ärger über vergangene Erlebnisse und aus Furcht vor neu
auftretender penetranter und schlecht personalisierter Werbung
schränkt sich die Teilnehmerin insbesondere in der Suche ein. Am
anderen Ende standen Teilnehmer, die in gewissen Bereichen auf-
gegeben haben, sich um ihre Privatheit zu kümmern:
Auf der anderen Seite habe ich für mich so irgendwann
entschieden, dass ich meinen Komfort sehr schätze und
dass Google irgendwie alles von mir wissen darf. [Ich
habe] irgendwann gesagt, Google darf alles wissen, ist
mir egal und ich habe immer irgendwie eine Art von
AGBs bekommen, ja okay jetzt akzeptiere es doch mal.
Zack! Zack! (W1-P2)
4.2.3 Wahrgenommene Risiken. Bei den Anwendungsfällen, die
die TeilnehmerInnen jeweils nicht umsetzten, lagen Bedenken
Session 6: Conversational UIs
MuC’20, September 6–9, 2020, Magdeburg, Germany
über mögliche Folgen zu Grunde, die teils schon zuvor durch-
schimmerten. Im dritten Schritt waren diese Folgen und wahrge-
nommenen Risiken im Fokus des Interesses und zeigten vielfältige
Ausprägungen (Tabelle 4).
Ein Risiko, das sich stärker auf das Input-Medium ‚Sprache‘ bezog,
denn auf die Datenverarbeitung, war das Mithören Dritter bei Ein-
gaben in der Öffentlichkeit („Sprache im öffentlichen Raum“).
Weiter wurde die generelle IT-Sicherheit angezweifelt („Hackabi-
lity der Geräte“).
Davon abgesehen war ein grundlegendes Problem in der Nutzung
von Sprachassistenten für die TeilnehmerInnen der Mangel an
Transparenz und Vertrauenswürdigkeit der Anbieter im Hinblick
darauf, was mit Daten gemacht würde und was nicht:
Und es stellt für mich Kontrollverlust dar. [..] Weil ich
gar keinen Einfluss später mehr drauf habe, egal ob das
der Staat oder das Unternehmen ist, dem ich die Daten
gebe. (W2-P3)
Dieser „Kontrollverlust über Daten“ (Tabelle 4) war ein bei vielen
TeilnehmerInnen präsentes Risiko. Schließlich wurde auf techni-
scher Ebene befürchtet, dass Algorithmen falsche Schlüsse ziehen
könnten („Falschinterpretation“), von denen NutzerInnen nichts
mitbekommen könnten oder sie diesen machtlos ausgesetzt wä-
ren:
Es gab mal von Yellow-Strom früher so eine Werbeseite,
wo man, Fragen eingeben konnte und die wollten natür-
lich am einen Stromtarif anbieten am Ende. Ich habe da
mal glaube ich auch als Kunstprojekt irgendwie ‚Terro-
rismus‘ und ‚Krieg‘ eingegeben, nur um zu gucken was
da zurück kommt [..] Das war wirklich total interessant
so für sich als Spiel, aber wenn ich das mit personenbe-
zogenen Daten mache und dann eine Profilbildung da-
hintersteckt, wo man das, den Kontext auch gar nicht
mehr kennt: Waren die alle betrunken und haben die
alle komische Wörter gesagt? Und jemand anderes das
sich anguckt und ‚Oh Gott, was ist denn das für eine
Person‘ und dann landen wir am Ende beim Social Cre-
dit System, wo die Daten ausgewertet und bewertet
Tabelle 4: Gruppen der von Nutzern genannte Pri-
vatheitsrisiken in der Nutzung von Sprachassistenten
Kontrollverlust über Daten
Verletzung der Privatsphäre
Abstrakte Risiken
Personalisierte Werbung
Profilbildung
Finanzielle Nachteile
Finanzielle Ausnutzung der Daten
Verhaltenssteuerung
Überwachung (durch Staat oder Unternehmen)
Sprache im öffentlichen Raum
Unsicherheit der Technologie
Falschinterpretation
Hackability der Geräte
Belästigung
368
T. Jakobi et al.
werden. Und das ist ein Risiko, da habe ich überhaupt
gar keinen Einfluss. Das ist jetzt vielleicht eine abstrakte
Kette aber für mich steckt die zumindest im Unterneh-
men immer da drin, dass sie Daten auswerten. (W2-P3)
Weiter sahen die TeilnehmerInnen die Gefahr der „Verletzung der
Privatheitsphäre“ und störten sich an der Datenerhebung „an
sich“ – insbesondere der „Profilbildung“. Unabhängig von der Be-
nutzung von Daten, wollten einige TeilnehmerInnen Daten per se
nicht erhoben wissen.
Ich gehe davon aus, dass es mir nicht immer bewusst
sein wird, dass alle meine Sprachnachrichten in irgend-
ein Rechenzentrum gehen. [..]Also am ersten Tag weiß
ich, das Gerät steht da, am 5. Tag weiß ich das Geräte
steht da, am 10. Tag ist das ein Familienmitglied so nach
dem Motto. [..] Es gibt schon so viel Mitschnitt, dass ich
eine weitere Dimension verhindern möchte. (W1-P3)
Ohne Blick auf Folgen der Erhebung, ist die Sammlung und das
Eindringen in den privaten Raum an sich bereits negativ konno-
tiert. Einige TeilnehmerInnen empfanden auch die Gegenwart
vieler Geräte im Zuhause und insbesondere die Proaktivität von
Sprachassistenten als „Belästigung“:
[Ein Sprachassistent] ist ja im Smartphone zum Teil
schon enthalten, das heißt ich habe unter Umständen
keine Wahl oder am PC ist es Cortana, die mich ständig
belästigt und sagt: “Rede doch mal mit mir”. Und das
macht mir eher Angst und das überwiegt und deshalb
nutze ich es nicht. (W2-P3)
Im Wesentlichen waren allerdings Folgen der Verarbeitung für die
NutzerInnen der wesentliche Teil der Risiken: NutzerInnen be-
fürchteten bestimmte Nutzungsweisen von Daten, die für die Teil-
nehmerInnen nachteilig erschienen. Nicht deckungsgleich, aber
häufig mit der kategorischen Ablehnung einhergehend wurden
oft abstrakte Risiken, wie das Szenario eines nicht weiter umris-
senen potentiellen Missbrauchs in der Zukunft aufgezeigt:
Wenn, vielleicht durch politische Umwälzungen, ir-
gendjemand anderes an diese Daten kommen kann,
dann wird es wieder gekippt und andere Leute können
die Daten für ganz andere, ungünstigere Zwecke benut-
zen. Und das ist ein ganz konkretes Risiko aus meiner
Sicht. (W2-P3)
Insbesondere steht hier die Überwachung durch einen systemi-
schen Umbruch im Vordergrund, die NutzerInnen vom Schadens-
potential noch einmal von der Benutzung für kommerzielle Zwe-
cke abgrenzten. Die Nutzung der eigenen Daten durch Unterneh-
men, insbesondere durch Profilbildung mit Daten aus unter-
schiedlichen Quellen, wurde ebenfalls als prinzipiell und unab-
hängig von einem weiteren Verwertungszweck als negativ ange-
sehen.
Also, im Prinzip es geht darum, dass keine Informatio-
nen zusammenkommen, aus dem tiefgreifendes Profil
entsteht. Was passiert dann? Genau dieses ‚Schufa‘-
Thema. Also du kriegst auf einmal keine Krankenversi-
cherung oder deine Police geht hoch oder du kriegst
keine Wohnung mehr. Daten sind ja so neue Gold, jeder
Session 6: Conversational UIs
Die nutzerInnenfreundliche Formulierung von Zwecken der Da-
tenverarbeitung von Sprachassistenten
will die haben, die werden teuer verkauft also damit
wird ja gearbeitet und das ist schon klar. (W1-P5)
Das gebildete Profil wurde als potentiell gefährlich für jedweden
Anwendungsfall gesehen, der gegen die Interessen des Nutzers
gewendet sein konnte. Ähnlich wurden auch konkret finanzielle
Nachteile befürchtet, wenn auf Basis von für sie nachteilhaften
Daten ein individueller Preis für eine Dienstleistung oder ein Pro-
dukt berechnet werden würde. Insbesondere wurde aber persona-
lisierte Werbung als nächstgelegener Anwendungsfall genannt:
[..] da ist Werbung wahrscheinlich so das erste, weil es
heute schon stattfindet. Und es gibt sicherlich auch
Leute, die finden das gut, wenn sie personalisierte Wer-
bung finden, weil die für sie relevant ist. (W2-P4)
Eine verschärfte Version personalisierter Werbung sahen die Nut-
zerInnen auch in einer möglichen Verhaltenssteuerung, die aller-
dings auch positive Effekte haben könnte:
Es gibt zumindest Hinweise darauf, dass teilweise, Al-
gorithmen uns besser verstehen können als uns selber,
dass die uns z.B. in bestimmten Situation Tipps geben
können, die objektive besser sind als wenn wir uns
selbst raten würden. (W1-P2)
Auf der anderen Seite war die Verhaltenssteuerung insgesamt
stark negativ bewertet, weil nicht angenommen wurde, dass sie
zum Wohle der NutzerInnen angewendet werden würde:
Bekommt man dann sozusagen die Wohnung oder nicht.
Kriegt das Kind den Platz im Kindergarten oder nicht,
weil ich mich wohl verhalte. Verhaltensbeeinflussung,
die ja auch mit sowas ausgelöst wird. (W2-P4)
4.2.4 Bewertung angegebener Zwecke. Zum Abschluss des
Workshops haben wir unsere TeilnehmerInnen mit den meist-an-
gegebenen Zwecken aus den Datenschutzhinweisen der Anbieter
der Sprachassistenten konfrontiert. Dadurch wollten wir verste-
hen, inwieweit tatsächlich genutzte Zweckspezifikationen dazu
beitragen würden, dass NutzerInnen die zuvor identifizierten Ri-
siken ausschließen könnten. Es zeigte sich jedoch, dass einzelne
Zwecken zwar teilweise, jedoch vor allem die Gesamtheit der
Zweckangaben fast gar keine eindämmende Wirkung für die Nut-
zerInnen zeigten. Ein erstes, bekanntes Problem führt noch einmal
W1-P2 anschaulich vor Augen, indem er auf die häufig vorlie-
gende Intransparenz von Verarbeitungszwecken hinweist, die aus
seiner Sicht nicht nur bei Sprachassistenten vorliegt:
Ich hoffe immer, [..] wenn ich ein Captcha löse, dass die
Erkennung eines LKWs nur zum Trainieren des selbst-
fahrenden Autos dient und nicht für irgendwelche
Lenkraketen, die den dann besser treffen oder so. (W1-
P2)
Mit Blick auf die Aussagekraft der Zwecke gibt es unterschiedli-
ches Feedback. Vor allem der Punkt zur Erbringung des Dienstes
erschien im Wesentlichen angemessen und recht gut abgegrenzt
und ein logischer Zweck. Auch die Erbringung von Werbung und
IT-Sicherheit sowie die Einhaltung gesetzlicher Bestimmungen
hielten die TeilnehmerInnen für im Wesentlichen verständlich
369
MuC’20, September 6–9, 2020, Magdeburg, Germany
und nachvollziehbar, auch wenn Werbung als Zweck ambivalent
diskutiert wurde. Hier war das Thema der Personalisierung in
Verbindung mit einer Verbesserung der Dienstleistung ein Reiz-
punkt. Einerseits gab es recht konkrete Vorstellungen davon, was
diese Verbesserungen einschließen würde:
Theoretisch könnte Amazon hingehen aufgrund von
statistischen Nutzerdaten die Seite ändern: [..]“Wir ha-
ben rausgekriegt, du bist Linkshänder“. Jetzt richtet es
mir das für links ein, während der andere, der Rechts-
händer ist, das rechts bekommt. So, dass mein Amazon
tatsächlich anders aussiehst als dein Amazon. (W1-P2)
Die TeilnehmerInnen bezweifelten jedoch, dass Verbesserungen
von Diensten immer Verbesserungen für die KundInnen sein wür-
den, und nicht möglicherweise stärker dem Interesse des Anbie-
ters dienen könnten.
Ich würde mich dann ärgern, wenn ich eigentlich was
Anderes eingegeben habe und die meinen, die wüssten
es besser und dann geben mir was Neues. Also das wäre
mir dann egal ob das jetzt aus statistischen oder sonst
irgendwelchen anderen Gründen ist, wenn ich etwas su-
che und dann kriege ich das nicht oder erst nachdem ich
drei mehr Schritte gemacht habe, dann ist das keine Ver-
besserung. (W1-P1)
Darüber fiel es den TeilnehmerInnen schwer Risiken auszuschlie-
ßen, die nicht unter die Verbesserung oder Neu-Entwicklung der
Dienste fallen würden. Vielmehr äußerten sie das Gefühl einer
Unschärfe und Unklarheit:
Ich finde ja diese Sachen sind immer furchtbar vage ge-
halten, als Jurist sieht man das vielleicht ein bisschen
anders, aber diese Verbesserung von Diensten und Wei-
tergabe an Dritte, das ist halt für meinen Geschmack -
und das zeigt ja irgendwie die Praxis auch so bei Face-
book und Google, und ähnlichem, halt echt so ein Nebel.
(W2-P5)
Insgesamt wurde festgestellt, wie weit unternehmerische Praxis
von den Bedenken von NutzerInnen abweicht:
[Die Zwecke sind] das Interesse der Unternehmen. Das
ist ja, was wir dort zusammengetragen haben (zeigt auf
die wahrgenommenen Risiken), ist ja eher das gesell-
schaftliche Abbild. Also es gibt ja schon einen großen
Unterschied finde ich. Das (zeigt auf die Zwecke) sind ja
Interessen, und gute Gründe vielleicht der Unterneh-
men, das zu tun, aber ich finde, da gibt es eine riesen
Diskrepanz. (W2-P5)
Die Aussage charakterisiert treffend die Art der Abweichung,
insofern, als dass Zweckangaben bisher nicht aus einer Sicht
der BenutzerInnen, sondern aus Sicht der Verwender gedacht
und formuliert werden.
5 Diskussion
5.1 System-Transparenz von Sprachassistenten
Session 6: Conversational UIs
MuC’20, September 6–9, 2020, Magdeburg, Germany
Die Kontrollierbarkeit der Datenerfassung und das Vertrauen in
die Prozesse der Anbieter, das Liao et al. vor allem für Nicht-Nut-
zerInnen identifiziert haben [25] konnten wir auch finden. Insge-
samt stellt sich jedoch vor dem Hintergrund des neuen Eingabe-
und Ausgabe-Mediums ‚Sprache‘ die Herausforderung, Daten-
schutzeinstellungen zu kommunizieren: Wie müsste eine Interak-
tion mit Sprachassistenten aussehen, um über Datenverarbei-
tungspraktiken zu informieren? Eine Frage, die sich Forschung
rund um die Themen Awareness und Selbstauskunftsfähigkeit be-
reits widmet [7, 14, 35]. Über Sprach-Interfaces könnten hier aber
neue Herausforderungen der Daten-Bereitstellung entstehen:
Traditionell wird bei der Gestaltung von Sprachassistenten auf die
möglichen Befehle und damit die Accessibility der Assistenten
[51] geschaut. Im Fall der Auskunftsfähigkeit zu Datensammel-
Praktiken bestünde die Forschungsfrage jedoch darin, wie die Da-
ten sinnvoll zurück kommuniziert werden könnten.
Neben der Transparenz in der Nutzung (bspw. durch das Recht
auf Auskunft nach DSGVO), zeigt unsere Studie aber auch deut-
lich, dass es schon bei der Einrichtung von Sprachassistenten an
Transparenz über Verarbeitungszwecke mangelt.
5.2 Zwecke besser kommunizieren: Eine Road-
map
Die Zweckangaben der Anbieter waren recht ähnlich und ließen
sich, bei abweichendem Detailgrad der Beschreibungen, zu einem
guten Teil gemeinsamen Kategorien zuordnen. Bei aller ange-
brachten Vorsicht könnte dies auf etablierte Muster von Zweck-
angaben in der Industrie hindeuten, die rechtlich zumindest tole-
riert werden. Aus NutzerInnensicht haben einige der Zweckanga-
ben, insbesondere um Dienstverbesserung und Neu-Entwicklung
kaum einschränkende Wirkung auf die Risiko-Wahrnehmung.
TeilnehmerInnen konnten sich zwar vorstellen, was legitime An-
wendungsfälle wären, konnten andersherum aber nicht sagen,
dass diese Zwecke auch nicht erwünschte Nutzungen ausschlie-
ßen könnten. Dies widerspricht der Ansicht der Artikel 29 Ar-
beitsgruppe zum Thema Zweckbindung [6], in der es heißt, dass
Zwecke so formuliert sein müssen, dass sie eine eindeutige Iden-
tifizierung der Grenzen, wie gesammelte Daten verwenden kön-
nen, ermöglichen.
Der gegenwärtigen Praxis von Zweckformulierungen konnten
wir in diesem Beitrag erstmals eine VerbraucherInnensicht gegen-
überstellen, die diesen Missstand empirisch aufzeigt. Zugleich bie-
tet die Studie erste Anhaltspunkte für DesignerInnen, welche Ar-
ten von Informationen für NutzerInnen relevant sind. Aus der
Perspektive könnten Risiken aus NutzerInnensicht [19, 22] ein
neuer Weg für eine sinnvolle Zweckformulierung darstellen, um
die geforderte Eindeutigkeit wieder herzustellen.
In einem nächsten Schritt sollten die Fokusgruppen auf weitere
Technologien ausgeweitet und Risiken durch NutzerInnen kate-
gorisiert werden. Dadurch könnten erste Eingrenzungen für be-
deutungsvolle Zwecke erreicht werden. Für eine rechtliche Kon-
trastierung sollten RechtsexpertInnen diese Risiken ebenfalls ka-
tegorisieren. Die Schemata sind zu vergleichen und im Sinne der
NutzerInnen zu integrieren. Eine weitere Aufgabe wird sein, auf
inhaltlich abgrenzbare, rechtlich haltbare und gebrauchstaugliche
370
T. Jakobi et al.
Formulierungen kommen zu können, mit denen sich auch wirt-
schaftliche Interessen verbinden lassen.
5.3 Neue Kooperationen zwischen HCI und
Rechtswissenschaften
„Privacy by Design“ nach Artikel 25 DSGVO erfordert die Umset-
zung der Verarbeitungsgrundsätze, wie z.B. die Grundsätze der
Zweckbindung und Transparenz in die technische und organisa-
torische Gestaltung von Datenschutzmaßnahmen (TOM). Ge-
troffene TOM sollen darüber hinaus nach Artikel 25 „effektiv“ und
unter Berücksichtigung des „Standes der Technik“ umgesetzt sein.
Beide Begriffe sind recht innovative rechtliche Mittel und daher
noch auslegungsbedürftig. Rechtlich wird diskutiert, dass unter
TOM auch gestalterische und UX-Maßnahmen zu fassen sind.
Dies eröffnet ein großes gemeinsames Forschungsfeld von HCI
und Rechtswissenschaften, dessen mögliche Ausgestaltung wir in
diesem Beitrag am Beispiel des Prinzips der Zweckbindung skiz-
ziert haben. Während eine Beurteilung der Wirksamkeit von
Maßnahmen nach dem Stand der Technik für Rechtswissenschaf-
ten aus methodologischer Sicht eine Herausforderung darstellen
mag, fallen diese Aufgaben in den primären Bereich der HCI-Ge-
meinschaft. Insbesondere vor dem Hintergrund der neuen
DSGVO und ihrer teils neuen Rechtsbegriffe ist hier ein Gestal-
tungsraum entstanden. Die Studie liefert mit ihren Evidenzen ei-
nen ersten Beitrag der HCI für die Rechtswissenschaften, um zu
gebrauchstauglichen und dadurch „effektiven“ Interpretationen
von Recht zu gelangen. Der Diskurs zwischen Stakeholderbedar-
fen und rechtlichen Rahmenbedingungen kann allerdings nur in
Kooperation vorangetrieben werden.
5.4 Limitierungen und zukünftige Arbeit
Unsere Studie fokussiert auf den Kontext der Sprachassistenten
und kann keine umfassende Analyse der Verständlichkeit von
Zwecken aus Nutzersicht bieten. Ebenso wurden lediglich zwei
Fokusgruppen durchgeführt, um Risiken und Zwecke zu explorie-
ren. Auch wurden TeilnehmerInnen nicht bezahlt oder für Auf-
wände entschädigt, so dass unser Sample möglicherweise in Rich-
tung finanziell stabiler und/oder datenschutzsensibler Menschen
verzerrt sein könnte. Trotz Einschränkungen bei der Generalisier-
barkeit zeigt unsere Studie einen Forschungsbedarf darin, das
Prinzip der Zweckbindung für NutzerInnen gebrauchstauglich
umzusetzen. Darüber hinaus demonstriert die Studie, wie die HCI
methodisch mit den Rechtswissenschaften zusammenarbeiten
kann, um noch unklare Anforderungen der DSGVO gestalterisch
auszudeuten. Entsprechend werden wir unsere Arbeit in weitere
Anwendungsgebiete überführen, um ein breiteres Bild von Zwe-
cken und Risiken zu erhalten. Ebenso zielen wir auf eine quanti-
tative Absicherung der qualitativen Erfahrungen. Vor allem steht
dabei im Fokus zu zeigen, inwieweit bestehende Zwecke Transpa-
renz für NutzerInnen bieten und ob wahrgenommene Risiken eine
aus NutzerInnensicht gangbare Alternative wären.
6 Fazit
Session 6: Conversational UIs
Die nutzerInnenfreundliche Formulierung von Zwecken der Da-
tenverarbeitung von Sprachassistenten
Das Zweckbindungsprinzip der DSGVO mit seiner Komponente
der Zweckspezifizierung fordert neben Flexibilität für den Verar-
beiter auch Transparenz für VerbraucherInnen. Vor dem Hinter-
grund dieses Interessenkonflikts sind wir der Frage nachgegan-
gen, inwieweit Verarbeitungszwecke von Sprachassistenten diese
Anforderungen erfüllen. Für die Erhebung einer NutzerInnenper-
spektive haben wir Zweckangaben in Datenschutzhinweisen po-
pulärer Sprachassistenten analysiert. Unsere NutzerInnenstudie
zeigt, dass bestehende Zweckformulierungen für VerbraucherIn-
nen kaum Transparenz über Folgen der Datenverarbeitung bieten
und keine einschränkende Wirkung im Hinblick auf legale Daten-
nutzung erzielen. Unsere Ergebnisse über von NutzerInnen wahr-
genommene Risiken erlauben dabei Rückschlüsse auf die anwen-
derInnenfreundliche Gestaltung von Verarbeitungszwecken.
Schließlich demonstriert die Studie, wie die HCI einen wertvollen
Beitrag zur Ausgestaltung von (Datenschutz-)Recht unter der Be-
dingung konfligierender Perspektiven leisten kann.
ACKNOWLEDGMENTS
Wir danken allen TeilnehmerInnen der Fokusgruppen, sowie Fa-
temeh Alizadeh und Kevin Klug für Ihre Unterstützung in der
Durchführung und Aufbereitung der Ergebnisse.
REFERENCES
[1] Abdi, N., Ramokapane, K.M. and Such, J.M. 2019. More than
smart speakers: security and privacy perceptions of smart
home personal assistants. Fifteenth Symposium on Usable
Privacy and Security ({SOUPS} 2019) (2019).
[2] Acquisti, A. 2009. Nudging privacy: The behavioral eco-
nomics of personal information. IEEE security & privacy. 7,
6 (2009), 82–85.
[3] Adams, A. and Sasse, M.A. 1999. Users are not the enemy.
Communications of the ACM. 42, 12 (1999), 40–46.
[4] Adobe 2019. State of Voice Technology for Brands.
[5] Alizadeh, F., Jakobi, T., Boldt, J. and Stevens, G. 2019.
GDPR-Reality Check on the Right to Access Data: Claiming
and Investigating Personally Identifiable Data from Com-
panies. Proceedings of Mensch Und Computer 2019 (New
York, NY, USA, 2019), 811–814.
[6] Article 29 Data Protection Working Party. 2013. Opinion
03/2013 on purpose limitation. Technical Report
#00569/13/EN WP 203.
[7] Bellotti, V. and Edwards, K. 2001. Intelligibility and ac-
countability: human considerations in context-aware sys-
tems. Human–Computer Interaction. 16, 2–4 (2001), 193–
212.
[8] Bodenhöfer, X. 2018. Digitale Sprachassistenten als intelli-
gente Helfer im Alltag. eresult.
[9] Brodie, C., Karat, C.-M., Karat, J. and Feng, J. 2005. Usable
Security and Privacy: A Case Study of Developing Privacy
Management Tools. Proceedings of the 2005 Symposium on
Usable Privacy and Security (New York, NY, USA, 2005), 35–
43.
[10] Brouwer, E.R. 2011. Legality and data protection law: The
forgotten purpose of purpose limitation. (2011).
[11] Day, M., Turner, G. and Drozdiak, N. 2019. Amazon Work-
ers Are Listening to What You Tell Alexa. Bloomberg.com.
371
MuC’20, September 6–9, 2020, Magdeburg, Germany
[12] Easwara Moorthy, A. and Vu, K.-P.L. 2014. Voice Activated
Personal Assistant: Acceptability of Use in the Public
Space. Human Interface and the Management of Infor-
mation. Information and Knowledge in Applications and Ser-
vices. S. Yamamoto, ed. Springer International Publishing.
324–334.
[13] Forgó, N., Hänold, S. and Schütze, B. 2017. The principle of
purpose limitation and big data. New Technology, Big Data
and the Law. Springer. 17–42.
[14] Gerber, N., Reinheimer, B. and Volkamer, M. 2018. Home
sweet home? Investigating users’ awareness of smart home
privacy threats. Proceedings of An Interactive Workshop on
the Human aspects of Smarthome Security and Privacy
(WSSP) (2018).
[15] Gerber, N., Reinheimer, B. and Volkamer, M. 2019. Investi-
gating People’s Privacy Risk Perception. Proceedings on Pri-
vacy Enhancing Technologies. 2019, 3 (2019), 267–288.
[16] Gray, C.M., Kou, Y., Battles, B., Hoggatt, J. and Toombs,
A.L. 2018. The dark (patterns) side of UX design. Proceed-
ings of the 2018 CHI Conference on Human Factors in Com-
puting Systems (2018), 534.
[17] Hern, A. 2019. Apple contractors “regularly hear confiden-
tial details” on Siri recordings. The Guardian.
[18] Im, I., Kim, Y. and Han, H.-J. 2008. The effects of perceived
risk and technology type on users’ acceptance of technolo-
gies. Information & Management. 45, 1 (Jan. 2008), 1–9.
DOI:https://doi.org/10.1016/j.im.2007.03.005.
[19] Jakobi, T., Patil, S., Randall, D., Stevens, G. and Wulf, V.
2019. It’s About What They Could Do with the Data: A
User Perspective on Privacy in Smart Metering. ACM
Trans. Comput.-Hum. Interact. 9, 4 (2019), 43.
DOI:https://doi.org/10.1145/3281444.
[20] Jakobi, T., Stevens, G., Castelli, N., Ogonowski, C., Schaub,
F., Vindice, N., Randall, D., Tolmie, P. and Wulf, V. 2018.
Evolving Needs in IoT Control and Accountability: A Lon-
gitudinal Study on Smart Home Intelligibility. Proceedings
of the ACM on Interactive, Mobile, Wearable and Ubiquitous
Technologies. 2, 4 (Dec. 2018), 28.
DOI:https://doi.org/10.1145/3287049.
[21] Janic, M., Wijbenga, J.P. and Veugen, T. 2013. Transparency
Enhancing Tools (TETs): An Overview. 2013 Third Work-
shop on Socio-Technical Aspects in Security and Trust
(STAST) (Jun. 2013), 18–25.
[22] Karwatzki, S., Trenz, M. and Veit, D. 2018. Yes, firms have
my data but what does it matter? measuring privacy risks.
(2018).
[23] Kelley, P.G., Bresee, J., Cranor, L.F. and Reeder, R.W. 2009.
A nutrition label for privacy. Proceedings of the 5th Sympo-
sium on Usable Privacy and Security (2009), 4.
[24] Lau, J., Zimmerman, B. and Schaub, F. 2018. Alexa, Are You
Listening?: Privacy Perceptions, Concerns and Privacy-
seeking Behaviors with Smart Speakers. Proceedings of the
ACM on Human-Computer Interaction. 2, CSCW (Nov.
2018), 1–31. DOI:https://doi.org/10.1145/3274371.
[25] Liao, Y., Vitak, J., Kumar, P., Zimmer, M. and Kritikos, K.
2019. Understanding the Role of Privacy and Trust in Intel-
ligent Personal Assistant Adoption. Information in Contem-
porary Society (Cham, 2019), 102–113.
[26] Liu, B., Andersen, M.S., Schaub, F., Almuhimedi, H., Zhang,
S.A., Sadeh, N., Agarwal, Y. and Acquisti, A. 2016. Follow
Session 6: Conversational UIs

MuC’20, September 6–9, 2020, Magdeburg, Germany T. Jakobi et al.

my recommendations: A personalized privacy assistant for
mobile app permissions. Symposium on Usable Privacy and
Security (2016).
[27] Mathur, A., Acar, G., Friedman, M.J., Lucherini, E., Mayer,
J., Chetty, M. and Narayanan, A. 2019. Dark patterns at
scale: Findings from a crawl of 11K shopping websites. Pro-
ceedings of the ACM on Human-Computer Interaction. 3,
CSCW (2019), 81.
[28] Mayring, P. 2010. Qualitative inhaltsanalyse. Handbuch
qualitative Forschung in der Psychologie. Springer. 601–613.
[29] McDonald, A.M., Reeder, R.W., Kelley, P.G. and Cranor,
L.F. 2009. A comparative study of online privacy policies
and formats. International Symposium on Privacy Enhanc-
ing Technologies Symposium (2009), 37–55.
[30] Mennicken, S. and Huang, E.M. 2012. Hacking the Natural
Habitat: An In-the-Wild Study of Smart Homes, Their De-
velopment, and the People Who Live in Them. Pervasive
Computing. J. Kay, P. Lukowicz, H. Tokuda, P. Olivier, and
A. Krüger, eds. Springer Berlin Heidelberg. 143–160.
[31] Milne, G.R., Culnan, M.J. and Greene, H. 2006. A longitudi-
nal assessment of online privacy notice readability. Journal
of Public Policy & Marketing. 25, 2 (2006), 238–249.
[32] Oulasvirta, A., Pihlajamaa, A., Perkiö, J., Ray, D., Vähäkan-
gas, T., Hasu, T., Vainio, N. and Myllymäki, P. 2012. Long-
term effects of ubiquitous surveillance in the home. Pro-
ceedings of the 2012 ACM Conference on Ubiquitous Compu-
ting - UbiComp ’12 (Pittsburgh, Pennsylvania, 2012), 41.
[33] Pfitzmann, A. 2001. Multilateral security: Enabling technol-
ogies and their evaluation. Informatics (2001), 50–62.
[34] Pfitzmann, A., Schill, A., Westfeld, A. and Wolf, G. 2000.
Mehrseitige Sicherheit in offenen Netzen. Grundlagen,
praktische Umsetzung und in Java implementierte Demonst-
rations-Software. (2000).
[35] Pötzsch, S. 2009. Privacy awareness: A means to solve the
privacy paradox? The future of identity in the information
society. Springer. 226–236.
[36] Pradhan, A., Mehta, K. and Findlater, L. 2018. “Accessibility
Came by Accident”: Use of Voice-Controlled Intelligent
Personal Assistants by People with Disabilities. Proceedings
of the 2018 CHI Conference on Human Factors in Computing
Systems - CHI ’18 (Montreal QC, Canada, 2018), 1–13.
[37] Rannenberg, K. 2001. Multilateral security a concept and
examples for balanced security. Proceedings of the 2000
workshop on New security paradigms (2001), 151–162.
[38] Rao, A., Schaub, F. and Sadeh, N. 2015. What do they know
about me? Contents and Concerns of Online Behavioral
Profiles. PASSAT ’14: Sixth ASE International Conference on
Privacy, Security, Risk and Trust (2015).
[39] Ravichander, A., Black, A.W., Wilson, S., Norton, T. and
Sadeh, N. 2019. Question Answering for Privacy Policies:
Combining Computational and Legal Perspectives. arXiv
preprint arXiv:1911.00841. (2019).
[40] Sadeh, N., Acquisti, A., Breaux, T.D., Cranor, L.F., McDon-
ald, A.M., Reidenberg, J.R., Smith, N.A., Liu, F., Russell, N.C.
and Schaub, F. 2013. The usable privacy policy project.
Technical report, Technical Report, CMU-ISR-13-119. (2013).
[41] Schaub, F., Balebako, R., Durity, A.L. and Cranor, L.F. 2015.
A design space for effective privacy notices. Eleventh Sym-
posium On Usable Privacy and Security (SOUPS 2015) (2015),
1–17.
[42] Siegle, J. 2019. Google ermittelt wegen Illegalen Sprachauf-
zeichnungen. TechFieber.de.
[43] Singh, R.I., Sumeeth, M. and Miller, J. 2011. Evaluating the
readability of privacy policies in mobile environments. In-
ternational Journal of Mobile Human Computer Interaction
(IJMHCI). 3, 1 (2011), 55–78.
[44] Spagnuelo, D., Ferreira, A. and Lenzini, G. 2018. Accom-
plishing Transparency within the General Data Protection
Regulation. 5th International Conference on Information
Systems Security and Privacy. To appear (2018).
[45] Steinfeld, N. 2016. “I agree to the terms and conditions”:
(How) do users read privacy policies online? An eye-track-
ing experiment. Computers in Human Behavior. 55, (Feb.
2016), 992–1000.
DOI:https://doi.org/10.1016/j.chb.2015.09.038.
[46] Stevens, G., Bossauer, P., Jakobi, T. and Pakusch, C. 2018.
Mehrseitiges Vertrauen bei IoT-basierten Reputationssys-
temen. Mensch und Computer 2018-Workshopband. (2018).
[47] Stevens, G., Jakobi, T. and Detken, K.-O. 2014. Mehrseitige,
barrierefreie Sicherheit intelligenter Messsysteme. Daten-
schutz und Datensicherheit. 38, 8/2014 (2014), 536–544.
[48] Trojer, T., Katt, B., Breu, R., Schabetsberger, T. and Mair, R.
2012. Scenario-based Templates supporting Usable Privacy
Policy Authoring. University of Amsterdam, Amsterdam
Privacy Conference (2012).
[49] Tzanou, M. 2010. The EU as an emerging surveillance soci-
ety: the function creep case study and challenges to privacy
and data protection. Vienna Online J. on Int’l Const. L. 4,
(2010), 407.
[50] Wilson, S., Schaub, F., Liu, F., Sathyendra, K.M., Smullen,
D., Zimmeck, S., Ramanath, R., Story, P., Liu, F. and Sadeh,
N. 2018. Analyzing privacy policies at scale: From
crowdsourcing to automated annotations. ACM Transac-
tions on the Web (TWEB). 13, 1 (2018), 1–29.
[51] Yankelovich, N. 1996. How do users know what to say? in-
teractions. 3, 6 (1996), 32–43.

372