Ma

Grit Schuster | Masterarbeit
MA Interaction Design | Institut für Industrial Design | FB IWID | Hochschule Magdeburg-Stendal | 10. September 2008
Masterarbeit
Grit Schuster
Interaction Design
Matrikel-Nr: 20052995
10. September 2008
Betreuung
Prof. Christine Strothotte

Prof. Carola Zwick
Hochschule Magdeburg-Stendal
FB Ingenieurwesen und Industriedesign

Institut für Industrial Design
Breitscheidstraße 2
39114 Magdeburg
Kontakt: mail@gritschuster.de
Selbständigkeitserklärung
Hiermit versichere ich, die vorliegende Arbeit selbständig verfasst und keine anderen als die ange-
gebenen Quellen und Hilfsmittel benutzt sowie Zitate kenntlich gemacht zu haben.
Grit Schuster. Magdeburg, den 10. September 2008

Danksagung
Ich danke ganz herzlich Prof. Christine Strothotte und Prof. Carola Zwick für die konstruktive und
motivierende Betreuung dieser Arbeit und für zahlreiche fruchtbare Konsultationen. Weiterhin
danke ich den Institutsmitarbeitern Jörg Schröder für die Bereitstellung meines Arbeitsplatzes
und für die Hilfe bei Fragen rund um die Elektrotechnik sowie Manfred Hensel für die tatkräftige
Unterstützung in der Werkstatt. Martin Kinzel danke ich für seinen schnellen Einsatz beim Bau
der Tischbox. Ich danke Michael Rüger für den mir zur Verfügung gestellten kompakten und
gleichsam flinken Rechner. Bei ihm und bei Bernd Eckardt gleichermaßen bedanke ich mich für
die Programmiertipps rund um Sophie. Für die Überarbeitung des OSC-Pakets für Squeak und die
hilfreiche Korrespondenz danke ich Markus Gälli und Simon Holland. Bert Freudenberg danke ich
für die Versorgung mit vielen wissenswerten Links, weil von ihm die zahlreichsten eingingen. Ich
danke weiterhin der NUI-Group und deren Community für die Bereitstellung von Tools, Wissen
und Erfahrungen, von denen diese Arbeit unbedingt profitiert hat, für die freundliche Unter-
stützung bei der Lösung von Problemen sowie für die Beantwortung grundlegender Fragen. Bei
Constanze Langer bedanke ich mich für die nützlichen Hinweise in Sachen Layout und Dokumen-
tation. Ich danke ebenso Kristin Mitschke und Annekathrin Gröninger für das ausdauernd be-
kundete Interesse hinsichtlich dem Fortschritt meiner Arbeit, für ihre Hilfsbereitschaft und für den
erholsamen Ideenaustausch bei Kaffee und Ciabatta. Meinen lieben Eltern gilt besonderer Dank
für ihre Unterstützung, ihre Geduld, ihren Zuspruch und ihr mir entgegengebrachtes Vertrauen.
Inhalt
Einleitung
1.1 Intuitive Computernutzung 8 | 1.2 Motivation 10 | 1.3 Überblick 13
Technik
2.1 Multitouch-Technologien 16 | 2.2 Realisiertes Multitouch-System 32
Recherche
3.1 Nonverbale Kommunikation 54 | 3.2 Multitouch-Anwendungen 66 | 3.3 Andere relevante Ansätze 76
Analyse
4.1 Multitouch-Gesten 94 | 4.2 Multitouch-Zeichen 128
Applikation
5.1 Zielsetzung 144 | 5.2 Konzepte 150 | 5.3 Ausarbeitung 184
Zusammenfassung
6.1 Zusammenfassung 200 | 6.2 Ausblick 201
Quellen
1 Einleitung
Intuitive Computernutzung
Einleitung

1.1 Die heute gängigsten Eingabegeräte für

Desktop-Computer sind Tastatur und Maus.
Diese Werkzeuge ermöglichen Texteingabe,
die rasche Umpositionierung des Cursors auf
dem Bildschirm sowie die Manipulation von „Hello, computer.” – Scotty spricht in „Star Trek IV: The
grafischen Elementen – wie Fenstern, Schaltflä- Voyage Home“ in eine Maus, um mit einem Computer zu
kommunizieren.
chen, Schiebereglern, Symbolen etc. – und den
Fokuswechsel zwischen diesen.
Die Maus hat sich als Single Pointing Device wohnt ist und eine neue Erfahrung darstellt, vielen Laptops integrierte Touchpad entspricht
vor allem bei nichtmobilen Computersyste- die in der realen Welt kaum eine Rolle spielt. bzgl. Mapping und Indirektheit der Maus.)
men als sehr praktisch erwiesen und weitge- Zudem weist die Eingabe mittels Maus einen
hend durchgesetzt. Obwohl die Interaktion gewissen Abstraktionsgrad auf, da der Nutzer So effizient heutige Eingabegeräte auch sein
mittels Maus effektiv ist, ist besonders bei nicht direkt mit den auf dem Bildschirm darge- mögen – betrachtet man die Interaktion mit
erwachsenen Erstnutzern zu beobachten, dass stellten Objekten interagiert, sondern indirekt einem Computersystem als einen Kommuni-
der Umgang mit diesem Eingabegerät erst über den Mauscursor. kationsvorgang, ist die Idee, Computer unter
erlernt werden muss, da die Übersetzung der Nutzung herkömmlicher zwischenmensch-
Handbewegung in die des Cursors – also das Der Einsatz von Touchscreens, die sowohl als licher Kommunikationsmittel – etwa mittels
Mapping der relativen Bewegung – unge- Anzeige- als auch als Eingabegerät – mitun- Spracheingabe – zu steuern, weitaus nahe
ter in Kombination mit einem Eingabestift liegender, als mit Eingabegeräten wie Tastatur,
– dienen, konkretisieren die Interaktion und Maus oder Stylus zu arbeiten. Wäre diese Art
»Multi-touch-sensing was designed to allow non- reduzieren damit den Lernaufwand, was den der Eingabe so weit entwickelt, wie es oft in
Vorgang intuitiver macht. Zudem ist diese Art Science-Fiction-Serien wie beispielsweise „Star
techies to do masterful things while allowing der Eingabe vor allem bei mobilen Geräten Trek“ dargestellt wird, würde sie höchstwahr-
praktischer, da sich der Einsatz einer Maus in scheinlich aufgrund ihrer Natürlichkeit bereits
power users to be even more virtuosic.« (J. Han) diesem Kontext in Ermangelung einer festen breite Anwendung finden.
Unterlage als eher hinderlich erweist. (Das in
Hochschule Magdeburg-Stendal | FB IWID | Institut für Industrial Design | MA Interaction Design

Die menschliche Kommunikation beschränkt Betrachtet man die Interaktion mit einem Die Steuerung von Computern mit Hilfe von
sich aber nicht allein auf Sprache im Sinne von Computersystem abgesehen vom Kommuni- Hand- und Fingerbewegungen, die sich nicht
akustischen Signalen. Gesten und Handbewe- kationsaspekt als Manipulationsvorgang, so nur auf eine einzelne Fingerspitze beschränkt,
gungen sind als Mittel des Informationsaus- scheint dieser mittels einem Single Pointing könnte aufgrund des vergrößerten Handlungs-
tauschs älter und zum Teil universeller. Device – sei es Maus, Stylus, Finger, Joystick raums, der vertraute Motorik und Gestik der  Zu Beginn der Sprachevolution des Menschen standen
Treffen zwei Menschen mit unterschiedlicher oder Trackball – im Vergleich zu den Mög- realen Welt besser abbildet, eine einfachere Gesten und Gebärden – das gesprochene Wort erlernten
die Urmenschen frühestens vor 1,8 Millionen Jahren.
Muttersprache aufeinander, so verständigen lichkeiten der Objektmanipulation in der und unmittelbarere Art der Interaktion darstel-
}}} [Kir07] |||
sie sich notfalls „mit Händen und Füßen“. realen Welt als höchst unzureichend. Wenn len, als sie es zur Zeit mit gängigen Einga-
Davon ausgehend ist die Entwicklung einer der Mensch einen Gegenstand bearbeitet, begeräten ist. Die intuitive und komfortable
Art Eingabe-Zeichensprache denkbar, die die so benutzt er in der Regel mehr als nur eine Benutzung des Apple iPhone – neben dem
Anforderung, intuitiv zu sein, dank ihrer Natür- Fingerspitze. Gerade der Daumen, der den an- Apple iPod Touch das erste massentaugliche
lichkeit und Direktheit erfüllt. deren Fingern physiologisch gegenüber steht, Multitouch-Device auf dem Markt – mittels
macht die menschliche Hand zu einem vielsei- (Zwei-)Finger-Gesten scheint diese Annahme
tig einsetzbaren Greifwerkzeug, das von Natur zu bestätigen.
aus sogar als Paar „daherkommt“. Der Wunsch
liegt nahe, das zur Verfügung stehende
„Hand-Paar“, das in der realen Welt tagtäglich
zum Einsatz kommt, auch als Eingabemittel für
Computersysteme und computergesteuerte
Geräte voll zu nutzen.
Bildskalierung mittels zweier Finger am Apple iPhone.

}}} http://www.apple.com/ |||
Masterarbeit „Multitouch Input“ | Grit Schuster

Motivation
10
Daten-Navigation in der Zukunft?

}}} „Minority Report“, 2002 |||
1.2 Multitouch ist als Eingabetechnologie in

jüngster Zeit in aller Munde. Darunter versteht
man die Eingabe durch Berührung eines
Spätestens seitdem jedoch das Apple iPho-
ne auf dem Markt ist, erreicht das Thema
Multitouch eine breite Öffentlichkeit. Weitere
Touchscreens oder eines Touchpads mit den Hard- und Software-Entwickler „ziehen nach“,
Fingern – und zwar mit mehreren Fingern indem sie ebenfalls Produkte anbieten (MS
gleichzeitig. Die Idee ist nicht so neu, wie Surface, Dell Latitude XT) oder zumindest  Microsoft Surface ist ein Tabletop-System, das in
es die zum Teil euphorischen Beiträge zum ankündigen. Diese Karenzzeit von ca. 25 bis öffentlichen Geschäften zum Einsatz kommt.
}}} http://www.microsoft.com/surface |||
Thema in der aktuellen Fachpresse vermuten 30 Jahren von ersten Forschungsprojekten bis
 Dell bietet mit dem Latitude XT ein Multitouch-Note-
lassen. Bereits in den frühen 1980er Jahren zur Vermarktung massentauglicher Anwen-
book an. }}} http://www.dell.com |||
wurden innerhalb verschiedener Forschungs- dungen entspricht in etwa dem Zeitraum, den
gruppen Prototypen von Multitouch-Pads und die Maus brauchte, um sich – anfangs ein
 Die Input Research Group der University of Toronto -Screens gebaut und die Interaktionsform unhandlicher Holzklotz – zu einem weithin  Mehr zur Geschichte der Maus findet sich auf der
baute 1984 ein kapazitives Multitouch-Pad, zur gleichen wissenschaftlich erforscht und beschrieben. genutzten Standard-Eingabegerät zu entwi- MouseSite – ein Sammelsurium von Material von und
Zeit entwickelten Bell Labs in Murray Hill, New Jersey ein über Douglas C. Engelbart und seine Kollegen im Stan-
ckeln. Zieht man also Parallelen zur Geschichte
Multitouch-Display. ford Research Institute in den 1960er Jahren.
der Maus, so kann man annehmen, dass sich
}}} http://www.billbuxton.com/multitouchOverview. }}} http://sloan.stanford.edu/MouseSite/ |||
html ||| die Multitouch-Eingabe auch zu einem Einga-
be-Standard entwickeln kann.
Die Apple Mighty Mouse.

Vom ersten Prototypen Anfang der 1960er Jahre von Bis heute unterliegt das Eingabegerät Maus einer ständigen
Douglas C. Engelbart bis zur ersten kommerziell erfolg- Metamorphose – sowohl in technischer als auch in
reichen Maus am Macintosh 1984 von Apple vergingen ca. ergonomischer Hinsicht. Die Grundform und vor allem die
20 Jahre. Grundfunktion eines Pointing Device ist jedoch nach wie
}}} http://www.cc.gatech.edu/classes/cs6751_97_fall/ vor die gleiche.
projects/follow_me/hw4/douglas.html ||| }}} http://www.apple.com/ |||

11
Zukunftsszenario Multitouch.
}}} „The Matrix Reloaded“, 2003 ||| »Tap is the new click.« [Saf08]
Vor allem Jefferson Han, der am Courant Die Anwendungen für diese Technologie sind Das steht in einem starken Gegensatz zu dem  Jeff Hans Homepage der NYU
Institute of Mathematical Sciences an der New allerdings oft noch sehr einseitig, beschränken aktuellen „Hype“, der den Eindruck erweckt, }}} http://www.cs.nyu.edu/~jhan/ |||
Perceptive Pixel – von Jeff Han gegründet
York University einen relativ billigen Prototypen sich zuweilen schlicht auf visuelle Effekte oder Multitouch sei der Eingabestandard der Zu-
}}} http://www.perceptivepixel.com/ |||
eines Multitouch-Screens gebaut, verschiedene werden gelegentlich beliebig verwendet, um kunft und werde damit die zur Zeit gängigsten
Jeff Hans beeindruckende Demo auf ted.com
Interaktionsmöglichkeiten untersucht und die Technik ihrer selbst Willen vorzuführen. Eingabegeräte Maus und Tastatur verdrängen. }}} http://www.ted.com/index.php/talks/view/id/65 |||
seine Ergebnisse auf beeindruckende Weise Sinnfällige Anwendungen, in denen Mul- Diese These gilt es zu hinterfragen, auch
präsentiert hat, machte das Thema Multi- titouch-Eingabe einen Mehrwert bietet, der so- wenn oder gerade weil die Multitouch-Einga-
touch-Input unter Informatikern, Interaktions- fort ins Auge springt, sind noch rar gesät. Die be sofort aufgrund ihrer Direktheit und ihrer
Designern und „Hardware-Bastlern“ populär. oft sehr spezifischen Anwendungen verwen- Natürlichkeit fasziniert.
Unzählige ambitionierte Entwickler in For- den in der Regel nur wenige Gesten in einem
schungsgruppen beschäftigen sich seither ver- sehr begrenzten Interaktionskontext. Dass diese Eingabetechnik neue Interaktions-
stärkt mit der Technik und ihrer Anwendung. möglichkeiten gegenüber traditionellen Ein-
Auf Messen und anderen Veranstaltungen, Zeigegeräten eröffnet, steht dabei außer Fra-
bei denen interaktive Installationen ausgestellt ge. Wichtig ist die Untersuchung dieser neuen
werden, sind zunehmend Multitouch-Screens Möglichkeiten hinsichtlich ihrer Sinnfälligkeit.
in verschiedenen Ausprägungen zu besichtigen
und zu berühren.
Jeff Hans Prototyp in Aktion
}}} http://www.ted.com/ |||
}}} http://www.cs.nyu.edu/~jhan/ |||

Motivation
12
»Every device is best for something and worst for something else.« [Bux02]
Dieses Zitat von William Buxton, der seit So haben sich Maus und Tastatur für die Bedie- Demzufolge ist es wahrscheinlicher, dass die
einigen Jahrzehnten Eingabeparadigmen nung der gängigen Betriebssysteme und vieler Multitouch-Eingabe zu einem erfolgreichen
untersucht, drückt den Umstand aus, dass Applikationen als adäquat erwiesen. In einigen Werkzeug in bestimmten Anwendungskon-
ein bestimmtes Eingabegerät hinsichtlich der Anwendungen jedoch – besonders in Grafik- texten wird, ohne dabei bewährte Geräte
Qualität seiner Nutzbarkeit nicht zu pauschali- programmen – kann sich der Nutzer mit Stylus vollständig zu ersetzen. Welche Anwendungs-
sieren ist. und Tablet eloquenter ausdrücken. kontexte das genau sind, ist zu erforschen.
Verschiedene Werkzeuge eignen sich für bestimmte Vorgänge besser oder schlechter – auch wenn es wie hier immer darum geht, etwas zu zerteilen.

Überblick
13
1.3 Im Rahmen dieser Masterarbeit erfolgt

eine Analyse der Multitouch-Eingabe und
die Entwicklung eines Repertoires für diese
Eingabe optimiert ist. In diesem Kontext wird
ein Gestenvokabular zur Textbearbeitung,
Textformatierung und direkten Manipulation
Interaktionsform. Es werden verschiedene grafischer Objekte zusammengestellt. Anhand
Möglichkeiten des Mappings von Gesten auf dieses Beispiels werden das Potential und
Funktionen untersucht und Schlussfolgerungen die Nutzbarkeit der Multitouch-Interaktion
gezogen, was für Gesten sich für welche Funk- ausgelotet.
tionstypen eignen. Damit wird ein Werkzeug
geliefert, auf dessen Grundlage es möglich ist, Das entwickelte Konzept wird prototypisch
sich strukturiert der Suche nach passenden umgesetzt, wobei ein selbst gebautes Mul-
Applikationen zu nähern, für die diese Art der titouch-Tischsystem als Setup dient. Parallel
Interaktion einen echten Mehrwert bietet. bietet diese Arbeit einen Überblick über den
Bau dieses Systems und über andere techno-
Es wird darüber hinaus eine konkrete An- logische Möglichkeiten zur Umsetzung eines
wendung entwickelt, die auf die Multitouch- Multitouch-Interface.

2 Technik
Multitouch-Technologien
Technik Multitouch-Vorreiter
16
2.1 In diesem Kapitel werden zunächst verschie-

dene Multitouch-Technologien vorgestellt. Im
Anschluss daran, gehe ich auf den Aufbau
An dieser Stelle erfolgt ein kurzer Überblick
über die Entwicklung von Multitouch-Einga-
begeräten. Eine profunde Übersicht findet sich
Die Eingabe mittels dieses Keyboards zusam-
men mit der Maus ist für Geübte äußerst effizi-
ent und mächtig, jedoch ist das Chord-System
 William Buxton ist zur Zeit bei Microsoft Research tätig und die Funktionsweise des im Rahmen dieser auch auf der Homepage von Bill Buxton. für den Durchschnittsnutzer extrem kryptisch
und ist erfahrener Forscher und Entwickler für natürliche Arbeit entstandenen Multitouch-Tisches ein. und sehr schwierig zu lernen, weshalb es sich
Mensch-Computer-Interaktion.
Das multitouchfähige Eingabegerät, das wohl nicht durchgesetzt hat.
}}} http://www.billbuxton.com/multitouchOverview.
Im Allgemeinen funktionieren Touchscreens jedem Computernutzer geläufig ist, ist die
html/ |||
oder -pads, indem sie die Änderung von Tastatur: Die so genannten Modifier-Tasten
Parametern mit Hilfe von Sensoren registrieren, (Shift, Ctrl, Alt etc.) werden stets in Kombi-
sobald der Nutzer das Gerät mit seinem Finger nation mit anderen Tasten gedrückt. Dieser
oder einem Stylus berührt. Dabei kann es sich Mechanismus – der auch dem der Schreibma-
je nach Technologie um elektrischen Strom, schine entspricht – hat sich gut bewährt, ist
um reflektierte Ultraschall-, Infrarot- oder für unproblematisch ausführbar und ermöglicht
uns sichtbare Lichtwellen handeln. eine effizientere Tastenbelegung.
Die unterschiedlichen Technologien eignen In den 1960er Jahren trieb Douglas Engelbart
sich mehr oder weniger für Multitoucheinga- die Idee der Tastenmehrfachbelegung auf die
ben. Hier werden nur multitouchfähige Tech- Spitze und entwickelte ein 5-Tasten-Keyboard,
nologien vorgestellt und ihre Funktionsweise das nur mit einer Hand bedient insgesamt 31
beschrieben. Darunter finden sich kapazitive Zeichen abdeckte, und zwar mittels Akkorden
 Das oN-Line System – kurz NLS – hat sich nicht durch- Screens, Stereo-Kamera-Systeme, Diffused – so genannter Chords. Das oN-Line-System
gesetzt – weil die Chords sehr schwierig zu lernen sind. Illumination oder Frustrated Total Internal sollte mit der linken Hand zur Artikulation von
}}} http://www.bootstrap.org/chronicle/pix/pix.html |||
Reflection. Commands genutzt werden, während die
rechte Hand die Maus bedient.
Das von Douglas Engelbart entwickelte oN-Line-Sytem
erwies sich trotz hoher Effizienz und Mächtigkeit als zu
schwierig zu lernen und war sehr unintuitiv in der Nutzung.
}}} http://www.bootstrap.org/ |||

17
Das erste Multitouch-System, bei dem es sich Myron Krueger et al. entwickelten Anfang
tatsächlich um einen Screen und nicht um dis- der 1980er Jahre ein kamerabasiertes System,
krete Tasten handelt, war das Flexible Machine mit dem mehrere Nutzer gleichzeitig durch
Interface, das 1982 in der Masterarbeit von Körper-, Hand- und Fingergesten interagieren  Das Flexible Machine Interface besteht aus einer
Nimish Mehta an der University of Toronto konnten. Videoplace war zwar kein Touch- Milchglasplatte mit Projektor. Dahinter befindet sich eine
Kamera, die die dunklen Berührungspunkte auswertet
beschrieben wurde. Als Anwendungen wurden System, wird aber hier aufgeführt, weil ohne
und von deren Größe auf den Berührungsdruck schließt.
ein Malprogramm und simple Grafikmanipula- Zuhilfenahme von Eingabeinstrumenten ein
}}} Mehta: „A Flexible Machine Interface“, 1982.
tion umgesetzt. breites Spektrum an Gesten eingesetzt werden [Meh82] |||
konnte und es damit als eine der ersten ges-
tenbasierten Installationen ein natürlich anmu-
tendes Interaktionserlebnis bot. Die Autoren  Videoplace kombiniert die Live-Videoaufnahme des
betonen schon damals, wie wichtig es sei, die Nutzers mit der Computerwelt, in der grafische Objekte in
Echtzeit auf die Bewegungen des Nutzers reagieren.
Die Tastenbelegung des NLS folgt dem binären Zahlen- Mechanismen des Mensch-Computer-Interface
}}} Krueger et al.: „Videoplace – An Artificial Reality“,
system, welches auf das Alphabet abgebildet wird. Es wird zu hinterfragen.
1982. [Kru85] |||
dabei keine Rücksicht Usability-Aspekte wie die Denkweise
oder kognitiven Fähigkeiten des Nutzers oder auf Häufig-
keiten bestimmter Buchstaben oder Buchstabenkombinati-
onen genommen.
}}} http://www.bootstrap.org/ |||
Schnappschüsse aus der Anwendung Critter für

Videoplace, in der der Nutzer das Verhalten einer virtuellen
Kreatur durch seine Gestik beeinflusst.
}}} [Kru85] |||

18
 Die Input Research Group in Toronto baute bereits 1985 beschreiben Lee et al. ein drucksensi- 1991 veröffentlichte Pierre Wellner vom Com-
1984 ein kapazitives Multi-Touchpad, das auch drucksen- tives Multitouch-Pad, das in der Input Research puter Laboratory der University of Cambridge
sitiv war.
Group der University of Toronto entwickelt in Zusammenarbeit mit Rank Xerox Euro-PARC
}}} Lee et al.: „A Multi-Touch Three Dimensional Touch-
wurde. Das Pad beinhaltet eine Matrix von DigitalDesk, ein Multitouch-System mit  DigitalDesk war ein frühes Multitouch-System mit
Sensitive Tablet“, 1985. [Lee85] |||
Sensoren, die die Änderung einer kapazitiven Top-Down-Projektion, das den realen Schreib- Frontprojektion, das konzeptionell die digitale Welt
sinnfällig mit der physischen verbinden sollte.
Spannung bezüglich einer Referenzspannung tisch mit dem virtuellen verschmelzen sollte.
}}} Wellner: „The DigitalDesk Calculator: Tactile Mani-
messen, die bei Berührung eintritt. Dabei Eine Kamera wertete Handbewegungen und
pulation on a Desk Top Display“, 1991. [Wel91] |||
findet eine Interpolation der Messungen aufgelegte reale Dokumente aus, deren Inhalte
benachbarter Sensoren statt, um den Mit- somit auch digital verarbeitet werden konnten.
telpunkt jeder Berührung möglichst exakt zu Zusätzlich gaben akustische Sensoren dem Sys-
bestimmen. tem Auskunft darüber, wann der Screen ange-
tippt wurde. Der Autor betont die Möglichkeit,
 An dieser Stelle lediglich eine Sekundärquelle: Zur gleichen Zeit entwickelten Bell Labs in digitale Dokumente genau wie physische taktil DigitalDesk hat übrigens als eines der ersten
}}} http://www.billbuxton.com/multitouchOverview. Murray Hill, NJ einen kapazitiven Multitouch- und nebeneinander zu manipulieren. Nicht Systeme die heute üblichen Multitouch-Ges-
html/ |||
Screen, bei dem transparente kapazitive Sen- umsonst heißt sein Desktop „Desk Top“ – die ten für das Skalieren von grafischen Objekten
soren vor einem CRT-Monitor fixiert wurden. physische Tischoberfläche im wörtlichen Sinne. beschrieben.

19
1992 brachte Wacom Grafiktabletts auf den Dieser geschichtliche Abriss ist keinesfalls
Markt, die multipoint-fähig waren. Sie wurden vollständig, sondern soll nur einen Eindruck
zweihändig bedient: Mit einem Stylus, dessen geben, wie lange schon in der Richtung Mul-
Berührungsdruck gemessen werden konnte, titouch-Eingabe geforscht wird. Seit circa 25
und mit einem Maus-artigen Puck. Spätere Jahren werden verschiedene Technologien ver-
Modelle (Intuos, 1998, 2001) konnten zusätz- feinert, um diese Art der Mensch-Computer-
lich die Neigung des Stylus in x- und y-Rich- Interaktion zu ermöglichen. Daneben werden
 William Buxton beschreibt in diesem Zusammenhang tung messen – neben der Messung des Posi- Forschungen hinsichtlich möglicher Interak-
kurz die Zusammenarbeit seiner Arbeitsgruppe mit tions- und Rotationswertes des Pucks. Solch tionsparadigmen angestellt, auf die hier gar
Wacom und Alias / Wavefront unter:
ein Signalreichtum ist erforderlich, will man nicht eingegangen wurde. Näheres dazu findet
}}} http://www.billbuxton.com/multitouchOverview.
komplexe physische Instrumente überzeugend sich in Kapitel 3 „Recherche“ dieser Arbeit.
html/ |||
simulieren, z. B. eine Airbrush-Pistole.
Auf den folgenden Seiten werden Multitouch-
Technologien beschrieben, die aktuell relevant
sind. Dabei wird näher auf die Funktionsweise
dieser Systeme eingegangen und parallel wer-
den Beispiele für die Umsetzung der jeweiligen
Technologien genannt.
In diesem Zukunftsszenario aus dem Jahr 1991 wird

dargestellt, wie Inhalte einfach von physischen in digitale
Dokumente überführt werden. Dabei wird durch das
Aufziehen eines Rechtsecks mit den Fingern ein Abschnitt
im Papierdokument selektiert und die Selektion durch eine
Drag-Bewegung in das digitale Dokument kopiert. Bemer-
kenswert hierbei ist die Integration von Funktionalitäten
der digitalen Welt in einen physischen Kontext.
}}} http://www.idemployee.id.tue.nl/g.w.m.rauterberg//
Movies/digital_desk.mpeg |||

Kapazitiver Screen – Apple iPhone

20
In kapazitiven Touchscreens befindet sich eine Aus der Funktionsweise ergibt sich, dass nur dieses Gitters verhalten sich die übereinander
Kondensatorschicht (zwei voneinander durch Berührungen mit leitfähigen Gegenständen liegenden Leiter wie einzelne Kondensatoren,
eine nicht leitende Schicht getrennte Leiter- wahrgenommen werden können. Deshalb an denen unabhängig voneinander Span-
platten: ein Sender und eine Antenne), an die funktioniert beim iPhone, das für Fingerein- nungsänderungen gemessen und ausgewertet
eine Spannung angelegt ist. Die Kondensator- gabe konzipiert ist, keine Eingabe mit einem werden können. So ist mit der kapazitiven
schicht speichert diesen elektrischen Strom. Stylus aus bspw. Kunststoff. Technik Multitouch-Eingabe möglich.
Sobald der Nutzer den Screen mit seinem
Finger berührt, wird ein Teil des Stroms vom Die Signaländerung variiert mit der Entfernung
geerdeten Körper abgeleitet, wodurch die des Fingers vom Screen (je näher desto stärker)
Spannung in der Schicht an der Berührungs- und der Berührungsfläche (je größer desto
position am stärksten sinkt. An den Ecken des stärker). Diese zusätzlichen Parameter können
Screens befinden sich Schaltkreise, die diese für die Interaktion ausgenutzt werden.
Abnahme messen. Aus den Differenzen dieser
vier Messungen wird dann die Position der Für das iPhone wurde diese Technologie
stärksten Entladung, also des Berührungser- weiterentwickelt, um Multitouch-Eingaben zu
eignisses, berechnet. Besteht die kapazitive ermöglichen. Mehrere längliche Elektroden
Schicht aus transparenten Materialien, ist es sind in der kapazitiven Schicht in einer gitter-
möglich, das Display dahinter zu positionieren. förmigen Matrix angeordnet. An jedem Punkt
Der multitouchfähige Screen des Apple iPhone besteht aus

folgenden Schichten:
Einer Schutzschicht (protective shield),
einer Kondensatorplatte (capacitive touch panel) mit
Eine detailliertere Abbildung der Schichten in einem
elektrischem Feld (electrical field) und
kapazitiven Multitouch-Screen: Hier sieht man deutlich die
einer TFT-LCD-Anzeige (TFT LCD display).
sich kreuzenden Sende- und Empfängerelektroden.
}}} http://electronics.howstuffworks.com/ |||

Kapazitiver Screen – Merl DiamondTouch
21
 DiamondTouch wurde in den Mitsubishi Electric Neben dem iPhone existieren noch weitere nale, die der Nutzer durch die Berührung des
Research Laboratories in Cambridge, MA USA entwickelt. – ältere – Multitouch-Screens, die auf der Screens mit seinem Finger ableitet, an einen
}}} Dietz & Leigh: „DiamondTouch: A Multi-User Touch
kapazitiven Technik basieren. Dazu gehören Empfänger weiterleitet. Die gemessene Kapa-
Technology“, 2001. [Die01] |||
DiamondTouch und SmartSkin. zität ergibt sich aus einer Kombination aus der
}}} http://diamondtouch.merl.com/ |||
Kapazität zwischen berührendem Finger und
 SmartSkin entstand in den Sony Computer Science Bei DiamondTouch handelt es sich um ein Screen und der Kapazität zwischen Nutzer und
Laboratories. Multi-User-Tabletop-System mit Topdown- Stuhl. Dabei hängt die erstgenannte von der
}}} Rekimoto: „SmartSkin: An Infrastructure for Projektion, das in der Lage ist, die einzelnen Touchposition des Fingers auf dem Screen ab
Freehand Manipulation on Interactive Surfaces“, 2002.
Nutzer voneinander zu unterscheiden. Das (welche Antenne wird berührt) und die letztere
[Rek02] |||
}}} http://ftp.csl.sony.co.jp/person/rekimoto/smartskin/ funktioniert, indem jeder Nutzer auf einem davon, auf welchem Stuhl der Nutzer sitzt
||| leitenden Stuhl sitzt, der die elektrischen Sig- (Nutzeridentität).
Ein Schema der Funktionsweise von DiamondTouch und ein

Besprechungsszenario.
}}} http://diamondtouch.merl.com/ |||

Kapazitiver Screen – Sony SmartSkin

22
SmartSkin ist auch ein Tabletop-System mit Zusätzlich nutzt SmartSkin nicht leitende
Topdown-Projektion, bei der die Möglichkeit Objekte, die teilweise mit einer Kupferschicht
ausgenutzt wird, den Abstand des Fingers in einem zusammenhängenden charakteristi-
zum Screen aus dem gemessenen elektrischen schen Muster beklebt sind. Greift der Nutzer
Signal abzuleiten. Eine Kapazitätsänderung tritt solch ein Objekt auf dem Screen (um es zu
ab einer Entfernung von 5-10 cm ein. Somit ist erden), kann das System Art, Lage und Aus-
eine Simulierung von Button-Press- und But- richtung des Objekts erkennen und auswerten.
ton-Release-Status möglich – eine Emulierung So wird SmartSkin zu einem Tangible Interface,
der Maus-Interaktion. mit dem der Nutzer gleichzeitig mit Finger-
und Handgesten in Verbindung mit getaggten
physischen Objekten interagieren kann.
SmartSkin erkennt auch Finger, die sich knapp über dem

Screen befinden und zieht aus dem gemessenen Signal
Rückschlüsse auf die Entfernung.
}}} http://ftp.csl.sony.co.jp/person/rekimoto/smartskin/
|||
SmartSkin integriert leitende Objekte, die das System

anhand ihrer kapazitiven Eigenschaften erkennt – wenn der
Nutzer das Objekt berührt – und entsprechend reagiert.
|||
SmartSkin: Eine spielerische Beispielanwendung.

|||

 Die DRI-Technik wird übrigens u. a. bereits 1997 in
[Mat97] und 2001 in [Rin01] beschrieben.
}}} Matsushita & Rekimoto: „HoloWall: Designing a
Finger, Hand, Body, and Object Sensitive Wall“, 1997.
[Mat97] |||
}}} Ringel et al.: „Barehands: Implement-Free Interac-
Diffused Rear Illumination – Microsoft Surface tion with a Wall-Mounted Display“, 2001. [Rin01] |||
23
Bei Microsoft Surface handelt es sich um ein MS Surface ist ein Vision-basiertes System. Neben Fingerberührungen erkennt Surface
geschlossenes Tabletop-System mit einem Das bedeutet, die Interaktion auf dem Display auch bestimmte Objektformen und so genann-
30-Zoll-Display, das seit 2008 in einigen AT&T wird mittels Bildverarbeitung ausgewertet. te Domino-Tags, die von Microsoft zu diesem
Einzelhandlungen und in Kasinos in den USA Zu diesem Zweck befinden sich innerhalb Zweck entwickelt wurden. Mit diesem Feature
zum Einsatz kommt und demnächst auch in der Tischbox fünf Kameras, deren Sichtbe- in Kombination mit der integrierten Bluetooth-
weiteren Läden, Restaurants, Hotels und ande- reiche zusammen die gesamte Displayfläche bzw. Wi-Fi-Verbindung setzt Microsoft interes-
ren öffentlichen Einrichtungen zur Verfügung abdecken. Die Technik, die hier verwendet sante Interaktionsszenarien um: Mobile Geräte
stehen soll. Der Verkauf an Endverbraucher ist wird, heißt Diffused Illumination (DI). Der mit einer drahtlosen Schnittstelle wie Digital- MS Surface besteht aus folgenden Komponenten:
nach Angaben von Microsoft erst in mehreren innere Boxbereich wird komplett mit IR-Licht kameras oder Mobiltelefone werden, wenn 1_Acrylplatte mit Diffuser
2_Intel Core 2 Duo Prozessor, 2GB RAM, 256 MB Grafik-
Jahren geplant. ausgeleuchtet. Wird der Screen von außen sie auf dem Display abgelegt werden, erkannt,
karte, Ethernet, Bluetooth & Wi-Fi zur Kommunikation mit
berührt, wird dieses Licht zurück reflektiert. und um das Gerät herum tauchen z. B. dort
externen Geräten, erweitertes MS Windows Vista
Dies nehmen die IR-Kameras als helle Blobs gespeicherte Bilder auf dem Tischdisplay auf 3_IR-LED-Lichtquelle, 850 nm
wahr. Eine Bildverarbeitungssoftware wertet und können direkt mit den Fingern verscho- 4_fünf Infrarotkameras, Nettoauflösung 1280 x 960
die Kamerabilder aus und ordnet die hellen ben und skaliert werden. Durch Auflegen 5_DLP-Projektor, Auflösung 1024 x 768
Bereiche Berührungspunkten zu. mehrerer mobiler Geräte können (Bild-) Daten }}} http://www.popularmechanics.com/ |||
Surface zu Hause – liegt wohl noch in einiger Ferne. einfach zwischen ihnen ausgetauscht werden,
}}} http://www.microsoft.com/surface ||| indem die angezeigten Bilder mit dem Finger
zu demjenigen Gerät geschoben werden. In
diesem Szenario, in dem Bilder „aus“ einem
physischen Gerät fallen und in ein anderes
„hineingeschoben“ werden können, scheinen
digitale Daten für den Nutzer greifbar und
werden so Teil unserer realen Objektwelt.
Die Abbildung illustriert das Prinzip von DI

(rear illumination)
}}} http://iad.projects.zhdk.ch/multitouch |||

Diffused Front Illumination – MTmini

24
 Bauanleitung, Software und Tipps zum MTmini Eine erstaunlich einfache, billige und schnelle Benutzt man mit DFI eine IR-Kamera, ist diese
}}} http://ssandler.wordpress.com/MTmini/ ||| Methode, sich ein Multitouch-Pad zu bau- Technik auch bedingt mit Rückprojektion
en, ist mittels Diffused Front Illumination. geeignet – also nicht nur als Multitouch-Pad,
Man braucht dazu eine Kamera (muss keine sondern auch als Multitouch-Screen. Da aber
IR-Kamera sein), eine oben offene Box, eine die Umgebung dabei sehr hell sein muss, er- Die MTmini-Version von Touchlib integriert in ihrer Filter-
transparente Scheibe (Glas, Plexiglas oder scheint die Projektion mit einem durchschnitt- kette eine Bildinvertierung (drittes Fenster „invert2“), so
dass aus dunklen Blobs vor hellem Grund helle Blobs vor
anderer Kunststoff) und ein Blatt Papier. Die lichen Projektor zwangsläufig nicht besonders
dunklem Grund werden.
Kamera wird am Boden der Box nach oben brillant.
gerichtet fixiert, und auf die Box legt man die
Scheibe, auf der das Papier befestigt ist. Ist das
Umgebungslicht hell und diffus genug, sieht
die Kamera die Fingerberührungen auf dem
Blatt als dunkle Bereiche. Genau diese Bereiche
können dann mittels Bildverarbeitung selektiert
und getrackt werden.
Seth Sandler stellt auf seinem Blog diese

Technik – sein MTmini – vor und stellt die
dazugehörige Software samt ausführlicher
Dokumentation zur Verfügung. Er nutzt Touch-
lib (Siehe Abschnitt 2.2 „Die Software“), das
eigentlich für FTIR (siehe nächste Seite) und
DRI (siehe vorige Seite) gedacht ist, indem er
das Kamerabild einfach invertiert, so dass die
dunkelsten Bereiche zu den hellsten werden.
Mit einer Pappschachtel und einigen Handgriffen ist

MTmini in wenigen Minuten nachgebaut.

 Treffen Lichtwellen von einem transparenten Material Frustrated Total Internal Reflection – J. Han
auf die Grenzfläche eines anderen transparenten Materi- 25
als, dann werden sie gebrochen. Die Brechung hängt von
der Brechzahl (auch „Brechungsindex“) der Materialien
Jefferson Han hat Multitouch-Eingabe mittels Durch Anbringen eines Diffusers auf der Rück-  Jeff Hans Paper über FTIR
ab, die ein Maß für deren optische Dichte darstellt. Licht,
Frustrated Total Internal Reflection populär ge- seite der Platte – was allerdings eine Disparität }}} Han: „Low-Cost Multi-Touch Sensing through Frus-
das von einem optisch dichteren Material in ein optisch
trated Total Internal Reflection“, 2005. [Han05] |||
dünneres Material übergeht (z. B. von Glas nach Luft), macht. FTIR ist ein physikalisches Phänomen, zwischen Interaktionsebene und Displayebene
Jeff Hans Homepage der NYU
wird vom Einfallslot weg gebrochen, d. h. der Brechungs- bei dem Totalreflektion unterbunden wird. abhängig von der Plattendicke hervorruft
}}} http://www.cs.nyu.edu/~jhan/ |||
winkel ist größer als der Einfallswinkel. Überschreitet der – kann an die Scheibe von hinten projiziert Perceptive Pixel
Einfallswinkel den Wert, bei dem der Brechungswinkel
Bei der FTIR-Technik wird IR-Licht seitlich in werden. }}} http://www.perceptivepixel.com/ |||
90° beträgt, also entlang der Grenzfläche verläuft, so
eine Acrylglasplatte eingestrahlt. Bei einer Jeff Hans beeindruckende Demo auf ted.com
kann das Licht die Grenzfläche nicht mehr durchdringen
Brechzahl von 1,5 werden alle Lichtstrahlen Auf der puren Acryloberfläche werden Berüh- }}} http://www.ted.com/index.php/talks/view/id/65 |||
und wird komplett reflektiert, wobei der Reflektionswinkel
gleich dem Einfallswinkel ist. Dieses Phänomen der To- innerhalb der Platte total reflektiert, deren rungen nur gut erkannt, wenn der Kontakt
talreflektion (Total Internal Reflection, TIR), das ab einem Einfallswinkel größer als ca. 42° ist. Im opti- sehr eng ist. Probleme gibt es bei Handschu-
bestimmten Einfallswinkel („Grenzwinkel“) auftritt, wird z.
malen Fall, wird das Platteninnere von IR-Licht hen, Styli und bei trockener Haut – besonders
B. bei Lichtleitern wie Glasfaserkabeln ausgenutzt.
durchflutet. bei Drags. Eine praktikable Schichtung wird in
Abschnitt 2.2 dieser Arbeit vorgestellt.
Berührt nun eine Fingerspitze die Displayober-
fläche, wird der sie treffende Lichtstrahl nicht
mehr durch die Grenzfläche zur Luft, sondern
direkt vom Finger reflektiert – und zwar zur
Displayrückseite hinaus. Die Totalreflektion
wird also gestört – „frustrated“. Eine IR-Kame-
ra hinter dem Display nimmt diese Berüh-
rungen als helle Blobs wahr und Bildverarbei-
Ist der Einfallswinkel beta kleiner als der Grenzwinkel tungssoftware kann diese dann detektieren
(gelb), so wird das Licht in das optisch dünnere Mate- und tracken.
rial (Luft) gebrochen. Ist beta jedoch größer als dieser
Grenzwinkel (ganz rechts), so kommt es zur Totalreflektion
Das System ist zwar nicht drucksensitiv, aber
– der Grund, warum das seitlich eingestrahlte IR-Licht die
Acrylplatte nicht verlässt – bis eine Berührung diese TIR über die Blobgröße kann man Rückschlüsse
stört – „frustrate“ – und das Licht nach hinten austritt. auf den ausgeübten Druck ziehen. Jeff Han stellt sein Multitouch-System 2006 auf der TED- Die Abbildung illustriert das Prinzip von FTIR
}}} http://www.geogebra.org ||| Konferenz vor – und löst weltweit Begeisterung aus. }}} http://iad.projects.zhdk.ch/multitouch |||

Stereo-Kamera-Systeme – Microsoft / EON TouchLight
26
Abbildungen oben: Bei TouchLight, das von Microsoft patentiert für den Nutzer sichtbaren Projektion – und so die Aufnahme hoch aufgelöster Scans und
Die Demo zeigt links, dass Objekte nahe am Display wurde und inzwischen von EON Reality auch Bewegungen des Nutzers auswerten, damit die Digitalisierung von Dokumenten, die
vom System erkannt werden – helle Bereiche sind die
weiter entwickelt wird, handelt es sich um ein die kurz vor dem Display ausgeführt werden. auf das Display aufgelegt werden.
Übereinstimmungen der beiden Kamerabilder. Rechts ist die
Stereo-Kamera-System, bei dem zwei horizon- So kann der Nutzer „in der Luft“ interagieren,
Digitalisierung eines Dokuments durch Auflegen zu sehen.
}}} http://research.microsoft.com/~awilson/touchlight tal versetzte Videokameras die Interaktion des ohne unbedingt das Display berühren zu müs- Die Befestigung eines Mikrofons am Screen
||| Nutzers auswerten. In dem System wird von sen. Aufgrund der binokularen Disparitäten ermöglicht zusätzlich eine Klopf-Interaktion
hinten auf eine transparente holographische in den Stereobildern kann das System auf die mit dem System.
 TouchLight wurde innerhalb einer Arbeitsgruppe von Schicht (DNP HoloScreen), die auf einer vertikal Entfernungen der vom Nutzer ausgeführten
Microsoft Research entwickelt. ausgerichteten Acrylplatte angebracht ist, Eingabegesten zum Screen schließen und so EON Reality setzt die Technologie vorrangig
}}} Wilson: „TouchLight: An Imaging Touch Screen and
projiziert. genau solche Gesten auswerten, die einen be- für die Interaktion mit 3D-Modellen ein, die
Display for Gesture-Based Interaction“, 2004. [Wil04]
stimmten Abstand vom Screen unterschreiten. durch den transparenten Screen in der Luft
|||
}}} http://research.microsoft.com/~awilson/touchlight/ Der Nutzer steht vor dem Display, das von zu schweben scheinen. Handbewegungen
||| hinten gleichmäßig mit IR-Licht ausgeleuchtet Die Durchsichtigkeit des Screens ermöglicht werden vornehmlich zur Rotation und Skalie-
wird. Die beiden Firewire-Infrarot-Kameras den Kameras die Wahrnehmung von Objekten rung der virtuellen Objekte genutzt. Ziel ist der
können aufgrund seiner Transparenz durch das und des Nutzers in einiger Entfernung vom Einsatz des Systems in Bereichen des Produkt-
 EON Reality, Inc. bieten Software mit interaktiven 3D- Display „hindurch sehen“ – der wahrgenom- Screen. Die Integrierung einer zusätzlichen Marketing sowie interaktiver Trainings- und
Inhalten und im Bereich Virtuelle Realität an. mene Infrarotbereich interferiert nicht mit der „normalen“ Kamera hinter dem Screen erlaubt Lernanwendungen.
}}} http://www.eonreality.com |||
In TouchLight-Anwendungen werden vornehmlich Wisch- EON Reality setzt auf die Interaktion mit 3D-Modellen
bewegungen der Hände eingesetzt – einzelne Fingerbewe- – deren Rotation oder Skalierung – durch Bewegungen der
gungen werden selten ausgewertet. Hände.
}}} [Wil04] ||| }}} http://www.eonreality.com |||

Integrierte Sensoren – Microsoft ThinSight
27
 ThinSight wurde innerhalb einer Arbeitsgruppe von Mit ThinSight wurde ein optisches Multi- Die Entwickler erwähnen, dass in heller Umge-
Microsoft Research entwickelt. touch-System entwickelt, das – im Gegen- bung die Emitter der Sensoren auch abgestellt
}}} Hodges et al.: „ThinSight: Versatile Multi-touch Sen-
satz zu den anderen vorher beschriebenen werden können und die Berührungspunkte
sing for Thin Form-factor Displays“, 2007. [Hod07] |||
optischen Technologien – sehr kompakt ist, dann umgekehrt als dunkle Schatten vor dem
}}} http://research.microsoft.com/~shahrami/?0sr=a
||| da hier, statt mit Kameras und Projektoren zu IR-reichen hellen Umgebungslicht wahrgenom-
arbeiten, rückreflektierende optische Sensoren, men werden. Diese beiden Modi – reflective &
die IR-Licht senden und empfangen können, shadow mode – entsprechen dem weiter oben
hinter einem LCD-Display platziert werden. Es beschriebenem Technologie-Paar DRI und DFI.
können dabei sowohl Fingereingaben erkannt
werden, die das Display berühren oder sich Weiterhin können die Silhouetten von Bar-
nahe daran befinden, als auch alle IR-reflek- codes auf Objekten ausgewertet werden, die
tierenden Objekte für die Interaktion genutzt sich vor oder auf dem Display befinden. Neben
werden. der zusätzlich möglichen Interaktion mit IR-
Pointern ist außerdem – durch die Möglichkeit
Die Technologie wird als „intrinsically inte- des Systems, IR-Licht sowohl zu senden als
grated sensing“ bezeichnet. Die IR-Sensoren auch zu empfangen – der Datenaustausch mit
werden in einer Matrix hinter dem LCD-Display mobilen Geräten (Smartphones, PDAs) über
angebracht und senden IR-Licht aus. Das Licht den IR-Kanal denkbar.
tritt nach vorn durch das Display und wird von
IR-undurchlässigen Objekten vor dem Screen
– wie Fingerspitzen – zu den Sensoren zurück
reflektiert, welche diese Reflektion wahrneh-
men. Aus den Sensorwerten wird software-
seitig ein Grauwertbild zusammengesetzt, aus
dem die hellen Berührungsflächen detektiert Im beschriebenen Prototyp ist nur eine begrenzte Fläche im
und getrackt werden können. Zentrum des Displays von IR-Sensoren bedeckt, in der mit
Fingern interagiert werden kann.
}}} [Hod07] |||

Links: Hover und Touch im Kamerabild.

Schattenanalyse – Microsoft PlayAnywhere Rechts: Die extrahierten Schatten im Binärbild.
}}} [Wil05a] |||
28
 Microsoft Research verwendet in ihrem Prototyp einen Bei PlayAnywhere handelt es sich um ein Im binarisierten Bild werden dann die Formen Die Arbeitsgruppe hat zusätzlich ein Set
NEC WT600 DLP Projektor in Verbindung mit einer IR- kompaktes Multitouch-System, das innerhalb der Schatten ausgewertet. In jeder abgeschlos- visueller Codes entwickelt, die auf Objekten
Kamera und einem IR-Scheinwerfer. Bei einer Entfernung
einer Arbeitsgruppe von Microsoft Research senen Schattenform definiert der höchste angebracht vom System erkannt werden
von 2,5“ wird eine Projektion mit einer Bilddiagonalen
entwickelt wurde und bei dem ein Projektor Punkt die Fingerposition. Durch die Analyse können. Für PlayAnywhere ist diese Technik
von 40“ erzeugt.
}}} Wilson: „PlayAnywhere: A Compact Interactive in extrem kurzer Entfernung von vorn aus der Schattenform kann ermittelt werden, ob für Spielsteine angedacht, die im Kontext von
Tabletop Projection-Vision System“, 2005. [Wil05a] ||| einem sehr schrägen Winkel ein vergleichswei- der Finger die Oberfläche berührt oder nicht: Tangible Entertainment-Anwendungen zum
}}} http://research.microsoft.com/~awilson/ ||| se großes Bild auf einer horizontalen (Tisch-) Eine verjüngte Form kommt durch die partielle Einsatz kommen können. Allerdings kann die
Oberfläche erzeugt. Schattenverdeckung bei Tischberührung zu- Verdeckung solcher Codes durch die Hand
stande, eine runde, breite Form wird durch ei- des Nutzers zu Missinterpretationen durch das
Die Vision des Projekts ist es, in Zukunft ein nen über der Oberfläche schwebenden Finger System führen.
kleines mobiles Gerät zu haben, das die Projek- erzeugt. So kann das System sowohl Touch- als
tion, die Bildanalyse und die Computereinheit auch Hover-Gesten auswerten. Mit dieser Mit PlayAnywhere wurden auch Techniken zur
in sich vereint, ohne zusätzlichen Aufwand Technik kann allerdings nur ein Finger pro Integration physischer Dokumente untersucht.
(wie etwa Kalibrierung) vom Nutzer auf jeder Hand erkannt werden und auch nur, wenn der Es wurde ein Algorithmus zur Erkennung und
beliebigen planen Oberfläche schnell einge- Arm von der dem Kamerasystem gegenüberlie- Verfolgung von Papierseiten implementiert, um
setzt und leicht transportiert werden kann. genden Seite ins Bild kommt. Eine komplexere z. B. Bilder exakt darauf zu projizieren.
Bildanalyse könnte aber Abhilfe schaffen.
Für die Realisierung der Multitouch-Interakti- Die Entwickler betonen, dass PlayAnywhere
on wird vom System das Kamerabild mittels eines der gegenwärtig flexibelsten, mobilsten
Analyse der Schattenformen ausgewertet, und am einfachsten zu installierenden Kamera-
die die Hände auf die Oberfläche werfen. Die basierten Multitouch-Systeme überhaupt ist.
Schatten – alle Bereiche, die einen Helligkeits-
schwellwert unterschreiten – können einfach
aus dem Bild extrahiert werden. Das funktio-
niert, weil sowohl Hände als auch Tischoberflä-
che das IR-Licht des Scheinwerfers reflektieren
Oben: Die Vision eines kompakten, mobilen und flexibel und im Kamerabild hell erscheinen – nur die
einsetzbaren Unterhaltungsgeräts. geworfenen Schatten erscheinen dunkel.
Unten: Das prototypische Setup.
Zwei physische Dokumente werden erkannt und getrackt. Auf die Dokumente werden Bilder projiziert.
}}} [Wil05a] |||
}}} [Wil05a] ||| }}} [Wil05a] |||

 LucidTouch wurde in Zusammenarbeit des Mitsubishi Pseudo-Transparenz – Merl / Microsoft LucidTouch
Electric Research Lab mit der University of Toronto und 29
Microsoft Research entwickelt.
}}} Wigdor et al.: „LucidTouch: A See-Through Mobile
Bei LucidTouch handelt es sich um ein LucidTouch soll mit beiden Händen so gehal- Die Entwickler haben sich Gedanken über
Device“, 2007. [Wig07] |||
}}} http://research.microsoft.com/users/baudisch/pro- mobiles Gerät, das mittels Toucheingabe auf ten werden, dass sich die Daumen vor dem Eingabetechniken mit dem Gerät gemacht.
jects/lucidtouch/ ||| dessen Rückseite bedient werden soll. Damit Gerät und die langen Finger dahinter befinden. Für die Texteingabe haben sie bspw. eine
}}} http://www.merl.com/projects/lucidtouch/ ||| begegnet man dem Problem, dass die Finger Damit ist eine zusätzliche Eingabe mittels der Software-Tastatur gestaltet, indem sie die
– besonders bei kleinen Screens – genau die Daumen von vorn möglich, während acht QWERTY-Anordnung auf die LucidTouch-Fin-
Elemente verdecken, mit denen der Nutzer ar- Finger die Rückseite bedienen können. gerhaltung gemappt haben. Weiterhin wurde
beiten will. Dazu setzen die Entwickler Pseudo- eine Interaktions-Technik zur „Übergabe“ von
Transparenz ein: Das Display-Bild wird mit der Objekten von einem Finger der einen Hand zu
Silhouette der Finger, die sich hinter dem Gerät einem Finger der anderen Hand erarbeitet, da
befinden, kombiniert. Dadurch hat der Nutzer es mit ein und dem selben Finger aufgrund der
den Eindruck, das Gerät wäre halbtransparent. LucidTouch Tastatur- Handhaltung nicht möglich ist, ein grafisches
Anordnung. Objekt von einer Seite des Screens zur gegenü-
}}} [Wig07] |||
Der Prototyp von LucidTouch integriert hinter berliegenden zu draggen.
dem eigentlichen Gerät eine Kamera, die die
Finger des Nutzers aufnimmt. Das Kamerabild
wird verarbeitet, und ein halbtransparentes
Konturenbild der Finger überlagert in Echtzeit
den Displayinhalt. Durch diese Technik bleibt
der komplette Screen sichtbar, auch wenn
mit vielen Fingern interagiert wird. Darüber
hinaus kann die Berührung präziser erfolgen,
da der Mittelpunkt der Fingerberührung, der
viel kleiner ist, als die Berührungsfläche selbst,
visualisiert wird. Auch werden die Mittelpunkte
Der LucidTouch-Prototyp besteht aus einem resistiven der Fingerspitzen eingeblendet, die den Screen
Single-Touch-Display, einem FingerWorks iGesture Multi- momentan nicht berühren. Das System kann
Touchpad und einer Logitech Kamera. Zukünftig soll das
also sowohl den Touch-Zustand, als auch den
Gerät mittels eines Bildsensors ohne Kamera auskommen.
Hover-Zustand der Finger interpretieren.
}}} [Wig07] |||
Der LucidTouch-Prototyp. }}} http://www.microsoft.com |||

Multipoint-Systeme mit dem Nintendo Wiimote

30
 Lee ist PhD-Doktorand am Human-Computer Johnny Chung Lee untersucht Techniken, um Lee implementiert einen Maus-Emulator, um  Den Controller der Nintendo Wii-Konsole kann man
Interaction Institute der Carnegie Mellon University in mit dem Nintendo Wii Controller – dem Wii- mit dem LED-Pen mit gängigen Applikati- auch einzeln erwerben.
Pittsburg, PA. }}} http://www.wii.com/ |||
mote – Multipoint-Systeme zu realisieren. Das onen zu interagieren. Weiterhin bietet er eine
}}} http://www.cs.cmu.edu/~johnny |||
Wiimote ist standardmäßig mit einer Infrarot- Bauanleitung für die Pens an und stellt einige
Lees Wiimote-Projekte finden sich unter:
}}} http://www.cs.cmu.edu/~johnny/projects/wii ||| kamera mit einer Auflösung von 1024 x 768 (Multitouch-) Applikationen zum Herunterla-
Die passenden Diskussions-Foren: Pixeln ausgestattet, die bis zu vier Lichtpunkte den bereit.
}}} http://www.wiimoteproject.com ||| bei einer Frequenz von 100Hz tracken kann.
Sowie Lees Project Blog: Darüber hinaus enthält es einen Beschleuni- Head Tracking für VR-Displays. Befestigt
}}} http://procrastineering.blogspot.com |||
gungssensor. man zwei IR-LEDs am Kopf, so kann das Wii-
mote die Kopfposition tracken. Mit den wahr-
Fingertracking. Indem er an seinen Finger- genommenen Werten kann ein sichtabhän-
spitzen reflektierendes Tape befestigt und giges Bild gerendert und dargestellt werden.
diese mit IR-LEDs anstrahlt, kann Lee mit Auf diese Weise fungiert das Display als Portal
dem Wiimote seine Fingerbewegungen in 2D in eine virtuelle Umgebung, da es dem Nutzer
tracken. In C# DirectX hat er ein Programm zur durch die berechneten Sichtanpassungen die
Visualisierung der getrackten Blobs implemen- Illusion von Tiefe und Raum vermittelt, als sehe
tiert, mit dem das Wiimote via Bluetooth-Ver- er durch ein echtes Fenster.
bindung kommunizieren kann.
3D-Tracking. Unter Verwendung mindestens
Ein interaktives Multipoint Whiteboard. zweier Wiimotes kann ein Multipoint-3D-Tra-
In diesem Projekt trackt das Wiimote Pens cking-System gebaut werden.
mit eingebauter IR-LED in der Spitze. Zeigt
das Wiimote auf ein Projektionsbild oder ein Universelle Pointer.
LCD-Display, so kann dieses in ein interaktives …
Whiteboard bzw. in einen Tablet-PC umfunk- Es lohnt sich einen Blick auf Lees Project Blog
Alle Abbildungen auf dieser Seite zeigen Bilder aus Lees tioniert werden. Das Wiimote kann dabei bis zu werfen, denn dort findet sich ein ganzes
Tutorial-Filmen zu den Projekten. zu vier LED-Pens tracken und kommuniziert Sammelsurium von Ideen, was man alles mit
}}} http://www.cs.cmu.edu/~johnny/projects/wii |||
wieder via Bluetooth mit einem Programm. dem Wiimote anstellen kann…

31

Realisiertes Multitouch-System
32
2.2 Ich habe im Rahmen dieser Masterarbeit zu-

nächst ein Multitouch-Tabletop-System gebaut,
das auf FTIR beruht. Im Anschluss habe ich
die DI-Technologie aufgesetzt. Im Folgenden
Materialien: beschreibe ich detailliert das System – den Auf-
_schwarz durchgefärbtes MDF, 19 mm stark, verschraubt bau der Tischbox, die integrierte Hardware, die
mit Winkeln
Elektronik und die verwendete Software.
_2 Topfbänder für die Tür
_4 Schwenkrollen Höhe 100 mm, Durchmesser 75 mm,
angeschraubt Die rechte Abbildung zeigt die Maße der Box
_Holzplatten, Winkel und Klettband für Projektorhalte- und grob die Anordnung der integrierten tech-
rung nischen Geräte. Die Box ist insgesamt knapp
_Holzleisten und Winkel für Displayhalterung ein Meter hoch, so dass man bequem davor
_Polystyrolplatten für Kamerahalterung
stehen und auf dem Display mit den Fingern
_Philips SPC 900NC PC Webcam mit 4,3 mm CCTV-Objek-
tiv und 3 Schichten unbelichteter Fotofilm interagieren kann. Die Projektion selbst misst
_Toshiba TDP-EX20 Projektor mit B + W UV-IR-CUT Filter ungefähr 51 x 38 cm (25 Zoll Bilddiagonale).
_Acrylplatte 70 x 52 cm, 8 mm dick, als Display mit Kau-
Po SORTA-Clear 40 Silikonkautschuk, Transparentpapier, Unter der Box befinden sich 4 abbremsbare
IR-Blockerfolie und Rosco Screen grau Projektionsfolie
Schwenkrollen, um Stabilität bzw. ein komfor-
_Aluminium-U-Profile als LED-Halterung
_24 IR-LEDs 940 nm, Litze, Widerstände, Isolierung,
tables Bewegen des Systems zu garantieren.
Platine
_AC/DC Adapter = Netzteil für den LED-Stromkreis Eine Tür an einer Stirnseite der Box ermöglicht
_PC oder MiniMac (inkl. Maus & Tastatur) den Zugriff ins Innere, um die technischen
_Stromverteiler Geräte zu bedienen oder ggf. auszutauschen.
_2. Acrylplatte für DI, 73 x 55 cm, 10 mm dick als Display
mit Diffuserfolie Lee-Farbfilter 225 neutral density frost
_2 Ecoline IR-Scheinwerfer TV6700 mit je 24 IR-LEDs, Am Boden und an der Türseite befinden sich
850 nm, 70° Abstrahlwinkel Lüftungsaussparungen, da vor allem der
_Lee-Farbfilter 273 Reflektor als Innenverkleidung Projektor im Betrieb viel Wärme produziert. Ein
zusätzliches aktives Lüftungssystem ist aber vor
allem für längere Betriebsspannen ratsam.

Objektiveigenschaften wie Lichtstärke und Brenn-
weite, Treiberfunktionalitäten wie das manuelle
Die IR-Kamera
Einstellen von Verschlussgeschwindigkeit und 33
Eine Infrarotkamera kann man sich aus einer Für das Multitouchsystem muss die Kamera Verstärkung und eine adäquate Bildrate für die
handelsüblichen Kamera ziemlich einfach aber noch weitere Anforderungen erfüllen. Ne-
selbst bauen, wenn es gelingt, den Infra- ben einer ausreichenden Bildrate für Echtzeitin- Interaktion in Echtzeit sind ausschlaggebende
rotblocker zu entfernen, der in der Regel in teraktion sollte die Belichtungsautomatik der
„normalen“ Kameras eingebaut ist, um das für Kamera abgestellt werden können, damit sich Kriterien für die zu verwendende Infrarotkamera.
das Bild sonst störende Infrarotlicht herauszu- die Helligkeit des Bildes nicht ständig verän-
filtern. Dieser Blocker ist meist ein kleines Stück dert. Das ist wichtig, da die hellen Berührungs-
Glas, das mit einem Material beschichtet ist, flächen im Bildauswertungsprozess über einen
welches IR-Licht reflektiert, und befindet sich festen Schwellwert vom Hintergrund getrennt
im Objektiv oft hinter der Linse. werden. Ein Treiber, der zudem die Justierung
von Verschlussgeschwindigkeit, Verstärkung
Der IR-Blocker muss entfernt werden, damit und Bildrate erlaubt, ist sehr wünschenswert.
die Kamera nachher auch das Licht im
IR-Bereich wahrnehmen kann. Damit die Ein wichtiges Element der Kamera ist das
Kamera aber effektiv als IR-Kamera fungie- Objektiv selbst. Eine hohe Lichtstärke und die
ren kann, muss zudem das für uns sichtbare optimale Brennweite für die Systemgegeben-
Licht weitestgehend blockiert werden. Sonst heiten sind unerlässlich.
würde zum Beispiel die Projektion auf dem
Display das Kamerabild zu stark beeinflussen. Im Laufe meiner Experimente habe ich insge-
Zu diesem Zweck eignet sich eine Doppel- bis samt vier Webcams getestet – und musste
Dreifachschicht nicht belichteter entwickelter letztendlich für die am besten geeignete
Negativfilm sehr gut. Solch eine Schichtung Webcam ein neues Objektiv installieren, um
wird also an Stelle des IR-Blockers in das Ob- ein befriedigendes Ergebnis zu erhalten.
jektiv der Kamera integriert, und fertig ist die
IR-Kamera.
Im Infrarotbereich wirken viele Dinge anders, als wir es mit

unserer Wahrnehmung gewohnt sind.

Die erste Kamera, die ich umgebaut habe, war meine

Philips PCVC 820K Philips PCVC 820K. Ihre größte Schwäche ist, dass sie unter
Windows XP nicht stabil läuft. Weiterhin ist die Bildqualität
34
nicht sehr gut, was besonders an dem lichtschwachen
Objektiv liegt. Aber für die ersten Experimente hat sie sich
sehr gut bewährt.
Dieses Modell ist sehr unkompliziert auseinanderzunehmen,

ohne dabei Teile des Gehäuses zerstören zu müssen. An den
IR-Blocker kommt man ohne weiteres heran. Im Bild sieht
man, wie der IR-Blocker rötlich schimmert, was zeigt, dass
(infra-) rotes Licht reflektiert wird.
Mit dem bloßen Auge sieht der IR-Blocker – blickt man

direkt hindurch – jedoch aus, wie normales Glas.
Beim Ausbau ist der IR-Blocker etwas zersplittert, aber der
Rest vom Objektiv hat keinen Schaden genommen.
An die Stelle des IR-Blockers wird ein Filter integriert, der

umgekehrt fast nur das infrarote Licht hindurch lässt und
den sichtbaren Frequenzbereich blockiert. Dazu eignet sich
eine Doppelschicht nicht belichtetes entwickeltes Filmma-
terial. Zwei kreisrunde Stücke davon habe ich im Objektiv
befestigt. Später verwende ich eine Dreifachschicht, um die
Empfindlichkeit gegenüber sichtbarem Licht noch weiter
zu senken.

35
Hier sind einige Objekte, die mit der IR-Ka- erscheint: Genau in diesem Frequenzbereich
mera aufgenommen worden sind, „norma- liegt ja nachher die Reflektion, die durch eine
len“ Aufnahmen gegenübergestellt. Für das Fingerberührung auf dem Display hervorgerufen
FTIR-System ist besonders relevant, wie hell die wird und ausgewertet werden muss.
Infrarotlampe einer Fernbedienung im IR-Bild

T-Com USB Cam
36
Weil die Philips PCVC 820K unter Windows XP nicht stabil

läuft, habe ich weitere Kameras getestet. Um die T-Com
USB Cam umzubauen, musste rabiater herangegangen
werden – um nachher festzustellen, dass das Kamerabild
qualitativ minderwertiger ausfiel.
Apple iSight
Die Apple iSight Kamera auseinanderzubauen verlangte

Fingerspitzengefühl. Nachdem ich den IR-Blocker erfolg-
reich entfernt hatte, musste ich allerdings feststellen,
dass der Autofokus nicht mehr funktionierte. Nach der
Wiederherstellung der Originalzusammensetzung war
er wieder betriebsbereit. Aufgrund dieser Tatsache habe
ich nicht mehr recherchiert, ob die Belichtungsautomatik
deaktivierbar ist. Auch die fehlende Kompatibilität mit dem
Windows-Betriebssystem hätte wegen der letztendlich
verwendeten Multitouch-Erkennungssoftware gegen die
iSight gesprochen

Philips SPC 900NC
37
Die Philips SPC 900NC mit einem 4,3 mm CCTV-Objektiv in

der Halterung innerhalb der FTIR-Tischbox.
Bei der Philips SPC 900NC Kamera kann man ist es jedoch möglich, jedes beliebige CCTV-
das Objektiv nach Entfernen des Aufsatzes Objektiv aufzuschrauben. Ich habe deshalb an
sehr einfach abschrauben. Das Objektiv selbst ein sehr lichtstarkes CCTV-Objektiv, das von
ist nicht so leicht manipulierbar. Es enthält ein vornherein keinen IR-Blocker enthält und die
aufwändigeres und fest integriertes Linsensys- für mein System passende Brennweite besitzt
tem. (4,3 mm), eine Dreifachschicht Negativfilm
geklebt und dieses dann auf die Kamera
Deshalb habe ich zunächst das veränderte geschraubt.
und kompatible Objektiv der Philips PCVC
820K aufgeschraubt, welches jedoch ziemlich Um die Kamera im FTIR-System zu integrieren,
lichtschwach ist. wurde der Klemmbügel entfernt und eine
Halterung aus Polystyrolplatten gebaut, die
Da die Objektivfassung der Philips Kamera mit einfach auf dem Boden der Tischbox befestigt
denen von CCTV Boardkameras kompatibel ist, werden kann.
CCTV-Objektive mit verschiedenen Brennweiten wurden

ausprobiert und die Optimalste gewählt.

Das Display
38
 Rosco Screen }}} http://www.rosco.com/uk/screens/ Hauptbestandteil des Displays ist eine Acryl- Hier wird KauPo SORTA-Clear 40 verwendet,
roscoscreen.asp||| wurde bezogen bei platte. Für das FTIR-System verwende ich eine welches aus 2 Komponenten besteht und
cast C. ADOLPH & RST DISTRIBUTION GmbH
8 mm dicke Platte, deren Fläche ca. 52 x 70 nach Mischung gleichmäßig auf die Acrylplatte
}}} http://www.rstdistribution.de|||
cm misst. gegossen wurde.
 KauPo Plankenhorn e.K. liefert Kautschuk und Poly-
ethane über }}} http://www.kaupo.de ||| Damit das IR-Licht der LEDs gut in die Platte Damit der Rosco-Screen nicht am Silikon
 Bei Modulor findet man viele Materialien eindringen kann, müssen die Kanten möglichst kleben bleibt, was störende helle Reflektionen
}}} http://www.modulor.de ||| glatt sein und poliert werden. hervorruft, die als Berührungsflächen inter-
 IFOHA GmbH & Ko. KG hat viele selbstklebende Folien pretiert werden, muss zwischen die Projek-
im Sortiment }}} http://www.ifoha.de ||| Auf der Platte ist eine Schichtung notwendig. tionsfolie und das Silikon eine Trennschicht.
Zum einen benötigt man ein Projektions- Als Material hat sich Transparentpapier ganz
material. Hier wird die Rosco Screen grau gut bewährt. Es ist darauf zu achten, dass
Projektionsfolie verwendet. Damit Display- und das Papier einerseits keine zu starke Struktur
Berührungsfläche auf einer Ebene liegen, wird aufweist, damit die Qualität der Projektion
die Projektionsfolie oben auf der Acrylplatte nicht zu stark beeinträchtigt wird, und ande-
positioniert und nicht darunter. rerseits eine raue Oberfläche besitzt, damit das
Silikon nicht wiederum daran haften bleibt. Ich
Für einen guten Kontakt zwischen Acrylplatte verwende transparentes holzfreies Skizzen-
und Projektionsfolie bei Berührung des Screens papier aus 100 % Zellulose mit 40 g / m2 von
sorgt eine rund 1 mm dicke Silikonschicht. Modulor.
Durch ihre Flexibilität wird sie bei Berührung
leicht eingedrückt, was den Kontakt ver- Zwischen dem Transparentpapier und der Pro-
bessert. Ohne sie würde die Berührung des jektionsfolie habe ich zusätzlich eine Infrarotfo-
Nutzers erst bei sehr starkem Druck erkannt lie integriert, die das IR-Licht aus der äußeren
werden, und die Erkennung einer durchgän- Umgebung blockieren soll. Die Folie stoppt das
Die Schichtung des Displays entspricht u. a. der von Tim gigen Drag-Bewegung wäre fast unmöglich. IR-Umgebungslicht zwar nicht komplett, aber
Roth in seinem Projekt 180. Das Silikon macht die Nutzereingabe damit es macht das System etwas robuster in einer
}}} http://timroth.de/180/ |||
komfortabler und robuster. nicht vollständig dunklen Umgebung.

39
Für die FTIR-Technik müssen IR-LEDs seitlich in

die Acrylplatte strahlen. Als Halterung für die
LEDs verwende ich Aluminium-U-Profile, die
die Acrylplatte genau fassen können. Für die
LEDs wurden Löcher in die U-Profile gebohrt,
in denen sie dann befestigt wurden.
Mit der Anzahl der LEDs habe ich ein wenig

experimentiert und nutze letztendlich insge-
samt 24 Stück in 4 parallelen Reihen mit je 6
LEDs in Reihe, die gleichmäßig rund um die
Acrylplatte angeordnet sind.
Der LED-Schaltkreis wird mittels eines ange-

löteten Steckers mit einem AC/DC-Adapter
verbunden, über den die Stromversorgung
gewährleistet werden kann.
Die Abbildung zeigt den LED-Schaltkreis mit Widerständen

und die Polarität, auf die beim Anstecken des AC/DC-Adap-
ters geachtet werden muss.
Spezifikation der IR-LEDs:
Ein erster prototypischer Aufbau mit Projektor, IR-Kamera
940 nm, 20°, 20 / 30 mA, max. 50 mA, 1.0-1.2 V, 8 mW
und Display.

40
Aluminium-U-Profile mit Bohrungen

dienen als Halterungen für die IR-LEDs.
Damit das Infrarotlicht gut in die Acrylplatte eindringen

kann, müssen die Kanten glatt poliert werden.

41
Die IR-LEDs werden in den Bohrungen mit Heißkleber befestigt. Oben rechts ist eine Infrarotaufnahme des Screens mit den IR-LEDs in einem frühen Entwicklungsstadium.
Es gibt verschiedene Ausführungen von IR-LEDs. Solange Wellenlänge und Leuchtkraft stimmen, sollten sie geeignet sein.

42
KauPo SORTA-Clear 40 wird aus zwei Komponenten

gemischt…
… anschließend auf die Acrylplatte gegossen…
Für die Schichten auf der Acrylplatte mussten einige

Materialien und Materialkombinationen getestet werden.
… und gleichmäßig verteilt.
Dabei ist durch vorsichtiges Rühren und langsames Gießen

darauf zu achten, dass Lufteinschlüsse möglichst vermieden
werden. Die gleichmäßige Dicke von rund 1 mm erreicht
man durch befestigte Abstandhalter am Rand der Platte
und einen Stab o. ä. zum glätten des Silikons, bevor man es
im Anschluss komplett aushärten lässt.

43
Diese Abbildungen zeigen Arbeitsschritte bei der

Beschichtung der Acrylplatte:
_Silikon
_Transparentpapier
_Infrarotfolie
_Projektionsfolie
Am Schluss wurden die Schichten mit Tape fixiert.
Die resultierende Projektionsqualität

ist sehr zufrieden stellend.

Der Projektor
44
Ich verwende im vorgestellten FTIR-System den len von 90 cm. Darüber hinaus erreicht er eine Für den Projektor wurde eine Halterung aus
Toshiba TDP-EX20, weil er eine extrem kurze Bildauflösung von 1024 x 768 Bildpunkten und Brettern, Winkeln und einer Klettschnalle ge-
Brennweite aufweist: Bei einem Mindestab- verfügt über die Funktionalitäten Rückprojekti- baut, um ihn sicher und wie gewünscht in der
stand von einem halben Meter liefert er ein on und Trapezverzerrung, die für die optimale Tischbox zu fixieren.
scharfes Bild mit einer maximalen Bilddiagona- Ausrichtung des Projektionsbildes nötig sind.
Der Projektor kann auf die Halterung geschnallt werden

und erhält so genügend Stabilität. Die Halterung ist auf
dieses Projektormodell optimiert – kleine Korrekturen
ermöglichen die justierbaren Füße des Projektors.

45
Für die IR-Kamera erscheint der UV-IR-Sperrfilter dunkel, da

er die für sie sichtbaren Lichtbereiche nicht hindurch lässt,
sondern fast komplett reflektiert – deshalb ist im Bild die
Kamera selbst als Reflektion zu sehen.
Vor der Linse des Projektors wird zusätzlich ein

 B + W UV-IR-CUT MRC 486 77 mm IR-Sperrfilter befestigt, damit der Hotspot
}}} http://www.schneiderkreuznach.com ||| – die Reflektion, die der Projektor an der
Rückseite der Acrylscheibe erzeugt – keine
IR-Anteile enthält, die das Kamerabild stören
würden.
Der IR-Sperrfilter wird vor der Projektorlinse fixiert – hier ist eine prototypische Halterung abgebildet.
Oben links ist der Hotspot des Projektors zu erken-

nen, der durch die Reflektion des Projektorlichts an der
Rückseite der Acrylplatte erzeugt wird. Dieser Hotspot stört
die Bildauswertung, da er als Berührungspunkt interpretiert
werden kann. Durch den der Projektorlinse vorgelagerten
IR-Sperrfilter wird der für die IR-Kamera sichtbare Hotspot
eliminiert (Bild oben rechts).
Für die menschliche Wahrnehmung erscheint der UV-IR-

Sperrfilter völlig transparent, nur von der Seite betrachtet
ist eine rötlich-grünlich-schimmernde Reflektion sichtbar
– die Frequenzbereiche, die der Filter nicht durch lässt.

Die Software
46
 Touchlib wird von der NUI (Natural User Interface) Als Betriebssystem verwende ich Windows Blob Detection, also die Selektion der hellen  OSC – OpenSound Control. Dieses Protokoll wird
Group entwickelt und bereitgestellt. XP, da für die Kamera, für die ich mich ent- Berührungsareale („Blobs“) und ihre Koordi- zur Kommunikation zwischen Computern, Multimedia-
}}} http://touchlib.com ||| Geräten oder Programmen über ein Netzwerk oder das
schieden habe, ein Windows-Treiber mit den naten und Flächen, sowie Blob Tracking, also
}}} http://nuigroup.com ||| Internet genutzt, kann aber auch auf nur einem Rechner
benötigten Einstellungsmöglichkeiten existiert. die Identifizierung der einzelnen Blobs und ihre
unter der Benutzung des localhost laufen. Es wurde
Touchlib nutzt für die Bilderkennungsschritte OpenCV – Für Mac OS X gibt es nur einen rudimentären richtige Zuordnung über die Zeit von Frame zu entwickelt, um Sound und andere Medien in Echtzeit zu
Intels Open Computer Vision Bibliothek, eine Sammlung Treiber, der die oben beschriebenen Anforde- Frame. Die Ergebnisse dieser Bildauswertung verarbeiten und zu steuern.
von Computer-Vision-Routinen }}} Wright et al.: „OpenSound Control: State of the Art
rungen nicht erfüllt. beinhalten folgende Eigenschaften für jeden
}}} http://sourceforge.net/projects/opencvlibrary/ ||| 2003“, 2003. [Wri03] |||
detektierten Blob:
}}} http://www.intel.com/technology/computing/open- }}} http://opensoundcontrol.org |||
cv/index.htm ||| Um das Kamerabild auszuwerten, also die Be- _ID
rührungspunkte bzw. -flächen zu detektieren _(x, y)-Koordinate  TUIO ist ein Protokoll, das speziell für Tangible Table-
Damit Touchlib auf Windows läuft, benötigt man: und zu tracken, benötigt man eine Software, _(deltaX, deltaY)-Bewegung Tops entwickelt wurde. Es ermöglicht die Erkennung
_Visual Studio 2005 SP1 x86 redistributable package und das Tracking sowohl von Multitouch-Eingaben als
die dies erfüllt. Für die Entwicklung meiner _Fläche (Rückschluss auf den Druck)
}}} http://www.microsoft.com/downloads/details. auch von getaggten Objekten und deren Identifizierung,
prototypischen Beispielanwendung verwen-
aspx?FamilyID=200b2fd9-ae1a-4a14-984d-389c36f8564 Position und Orientierung auf dem Display.
de ich dafür Touchlib. Touchlib ist eine Nativ kann eine Multitouch-Anwendung direkt }}} Kaltenbrunner et al.: „TUIO: A Protocol for Table-Top
7&displaylang=en |||
_Java Runtime Environment freie C++-Bibliothek, die unter Windows und in C++ geschrieben werden. Alternativ ist es Tangible User Interfaces“, 2005. [Kal05] |||
}}} http://www.java.com/ ||| Ubuntu läuft und mit einigen Tweaks wohl aber auch möglich, Multitouch-Anwendungen }}} http://reactable.iua.upf.edu/?tuio |||
auch unter Mac OS X. Allerdings sind diese in anderen Entwicklungsumgebungen zu im-
Um die im ausführbaren Paket enthaltenen Flash-Client- nicht trivial – ein weiterer Grund, warum ich plementieren, da Touchlib die erkannten Touch
Applikationen zu starten benötigt man zusätzlich den mich gegen dieses Betriebssystem entschieden Events in das standardisierte Protokoll OSC
_Flash Player 9
habe. „verpackt“, genauer gesagt in das TUIO-Proto-
}}} http://labs.adobe.com/downloads/flashplayer9.html
koll, welches auf OSC basiert. Jede Applika-
|||
Touchlib greift auf die Bilder der angeschlos- tion, die das OSC-Protokoll versteht, kann als
senen Kamera zu, führt einige Bildverarbei- Multitouch-Client dienen – als Anwendung,
tungsschritte aus – die möglichen Filter (z. B. die die Touch-Events als Nutzereingabe verar-
Hintergrundsubtraktion, Hochpass, Schwell- beitet und ein Feedback produziert, also das
werteinstellung) können frei gewählt und vom Nutzer wahrnehmbare Interface darstellt.
justiert werden – und wertet die Resultate aus.
Die wichtigen Schritte bei der Auswertung sind Anzeige der Filterergebnisse in Touchlib

47
Links: Das Kalibrierungsmodul von Touchlib zur Synchroni-

sierung von Kamerabild und Projektionsfläche. Mitte: Die
im Paket enthaltene flickr-Applikation in Flash. Rechts: Die
ebenfalls integrierte Smoke-Applikation in C++.
Mögliche Clients können u. a. in C++ (mit  OSCPack }}} http://www.audiomulch.com/~rossb

OSCPack), C#, Java, Processing, vvvv, code/oscpack |||
Pure Data, Max/MSP, Flash (ab Action-  Processing }}} http://processing.org |||
Script 3, also Flash 9 oder CS3), Python oder  vvvv }}} http://vvvv.org |||
Squeak implementiert sein.  Pure Data }}} http://puredata.info |||
 Max/MSP }}} http://www.cycling74.com/products
Aufgrund meiner Programmiererfahrungen maxmsp |||
verwende ich als Client Squeak. Auf nähere  Flash }}} http://www.adobe.com/ products/flash |||
Details gehe ich später in Kapitel 5 „Applikati-  Squeak }}} http://www.squeak.org |||
on“ ein. mit OSC }}} http://map.squeak.org/package/61f807be-
83a3-4944-bfa1-686ddac7153c |||
und wahlweise mit TUIO }}} http://map.squeak.org/
package/39fc4295-ae3e-4ce6-aca0-2bd1215926fe |||
und Simon Hollands Einführung in TUIO in Squeak
}}} http://mcs.open.ac.uk/sh2/squeakmusic.html |||
Die Abbildung illustriert, wie eine Multitouch-Eingabe von

Touchlib verarbeitet und ausgewertet wird und aus ihr
schließlich ein visuelles Feedback für den Nutzer entsteht.

Die DRI-Anpassung
48
Statt Touchlib kann man auch andere Software Ich habe für mein System eine DRI-Anpassung
für die Multitouch-Erkennung nutzen. Man (Diffused Rear Illumination) vorgenommen, da
könnte aufbauend auf der OpenCV Library ein ich mit der Touch-Detection-Qualität in FTIR
eigenes System in C++ implementieren. noch nicht 100%ig zufrieden war: Bei schnel-
len Drag-Bewegungen hat der Touch-Blob
Es existiert auch eine Blob-Detection-Biblio- aufgrund einer minimal auftretenden Haftung
 Blob Detection für Processing, auch nutzbar für thek für Processing, so dass das komplette zwischen Transparentpapier und Silikon eine
andere Java-Implementierungen System mit Processing umgesetzt werden Spur nach sich gezogen, die selbst auch als Be-
}}} http://www.v3ga.net/processing/BlobDetection/ |||
kann. Allerdings stößt man damit schnell auf rührungsfläche interpretiert wurde. Versuchte
Grenzen die Performance betreffend. ich dies durch eine Senkung des Helligkeits-
schwellwertes zu kompensieren, wurde die
 Die ReacTIVision-Software ist verfügbar unter: Alternativ kann man auch ReacTIVision Erkennung der eigentlichen Touchflächen
}}} http://reactable.iua.upf.edu/?software ||| verwenden, ebenfalls ein open source Multi- unzuverlässiger.
touch-Framework – die reacTable-Software, Die Reflektionsfolie, mit der die Innenseiten der Tischbox
für die TUIO ursprünglich entwickelt wurde. Für DRI muss keine so komplexe Display- ausgekleidet wurden, ermöglicht durch ihren Streueffekt
eine gleichmäßige diffuse IR-Ausleuchtung.
ReacTIVision läuft unter Windows, Mac OS X Schichtung erfolgen wie für FTIR: Es wird ledig-
und Linux und kann mit den gleichen Client- lich eine Trägerplatte mit einer reflektierenden
Programmen kommunizieren wie Touchlib. Projektionsschicht benötigt. Ich verwende
eine 10 mm starke, 73 x 55 cm messende
Es sind viele weitere videobasierte Multitouch- Acrylplatte, auf der ich einen Diffuser fixiert  Als Diffuser verwende ich den Lee-Farbfilter 225
Implementierungen frei verfügbar, wie z. B. habe. Innerhalb der Tischbox installierte ich 2 neutral density frost. Er ist z. B. bei Skyshopping 24,
einem Shop für DJ-Equipment und Lichttechnik erhältlich.
 Die libavg-Homepage: auch libavg für Linux- und Mac-OS-X-Sys- IR-Scheinwerfer bestehend aus je 24 LEDs
}}} http://www.skyshopping24.de |||
}}} https://www.libavg.de ||| teme. Je nach Vorkenntnissen, verwendetem mit 850 nm Wellenlänge. Damit die Schein-
System und Vorlieben kann sich der Entwickler werfer selbst keine Hotspots auf der Rückseite  Ich verwende Ecoline IR-Scheinwerfer TV6700, die
also eine Implementierung unter inzwischen der Acrylplatte verursachen, platzierte ich sie man z. B. beim first mall Online Shop erwerben kann.
}}} http://firstmall-security.de |||
zahlreichen aussuchen. von oben nicht sichtbar unter dem Projektor
auf dem Boden der Tischbox.

49
Die IR-Scheinwerfer müssen, damit das ID- Durch den Einsatz der DI-Technik habe ich nun
System auch funktioniert, den Innenraum der keine Probleme mehr mit Drag-Spuren, die auf
Tischbox gleichmäßig ausleuchten. Das gelingt die Bildinterpretation einen störenden Einfluss
mit Hilfe der Auskleidung der Tischboxinnen- ausüben. Dadurch kann ich die Filtereinstellun-
 Ich benutze den Lee-Farbfilter 273, eine Reflektorfolie, flächen mit Reflektionsfolie und ein bisschen gen in Touchlib großzügiger wählen, wodurch
die ebenfalls bei Skyshopping 24 erhältlich ist. Geduld bei der Ausrichtung der Scheinwerfer. die Berührungs-Blobs im Resultatbild bei weni-
}}} http://www.skyshopping24.de |||
ger Druckausübung sehr viel heller und größer
erscheinen und damit die Toucherkennung
stabiler läuft.
Die Berührungs-Blobs erscheinen nun heller als je zuvor.
Die beiden IR-Strahler sitzen unter dem Projektor. Das neue DI-Display in Aktion.

50
Damit ist das DRI-System schon komplett. Ich Ich kann in einer hellen Umgebung mein
musste einige Vorteile gegenüber dem ur- System übrigens auch in einen DFI-Modus
sprünglichen FTIR-Aufbau feststellen. Das neue (Diffused Front Illumination) umschalten: Die
DRI-System ist: LEDs bzw. LED-Scheinwerfer werden aus-
geschaltet und die Touchlib-Version für den
_stabiler. Es gibt keine Drag-Spuren mehr und MTmini verwendet, die das Kamerabild (dunkle
die Berührung ist auch bei weniger Druck gut Berührungsblobs vor hellem Hintergrund)
erkennbar. invertiert. Da der verwendete Toshiba-Projek-
_brillanter. Die Projektion ist durch die feh- tor sehr lichtstark ist, ist die Projektion auch in
lende Schichtung brillanter und schärfer. heller Umgebung gut erkennbar. So ist mein
_schöner. Der neue Diffuser liegt durch die gebautes Multitouchsystem noch flexibler
fehlende Schichtung plan auf der Acrylplatte einsetzbar.
auf und wirft keine Wellen. Die Anmutung ist
edler (dunkelgrau, fast schwarz) und harmo- Was nach Abschluss dieser Arbeit noch aus-
niert mit der Farbe des durchgefärbten MDF. steht, ist der Einbau eines aktiven Lüftungssys-
Die passgenaue Acrylplatte, die keinen LED- tems neben den schon gebohrten Luftlöchern
Rahmen erfordert, integriert sich hervorragend im Boden und dem Lüftungsschlitz über der
als Tischoberfläche. Türklappe, da der Projektor das Tischinnere
_vielseitiger. Die DRI-Technologie erlaubt stark aufheizt und die auf Dauer erhebliche
Impressionen der fertigen Multitouch-Tischbox. zusätzlich die Verwendung von Fiducials – op- Temperaturerhöhung die integrierten tech-
tischen Markern – die man an der Unterseite nischen Geräte beschädigen kann.
physischer Objekte befestigen kann. Diese
kann die Kamera nun sehen, wenn man solche
Objekte auf dem Screen auflegt. Das System
kann die Muster auswerten und die Objekte
und ihre Position und Orientierung erkennen.
So ist die Umsetzung von Tangible Interfaces
möglich.

Hier noch ein paar Materialmuster: 51
transparentes holzfreies Ifoha Infrarotfolie silber-hell Rosco Screen grau Lee-Farbfilter 225 Lee-Farbfilter 273 Reflektor
Skizzenpapier aus 100 % neutral density frost
Zellulose mit 40 g / m2 von
Modulor

3 Recherche
Nonverbale Kommunikation
3.1 Wir verwenden in unserem Alltag Computer

oder computergesteuerte Geräte als Hilfsmit-
Menüsteuerung – etabliert. Des Weiteren ist
die Eingabe mittels eines Zeigegerätes in vielen
direktere Variante der Interaktion, da sichtbare
Objekte auf dem Bildschirm für den Nutzer
tel, die uns bei der Bewältigung von Hand- Fällen praktikabler als eine lautsprachig ausge- scheinbar ohne eine zwischengeschaltete
lungen unterstützen. Dabei müssen wir mit drückte Anweisung. Instanz angefasst und manipuliert werden
dem jeweiligen System kommunizieren, damit können, wohingegen ein Touchpad ein für den
es „weiß“, was es für uns tun soll. Sprachbegleitend oder teilweise sogar die Nutzer sichtbares Instrument darstellt, das die
mündliche Rede ersetzend nutzt der Mensch Fingereingaben an das System erst weiterleitet.
Recherche Für die Kommunikation mit Desktop-Systemen oft Handbewegungen. Besonders ausdiffe-
54 oder Laptops verwenden wir im Allgemeinen renziert sind die Handgesten, die in Gebär- Die berührungsfreie Interaktion mit den Hän-
Tastatur und Maus oder Touchpad, bei der densprachen verwendet werden. Aber auch den entspricht in der Ausführung wohl eher
Verwendung von mobilen Geräten wie Han- hörende Menschen, die sich untereinander der gestenbasierten Kommunikation zwischen
dys oder PDAs oft Tasten oder einen Stylus. lautsprachig unterhalten, kommunizieren auf Individuen als die Toucheingabe und kann
Tastatur, Maus und Tasten haben dabei eher einer parallelen Ebene mit ihren Händen. Die zudem bei einem Stereo-Vision-System im
digitalen Charakter (Klick, Tastendruck), Touch- Hände werden außerdem genutzt, wenn eine dreidimensionalen Raum interpretiert werden.
pad und Stylus eher analogen, da sie eine Sache effizienter durch Zeigen oder Darstellen Die Kommunikation mit einem Computersys-
Art Übersetzer einer kontinuierlichen (Zeige-) kommuniziert werden kann als durch Wörter. tem ähnelt allerdings weniger einem Zwie-
Fingerbewegung darstellen. gespräch zweier gleichgestellter intelligenter
Als Pendant zur zwischenmenschlichen Wesen, sondern eher der Manipulation von
Die Lautsprache – die offensichtlichste Form Kommunikation via Handgesten kann die Objekten in der realen Welt. Und hierbei spielt
der zwischenmenschlichen Kommunikation Mensch-Computer-Interaktion mittels Handbe- die haptische Komponente eine große Rolle:
– ist als Eingabemodus für Computersysteme wegungen angesehen werden. Diese lässt sich Wir fassen Objekte an, um sie zu bearbeiten.
aufgrund des daran geknüpften Interpreta- unterteilen in berührungslose Eingabe – oft Daher ist die Manipulation durch Berührung
tionsaufwandes und der Fehleranfälligkeit kameragesteuert oder mittels Datenhandschuh aufgrund unserer Erfahrung leichter zu kont-
derzeitiger Algorithmen in Verbindung mit den – und die Eingabe durch Fingerberührung rollieren und zu koordinieren als die vorher
vielfältigen Artikulationsmustern der breiten eines Gerätes über ein Touchpad oder einen genannte magisch anmutende Manipulation
Nutzerschaft nicht oder nur für sehr simple Touchscreen. Dabei handelt es sich bei einem durch Gestikulieren in der Luft. Zudem ist ein
Anwendungen – z. B. telekommunikative Touchscreen im Gegensatz zum -pad um die Zeichensystem, bei dem alle Finger eingesetzt

werden können, auch in der zweidimensio-
nalen Ebene – der Screenoberfläche – komplex
genug, um ein großes Vokabular abzudecken.
Um alle Finger bei der Toucheingabe involvie-
ren zu können, bedarf es eines Multitouch-
Screens als Schnittstelle.
Tastatur / Tasten  Touchpad  berührungslose Handgeste 
Nebenstehende Abbildungen verdeutli- Übersetzung: Tastendruck – Bewegung Übersetzung: Bewegung – Bewegung, relativ Übersetzung: Bewegung – Bewegung, relativ od. absolut
chen gegenüberstellend am Beispiel Objekt Direktheit: indirekt, Aktionstyp – Reaktionstyp inkompatibel Direktheit: indirekt über Cursor Direktheit: direkt, aber ohne Kontakt 55
Kontrolle: Aktion begrenzt zw. Taste gedrückt & Taste los Kontrolle: gut, keine Differenzierung zw. over & down Kontrolle: hoher Freiheitsgrad, dadurch schwierig zu
verschieben die Eigenschaften verschiedener
Genüsslichkeit: leicht ausführbar, aber inkompatibles Genüsslichkeit: kompatibles Mapping, eingeschränkter kontrollieren
Eingabemechanismen bezüglich Übersetzung,
Mapping Aktionsraum Genüsslichkeit: ausgeprägt, aber schwierig kontrollierbar
Direktheit und Kontrolle und der daraus resul-
tierenden Genüsslichkeit. Der Single-Touch-
screen wird dabei vom Multi-Touchscreen
übertroffen, da die gleichzeitige Benutzung
mehrerer Finger zur Eingabe der Interaktion
mit realen Objekten sehr viel näher kommt, als
nur eine Fingerspitze verwenden zu können.
Somit fühlt sich die Interaktion natürlicher an.
Maus  Stylus & Tablet  Touchscreen 

Übersetzung: Bewegung – Bewegung, relativ Übersetzung: Bewegung – Bewegung, absolut Übersetzung: Bewegung – Bewegung, absolut
Direktheit: indirekt über Cursor Direktheit: indirekt über Cursor Direktheit: direkt
Kontrolle: gut, aber Übung für Erstnutzer erforderlich Kontrolle: leicht handhabbar durch Erfahrung: Stift Kontrolle: sehr gut, Aktion bei Berührung
Genüsslichkeit: kompatibles Mapping, aber beeinträchtigte Genüsslichkeit: kompatibles Mapping, besonders genüss- Genüsslichkeit: sehr ausgeprägt, da Übersetzung unsicht-
Feinmotorik lich bei Drucksensibilität bar, Nutzer „berührt“ digitale Daten

Handgesten im Alltag – Interaktion
Bevor in dieser Arbeit auf mögliche Anwen- Die Hände sind die primären Werkzeuge, mit Alltägliche Interaktionen können auf ein
dungen der Multitouch-Technologie und denen wir Objekte in unserer Umwelt unter- digitales Interface übertragen werden, indem
auf sinnfällige Abbildungen von Gesten auf suchen und bearbeiten. Besonders nützlich man eine Handbewegung in einen bestimmten
Bedeutungen und Aktionen eingegangen wird, dabei ist der Daumen, der den langen Fingern Kontext setzt und bekannte Metaphern aus
werden an dieser Stelle menschliche Handges- anatomisch gegenüber steht. Dies ermöglicht der realen Welt nutzt. Dem Nutzer aufgrund
ten und ihr Einsatz als Kommunikationsmittel das Greifen und Festhalten von Dingen mit nur seines Erfahrungsschatzes eine Antizipation
beschrieben, um das dahingehende Verständ- einer Hand. Die Interaktion mit Objekten findet zu ermöglichen, was seine Aktion hervorrufen
nis als Grundlage für die Entwicklung eines meist mit mehreren oder sogar allen Fingern wird, und diese Vermutung auch zu bestäti-
eigenen Gestenvokabulars zu vertiefen. statt. Aktionen mit nur einem Finger beschrän- gen, macht ein intuitives Interface aus. Eine
56 ken sich auf Berühren, Streichen, Tippen oder rotierende Geste im Uhrzeigersinn in Verbin-
Der Mensch benutzt seine Hände in vielfäl- Drücken. Erst die Nutzung der Finger in Kom- dung mit einem digitalen Schraubverschluss
tiger Weise: Um Dinge zu ertasten, um mit bination ermöglicht komplexere Vorgänge. wird etwas öffnen, wohingegen die Bewegung
Objekten zu interagieren und um zu kommu- Zweihändige Aktionen erlauben sogar noch gegen den Uhrzeigersinn eher etwas schließen
 Dies entspricht der Klassifikation durch Cadoz: nizieren. Die letzteren beiden Aspekte sollen kompliziertere Manipulationen: Das Binden sollte. Die Berührung einer digitalen Klaviatur-
_ semiotische Gesten: kommunizierend hier näher untersucht werden. von Schnürsenkeln, viele handwerkliche Tätig- taste sollte einen Ton erzeugen, die Umschlie-
_ ergotische Gesten: manipulierend, kreierend
keiten und Handarbeit sind kaum mit nur einer ßung eines digitalen Objekts mit den Fingern
_ epistemische Gesten: taktil erfahrend, haptisch
Hand denkbar. Deshalb ist es wünschenswert, könnte es fixieren, die Zueinanderbewegung
explorierend
}}} Mulder: „Hand Gestures in HCI“, 1996. [Mul96] ||| auch bei der Eingabe über einen Touchscreen der Finger einer Hand sollte ein digitales Ob-
alle Finger beider Hände zur Verfügung zu jekt kontrahieren oder verkleinern usw.
haben, um ein vielseitigeres Interaktionsvoka-
bular abzudecken, das an Interaktionen mit
Objekten in der physischen Welt anknüpft.
Die nebenstehenden Abbildungen geben eine
kurze Übersicht über diese Vielfalt.
Die menschlichen Hände dienen dem Ertasten,
dem Agieren und der Kommunikation.

Interface-Elemente in der realen Welt, die man nur mit
einem Finger bedient, beschränken sich auf simple Objekte,
wie Tasten, Schalter, Knöpfe, einige Regler und druck-
sensitive Oberflächen. Konkret können das Klingeltasten,
Lichtschalter, Druckknöpfe, Klaviertasten, Schreibmaschi-
nentasten oder Klickverschlüsse sein.
57
Mit den Händen kann man, nachdem man etwas gegriffen

Objekte, die man mit mindestens zwei Fingern oder der hat, unterschiedliche Bewegungen ausführen. So kann
ganzen Hand bedient, sind schon komplexer. Darunter man etwas drehen – wie Drehregler, Verschlusskappen,
finden sich Klickverschlüsse, Scheren, Zangen, Reißver- Schlüssel, Hähne, Muttern oder Schrauben – oder etwas
schlüsse, Kurbeln, bestimmte Schalter und vieles mehr. horizontal oder vertikal drücken, ziehen, heben, tragen oder
Mehrere Finger benötigt man auch, um etwas festzuhalten, zusammendrücken – wie Schubladenfächer, Türklinken,
wie beim Umblättern von Seiten. Tassen oder Zitronen. Man kann auch Geräusche erzeugen,
wie z. B. mit den Fingerknöcheln gegen einen Gegenstand
klopfen.

Handgesten im Alltag – Kommunikation
Um aus Handbewegungen ein Vokabular für Neben der Gebärdensprache – einem vollwer- drehende Faust – untermalt werden.
die Interaktion mit einem computergestützten tigen Sprachsystem – nutzt aber jeder Mensch Was für eine Geste ausgewählt wird, hängt
Gerät zu entwickeln, liegt es nahe, Mechanis- bewusst oder unbewusst mehr oder weniger davon ab, welcher Aspekt des Gesagten als
men der Gebärdensprachen näher zu untersu- stark redebegleitende Gesten, die die gesagten besonders wichtig empfunden wird und unter-
chen, da diese bereits elaborierte Handgesten- Worte untermalen oder ihren Sinn erweitern. strichen werden soll.
vokabulare darstellen. Diese redebegleitenden Gesten folgen auch
einer Grammatik. So unterteilt die deutsche Für die Entwicklung eines Vokabulars für die
Sieht man sich als hörender Mensch solch ein Gestenforscherin Cornelia Müller diese Ges- Multitouch-Eingabe muss beachtet werden, ob
System näher an – es gibt weltweit verschie- ten in 4 Kategorien: der Nutzer bei einer bestimmten Aktion primär
58 dene Gebärdensprachen – so stellt man schnell _agierende Gesten eine Funktion – Verb – im Kopf hat oder ein
fest, dass die benutzten Gesten weit davon _zeichnende Gesten Objekt – Substantiv, Adjektiv – um sich dann
 Laut einem Artikel in der NZZ am Sonntag entfernt sind, für Unkundige intuitiv verständ- _modellierende Gesten auf ein geeignetes Mapping festzulegen: Agie-
}}} Kramer: „Grammatik der Gesten“, 2008. [Kra08] lich zu sein. Neben zahlreichen Gesten, die _verkörpernde Gesten rende Gesten passen, wenn der Fokus auf der
|||
man auf Bilder zurückführen kann, existieren Funktion liegt, zeichnende oder verkörpernde
Mehr zum Thema findet sich auf der Homepage der viele Gebärden für abstrakte Begriffe, die Diese Gesten nehmen analog zur Lautsprache Geste bei dem Fokus auf einem Objekt.
Linguistin Cornelia Müller: genau wie bei einer Fremdsprache erst erlernt bestimmte grammatische Funktionen ein und
}}} http://www.cmhmueller.de/ |||
werden müssen. Zudem zeichnet die Gebär- spiegeln damit Denkmuster wider, die sich Neben diesen redebegleitenden Gesten gibt es
sowie auf der Internetpräsenz des Projekts „Towards a
densprache im Gegensatz zur sequenziellen auch in der Strukturierung von Lautsprache fin- losgelöste Handzeichen, die für bestimmte Be-
Grammar of Gesture“:
}}} http://www.togog.org/ ||| Lautsprache eine simultane Erzählstruktur aus: den. Agierende Gesten entsprechen dabei der griffe stehen, die sich aber in ihrer Bedeutung
Mehrere Zeichen werden über unterschiedliche Funktion des Verbs, zeichnende und modellie- von Kulturkreis zu Kulturkreis stark voneinan-
Kanäle gleichzeitig dargestellt, denn neben der rende Gesten stehen für Adjektive (2D und 3D der unterscheiden können. Ist ein Handzeichen
Handhaltung spielen auch Mimik, Kopf-, Arm- betreffend) und verkörpernde Gesten stellen in einem Kulturkreis, der dem der potentiellen
und Rumpfhaltung eine wichtige Rolle für die Objekte dar. Beispielsweise kann die Rede über Nutzerschaft entspricht, etabliert, so kann
Bedeutung. Weiterhin ist Gebärdensprache einen Globus durch eine agierende – An- man sich für ein Multitouch-Vokabular auch
räumlich: Die Bedeutung des Dargestellten deutung der Drehbewegung – , durch eine hier bedienen. Dennoch sollte man bei der
hängt von Objektplatzierungen in der Luft und zeichnende – Kreisform umreißen – , durch Verwendung mehrdeutiger Zeichen Vorsicht
dazugehörenden Handbewegungsrichtungen eine modellierende –Kugelform nachahmen walten lassen.
ab. [Rol07] – oder durch eine verkörpernde Geste – sich

Diese Abbildungen illustrieren die Vielfalt, aber auch die „Gut“ – Diese Geste ist in vielen Kulturkreisen
Mehrdeutigkeit von Handzeichen. Es gibt Gesten, die in unmissverständlich.
unterschiedlichen Kulturkreisen verschiedene Bedeutungen
haben, aber auch solche, die in ein und dem selben
Diese Geste hat je nach Kontext mehrere Bedeutungen:
Kulturkreis verschieden gedeutet werden können. Auch
„Eins“
können Variationen der Handhaltung die Bedeutung einer
„Vorsicht!“
Fingerstellung komplett verändern. Zudem existieren
„Moment“
innerhalb eines Kulturkreises für eine Bedeutung mitunter
„Darf ich reden?“
verschiedene Handzeichen.
Diese Geste hat je nach Kulturkreis verschiedene

Bedeutungen: 59
„Auszeit“ – im westlichen Kulturkreis
„Scheckheft“ / „-karte“ – in Japan
Auch diese Geste wird je nach Kulturkreis unterschiedlich
gedeutet:
„OK“, „gut“ – im westlichen Kulturkreis
„Anus“ – in Brasilien
„Geld“ – in Japan
Die Abbildungen auf dieser Seite stammen aus dem Film

von Jeff Werner: „Hand Gestures“, 2006
}}} http://jeffwerner.ca/2006/02/hand_gestures.html
Die Handorientierung kann bei gleicher Fingerhaltung die Bedeutung einer Geste komplett verändern:
|||
(Beleidigung) – Handfläche nach innen „Victory“, „Frieden“ – Handfläche nach vorn

Kommunikative – „semiotische“ – Gesten Für die Konzeption rein gestischer Interfaces

können nach ihrer Funktion in 6 Gruppen ist es nützlich zu wissen, wie stark die eben
 Die Autoren tragen hier Taxonomien unterteilt werden: aufgezählten Gestentypen mit Lautsprache
aus der Linguistik zusammen: _symbolische Gesten. Die oben beschrie- verknüpft sind, inwieweit sie also in Verbin-
}}} Buxton et al.: „Human Input to Computer Systems:
benen Zeichen, die innerhalb eines Kultur- dung mit Gesprochenem auftreten oder ein
Theories, Techniques and Technology“, 2002. [Bux02]
kreises oder bestimmter sozialer Gruppen defi- eigenständiges Sprachsystem darstellen kön-
|||
niert sind. Hierunter fallen auch die Zeichen in nen. Kendons Modell, ein Kontinuum, das  Kendon ordnet in seinem Modell Gestentypen nach
Gebärdensprachen. die Abhängigkeit von Gesten und Lautsprache ihrer „linguisticity“, also wie nah sie einem eigenständi-
gen Sprachsystem kommen.
_deiktische Gesten. Bewegungen, die auf beschreibt, bietet eine Systematisierung hierzu
}}} Kendon: „How Gestures Can Become Like Words“,
60 Objekte, Richtungen oder Orte in der Umge- an:
1988. [Ken88] |||
bung zeigen oder hinweisen. Sie spezifizieren
ein „dies“, „hier“ oder „dort“. Diese Form der
Geste wird häufig im HCI-Bereich angewandt. Gestikulation – beschreibende Gesten – Pantomime – Symbole – Gebärden
_ikonische Gesten. Beschreiben Eigen-
schaften von Objekten näher, wie Größe,
Form, Farbe, Orientierung etc. und begleiten In dem Kontinuum stehen links die sprachbe- Das bedeutet, dass Gesten, die ganz links ein-
ein „ist so“, „sieht so aus“ oder „verhält sich gleitenden Bewegungen und rechts solche, die zuordnen sind, ohne einen parallelen Sprach-
so“. ein eigenes Sprachsystem darstellen und damit kanal am wenigsten verständlich sind. Gebär-
_pantomimische Gesten. Zeigen Bewe- Lautsprache ersetzen können. Ganz links wä- densprachen und symbolische Gesten können
gungen, Handhabungen oder Vorgänge. ren daher redebegleitende rhythmische Gesten im Gegensatz dazu ganz ohne lautsprachige
_rhythmische Gesten. Sind Handbewe- und Kohäsionen einzuordnen. Weiter rechts Unterstützung vom Kommunikationspartner
gungen, die im Rhythmus des Gesagten folgen dann ikonische und pantomimische interpretiert werden.
ausgeführt werden. Gesten und am rechten Ende des Kontinuums
_ Kohäsionen. Unterstreichen Verbindungen haben Symbole und Zeichensprachen den
zwischen thematisch und semantisch zusam- höchsten linguistischen Stellenwert.
mengehörigen Inhalten während des Sprech-
flusses.

Schlussfolgerungen für den HCI-Bereich
Die letzten Abschnitte haben gezeigt, dass der Gestaltung eines Gesten-Interface entschei- Für Anwendungen mit einem umfassenderen Bei der Gestaltung
Mensch in seiner physischen Umgebung Hand- den, was für Gestentypen angebracht sind. und abstrakteren Funktionsumfang eignet sich
gesten sowohl zur Manipulation als auch zur Die meisten gestenbasierten Systeme nutzen die Integrierung symbolischer Gesten. Solche eines gestenbasierten
Kommunikation einsetzt. Im kommunikativen deiktische und symbolische Gesten. Deiktische können in ihrer Bedeutung mächtiger sein und
Bereich haben sich sogar abstrakte Handsym- Gesten eignen sich besonders für die direkte komplexere Eingaben ermöglichen. Ein großer Interface sollte man
bole und komplexe gestische Zeichensysteme Manipulation grafischer Objekte, da durch Nachteil symbolischer Gesten ist allerdings,
etabliert. Das legt nahe, dass der Mensch Zeigebewegungen leicht Objekte angespro- dass diese sich bei der Interaktion oft nicht von die Balance zwischen
auch mit Computersystemen gut über Gesten chen und Positionen oder Richtungen einfach selbst erschließen und vorher gelernt werden
kommunizieren kann. Existierende Projekte artikuliert werden können. Solche Interfaces müssen. Je größer der Gestenumfang in einer direkten deiktischen
und Produkte, die die Interaktion mittels Hand- sind meist sehr intuitiv, fühlen sich natürlich an Anwendung ist, desto schwieriger kann es 61
gesten realisieren, belegen dies auch (siehe und erfordern kaum eine Lernphase, um mit auch werden, sich diese alle zu merken. und abstrakten symbo-
folgende Abschnitte dieser Arbeit). dem System umgehen zu können. Ein Beispiel
dafür ist Videoplace (siehe Abschnitt 2.1 dieser Allgemein sollte man bei der Konzeption einer lischen Gesten finden,
Je nachdem, um was für eine Anwendung es Arbeit und [Kru85]). Anwendung einen Kompromiss zwischen der
sich im Speziellen handelt, sollte man für die Nutzung einfacher deiktischer Gesten, die um eine gleichermaßen
intuitiv sind, und komplexerer symbolischer
Gesten, die dem Nutzer mehr Möglichkeiten intuitive wie mächtige
Die Existenz von Gebärdensprachen und sym- eröffnen, finden. Darüber hinaus sollte man
versuchen, aus dem Fundus auch der anderen Interaktion zu ermögli-
bolischen Gesten legt nahe, dass der Mensch in Gestentypen zu schöpfen, um ein expressives
Interface umzusetzen, das Freude bereitet. chen.
der Lage ist, auch bei der Computernutzung ein
vollwertiges zweihändiges Gestenvokabular zur
Kommunikation zu nutzen – auch wenn dieses
womöglich erst erlernt werden muss.

Handgesten in der Mensch-Computer-Interaktion
 Buxton plädiert für natürliche User Interfaces: Buxton weist darauf hin, dass nonverbale Aber immerhin kann über die Maus die hori-
}}} Buxton: „The Natural Language of Interaction: A Dialoge eine günstige Interaktionsform darstel- zontale Handbewegung (zum Bewegen des
Perspective on Non-Verbal Dialogues“, 1990. [Bux90]
len, um (mit Computersystemen) zu kommu- Cursors), ein Niederdrücken einzelner Finger
|||
nizieren. Gesten zählen für ihn zum natür- (zum Anklicken, zum gedrückt Halten) und die
lichen nonverbalen Vokabular des Menschen, Streichbewegung eines Fingers (zum Scrollen)
weshalb er die Fähigkeit, mit beiden Händen kommuniziert werden.
zu interagieren, von vornherein mitbringt. Der
Autor zeigt anhand von Studien, dass Nutzer Eine fließendere und feinmotorisch besser zu
sehr gut in der Lage sind, Interaktionsaufga- steuernde Bewegung ermöglicht der Stylus
62 ben auf beide Hände aufzuteilen. Er empfiehlt in Verbindung mit einem Tablet oder direkt
so eine Aufgabenteilung vor allem dann, wenn auf einem Display angewendet. Für die
ein Arbeitsschritt einem anderen zwischenge- Styluseingabe etwa bei mobilen PDAs und in
schaltet ist. Der Zwischenschritt – die sekun- Ermangelung einer Tastatur bei diesen Geräten
däre Aufgabe – kann dann an die zweite Hand haben sich Gestenvokabulare zur Texteingabe
delegiert werden, damit die primäre Aufgabe etabliert. Solche Zeichensätze – wie Graffiti Graffiti-Gesten.
nicht in ihrem Fluss unterbrochen wird (z. – lehnen sich an die uns bekannten latei-
B. erste Hand malt, zweite Hand verschiebt nischen Buchstaben an, wobei jedes Zeichen in
zwischendurch die Ansicht). einer einzigen Linie umgesetzt wird.
Es gibt zahlreiche Beispiele, bei denen die Solche Zeichen, die durch einen Pfad defi-
Nutzereingabe über Gesten erfolgt. Mit der niert sind, wurden auch für die Mauseingabe
Maus und dem Einzug des GUI wurde es konzipiert – hier eher als Befehlszeichen zur
erstmals möglich, über Handbewegungen mit Steuerung von Applikationen. Ein Beispiel
Computersystemen zu kommunizieren – auch dafür ist StrokeIt, mit dem Funktionen via  StrokeIt kann für Windows-Systeme
wenn dieses Eingabegerät nicht primär dafür Mausbewegungen z. B. in Webbrowsern, Me- heruntergeladen werden:
}}} http://www.tcbmi.com/strokeit/ |||
konzipiert ist, Gesten, wie wir sie in der phy- diaplayern oder Chatprogrammen ausgeführt
sischen Umgebung einsetzen, zu übertragen. werden können.

Ein noch direkteres Interaktionserlebnis als die Kamerasysteme schließlich machen eine Trackingsysteme werten diese dann aus. Be-
Styluseingabe bieten Touchscreens, die vor Interaktion mittels Handbewegungen in sonders im Bereich der Unterhaltungsindustrie
allem an öffentlichen Automaten zum Einsatz der Luft möglich, ohne dass der Nutzer ein kamen solche Systeme – neben Projekten in
kommen. Dort sind sie nicht nur sinnvoll, weil Instrument berühren muss. Die Kamera der Forschung – zum Einsatz. Erfolgreich war
kein Eingabeinstrument vorhanden ist, das nimmt die ausgeführten Bewegungen wahr vor allem das EyeToy-System von Sony für  EyeToy wurde aufgrund der neuen
beschädigt oder entwendet werden kann, son- und Bilderkennungs-, Bildverarbeitungs- und die Playstation 2. Interaktionsmöglichkeiten sehr populär.
}}} http://www.eyetoy.com/ |||
dern auch, weil die Eingabe durch Berührung
(von Buttons etc.) besonders intuitiv ist.
Um eine natürlichere Kommunikation mit 63

Rechnersystemen zu ermöglichen, wurden
schon viele Forschungen in Interaktionstech-
niken investiert, bei denen der Nutzer in der
Luft gestikulieren kann. Ein Beispiel dafür sind
Datenhandschuhe als Eingabegerät, die kom-
plexe Fingerbewegungen des Trägers direkt
messen können.
EyeToy lädt zu expressiven Körperbewegungen ein,

um Spielaufgaben zu meistern.
}}} http://dicasonline.com.br/ |||

Ähnlich expressive Gesten können mit dem

 Nintendo entwickelt im Moment immer mehr verschie- Nintendo Wii zur Kommunikation eingesetzt
dene Eingabegeräte für die Wii-Konsole, um natürliche werden, und zwar auch hier zum Spielen. Bei
Gesten und Körperbewegungen auswerten zu können.
den Eingabegeräten handelt es sich um mit
}}} http://www.wii.com/ |||
Sensoren versehenen Controllern, die Orientie-
rung, Bewegungsrichtung und Beschleunigung
der beiden Hände messen können.
Es zeigt sich, dass die Interaktion mittels Hand-

64 bewegungen besonders viel Freude bereitet,
vor allem, weil hier physische Aktionen sehr
natürlich nachempfunden werden und die
Manipulation der digitalen Welt als viel di-
rekter wahrgenommen wird. Objekte können
anvisiert und bewegt werden und Armbewe-
gungen werden zum Teil so direkt auf den
Repräsentanten des Nutzers abgebildet, als
„stecke er in seiner Haut“. Die Bewegung wird
sozusagen analog übertragen. Diese Form,
auf intuitive Weise Kontrolle über digitale Wii Sports mit dem Nintendo Wii: Ein Tennis-Doppel mit
Artefakte ausüben zu können, steigert die echtem körperlichen Einsatz.
}}} http://www.wiiwii.tv |||
Genüsslichkeit bei der Interaktion.
Je analoger die Interaktion, desto natürlicher fühlt sie sich an.

 Apple hat mit seinen mobilen Multitouch-Geräten,
besonders mit dem iPhone, einen regelrechten Multi-
touch-Hype ausgelöst. Die Multitouch-Pads von Apples
Laptops werden in Zukunft sicher noch an Funktionsum-
fang zulegen.
 Das Latitude XT von Dell ist ein Tablet PC, über dessen TouchKit besteht fast nur aus einem Screen und einem
Display sowohl mit Stylus als auch mittels Multitouch-Ein- Gestell als Halterung.
gabe interagiert werden kann. Es existieren seit kurzem }}} http://www.flickr.com |||
bereits Software-Updates, um einige Standard-Applika-
tionen (Google Earth, Outlook, MS Office, Firefox, IE 7) Im digitalen Multimediabereich gibt es im
multitouchfähig zu machen. Moment einen Trend zu Geräten mit Multi-
}}} http://www.dell.com/ ||| touch-Interface. Sowohl kleinformatige mobile
Geräte – Apple iPhone & iPod Touch – als
 Spätestens mit dem Betriebssystem Windows 7 soll die
auch Laptops und Desktopsysteme – Apple
Multitouch-Eingabe allgegenwärtig werden.
}}} http://windowsvistablog.com/blogs/windowsvista/ar-
MacBook Air & MacBook Pro, Dell Latitude
chive/2008/05/27/microsoft-demonstrates-multi-touch. XT, Windows 7, n-Trig DuoSense – sowie
aspx ||| größere stationäre Systeme – Microsoft Sur- Cubit ist modular gestaltet und kann auch von Laien
face, NOR_/D Cubit und TouchKit, Lumin zusammengebaut werden.
 Bei DuoSense handelt es sich um eine transparente }}} http://www.flickr.com |||
Multitouch, Perspective Pixels – erobern 65
Sensorenschicht, die direkt vor Screens installiert werden
den Markt. Dabei handelt es sich sowohl um
kann, um Stylus- und Multitouch-Eingabe zu ermöglichen.
}}} http://www.n-trig.com/ ||| Touchpads als auch um Touchscreens, die die
Mehrfingereingabe ermöglichen.
 Das MS Surface Tabletop-System kommt bereits in
öffentlichen Kasinos, Retail Stores und anderen Einrich- Besonders Touchscreens geben dem Nutzer
tungen in den USA zum Einsatz.
das Gefühl, er könne die grafischen Objekte
direkt berühren und mit seinen Fingern
 Cubit und TouchKit sind zwei Multitouch-Projekte bei beeinflussen. Diese Erfahrung wird als sehr
NOR_/D. Der Source-Code (die C++-Bibliothek open- natürlich und angenehm empfunden, was
Frameworks) steht zur freien Verfügung – das „plug-and- sich noch steigert, wenn elegante fließende
play“-Setup kann geordert werden.
Bewegungen involviert sind. Die Multitouch-
}}} http://nortd.com/cubit/ |||
Fähigkeit erlaubt zudem vielfältigere Interakti-
}}} http://touchkit.nortd.com/ |||
}}} http://www.openframeworks.cc/ ||| onsformen mit mehreren Fingern und beiden
Händen und bereichert damit die Kommunika-
 Die Lumin Visual Technology AG vertreibt u. a. ein tion zusätzlich. Dabei ist es aber sehr wichtig,
komplettes Multitouch-Tabletop-System. softwareseitig passende Interfaces anzubieten
}}} http://www.lumin.de/multitouch/ |||
und nicht in Paradigmen, die auf Mauseingabe
 Perspective Pixels bietet Lösungen für großformatige optimiert sind, zu stagnieren.
Wall-Multitouch-Systeme.
}}} http://www.perceptivepixel.com/ |||

Multitouch-Anwendungen
Aktuelle Multitouch-Anwendungen
3.2 In diesem Abschnitt werden einige existie-

rende Multitouch-Anwendungen vorgestellt
und ihre Stärken und Schwächen diskutiert.
Viele Entwickler kombinieren die Multitouch-
Interaktion mit physischen Objekten, die
vom System erkannt und getrackt werden kön-
 Es gibt zahlreiche Multitouch-Anwendungen, die
physische Objekte in die Interaktion integrieren. Dazu
gehören Microsoft Surface, reacTable, AudioPad, Pico,
Die herausgegriffenen Beispiele bieten einen nen. Solche so genannten Tangible Interfaces
SenseTable, iBar, TangibleTable, Recipe Table uvm.
Überblick über die aktuellen Einsatzmöglich- scheinen digitale Inhalte greifbar zu machen
keiten der Multitouch-Technologie, und die aus und verschmelzen damit die digitale mit der }}} http://reactable.iua.upf.edu |||
der Analyse gewonnenen Erkenntnisse können physischen Welt. Diese Schnittstellen, die ihren }}} http://www.jamespatten.com/audiopad |||
für die Gestaltung einer eigenen Multitouch- Reiz und ein großes Potential haben, in Zu- }}} http://www.jamespatten.com/pico |||
Anwendung genutzt werden. kunft eine immer wichtigere Rolle zu spielen, }}} http://www.jamespatten.com/sensetable.php |||
}}} http://www.i-bar.ch |||
66 sind jedoch nicht der Fokus dieser Arbeit. Hier
}}} http://www.tangibletable.de |||
Aktuelle Standard-Anwendungen für die soll das Augenmerk auf die reine Mehrfinger- }}} http://www.recipetable.net |||
Multitouch-Interaktion sind Malprogramme, eingabe gerichtet werden, die an sich schon
 Apples iPhone und iPod Touch nutzen 2-Finger- Landkarten-Navigations-Anwendungen oder eine faszinierende Art der Interaktion darstellt
Manipulation zur Bildbetrachtung und zur Navigation Bildbetrachtungsprogramme. Darüber hinaus und bisher noch nicht umfassend untersucht
in Stadtplänen, MS Surface setzt die Technik auch zur
wird die Multitouch-Technologie auch gern worden ist. Allein die bisher umgesetzten
Bildbetrachtung, zum Malen und zur Karten-Navigation
für Musikanwendungen verwendet, da Ins- Produkte und prototypischen Anwendungen
ein, Dell schlägt Interaktionstechniken für eben solche
Anwendungen vor, so wie auch unzählige weitere trumente oder Synthesizer dazu prädestiniert zeigen, dass hier noch Bedarf besteht, die
Entwickler. sind, mit mehreren Fingern gleichzeitig bedient vielfältigen Möglichkeiten, die die Multitouch-
}}} http://www.apple.com ||| zu werden. Abgesehen davon, gibt es im Mo- Interaktion bietet, besser zu verstehen, um
}}} http://www.microsoft.com/surface ||| ment noch viel Nachholbedarf, was sinnfällige überzeugende Applikationen umzusetzen,
}}} http://www.dell.com |||
Anwendungen für die Multitouch-Eingabe an- die über das Herumschieben von Bildern, die
geht, die das Potential dieser Interaktionsform 2D-Navigation und die Visualisierung von
 Unter Multitouch-Musikanwendungen fallen u. a. wirklich ausschöpfen. Fingerspuren hinausgehen.
Lemur und Dexter von JazzMutant, reacTable oder
AudioPad.
}}} http://www.jazzmutant.com |||
}}} http://reactable.iua.upf.edu |||
»One of the things our grandchildren will find quaintest about us is that
}}} http://www.jamespatten.com/audiopad |||
we distinguish the digital from the real.« (William Gibson, 2007)

Die Geräte von JazzMutant Dexter und Lemur
sind multitouch-fähig.
}}} http://www.jazzmutant.com |||
Die Installation floating.numbers von ART+COM aus dem

Jahr 2004.
}}} http://www.artcom.de |||
Tim Roths Master-Projekt 180 aus dem Jahr 2007.
}}} http://www.timroth.de/180 |||
67
Der Interacitve Table ist ein Beispiel eines
Sensitive.Wall ist ein vertikales Multitouch-Display von iO. Multitouch-Tisches des Werk5.
}}} http://www.sensitivewall.com ||| }}} http://www.interactive-table.de |||
Tangent – ein Forschungsprojekt der

Zürcher Hochschule der Künste. HoloWall – eine der frühen Multitouch-Screens
}}} http://zima.ch/tangent ||| auf der Siggraph‘98.
iBar – ein interaktiver Tresen – reagiert auf Objekte und
Fingerberührungen. }}} http://www.sonycsl.co.jp/person/rekimoto/holowall
}}} http://www.i-bar.ch ||| |||

As-Rigid-As-Possible Shape Manipulation
 As-Rigid-as-Possible Shape Manipulation ist ein Takeo Igarashi und seine Arbeitsgruppe haben zer Übungszeit schon komplexe Bewegungen
Projekt von Takeo Igarashi, Tomer Moscovich, and John F. 2005 ein Multitouch-Animationssystem mit ausführen. Sie nutzen schnell automatisch
Hughes aus dem Jahr 2005.
dem SmartSkin-Touchpad (siehe Kapitel 2) und mehrere Finger (oft beide Daumen und Zei-
}}} Igarashi et al.: „As-Rigid-As-Possible Shape Manipu-
Topdown-Projektion umgesetzt. Während in gefinger), um lebendige und ausdrucksstarke
lation“, 2005. [Iga05] |||
}}} http://www-ui.is.s.u-tokyo.ac.jp/~takeo/research/ri- dem zugehörigen Paper der Fokus auf den Bewegungsabläufe umzusetzen.
gid/index.html ||| Algorithmen und der Implementierung liegt,
konzentriert sich Moscovich in seiner Disserta- Die extrem intuitive Handhabung ergibt sich
tion auf das Interaktionserlebnis des Nutzers. aus dem hohen Freiheitsgrad der Objektsteue-
rung und das direkte Mapping dieser Eingabe
68 Das interaktive System ermöglicht es dem Nut- auf ein Feedback, das dem der physischen
zer, 2D-Figuren direkt mit mehreren Fingern Welt weitgehend entspricht. Menschen sind
 Moscovichs Dissertation über das Projekt und über in Echtzeit zu bewegen und zu deformieren, erfahren darin, Abläufe und zeitliche Gescheh-
fließende, koordinierte Multitouch-Interaktion. indem die Kontroll-Berührungspunkte den nisse mit Hilfe von Bewegungen (Gesten)
}}} Moscovich: „Principles and Applications of Multi-
Fingerbewegungen folgen und die Form der zu kommunizieren und besitzen dabei ein
touch Interaction“, 2007. [Mos07] |||
Figur entsprechend angepasst wird. natürliches Gefühl für Timing. Die expressive
Kraft und Nuancen von Handgesten und Kör-
Die Entwickler konnten beobachten, dass persprache werden in dieser Applikation direkt
Nutzer, die das Programm zum ersten Mal auf die virtuellen Charaktere übertragen. Dabei
verwenden und keinerlei Erfahrungen im Ani- bleibt das Interface simpel (sozusagen unsicht- Nutzer können 2D-Figuren direkt und intuitiv mit ihren
mationsbereich besitzen, die Wirkungsweise bar) und regt aufgrund seiner „Natürlichkeit“ Fingern in Echtzeit animieren.
}}} [Mos07] |||
der Interaktion sofort verstehen und nach kur- Exploration, Kreation und Kollaboration an.

Multitouch-Eingabe ist ein gutes Werkzeug für
Die beschriebene Anwendung zeigt, dass
Multitouch-Eingabe sehr gut für die Echtzeit- die direkte Kommunikation von Ideen, Gedan-
Manipulation grafischer (2D-) Objekte geeignet
ist, bei der die Artikulierung von Ideen in ken und Vorgängen in expressiver Weise – aber
expressiver, spielerischer und ablauforientierter
bzw. erzählerischer („story telling“) Form im inwiefern eignet sie sich für Anwendungen, bei
Vordergrund steht.
denen Genauigkeit, Eindeutigkeit, abstrakte Da-
Anwendungen, die in diesen Bereich fallen,
sind solche, bei denen der Nutzer seine Ideen ten oder diskrete Aktionen eine Rolle spielen? 69
möglichst schnell und direkt – „quick & dirty“
– visualisieren und kommunizieren kann und
dabei genug Freiheiten hat, seine „persönliche Die Frage, ob Multitouch-Eingabe auch in denen der Fokus auf anderen Nutzerakti-
Note“ mit einzubringen. Dazu gehören Auto- anderen Anwendungskontexten eine probate onen liegt, wie die exakte Dateneingabe und
rensysteme, die Kreativität, Ausdruckskraft und Schnittstelle darstellt, wird mit diesem Beispiel -manipulation, die Navigation, Suche oder
unter Umständen Gruppenarbeit unterstützen, nicht beantwortet. Zu untersuchen bleibt, ob Interaktion innerhalb konkreter oder abstrakter
indem sie das Umsetzen von Notizen, Skizzen, und wie diese Art der Interaktion für Applika- Datenstrukturen, die Umsetzung klar spezifi-
Ideenstrukturen und Gedankengängen in tionen einen Mehrwert bieten kann, in denen zierter und nicht vager Vorgänge oder Modelle
irgendeiner Form – in diesem Fall in Form von andere Anforderungen erfüllt werden müssen, oder die Ausführung diskreter Funktionen.
Animationen – zulassen. wie Genauigkeit oder Eindeutigkeit bzw. bei

RoomPlanner
 An der University of Toronto haben Wu und Die Multi-User-Anwendung RoomPlanner Es wurden 4 Interaktions-Kategorien der Ein-
Balakrishnan Multitouch-Interaktionstechniken anhand wurde in der Arbeitsgruppe rund um Wu und gabegesten aufgestellt:
einer kollaborativen Beispielanwendung untersucht.
Balakrishnan 2003 in Toronto umgesetzt. Die _Ein-Finger-Eingabe
}}} Wu & Balakrishnan: „Multi-Finger and Whole Hand
Autoren untersuchten dabei Eingabetech- _Zwei-Finger-Eingabe
Gestural Interaction Techniques for Multi-User Tabletop
Displays“, 2003. [Wu03] ||| niken mit den Fingern und Händen sowie _Ein-Hand-Eingabe
Interaktions- und Visualisierungstechniken zur _Zwei-Hand-Eingabe
Unterstützung von Privatsphäre und gemein- Die nebenstehende Abbildung zeigt alle ver-
schaftlich genutzten Bereichen und Objekten. fügbaren Gesten.
Für die Umsetzung wurde das Tabletop-System
70 DiamondTouch (siehe Kapitel 2) verwendet. Möbelobjekte können mittels einfachem Touch
selektiert und mit einer einfachen Drag-Bewe-
In RoomPlanner können mehrere Nutzer gung verschoben werden. Ein Double Tap lässt
grafische Objekte, die Möbelstücke repräsen- eines der vier kontextabhängigen kreisför-
tieren, auf einem 2D-Grundriss anordnen, um migen Menüs zur Erstellung oder Manipulation
die Möblierung eines Raums zu planen. Das von Objekten an der Stelle erscheinen. Die
Interface teilt sich in einen zentralen Gemein- Auswahl in dem Menü erfolgt durch ein Drag
schaftsbereich, in dem der Grundriss angezeigt des immer noch auf dem Screen befind-
ist, und private Bereiche auf, die sich jeweils lichen Fingers in das jeweilige Widget. Gibt
direkt vor den Nutzern befinden. Innerhalb es noch ein Untermenü für diese Auswahl, (a) Tap: Ein-Punkt-Berührung. (b) DoubleTap. (c) Flick:
des eigenen privaten Bereichs können Ideen so erscheint, sobald der Finger innerhalb des schnelle Drag-Bewegung vom Nutzer weg. (d) Catch:
schnelle Drag-Bewegung zum Nutzer hin. (e) Flache Hand:
entwickelt und ausprobiert werden, um dann Widgets ist, die Unterauswahlliste, die mit
Hand liegt flach auf Display auf. (f) Vertikale Hand: Hand-
im gemeinschaftlichen Bereich zusammen mit einem zweiten Finger bedient werden soll. Die
kante berührt Display, Finger zeigen vom Nutzer weg. (g)
den anderen Nutzern die Endvision zusam- Autoren betonen, dass eine solche Auswahl in Horizontale Hand: Handkante berührt Display, Handfläche
menzustellen. einer einzigen fließenden Geste erfolgt. zeigt zum Nutzer. (h) Gekippte Hand: Handfläche der hori-
zontalen Hand nach oben gekippt. (i) Zwei vertikale Hände
zueinander hin oder voneinander weg bewegend. (j) Zwei
gewinkelte Hände: Finger abgeknickt.
}}} [Wu03] |||

Dieses Widget für die Unterauswahl – die Tool- den Rotationsmittelpunkt und der zweite den
Palette – „klebt“ an dem ersten Finger und Drehwinkel. Während die Drehung ausgeführt
folgt seiner Drag-Bewegung. Auf diese Weise wird, kann der erste Finger loslassen, um mehr
kann die Palette dorthin geschoben werden, Bewegungsfreiheit zu garantieren. Die Autoren
Die Interaktion mit dem Kontextmenü: (a) Durch ein Double wo der Befehl – z. B. das Erzeugen eines schlagen noch weitere Rotationstechniken vor:
Tap erscheint das Menü um den Finger. (b) Der Finger kann neuen Objekts – stattfinden soll. Die Palette Beide Finger können gleichermaßen die Ro-
auf ein Auswahl-Item gleiten, worauf das entsprechende
verschwindet so lange nicht, wie der erste Fin- tation und gleichzeitig eine Verschiebung des
Untermenü – eine Tool-Palette – erscheint, die an dem
ger das Display nicht verlässt. Auf diese Weise Objekts beeinflussen. Oder die Drehung erfolgt
Finger „klebt“. (c) Ein zweiter Finger kann die Auswahl in
der Palette tätigen. können mehrere Objekte auf der Fläche verteilt nur mit einer Fingerspitze, die sich selbst dreht.
}}} [Wu03] ||| erzeugt werden, ohne dass das Menü immer Diese letzte Technik erfordert allerdings, dass 71
wieder aufgerufen werden muss. das System diese Drehung auch wahrnehmen
kann. Es wird angedacht, die 2-Finger-Rotation
Mit einer Flick-Bewegung kann ein Objekt zu mit einer Skalierung basierend auf der Distanz-
einem anderen Nutzer geschleudert werden. änderung der beiden Finger zu kombinieren.
Diese Geste ist dem Werfen von physischen
Objekten nachempfunden. Eine Catch-Bewe- Eine Rotation kann auch über ein Widget erfol-
gung hingegen kopiert ein Objekt, dessen Po- gen, über das der Nutzer Parameter anpasst.
sition die verlängerte Pfadlinie schneidet, und Dieses Widget „klebt“ auch an dem ersten
die Kopie landet im eigenen privaten Bereich. „Menüfinger“ und kann mit einem zweiten be-
Es existiert dabei in jedem privaten Bereich ein dient werden. Es beinhaltet drei Pfeilpaare mit
Areal, aus dem von anderen Nutzern keine Ob- nach oben und nach unten gerichteten Pfeilen.
jekte kopiert werden können. Durch Berühren der Pfeile vergrößert bzw.
verkleinert sich der Wert des Parameters. Dabei Um Parameter anzupassen kann zwischen drei Auflösungs-
Um Objekte zu rotieren, werden zwei Finger unterscheiden sich bei den drei Pfeilpaaren die stufen zur Inkrementierung gewählt werden. Je weiter die
beiden Finger auseinander liegen, desto stärker ist die
benutzt: Erst berührt ein Finger das Objekt, Inkrementierungen bei der Wertmanipulation
Änderung, je näher zusammen sie sind, desto feiner kann
dann berührt ein zweiter Finger den Hinter- – die dem 1. Finger am nächsten liegenden
justiert werden.
grund nahe des Objekts, um die Rotation Pfeile rufen die geringste Änderung hervor. }}} [Wu03] |||
einzuleiten. Dabei spezifiziert der erste Finger

Durch eine Verschiebung der flachen Hand auf Die Auseinanderbewegung zweier vertikaler
dem Display kann die Ansicht der Anwendung Hände verteilt alle dazwischen liegenden
um deren Pivot gedreht werden. Solange Objekte gleichmäßig auf dem Grund, der sich
mindestens ein Kontaktpunkt dieser Berührung zwischen den Händen aufspannt. Bewegen
erhalten bleibt, kann die Rotation – in einer sich die beiden Hände aufeinander zu, so
angenehmeren Handhaltung – fortgesetzt werden alle dazwischen liegenden Objekte
werden. Eine Alternative wäre, die Hand zu zusammengeschoben. Bewegen sich die Hän-
drehen und dabei die Ansicht um den Mittel- de in die gleiche Richtung, dann gleiten alle Mit zwei vertikalen Händen können Objekte
punkt dieser Hand zu rotieren. dazwischen liegenden Objekte mit ihnen mit. zusammengeschoben oder wieder verteilt werden.
}}} [Wu03] |||
72 Diese zweihändigen Gesten werden analog
Mit einer Bewegung der vertikalen Hand kann zu der einhändigen vertikalen Schiebegeste
der Nutzer – analog zur physischen Welt – Ob- abgebildet.
jekte zur Seite wischen. Durch das Aufsetzen
der horizontalen Hand erscheint eine Box vor Mit dem Auflegen zweier angewinkelter Hän-
der Handfläche, in der Eigenschaften von dort de schließlich wird eine rechteckige Bearbei-
befindlichen Objekten angezeigt werden, die tungsfläche erzeugt, die alle darin befindlichen
nur der Nutzer selbst einsehen kann. Diese Box Objekte kopiert. Die Breite der Box wird durch
Die Objekteigenschaften-Box. }}} [Wu03] ||| folgt der aufgesetzten Hand und verschwin- den Abstand der Hände definiert, die durch
det, wenn sie wieder angehoben wird. Verschieben noch geändert werden kann, und
die Höhe entspricht der Länge der Handflä-
Wird nun die Handfläche nach oben gekippt, chen. Die Bearbeitungsfläche samt der auf ihr Zwei angewinkelte Hände definieren eine Box,
fungiert – aufgrund der Topdown-Projekti- liegenden Objekte kann durch Verschieben der die alle in ihr befindlichen Objekte kopiert.
}}} [Wu03] |||
on – die Hand selbst als Display. Mit dieser angewinkelten Hände oder durch nachherigen
subtilen Bewegung werden diskret private einfachen Finger-Drag verschoben werden.
Informationen auf die Hand projiziert.
Die Handfläche als Display für private Informationen.

}}} [Wu03] |||

Bei der Konzeption einer Multitouch-Anwendung
gibt es einige Regeln zu beachten: Die Interface-
Anordnung sollte auf die Hände optimiert wer-
den, um z. B. Verdeckungen zu vermeiden. Das
In der Auswertung der Studie von Wu et al. Wird das Widget zur Parameteränderung initial
hat sich gezeigt, dass die Probanden die hier mit dem Daumen aufgerufen, ist die Wertan- System sollte den Nutzer bei der Eingabe durch
aufgeführten Gesten schnell gelernt haben passung mit dem Zeigefinger leicht möglich.
und effektiv anwenden konnten. Zu Interak- Wird jedoch initial der Zeigefinger genutzt, visuelles Feedback und Präzisionsmechanismen
tions-Details gab es folgende Rückmeldungen: fällt die Anpassung mit anderen Fingern der
gleichen Hand sehr schwer. Wenn das System unterstützen. Komplementäre Gesten sollten
Das kreisförmige Menü wurde teilweise durch erkennen kann, welchen Finger der Nutzer
den Finger, der es aufgerufen hatte, verdeckt. initial verwendet, könnte sich die Anordnung auch komplementäre Aktionen hervorrufen.
Es wird vorgeschlagen, deshalb die Menüein- dieses Interface-Elements dem unterordnen.
träge nur oberhalb des Fingers kreisförmig So könnte bei dessen Aufruf mit dem Zeigefin- Wenn der Nutzer die Art der Ausführung einer 73
anzuordnen. ger der Mittelfinger zwischen den Inkrement-
faktoren wählen, während der Daumen den Geste initial selbst bestimmen kann, dann darf
Die Erzeugung der Bearbeitungsfläche könnte Wert auf der anderen Seite des Zeigefingers
eher durch die Berührung des Screens mit erhöht bzw. senkt. ihn diese Entscheidung nicht in nachfolgenden
vier Fingern (2 Daumen und 2 Zeigefingern)
erfolgen, um auch deren Höhe spezifizieren zu Die Probanden erwarteten, dass die Schiebe- Interaktions-Schritten behindern.
können. Eine andere Möglichkeit wäre der Ein- bewegung mit der vertikalen Hand auch mit
satz einer angewinkelten Hand in Verbindung der horizontalen Hand ausgeführt werden Die Probanden konnten das abgeschlossene komplementärer Gesten: Das Auflegen und
mit einer Fingerberührung der anderen Hand, kann. Gestenset gut verinnerlichen und anwenden. Schieben der horizontalen Hand bewirkte
die die gegenüberliegende Ecke der Fläche be- Bei der Studie wurden jedoch einige Schwä- entgegen den Erwartungen der Nutzer etwas
stimmt. Ein nachträgliches Ändern der Größe Dieses Beispiel einer prototypischen Multi- chen des Konzepts offenbart. Diese beinhalten anderes, als die gleiche Bewegung mit der ver-
dieser Bearbeitungsfläche wurde gewünscht. touch-Anwendung und deren Evaluierungs- vermeidbare Probleme wie die Verdeckung tikalen Hand. Schließlich kam es zu Problemen,
ergebnisse bieten eine schöne Erfahrungs- relevanter Interface-Elemente (Widget-Anord- wenn Interaktionen mit anderen Fingern initia-
Bei der Rotation von Objekten wurde eine grundlage, aus der man für die Entwicklung nung) oder die fehlende Unterstützung des lisiert wurden, als es die Entwickler vorgesehen
Snap-Funktion für bestimmte Grundwinkel einer eigenen Applikation Schlussfolgerungen Nutzers durch das System, um Präzision bei hatten. In solchen Momenten sollte das Inter-
vorgeschlagen. Für die Catch-Geste wurde ein ziehen kann. der Manipulation zu ermöglichen (Snapping, face entweder flexibler reagieren oder dem
visuelles Feedback vom System gewünscht, das visuelles Feedback). Ein weiters Problem war Nutzer bessere Anhaltspunkte geben, damit er
visualisiert, welches Objekt kopiert wird. eine Inkonsistenz in der Bedeutungszuweisung Gesten automatisch nicht „falsch“ einleitet.

reacTable und Fiducials
 Das reacTIVision-Framework besteht aus einem DRI- ReacTable ist ein elektro-akustisches Tabletop- Die Umsetzung eines Musikinstruments eignet Die Interaktion mit dem reacTable
Setup und dazugehörender Software, die frei herunter- Musikinstrument für expressive kollaborative sich in vielerlei Hinsicht, um Multitouch-Inter- vereint Präzision und Expressivität.
geladen werden kann. ReacTable wurde von der Musik }}} http://reactable.iua.upf.edu/ |||
Live-Performances, das mit dem reacTIVision- aktionstechniken zu untersuchen. Musikins-
Technology Group der Pompeu Fabra University in
Framework umgesetzt wurde. Es kann mit trumente bieten generell die Möglichkeit, eine
Barcelona entwickelt und soll Ende 2008 auf den Markt
kommen. Hilfe von mit visuellen Markern versehenen große Bandbreite an Informationen parallel
}}} Kaltenbrunner & Bencina: „reacTIVision: A Pucks – Tangible Objects mit fiducial symbols zu kommunizieren. Genau dieses Potential
Computer-Vision Framework for Table-Based Tangible – bedient werden, indem diese auf das Display eröffnet auch die Multitouch-Interaktion durch
Interaction“, 2007. [Kal07] ||| gelegt und dort verschoben und rotiert wer- die vielen Freiheitsgrade bei der bimanuellen
den. Die Fiducial-Marker werden dabei vom Nutzereingabe. Weitere Eigenschaften, die der
74 Computer-Vision-System erkannt und getrackt, Multitouch-Interaktion zugesprochen werden,
wodurch die Positionen, Orientierungen und sind direkte Manipulation (mit unmittelbarem
 Die reacTable-Homepage: Lagebeziehungen der aufliegenden Objekte Feedback), intuitive Nutzung und ein genüss-
}}} http://reactable.iua.upf.edu/ ||| ausgewertet werden können. licher Umgang, was zur spielerischen Explora-
tion das Systems ermuntert und die Kreativität
Mit Hilfe der Tangibles können auf der runden unterstützt. Für die Realisierung dieser Eigen-
Tischoberfläche Audio-Topologien konstruiert schaften sind Musik-Tools prädestiniert. Das
werden, die wie modulare Synthesizer-Kom- alles spiegelt sich in den Kerneigenschaften
ponenten oder eine „greifbare flussgesteu- des reacTable wider:
erte Programmiersprache“ funktionieren.
Mehrere Nutzer können gleichzeitig durch _kollaborativ: Mehrerer Nutzer können ge-
Manipulation der Objekte in die Topologie meinsam performen.
eingreifen und zusätzliche Parameter mittels _intuitiv: Keine Gebrauchsanweisung nötig.
Fingergesten steuern. Jeder Pucktyp hat dabei _herausfordernd und interessant: Exploration
eine spezielle Funktion zur Soundgenerierung, wird angeregt.
-modifizierung oder -steuerung (Generatoren, _erlernbar und beherrschbar: Selbst von Die Lagebeziehungen der modularen Objekte zueinander,
Modulatoren, Filter etc.). Gleichzeitig gibt die Kindern. ihre Position und Orientierung beeinflussen den Soundfluss.
}}} [Jor07] |||
Displayoberfläche mittels visuellem Feedback _geeignet für Anfänger (für Installationen) und
Aufschluss über den aktuellen „Soundfluss“. fortgeschrittene Musiker (für Konzerte)
Ein Fiducial-Symbol aus dem reacTIVision „amoeba“-Set.

}}} http://reactable.iua.upf.edu/
Hochschule Magdeburg-Stendal | FB IWID | Institut für Industrial Design | MA Interaction |||
Design
Für die Multitouch-Technologie eignen sich be-
sonders Anwendungen, die ein intuitives, spie-
lerisches und immersives Interaktionserlebnis
 Das Modell hinter und die Konstruktion von reacTable Der schon seit einigen Jahren praktische ermöglichen. reacTable zeigt, dass eine leicht
wird unter anderem beschrieben in: Einsatz des reacTable – bei Ausstellungen von
}}} Jordà et al.: „The reacTable: Exploring the Synergy
between Live Music Performance and Tabletop Tangible
Laien und bei Konzerten von Experten genutzt zugängliche, expressive und kontinuierliche Inter-
– bestätigt die beschriebenen Eigenschaften.
Interfaces“, 2007. [Jor07] |||
}}} Kaltenbrunner et al.: „The reacTable: A Collaborative aktion, die Novizen anspricht, mit Präzision und
Musical Instrument“, 2006. [Kal06] |||
}}} Jordà et al.: „The reacTable“, 2005. [Jor05] ||| einem mächtigen Funktionsumfang vereinbar ist,
um gleichzeitig Profis zu bedienen.
75
Visuelles Feedback gibt Aufschluss über die Eigenschaften

und die Funktionsweise der physischen Eingabeobjekte.
}}} http://reactable.iua.upf.edu/ |||

Andere relevante Ansätze
3.3 Neben den oben beschriebenen Beispielen

für die Multitouch-Screen-Interaktion gibt es
verwandte Eingabetechniken, die viele Cha-
rakteristika mit ihr teilen. Darunter fallen die
Multitouch-Pad-Eingabe oder auch die Eingabe
mittels Stylus. Was diese Interaktionsformen
gemeinsam haben, ist die besondere Eignung
für den Einsatz von kontinuierlichen Gesten.
76
Darüber hinaus sind im Rahmen dieser Arbeit
Anwendungen von Interesse, die bimanuelle
Interaktionsmechanismen untersuchen, wes-
halb aus diesem Kontext auch ein Beispiel hier
aufgeführt wird.
Zusätzlich wird ein Blick auf Projekte geworfen, Alle Abbildungen auf dieser Doppelseite stammen von
die das „Klick-Paradigma“ der Maus hinter- }}} http://www.tactiva.com |||
fragen oder Alternativen für die Texteingabe
ohne Tastatur untersuchen – Beispiele, die bei
der Konzeption einer Multitouch-Anwendung
von Interesse sein können.
Die Erstellung verschiedener Objekte wird durch einen

Moduswechsel über ein Toolbar realisiert.

Tactiva – TactaPad
 Tactiva sitzt in Palo Alto, Kalifornien. Das TactaPad soll TactaPad ist ein drucksensitives Multitouch- bietet das TactaPad eine Force-Feedback-Funk- gleichzeitig manipulieren realisiert. Für weitere
via USB-Schnittstelle mit Mac OS X- und Windows Pad, das bei Tactiva entwickelt wurde. Es tion, die dem Nutzer ein taktiles Feedback Funktionen wird leider auf für klassische Einga-
-Systemen kompatibel sein, wird aber noch nicht auf dem
ist als Mausersatz angedacht und kann mit über „angefasste“ Objekte oder ausgeführte begeräte optimierte Paradigmen wie Toolbar
Markt zum Kauf angeboten.
beiden Händen bedient werden, um mit dem Aktionen gibt. zum Moduswechsel und andere Widgets für
}}} http://www.tactiva.com |||
Computer in direkter und natürlicher Weise zu Parametermanipulationen zurückgegriffen.
interagieren. Eine Kamera verfolgt dabei die Um die Mehrfingereingabe und die Force-
Bewegungen der Hände und ermöglicht die Feedback-Funktion zu unterstützen, muss es Interessant an TactaPad ist die Repräsentation
Live-Darstellung der transluzenten Fingersil- natürlich entsprechend angepasste Anwen- der Finger auf dem Screen. Damit nähert sich
houetten auf dem Bildschirm, wodurch dem dungen dazu geben. Tactiva hat das Demopro- das Interaktionserlebnis dem einer Touch-
Nutzer das Gefühl vermittelt wird, er fasse gramm TactaDraw zur Erstellung und Mani- Screen-Benutzung an, wobei die „durchsich- 77
in den Rechner hinein, um digitale Objekte pulation von Vektorgrafiken implementiert. tigen Hände“ keine Verdeckungsprobleme
zu berühren. Jede Berührung wird zusätzlich Damit werden „die üblichen“ Multitouch-In- bereiten.
durch einen Softwarecursor repräsentiert. Um teraktionstechniken wie Objekte mit 2 Fingern
die natürliche Anmutung noch zu steigern, drehen und skalieren oder mehrere Objekte
Objektparameter wie Konturdicke werden klassisch über Objekte können mit 2-Finger-Drags gedreht und skaliert Erst über einen Moduswechsel kann die Ansicht
Widgets mit Schiebereglern und Buttons manipuliert. werden. verschoben, gedreht und skaliert werden.

FingerWorks – iGesture & TouchStream
FingerWorks – eine US-Firma, die 1998 und der selben Oberfläche ermöglichen, und  Die FingerWorks-Homepage mit Nutzerguides ist noch
gegründet und 2005 von Apple aufgekauft erkennen darüber hinaus Multitouch-Gesten. aktiv, auch wenn die Firma nicht mehr existiert und die
Produkte nicht mehr vertrieben werden.
wurde – brachte das iGesture Pad und das Dafür wurde ein Gesten-Satz entwickelt, mit
}}} http://www.fingerworks.com |||
TouchStream Pad in mehreren Ausführungen dem die Intention des Nutzers – also ob er
auf den Markt, die via USB mit den heute gän- gerade Tippen, eine Geste ausführen, eine FingerWorks wurde von John Elias und Wayne Wester-
gigsten Betriebssystemen (Windows, MacOS Mausoperation durchführen oder lediglich man, Wissenschaftler der University of Delaware, gegrün-
det – in Westermans Dissertation finden sich Details zur
X, Linux, BeOS) kompatibel sind. Die iGesture- die Hand ausruhen will – identifiziert werden
Technologie und Interaktion:
Pads und das TouchStream Mini sind für die kann. Dieses Vokabular wird an dieser Stelle
}}} Westerman: „Hand Tracking, Finger Identification,
Eingabe mit einer Hand gedacht, die übrigen genauer untersucht. and Chordic Manipulation on a Multi-Touch Surface“,
78 größeren TouchStream-Tastatur-Pads sollen mit 1999. [Wes99] |||
beiden Händen bedient werden. Die FingerWork-Pads unterscheiden im We-
sentlichen drei Modi:
iGesture und TouchStream emulieren Maus- _Tastatureingabe
und Tastatur-Eingaben, indem sie gleichzeitiges _Gesten (Cursorbewegung, Scrollen, Maus-
Tippen (Tastatureingabe), Pointing (Cursorbe- klickgesten, Funktionsgesten, Modifier Chords)
wegung) und Klicken (Mausbutton) auf ein _Ausruhen von Hand / Fingern
Das FingerWorks iGesture numPad und das iGesture Pad. Das FingerWorks TouchStream LP Pad.
}}} http://www.fingerworks.com ||| }}} http://www.fingerworks.com |||

Von der jeweils initialen Berührung des Pads Fingerposition absolut auf die Cursorposition. Nutzers muss kein Gerät festhalten und kann
leitet das Eingabegerät ab, in welchem Modus Damit ist es unerheblich, wo die Bewegungs- jederzeit auf dem Pad zum Ausruhen abgelegt
der Nutzer im Moment arbeiten will bzw. ob geste auf dem Pad startet. Das selbe gilt auch werden. Die Effizienz kommt außerdem da-
er einfach seine Hand zum Ausruhen ablegt. für alle Klick-Gesten (Mausbutton-Emulierung): durch zustande, dass sämtliche Gesten überall
Single-Finger-Taps werden als Tastatureingabe Der Klick findet letztendlich dort statt, wo sich auf dem Pad ausgeführt werden können, statt
interpretiert, das Ablegen aller fünf Finger der Software-Cursor gerade befindet – unab- das entsprechende Tastenkürzel umständlich
gleichzeitig als Ausruhen und alle anderen hängig von den Fingerpositionen auf dem Pad. zu greifen oder den Mauszeiger erst zu einem
Berührungen (Mehrfingertaps oder Drags) Interface-Element auf dem Bildschirm bewe-
als Eingabegesten. Die FingerWorks-Pads Die Aufstellung einiger Gesten aus dem Fin- gen zu müssen.
können dabei erkennen, mit welchen Fingern gerWorks-Repertoire auf den folgenden Seiten 79
sie berührt werden, ob die Berührung mit veranschaulicht dessen Charakteristik. Den Die Entwickler verweisen darüber hinaus
dem Handballen vollzogen wird, ob die Finger Entwicklern geht es nach eigenen Angaben auch auf die Natürlichkeit und Flüssigkeit von
gespreizt sind und welche Hand benutzt wird. vor allem um ergonomische Aspekte und um Handgesten als Mittel zur Kommunikation und
Auf diese Weise ist die Unterscheidung vieler Effizienz bei der Eingabe. Durch die Verschmel- darauf, dass Handbewegungen leicht zu erler-
ähnlicher Gesten möglich. zung von Tastatur und Maus in einem Gerät nen und zu merken sind. Vor allem zueinander
und durch die wegfallende Kraftaufwendung, komplementäre Befehle – Undo / Redo, Vor
Für die Zeigerbewegungen (Mauscursor) agiert die beim Niederdrücken von Tasten und Maus- / Zurück, Öffnen / Schließen – können besser
das Pad als relatives Eingabegerät. Das bedeu- buttons nötig ist, kann der Nutzer mit weniger als jeweils verschiedene Tastenkürzel gemerkt
tet, dass die Bewegung der Finger auf die Cur- Finger-, Hand- und Armbewegungen alle werden, wenn die dazugehörenden Gesten
sorbewegung abgebildet wird und nicht die üblichen Eingaben vornehmen. Die Hand des ebenfalls komplementär gestaltet sind.

An dieser Stelle folgt eine Aufstellung wich- Mausemulierung Modifier Chords Funktionsgesten
tiger – längst nicht aller – Gesten für die
FingerWorks-Produkte. Cursorbewegung: Shift: Kopieren:
_Drag mit 2 beliebigen _Hold mit den 4 Fingern + _Tap mit Daumen und
benachbarten Fingern Tippen mit der anderen Hand oder Heben Mittelfinger
eines dieser 4 Finger und Tippen mit diesem
Selektieren / Draggen: Ausschneiden:
_Drag mit 3 beliebigen Ctrl / Apfel / Cmd: _Drag von Daumen und
benachbarten Fingern _gespreiztes Hold mit den 4 Mittelfinger zueinander hin
Fingern + Tippen mit der anderen Hand oder
Links-Klick: Heben eines dieser 4 Finger und Tippen mit Einfügen:
_Tap mit 2 beliebigen diesem _Drag von Daumen und
80 benachbarten Fingern Mittelfinger voneinander weg
Der Shift- bzw. Ctrl-Modus bleibt so lange
Doppelklick: bestehen, wie mindestens einer der 4 Finger Undo / Redo:
_Tap mit 3 benachbarten sein Hold aufrecht erhält. _Drag mit Daumen und
Fingern Mittelfinger nach oben / unten
Multi-Modifier-Tastenkürzel wie Ctrl-Alt-Del
Mittel-Klick werden nicht mit Gesten, sondern durch Tab / BackTab:
(nur im 3-Button-Modus): Berühren der aufgedruckten „Tasten“ – also im _Drag mit Daumen und
_Tap mit Daumen, Zeige- & Mittelfinger Tastatur-Modus – durchgeführt. Dabei muss Mittelfinger nach rechts / links
der Nutzer darauf achten, dass er bspw. „Ctrl“
Rechts-Klick und „Alt“ nicht gleichzeitig sondern nachein- Abbrechen:
im 2-Button-Modus: ander berührt, da die Eingabe sonst als Maus- _Rotation der Hand gegen den
_Tap mit Daumen, Mittel- & Ringfinger Klick oder Mausbewegung interpretiert wird. Uhrzeigersinn mit gedrücktem
im 3-Button-Modus: Daumen und Mittelfinger
_gespreiztes Tap mit Daumen,
Ring- & kleinem Finger Leertaste:
_Rotation der Hand im
Scrollen Uhrzeigersinn mit gedrücktem
_Drag mit den 4 Fingern Daumen und Mittelfinger

Öffnen: Applikation wechseln: Linksbündig (linke Hand):
_Rotation der Hand gegen den _gespreiztes Drag mit Daumen _gespreiztes Drag mit Daumen,
Uhrzeigersinn mit gedrücktem & äußeren 3 Fingern nach rechts / links Ring- & kleinem Finger nach links
Daumen & 3 Fingern
Zoom in / out: Rechtsbündig (linke Hand):
Schließen: _Drag mit 5 Fingern _gespreiztes Drag mit Daumen,
_Rotation der Hand im auseinander / zueinander Ring- & kleinem Finger nach rechts
Uhrzeigersinn mit gedrücktem
Daumen & 3 Fingern Enter: Mittig (linke Hand):
_gespreiztes Tap mit _gespreiztes Drag mit Daumen,
Sichern: Daumen und kleinem Finger Ring- & kleinem Finger nach unten
_Drag von Daumen und
3 Fingern zueinander hin Finden: Blocksatz (linke Hand): 81
_Drag mit Daumen, Mittel- & _gespreiztes Drag mit Daumen,
Neu: Ringfinger zueinander Ring- & kleinem Finger nach oben
_Drag von Daumen und
3 Fingern voneinander weg Vorwärts / Zurück: Fett (linke Hand):
_Drag mit Daumen, Zeige-, _Drag mit Daumen, Zeige-
Drucken: Mittel- & Ringfinger nach rechts / links & Mittelfinger nach oben
_gespreiztes Drag von Daumen
& 3 äußeren Fingern voneinander weg Textcursor bewegen (Pfeiltasten): Kursiv (linke Hand):
_Drag mit 1 Finger _Drag mit Daumen, Zeige-
Applikation verlassen: & Mittelfinger nach rechts
_gespreizte Rotation der Hand Text selektieren:
gegen den Uhrzeigersinn mit gedrücktem _gespreiztes Drag mit 3 Fingern Unterstrichen (linke Hand):
Daumen & 3 äußeren Fingern _Drag mit Daumen, Zeige-
Alles selektieren (linke Hand): & Mittelfinger nach unten
Desktop zeigen: _Drag mit Daumen, Zeige-
_gespreizte Rotation der Hand & Mittelfinger auseinander Link einfügen (linke Hand):
im Uhrzeigersinn mit gedrücktem Daumen _Drag mit Daumen, Zeige- Sämtliche Abbildungen dieser Doppelseite:
& 3 äußeren Fingern & Mittelfinger nach links }}} http://www.fingerworks.com |||

Das Eingabe-Konzept ist weitgehend schlüs- Aber auch innerhalb des Gesten-Repertoires semantische Zuordnung einiger Gesten, die
sig. Die Tastatureingabe lässt jedoch ein treten Probleme auf. Es erschließt sich z. B. aus Ähnlichkeit vieler Gesten untereinander und
taktiles Feedback, wie es bei einer „üblichen“ Nutzersicht nicht, warum die Geste für den die Anforderungen an die koordinativen Fähig-
Tastatur vorhanden ist, missen, was die auf der Maus-Rechts-Klick im 2- und im 3-Button-Mo- keiten des Nutzers.
FingerWorks-Homepage veröffentlichten Studi- dus variiert. (Dies hat wahrscheinlich system-
energebnisse zeigen. Das spielt vor allem eine seitige Gründe: bessere Differenzierung von Als semantisch problematisch sehe ich z. B.
Rolle, weil der Nutzer vorzugsweise bei der Mittel- und Rechtsklick im 3-Button-Modus.) die Geste Abbrechen in Zusammenstellung mit
Eingabe auf den Screen sieht und nicht auf das Zudem bleibt unklar, warum es überhaupt den Gesten für Öffnen, Schließen und Appli-
Pad. Physische Tasten vereinfachen die Orien- diese Modusunterscheidung gibt. Weiterhin kation verlassen an. Die drei letztgenannten
82 tierung der Finger und das Finden der Tasten sind die Modifier Chords („Akkorde“) für die definieren den Uhrzeigersinn als Richtung, die
auf der Tastatur erheblich. Weiterhin sind beim Ein-Hand-Eingabe problematisch, da es unter mit Beendigung assoziiert wird, und verbin-
FingerWorks-Pad Multitasten-Eingaben (Shift, Umständen schwierig sein kann, einige Finger den den Gegenuhrzeigersinn mit dem Beginn
Tastenkürzel) möglich – auch wenn manche gedrückt zu halten, während ein losgelassener einer Handlung. (Die Richtung für Öffnen und
durch Gesten ersetzt werden können. Der der gleichen Hand versucht, eine bestimmte Schließen leitet sich hier vermutlich von der
Nutzer muss jedoch darauf achten, dass er die Taste zu erreichen. Drehrichtung bei Gewinden ab.) Abbrechen
Tasten immer nacheinander, nie gleichzeitig fällt in die semantische Kategorie der Beendi-
berührt, da die Eingabe sonst als Geste falsch Die größten Probleme dieses Gestenreper- gung und sollte daher hier mit einer Geste, die
interpretiert werden würde. toires sind aber meiner Meinung nach die im Uhrzeigersinn verläuft, assoziiert werden.

Unklar ist auch, warum die Geste Link ein- Einige Gesten schließlich sind nicht leicht ohne
fügen morphologisch in einer Gestengruppe Übung auszuführen. So z. B. die Gesten für
mit den Schriftattributs-Gesten Fett, Kursiv die Textbündigkeit oder die Geste für Drucken
und Unterstrichen integriert ist. Solche se- allein, aber vor allem der Wechsel zwischen
mantischen Unklarheiten erschweren es dem Gesten, bei denen die Fingerkombinationen
Nutzer, sich die Zeichen zu merken, die ihm für fast so wechseln, als würde man Klavier spie-
die Eingabe zur Verfügung stehen. len. Dieses Gefühl wird noch durch die vielen
Gesten verstärkt, bei denen es nötig ist, die
In diesem Fall macht es aber auch die hohe Finger zu spreizen.
Ähnlichkeit vieler Gesten untereinander dem 83
Nutzer schwer, sich die Gesten für bestimmte
Funktionen zu merken. Die Gesten Öffnen
/ Schließen, Vorwärts / Zurück, Applikation
verlassen / Desktop zeigen und Applikation
wechseln gleichen sich alle in der Fingeranzahl Ergonomie und Effizienz allein führen nicht auto-
und sind sich in Fingerkombination und Bewe-
gung so ähnlich, dass sie leicht zu verwechseln matisch zu einem intuitiven Multitouch-Interface.
sind. Das macht ein intuitives und flüssiges
automatisiertes Interagieren schwierig. Wichtig ist die Semantik der Eingabezeichen.

T3 – Tablets, Two-Hands & Transparency
Eine Arbeitsgruppe bei Alias | Wavefront hat gedrückt wird, wird die Position des Pucks der
1997 GUI-Paradigmen für die zweihändige dominanten Hand (D) auf dem Screen durch
 Bei der Entwicklung der Paradigmen in T3 waren Eingabe anhand des Prototypen T3 zur einen Cursor repräsentiert, und an der Position
sowohl Forscher aus dem HCI-Bereich als auch Grafiker Bearbeitung simpler 2D-Grafiken untersucht. des Pucks der nicht-dominanten Hand (ND)
involviert.
Dabei diente die Arbeitsweise von Grafikern „klebt“ eine Toolpalette – das „ToolGlass“.
}}} Kurtenbach et al.: „The Design of a GUI Paradigm
mit physischen Utensilien als Vorbild für die
based on Tablets, Two-Hands, and Transparency“, 1997.
[Kur97] ||| Interaktionsmechanismen. Die zwei vorhandenen Buttons ermöglichen Der analoge Arbeitsplatz eines Grafikers und seine
vier Modi, zwischen denen der Nutzer wech- Vorgehensweise bei der Arbeit diente den entwickelten
Paradigmen in T3 als Vorbild: Die dominante Hand bringt
Bei der Gestaltung des T3-Interface wurden seln kann. Das Mapping für diese Modi, das
Farbe auf das Papier, während die nicht-dominante Hand
84 drei Designziele verfolgt: die Handaufteilung bei der physischen Arbeit
das Blatt justiert oder unterstützend Lineale, Kurvenschab-
Artwork: Den Raum für das eigentliche eines Grafikers reflektiert, sieht folgenderma- lonen oder Abdeckmasken anlegt, fixiert und ggf. wieder
Artwork auf dem Screen maximieren und nicht ßen aus: aus dem Weg räumt.
mit GUI-Elementen belegen. }}} http://www.billbuxton.com/t3.swf |||
Fokus: Die Aufmerksamkeit des Nutzers mög- _Kein Button gedrückt: D bewegt den Cursor,
lichst nicht zum Wechsel zwingen, sondern auf ND bewegt und rotiert das ToolGlass.
der eigentlichen Arbeit belassen. _D-Button gedrückt: D draggt und rotiert
Eingabe: Die Interaktionsqualität durch die Objekte oder führt Toolfunktion aus.
Realisierung von mehr Freiheitsgraden und _ND-Button gedrückt: Toolglass verschwindet
besserem Komfort erhöhen. und ND verschiebt und rotiert Ansicht.
_Beide Buttons gedrückt: Toolglass verschwin-
Als Eingabegeräte werden für T3 zwei Wacom- det und Ansicht wird anhand der Distanzän-
Tablets mit je einem 1-Button-Puck für jede derung zwischen den beiden Pucks vergrößert
Hand genutzt. Das System kann sowohl die bzw. verkleinert (Rein- bzw. Rauszoomen).
x- bzw. y-Position der Pucks als auch deren
Das Eingabe-Setting für T3: Zwei Tablets mit je einem Rotationen auswerten. So ist eine kontinuier- Das Artwork-Designziel wird erreicht, indem
1-Button-Puck, wobei der Puck für die dominante Hand liche Eingabe mit beiden Händen mit je drei abgesehen vom ToolGlass keine UI-Widgets
dynamisch durch einen Stylus ersetzt werden kann.
Freiheitsgraden möglich, was die Eingabemög- permanent eingeblendet werden, die Teile der
}}} [Kur97] |||
lichkeiten verbreitert. Wenn keiner der Buttons Arbeitsfläche verdecken würden. Das Toolglass

selbst kann mit der ND-Hand aus dem Weg Grafische Objekte werden mittels der bimanu- der Bewegung und Orientierung des D-Pucks
bzw. in die Nähe des Cursors geschoben wer- ellen Technik „Two Hand Stretchies“ erzeugt: abgebildet, wobei der Pivotpunkt des Objekts
den, ohne die Aufmerksamkeit vom Artwork Der D-Button wird mit dem Cursor über dem dem Startpunkt der Dragbewegung entspricht.
ablenken zu müssen, was zusätzlich das Fokus- Objekttyp-Widget (Rechteck, Dreieck, Kreis, Diese Art der Interaktion korrespondiert stark
Ziel unterstützt. Das ToolGlass und sämtliche Linie) des ToolGlass gedrückt, worauf dieses mit dem physischen Pendant, wodurch sie
andere einblendbare Werkzeuge wie z. B. vir- verschwindet und nun beide Hände durch eine intuitiv vom Nutzer eingesetzt werden kann.
tuelle Kurvenschablonen, die der Position der Drag-Bewegung das Objekt aufziehen können.
ND-Hand folgen, sind halbtransparent, so dass Skalierung, Verschiebung und Rotation sind Die Autoren erwähnen den Nachteil, dass das
das Artwork dahinter immer sichtbar bleibt. dabei gleichzeitig möglich, was die Eingabe- Interface keine Hinweise gibt, wie die beschrie-
qualität erhöht. Während der Erzeugung des benen Interaktionen durchgeführt werden 85
Alle Navigationsfunktionen – Ansicht verschie- Objekts ist dieses transluzent, um das Artwork- müssen. Der Novize braucht eine kurze Einfüh-
ben, drehen, zoomen – werden analog zur Ziel zu unterstützen: Objekte, die darunter rung in die Handhabung des Programms. Die Das halbtransparente ToolGlass mit Objekttyp-Widgets und
physischen Interaktion mit der ND-Hand aus- liegen, sind immer noch sichtbar. Auch bei der Verbesserung der Interaktionsqualität und die anderen Buttons.
}}} [Kur97] |||
geführt. Die einfache und direkt zugängliche Bewegung von Objekten wird die Interaktions- intuitiven Mechanismen jedoch, die vergleich-
Möglichkeit, die Ansicht – „das Blatt“ – zu qualität erhöht, da sie mit gedrücktem D-But- baren Handlungen in der physischen Welt sehr
drehen, steigert die Effizienz und den Komfort ton gleichzeitig verschoben und rotiert werden nahe kommen, gleichen dieses Manko wieder
bei der Arbeit. können. Beide Bewegungen werden linear von aus.
Die zweihändige Interaktion mit einer digitalen Anwendung gewinnt an

Effizienz und Intuitivität, wenn sich die Arbeitsaufteilung der Hände und
das Mapping der Bewegungen an vergleichbaren physischen Handlungen
Die beschriebenen Paradigmen wurden teilweise in dem
orientieren. GUI-Elemente (Widgets) können dank höherer Freiheitsgrade 2D-Grafikprogramm StudioPaint umgesetzt und mit Hilfe
von Grafikern evaluiert.
bei der Eingabe in den Hintergrund treten, um den Fokus auf die eigent- }}} [Kur97] |||
liche A

Sprache

Ma

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Ma

Hochgeladen von

Copyright:

Verfügbare Formate

Grit Schuster | Masterarbeit

Prof. Christine Strothotte

FB Ingenieurwesen und Industriedesign

Grit Schuster. Magdeburg, den 10. September 2008

1.1 Die heute gängigsten Eingabegeräte für

Hochschule Magdeburg-Stendal | FB IWID | Institut für Industrial Design | MA Interaction Design

Bildskalierung mittels zweier Finger am Apple iPhone.

Masterarbeit „Multitouch Input“ | Grit Schuster

Daten-Navigation in der Zukunft?

1.2 Multitouch ist als Eingabetechnologie in

Die Apple Mighty Mouse.

Hochschule Magdeburg-Stendal | FB IWID | Institut für Industrial Design | MA Interaction Design

Masterarbeit „Multitouch Input“ | Grit Schuster

Hochschule Magdeburg-Stendal | FB IWID | Institut für Industrial Design | MA Interaction Design

1.3 Im Rahmen dieser Masterarbeit erfolgt

Masterarbeit „Multitouch Input“ | Grit Schuster

2.1 In diesem Kapitel werden zunächst verschie-

Hochschule Magdeburg-Stendal | FB IWID | Institut für Industrial Design | MA Interaction Design

Schnappschüsse aus der Anwendung Critter für

Masterarbeit „Multitouch Input“ | Grit Schuster

Hochschule Magdeburg-Stendal | FB IWID | Institut für Industrial Design | MA Interaction Design

In diesem Zukunftsszenario aus dem Jahr 1991 wird

Masterarbeit „Multitouch Input“ | Grit Schuster

Kapazitiver Screen – Apple iPhone

Der multitouchfähige Screen des Apple iPhone besteht aus

Hochschule Magdeburg-Stendal | FB IWID | Institut für Industrial Design | MA Interaction Design

Ein Schema der Funktionsweise von DiamondTouch und ein

Masterarbeit „Multitouch Input“ | Grit Schuster

Kapazitiver Screen – Sony SmartSkin

SmartSkin erkennt auch Finger, die sich knapp über dem

SmartSkin integriert leitende Objekte, die das System

SmartSkin: Eine spielerische Beispielanwendung.

Hochschule Magdeburg-Stendal | FB IWID | Institut für Industrial Design | MA Interaction Design

Die Abbildung illustriert das Prinzip von DI

Masterarbeit „Multitouch Input“ | Grit Schuster

Diffused Front Illumination – MTmini

Seth Sandler stellt auf seinem Blog diese

Mit einer Pappschachtel und einigen Handgriffen ist

Hochschule Magdeburg-Stendal | FB IWID | Institut für Industrial Design | MA Interaction Design

Masterarbeit „Multitouch Input“ | Grit Schuster

Hochschule Magdeburg-Stendal | FB IWID | Institut für Industrial Design | MA Interaction Design

Masterarbeit „Multitouch Input“ | Grit Schuster

Links: Hover und Touch im Kamerabild.

Hochschule Magdeburg-Stendal | FB IWID | Institut für Industrial Design | MA Interaction Design

Masterarbeit „Multitouch Input“ | Grit Schuster

Multipoint-Systeme mit dem Nintendo Wiimote

Hochschule Magdeburg-Stendal | FB IWID | Institut für Industrial Design | MA Interaction Design

Masterarbeit „Multitouch Input“ | Grit Schuster

2.2 Ich habe im Rahmen dieser Masterarbeit zu-

Hochschule Magdeburg-Stendal | FB IWID | Institut für Industrial Design | MA Interaction Design

Im Infrarotbereich wirken viele Dinge anders, als wir es mit

Masterarbeit „Multitouch Input“ | Grit Schuster

Die erste Kamera, die ich umgebaut habe, war meine

Dieses Modell ist sehr unkompliziert auseinanderzunehmen,

Mit dem bloßen Auge sieht der IR-Blocker – blickt man

An die Stelle des IR-Blockers wird ein Filter integriert, der

Hochschule Magdeburg-Stendal | FB IWID | Institut für Industrial Design | MA Interaction Design

Masterarbeit „Multitouch Input“ | Grit Schuster

Weil die Philips PCVC 820K unter Windows XP nicht stabil

Die Apple iSight Kamera auseinanderzubauen verlangte

Hochschule Magdeburg-Stendal | FB IWID | Institut für Industrial Design | MA Interaction Design

Die Philips SPC 900NC mit einem 4,3 mm CCTV-Objektiv in