Entdecken Sie eBooks
Kategorien
Entdecken Sie Hörbücher
Kategorien
Entdecken Sie Zeitschriften
Kategorien
Entdecken Sie Dokumente
Kategorien
MA Interaction Design | Institut für Industrial Design | FB IWID | Hochschule Magdeburg-Stendal | 10. September 2008
Masterarbeit
Grit Schuster
Interaction Design
Matrikel-Nr: 20052995
10. September 2008
Betreuung
Hochschule Magdeburg-Stendal
Kontakt: mail@gritschuster.de
Selbständigkeitserklärung
Hiermit versichere ich, die vorliegende Arbeit selbständig verfasst und keine anderen als die ange-
gebenen Quellen und Hilfsmittel benutzt sowie Zitate kenntlich gemacht zu haben.
Ich danke ganz herzlich Prof. Christine Strothotte und Prof. Carola Zwick für die konstruktive und
motivierende Betreuung dieser Arbeit und für zahlreiche fruchtbare Konsultationen. Weiterhin
danke ich den Institutsmitarbeitern Jörg Schröder für die Bereitstellung meines Arbeitsplatzes
und für die Hilfe bei Fragen rund um die Elektrotechnik sowie Manfred Hensel für die tatkräftige
Unterstützung in der Werkstatt. Martin Kinzel danke ich für seinen schnellen Einsatz beim Bau
der Tischbox. Ich danke Michael Rüger für den mir zur Verfügung gestellten kompakten und
gleichsam flinken Rechner. Bei ihm und bei Bernd Eckardt gleichermaßen bedanke ich mich für
die Programmiertipps rund um Sophie. Für die Überarbeitung des OSC-Pakets für Squeak und die
hilfreiche Korrespondenz danke ich Markus Gälli und Simon Holland. Bert Freudenberg danke ich
für die Versorgung mit vielen wissenswerten Links, weil von ihm die zahlreichsten eingingen. Ich
danke weiterhin der NUI-Group und deren Community für die Bereitstellung von Tools, Wissen
und Erfahrungen, von denen diese Arbeit unbedingt profitiert hat, für die freundliche Unter-
stützung bei der Lösung von Problemen sowie für die Beantwortung grundlegender Fragen. Bei
Constanze Langer bedanke ich mich für die nützlichen Hinweise in Sachen Layout und Dokumen-
tation. Ich danke ebenso Kristin Mitschke und Annekathrin Gröninger für das ausdauernd be-
kundete Interesse hinsichtlich dem Fortschritt meiner Arbeit, für ihre Hilfsbereitschaft und für den
erholsamen Ideenaustausch bei Kaffee und Ciabatta. Meinen lieben Eltern gilt besonderer Dank
für ihre Unterstützung, ihre Geduld, ihren Zuspruch und ihr mir entgegengebrachtes Vertrauen.
Inhalt
Einleitung
1.1 Intuitive Computernutzung 8 | 1.2 Motivation 10 | 1.3 Überblick 13
Technik
2.1 Multitouch-Technologien 16 | 2.2 Realisiertes Multitouch-System 32
Recherche
3.1 Nonverbale Kommunikation 54 | 3.2 Multitouch-Anwendungen 66 | 3.3 Andere relevante Ansätze 76
Analyse
4.1 Multitouch-Gesten 94 | 4.2 Multitouch-Zeichen 128
Applikation
5.1 Zielsetzung 144 | 5.2 Konzepte 150 | 5.3 Ausarbeitung 184
Zusammenfassung
6.1 Zusammenfassung 200 | 6.2 Ausblick 201
Quellen
1 Einleitung
Intuitive Computernutzung
Einleitung
Die Maus hat sich als Single Pointing Device wohnt ist und eine neue Erfahrung darstellt, vielen Laptops integrierte Touchpad entspricht
vor allem bei nichtmobilen Computersyste- die in der realen Welt kaum eine Rolle spielt. bzgl. Mapping und Indirektheit der Maus.)
men als sehr praktisch erwiesen und weitge- Zudem weist die Eingabe mittels Maus einen
hend durchgesetzt. Obwohl die Interaktion gewissen Abstraktionsgrad auf, da der Nutzer So effizient heutige Eingabegeräte auch sein
mittels Maus effektiv ist, ist besonders bei nicht direkt mit den auf dem Bildschirm darge- mögen – betrachtet man die Interaktion mit
erwachsenen Erstnutzern zu beobachten, dass stellten Objekten interagiert, sondern indirekt einem Computersystem als einen Kommuni-
der Umgang mit diesem Eingabegerät erst über den Mauscursor. kationsvorgang, ist die Idee, Computer unter
erlernt werden muss, da die Übersetzung der Nutzung herkömmlicher zwischenmensch-
Handbewegung in die des Cursors – also das Der Einsatz von Touchscreens, die sowohl als licher Kommunikationsmittel – etwa mittels
Mapping der relativen Bewegung – unge- Anzeige- als auch als Eingabegerät – mitun- Spracheingabe – zu steuern, weitaus nahe
ter in Kombination mit einem Eingabestift liegender, als mit Eingabegeräten wie Tastatur,
– dienen, konkretisieren die Interaktion und Maus oder Stylus zu arbeiten. Wäre diese Art
»Multi-touch-sensing was designed to allow non- reduzieren damit den Lernaufwand, was den der Eingabe so weit entwickelt, wie es oft in
Vorgang intuitiver macht. Zudem ist diese Art Science-Fiction-Serien wie beispielsweise „Star
techies to do masterful things while allowing der Eingabe vor allem bei mobilen Geräten Trek“ dargestellt wird, würde sie höchstwahr-
praktischer, da sich der Einsatz einer Maus in scheinlich aufgrund ihrer Natürlichkeit bereits
power users to be even more virtuosic.« (J. Han) diesem Kontext in Ermangelung einer festen breite Anwendung finden.
Unterlage als eher hinderlich erweist. (Das in
Die menschliche Kommunikation beschränkt Betrachtet man die Interaktion mit einem Die Steuerung von Computern mit Hilfe von
sich aber nicht allein auf Sprache im Sinne von Computersystem abgesehen vom Kommuni- Hand- und Fingerbewegungen, die sich nicht
akustischen Signalen. Gesten und Handbewe- kationsaspekt als Manipulationsvorgang, so nur auf eine einzelne Fingerspitze beschränkt,
gungen sind als Mittel des Informationsaus- scheint dieser mittels einem Single Pointing könnte aufgrund des vergrößerten Handlungs-
tauschs älter und zum Teil universeller. Device – sei es Maus, Stylus, Finger, Joystick raums, der vertraute Motorik und Gestik der Zu Beginn der Sprachevolution des Menschen standen
Treffen zwei Menschen mit unterschiedlicher oder Trackball – im Vergleich zu den Mög- realen Welt besser abbildet, eine einfachere Gesten und Gebärden – das gesprochene Wort erlernten
die Urmenschen frühestens vor 1,8 Millionen Jahren.
Muttersprache aufeinander, so verständigen lichkeiten der Objektmanipulation in der und unmittelbarere Art der Interaktion darstel-
}}} [Kir07] |||
sie sich notfalls „mit Händen und Füßen“. realen Welt als höchst unzureichend. Wenn len, als sie es zur Zeit mit gängigen Einga-
Davon ausgehend ist die Entwicklung einer der Mensch einen Gegenstand bearbeitet, begeräten ist. Die intuitive und komfortable
Art Eingabe-Zeichensprache denkbar, die die so benutzt er in der Regel mehr als nur eine Benutzung des Apple iPhone – neben dem
Anforderung, intuitiv zu sein, dank ihrer Natür- Fingerspitze. Gerade der Daumen, der den an- Apple iPod Touch das erste massentaugliche
lichkeit und Direktheit erfüllt. deren Fingern physiologisch gegenüber steht, Multitouch-Device auf dem Markt – mittels
macht die menschliche Hand zu einem vielsei- (Zwei-)Finger-Gesten scheint diese Annahme
tig einsetzbaren Greifwerkzeug, das von Natur zu bestätigen.
aus sogar als Paar „daherkommt“. Der Wunsch
liegt nahe, das zur Verfügung stehende
„Hand-Paar“, das in der realen Welt tagtäglich
zum Einsatz kommt, auch als Eingabemittel für
Computersysteme und computergesteuerte
Geräte voll zu nutzen.
Vor allem Jefferson Han, der am Courant Die Anwendungen für diese Technologie sind Das steht in einem starken Gegensatz zu dem Jeff Hans Homepage der NYU
Institute of Mathematical Sciences an der New allerdings oft noch sehr einseitig, beschränken aktuellen „Hype“, der den Eindruck erweckt, }}} http://www.cs.nyu.edu/~jhan/ |||
Perceptive Pixel – von Jeff Han gegründet
York University einen relativ billigen Prototypen sich zuweilen schlicht auf visuelle Effekte oder Multitouch sei der Eingabestandard der Zu-
}}} http://www.perceptivepixel.com/ |||
eines Multitouch-Screens gebaut, verschiedene werden gelegentlich beliebig verwendet, um kunft und werde damit die zur Zeit gängigsten
Jeff Hans beeindruckende Demo auf ted.com
Interaktionsmöglichkeiten untersucht und die Technik ihrer selbst Willen vorzuführen. Eingabegeräte Maus und Tastatur verdrängen. }}} http://www.ted.com/index.php/talks/view/id/65 |||
seine Ergebnisse auf beeindruckende Weise Sinnfällige Anwendungen, in denen Mul- Diese These gilt es zu hinterfragen, auch
präsentiert hat, machte das Thema Multi- titouch-Eingabe einen Mehrwert bietet, der so- wenn oder gerade weil die Multitouch-Einga-
touch-Input unter Informatikern, Interaktions- fort ins Auge springt, sind noch rar gesät. Die be sofort aufgrund ihrer Direktheit und ihrer
Designern und „Hardware-Bastlern“ populär. oft sehr spezifischen Anwendungen verwen- Natürlichkeit fasziniert.
Unzählige ambitionierte Entwickler in For- den in der Regel nur wenige Gesten in einem
schungsgruppen beschäftigen sich seither ver- sehr begrenzten Interaktionskontext. Dass diese Eingabetechnik neue Interaktions-
stärkt mit der Technik und ihrer Anwendung. möglichkeiten gegenüber traditionellen Ein-
Auf Messen und anderen Veranstaltungen, Zeigegeräten eröffnet, steht dabei außer Fra-
bei denen interaktive Installationen ausgestellt ge. Wichtig ist die Untersuchung dieser neuen
werden, sind zunehmend Multitouch-Screens Möglichkeiten hinsichtlich ihrer Sinnfälligkeit.
in verschiedenen Ausprägungen zu besichtigen
und zu berühren.
Jeff Hans Prototyp in Aktion
}}} http://www.ted.com/ |||
}}} http://www.cs.nyu.edu/~jhan/ |||
»Every device is best for something and worst for something else.« [Bux02]
Dieses Zitat von William Buxton, der seit So haben sich Maus und Tastatur für die Bedie- Demzufolge ist es wahrscheinlicher, dass die
einigen Jahrzehnten Eingabeparadigmen nung der gängigen Betriebssysteme und vieler Multitouch-Eingabe zu einem erfolgreichen
untersucht, drückt den Umstand aus, dass Applikationen als adäquat erwiesen. In einigen Werkzeug in bestimmten Anwendungskon-
ein bestimmtes Eingabegerät hinsichtlich der Anwendungen jedoch – besonders in Grafik- texten wird, ohne dabei bewährte Geräte
Qualität seiner Nutzbarkeit nicht zu pauschali- programmen – kann sich der Nutzer mit Stylus vollständig zu ersetzen. Welche Anwendungs-
sieren ist. und Tablet eloquenter ausdrücken. kontexte das genau sind, ist zu erforschen.
Verschiedene Werkzeuge eignen sich für bestimmte Vorgänge besser oder schlechter – auch wenn es wie hier immer darum geht, etwas zu zerteilen.
Technik Multitouch-Vorreiter
16
Die unterschiedlichen Technologien eignen In den 1960er Jahren trieb Douglas Engelbart
sich mehr oder weniger für Multitoucheinga- die Idee der Tastenmehrfachbelegung auf die
ben. Hier werden nur multitouchfähige Tech- Spitze und entwickelte ein 5-Tasten-Keyboard,
nologien vorgestellt und ihre Funktionsweise das nur mit einer Hand bedient insgesamt 31
beschrieben. Darunter finden sich kapazitive Zeichen abdeckte, und zwar mittels Akkorden
Das oN-Line System – kurz NLS – hat sich nicht durch- Screens, Stereo-Kamera-Systeme, Diffused – so genannter Chords. Das oN-Line-System
gesetzt – weil die Chords sehr schwierig zu lernen sind. Illumination oder Frustrated Total Internal sollte mit der linken Hand zur Artikulation von
}}} http://www.bootstrap.org/chronicle/pix/pix.html |||
Reflection. Commands genutzt werden, während die
rechte Hand die Maus bedient.
Das von Douglas Engelbart entwickelte oN-Line-Sytem
erwies sich trotz hoher Effizienz und Mächtigkeit als zu
schwierig zu lernen und war sehr unintuitiv in der Nutzung.
}}} http://www.bootstrap.org/ |||
Das erste Multitouch-System, bei dem es sich Myron Krueger et al. entwickelten Anfang
tatsächlich um einen Screen und nicht um dis- der 1980er Jahre ein kamerabasiertes System,
krete Tasten handelt, war das Flexible Machine mit dem mehrere Nutzer gleichzeitig durch
Interface, das 1982 in der Masterarbeit von Körper-, Hand- und Fingergesten interagieren Das Flexible Machine Interface besteht aus einer
Nimish Mehta an der University of Toronto konnten. Videoplace war zwar kein Touch- Milchglasplatte mit Projektor. Dahinter befindet sich eine
Kamera, die die dunklen Berührungspunkte auswertet
beschrieben wurde. Als Anwendungen wurden System, wird aber hier aufgeführt, weil ohne
und von deren Größe auf den Berührungsdruck schließt.
ein Malprogramm und simple Grafikmanipula- Zuhilfenahme von Eingabeinstrumenten ein
}}} Mehta: „A Flexible Machine Interface“, 1982.
tion umgesetzt. breites Spektrum an Gesten eingesetzt werden [Meh82] |||
konnte und es damit als eine der ersten ges-
tenbasierten Installationen ein natürlich anmu-
tendes Interaktionserlebnis bot. Die Autoren Videoplace kombiniert die Live-Videoaufnahme des
betonen schon damals, wie wichtig es sei, die Nutzers mit der Computerwelt, in der grafische Objekte in
Echtzeit auf die Bewegungen des Nutzers reagieren.
Die Tastenbelegung des NLS folgt dem binären Zahlen- Mechanismen des Mensch-Computer-Interface
}}} Krueger et al.: „Videoplace – An Artificial Reality“,
system, welches auf das Alphabet abgebildet wird. Es wird zu hinterfragen.
1982. [Kru85] |||
dabei keine Rücksicht Usability-Aspekte wie die Denkweise
oder kognitiven Fähigkeiten des Nutzers oder auf Häufig-
keiten bestimmter Buchstaben oder Buchstabenkombinati-
onen genommen.
}}} http://www.bootstrap.org/ |||
18
Die Input Research Group in Toronto baute bereits 1985 beschreiben Lee et al. ein drucksensi- 1991 veröffentlichte Pierre Wellner vom Com-
1984 ein kapazitives Multi-Touchpad, das auch drucksen- tives Multitouch-Pad, das in der Input Research puter Laboratory der University of Cambridge
sitiv war.
Group der University of Toronto entwickelt in Zusammenarbeit mit Rank Xerox Euro-PARC
}}} Lee et al.: „A Multi-Touch Three Dimensional Touch-
wurde. Das Pad beinhaltet eine Matrix von DigitalDesk, ein Multitouch-System mit DigitalDesk war ein frühes Multitouch-System mit
Sensitive Tablet“, 1985. [Lee85] |||
Sensoren, die die Änderung einer kapazitiven Top-Down-Projektion, das den realen Schreib- Frontprojektion, das konzeptionell die digitale Welt
sinnfällig mit der physischen verbinden sollte.
Spannung bezüglich einer Referenzspannung tisch mit dem virtuellen verschmelzen sollte.
}}} Wellner: „The DigitalDesk Calculator: Tactile Mani-
messen, die bei Berührung eintritt. Dabei Eine Kamera wertete Handbewegungen und
pulation on a Desk Top Display“, 1991. [Wel91] |||
findet eine Interpolation der Messungen aufgelegte reale Dokumente aus, deren Inhalte
benachbarter Sensoren statt, um den Mit- somit auch digital verarbeitet werden konnten.
telpunkt jeder Berührung möglichst exakt zu Zusätzlich gaben akustische Sensoren dem Sys-
bestimmen. tem Auskunft darüber, wann der Screen ange-
tippt wurde. Der Autor betont die Möglichkeit,
An dieser Stelle lediglich eine Sekundärquelle: Zur gleichen Zeit entwickelten Bell Labs in digitale Dokumente genau wie physische taktil DigitalDesk hat übrigens als eines der ersten
}}} http://www.billbuxton.com/multitouchOverview. Murray Hill, NJ einen kapazitiven Multitouch- und nebeneinander zu manipulieren. Nicht Systeme die heute üblichen Multitouch-Ges-
html/ |||
Screen, bei dem transparente kapazitive Sen- umsonst heißt sein Desktop „Desk Top“ – die ten für das Skalieren von grafischen Objekten
soren vor einem CRT-Monitor fixiert wurden. physische Tischoberfläche im wörtlichen Sinne. beschrieben.
1992 brachte Wacom Grafiktabletts auf den Dieser geschichtliche Abriss ist keinesfalls
Markt, die multipoint-fähig waren. Sie wurden vollständig, sondern soll nur einen Eindruck
zweihändig bedient: Mit einem Stylus, dessen geben, wie lange schon in der Richtung Mul-
Berührungsdruck gemessen werden konnte, titouch-Eingabe geforscht wird. Seit circa 25
und mit einem Maus-artigen Puck. Spätere Jahren werden verschiedene Technologien ver-
Modelle (Intuos, 1998, 2001) konnten zusätz- feinert, um diese Art der Mensch-Computer-
lich die Neigung des Stylus in x- und y-Rich- Interaktion zu ermöglichen. Daneben werden
William Buxton beschreibt in diesem Zusammenhang tung messen – neben der Messung des Posi- Forschungen hinsichtlich möglicher Interak-
kurz die Zusammenarbeit seiner Arbeitsgruppe mit tions- und Rotationswertes des Pucks. Solch tionsparadigmen angestellt, auf die hier gar
Wacom und Alias / Wavefront unter:
ein Signalreichtum ist erforderlich, will man nicht eingegangen wurde. Näheres dazu findet
}}} http://www.billbuxton.com/multitouchOverview.
komplexe physische Instrumente überzeugend sich in Kapitel 3 „Recherche“ dieser Arbeit.
html/ |||
simulieren, z. B. eine Airbrush-Pistole.
Auf den folgenden Seiten werden Multitouch-
Technologien beschrieben, die aktuell relevant
sind. Dabei wird näher auf die Funktionsweise
dieser Systeme eingegangen und parallel wer-
den Beispiele für die Umsetzung der jeweiligen
Technologien genannt.
In kapazitiven Touchscreens befindet sich eine Aus der Funktionsweise ergibt sich, dass nur dieses Gitters verhalten sich die übereinander
Kondensatorschicht (zwei voneinander durch Berührungen mit leitfähigen Gegenständen liegenden Leiter wie einzelne Kondensatoren,
eine nicht leitende Schicht getrennte Leiter- wahrgenommen werden können. Deshalb an denen unabhängig voneinander Span-
platten: ein Sender und eine Antenne), an die funktioniert beim iPhone, das für Fingerein- nungsänderungen gemessen und ausgewertet
eine Spannung angelegt ist. Die Kondensator- gabe konzipiert ist, keine Eingabe mit einem werden können. So ist mit der kapazitiven
schicht speichert diesen elektrischen Strom. Stylus aus bspw. Kunststoff. Technik Multitouch-Eingabe möglich.
Sobald der Nutzer den Screen mit seinem
Finger berührt, wird ein Teil des Stroms vom Die Signaländerung variiert mit der Entfernung
geerdeten Körper abgeleitet, wodurch die des Fingers vom Screen (je näher desto stärker)
Spannung in der Schicht an der Berührungs- und der Berührungsfläche (je größer desto
position am stärksten sinkt. An den Ecken des stärker). Diese zusätzlichen Parameter können
Screens befinden sich Schaltkreise, die diese für die Interaktion ausgenutzt werden.
Abnahme messen. Aus den Differenzen dieser
vier Messungen wird dann die Position der Für das iPhone wurde diese Technologie
stärksten Entladung, also des Berührungser- weiterentwickelt, um Multitouch-Eingaben zu
eignisses, berechnet. Besteht die kapazitive ermöglichen. Mehrere längliche Elektroden
Schicht aus transparenten Materialien, ist es sind in der kapazitiven Schicht in einer gitter-
möglich, das Display dahinter zu positionieren. förmigen Matrix angeordnet. An jedem Punkt
DiamondTouch wurde in den Mitsubishi Electric Neben dem iPhone existieren noch weitere nale, die der Nutzer durch die Berührung des
Research Laboratories in Cambridge, MA USA entwickelt. – ältere – Multitouch-Screens, die auf der Screens mit seinem Finger ableitet, an einen
}}} Dietz & Leigh: „DiamondTouch: A Multi-User Touch
kapazitiven Technik basieren. Dazu gehören Empfänger weiterleitet. Die gemessene Kapa-
Technology“, 2001. [Die01] |||
DiamondTouch und SmartSkin. zität ergibt sich aus einer Kombination aus der
}}} http://diamondtouch.merl.com/ |||
Kapazität zwischen berührendem Finger und
SmartSkin entstand in den Sony Computer Science Bei DiamondTouch handelt es sich um ein Screen und der Kapazität zwischen Nutzer und
Laboratories. Multi-User-Tabletop-System mit Topdown- Stuhl. Dabei hängt die erstgenannte von der
}}} Rekimoto: „SmartSkin: An Infrastructure for Projektion, das in der Lage ist, die einzelnen Touchposition des Fingers auf dem Screen ab
Freehand Manipulation on Interactive Surfaces“, 2002.
Nutzer voneinander zu unterscheiden. Das (welche Antenne wird berührt) und die letztere
[Rek02] |||
}}} http://ftp.csl.sony.co.jp/person/rekimoto/smartskin/ funktioniert, indem jeder Nutzer auf einem davon, auf welchem Stuhl der Nutzer sitzt
||| leitenden Stuhl sitzt, der die elektrischen Sig- (Nutzeridentität).
SmartSkin ist auch ein Tabletop-System mit Zusätzlich nutzt SmartSkin nicht leitende
Topdown-Projektion, bei der die Möglichkeit Objekte, die teilweise mit einer Kupferschicht
ausgenutzt wird, den Abstand des Fingers in einem zusammenhängenden charakteristi-
zum Screen aus dem gemessenen elektrischen schen Muster beklebt sind. Greift der Nutzer
Signal abzuleiten. Eine Kapazitätsänderung tritt solch ein Objekt auf dem Screen (um es zu
ab einer Entfernung von 5-10 cm ein. Somit ist erden), kann das System Art, Lage und Aus-
eine Simulierung von Button-Press- und But- richtung des Objekts erkennen und auswerten.
ton-Release-Status möglich – eine Emulierung So wird SmartSkin zu einem Tangible Interface,
der Maus-Interaktion. mit dem der Nutzer gleichzeitig mit Finger-
und Handgesten in Verbindung mit getaggten
physischen Objekten interagieren kann.
Bei Microsoft Surface handelt es sich um ein MS Surface ist ein Vision-basiertes System. Neben Fingerberührungen erkennt Surface
geschlossenes Tabletop-System mit einem Das bedeutet, die Interaktion auf dem Display auch bestimmte Objektformen und so genann-
30-Zoll-Display, das seit 2008 in einigen AT&T wird mittels Bildverarbeitung ausgewertet. te Domino-Tags, die von Microsoft zu diesem
Einzelhandlungen und in Kasinos in den USA Zu diesem Zweck befinden sich innerhalb Zweck entwickelt wurden. Mit diesem Feature
zum Einsatz kommt und demnächst auch in der Tischbox fünf Kameras, deren Sichtbe- in Kombination mit der integrierten Bluetooth-
weiteren Läden, Restaurants, Hotels und ande- reiche zusammen die gesamte Displayfläche bzw. Wi-Fi-Verbindung setzt Microsoft interes-
ren öffentlichen Einrichtungen zur Verfügung abdecken. Die Technik, die hier verwendet sante Interaktionsszenarien um: Mobile Geräte
stehen soll. Der Verkauf an Endverbraucher ist wird, heißt Diffused Illumination (DI). Der mit einer drahtlosen Schnittstelle wie Digital- MS Surface besteht aus folgenden Komponenten:
nach Angaben von Microsoft erst in mehreren innere Boxbereich wird komplett mit IR-Licht kameras oder Mobiltelefone werden, wenn 1_Acrylplatte mit Diffuser
2_Intel Core 2 Duo Prozessor, 2GB RAM, 256 MB Grafik-
Jahren geplant. ausgeleuchtet. Wird der Screen von außen sie auf dem Display abgelegt werden, erkannt,
karte, Ethernet, Bluetooth & Wi-Fi zur Kommunikation mit
berührt, wird dieses Licht zurück reflektiert. und um das Gerät herum tauchen z. B. dort
externen Geräten, erweitertes MS Windows Vista
Dies nehmen die IR-Kameras als helle Blobs gespeicherte Bilder auf dem Tischdisplay auf 3_IR-LED-Lichtquelle, 850 nm
wahr. Eine Bildverarbeitungssoftware wertet und können direkt mit den Fingern verscho- 4_fünf Infrarotkameras, Nettoauflösung 1280 x 960
die Kamerabilder aus und ordnet die hellen ben und skaliert werden. Durch Auflegen 5_DLP-Projektor, Auflösung 1024 x 768
Bereiche Berührungspunkten zu. mehrerer mobiler Geräte können (Bild-) Daten }}} http://www.popularmechanics.com/ |||
Surface zu Hause – liegt wohl noch in einiger Ferne. einfach zwischen ihnen ausgetauscht werden,
}}} http://www.microsoft.com/surface ||| indem die angezeigten Bilder mit dem Finger
zu demjenigen Gerät geschoben werden. In
diesem Szenario, in dem Bilder „aus“ einem
physischen Gerät fallen und in ein anderes
„hineingeschoben“ werden können, scheinen
digitale Daten für den Nutzer greifbar und
werden so Teil unserer realen Objektwelt.
Bauanleitung, Software und Tipps zum MTmini Eine erstaunlich einfache, billige und schnelle Benutzt man mit DFI eine IR-Kamera, ist diese
}}} http://ssandler.wordpress.com/MTmini/ ||| Methode, sich ein Multitouch-Pad zu bau- Technik auch bedingt mit Rückprojektion
en, ist mittels Diffused Front Illumination. geeignet – also nicht nur als Multitouch-Pad,
Man braucht dazu eine Kamera (muss keine sondern auch als Multitouch-Screen. Da aber
IR-Kamera sein), eine oben offene Box, eine die Umgebung dabei sehr hell sein muss, er- Die MTmini-Version von Touchlib integriert in ihrer Filter-
transparente Scheibe (Glas, Plexiglas oder scheint die Projektion mit einem durchschnitt- kette eine Bildinvertierung (drittes Fenster „invert2“), so
dass aus dunklen Blobs vor hellem Grund helle Blobs vor
anderer Kunststoff) und ein Blatt Papier. Die lichen Projektor zwangsläufig nicht besonders
dunklem Grund werden.
Kamera wird am Boden der Box nach oben brillant.
gerichtet fixiert, und auf die Box legt man die
Scheibe, auf der das Papier befestigt ist. Ist das
Umgebungslicht hell und diffus genug, sieht
die Kamera die Fingerberührungen auf dem
Blatt als dunkle Bereiche. Genau diese Bereiche
können dann mittels Bildverarbeitung selektiert
und getrackt werden.
Abbildungen oben: Bei TouchLight, das von Microsoft patentiert für den Nutzer sichtbaren Projektion – und so die Aufnahme hoch aufgelöster Scans und
Die Demo zeigt links, dass Objekte nahe am Display wurde und inzwischen von EON Reality auch Bewegungen des Nutzers auswerten, damit die Digitalisierung von Dokumenten, die
vom System erkannt werden – helle Bereiche sind die
weiter entwickelt wird, handelt es sich um ein die kurz vor dem Display ausgeführt werden. auf das Display aufgelegt werden.
Übereinstimmungen der beiden Kamerabilder. Rechts ist die
Stereo-Kamera-System, bei dem zwei horizon- So kann der Nutzer „in der Luft“ interagieren,
Digitalisierung eines Dokuments durch Auflegen zu sehen.
}}} http://research.microsoft.com/~awilson/touchlight tal versetzte Videokameras die Interaktion des ohne unbedingt das Display berühren zu müs- Die Befestigung eines Mikrofons am Screen
||| Nutzers auswerten. In dem System wird von sen. Aufgrund der binokularen Disparitäten ermöglicht zusätzlich eine Klopf-Interaktion
hinten auf eine transparente holographische in den Stereobildern kann das System auf die mit dem System.
TouchLight wurde innerhalb einer Arbeitsgruppe von Schicht (DNP HoloScreen), die auf einer vertikal Entfernungen der vom Nutzer ausgeführten
Microsoft Research entwickelt. ausgerichteten Acrylplatte angebracht ist, Eingabegesten zum Screen schließen und so EON Reality setzt die Technologie vorrangig
}}} Wilson: „TouchLight: An Imaging Touch Screen and
projiziert. genau solche Gesten auswerten, die einen be- für die Interaktion mit 3D-Modellen ein, die
Display for Gesture-Based Interaction“, 2004. [Wil04]
stimmten Abstand vom Screen unterschreiten. durch den transparenten Screen in der Luft
|||
}}} http://research.microsoft.com/~awilson/touchlight/ Der Nutzer steht vor dem Display, das von zu schweben scheinen. Handbewegungen
||| hinten gleichmäßig mit IR-Licht ausgeleuchtet Die Durchsichtigkeit des Screens ermöglicht werden vornehmlich zur Rotation und Skalie-
wird. Die beiden Firewire-Infrarot-Kameras den Kameras die Wahrnehmung von Objekten rung der virtuellen Objekte genutzt. Ziel ist der
können aufgrund seiner Transparenz durch das und des Nutzers in einiger Entfernung vom Einsatz des Systems in Bereichen des Produkt-
EON Reality, Inc. bieten Software mit interaktiven 3D- Display „hindurch sehen“ – der wahrgenom- Screen. Die Integrierung einer zusätzlichen Marketing sowie interaktiver Trainings- und
Inhalten und im Bereich Virtuelle Realität an. mene Infrarotbereich interferiert nicht mit der „normalen“ Kamera hinter dem Screen erlaubt Lernanwendungen.
}}} http://www.eonreality.com |||
In TouchLight-Anwendungen werden vornehmlich Wisch- EON Reality setzt auf die Interaktion mit 3D-Modellen
bewegungen der Hände eingesetzt – einzelne Fingerbewe- – deren Rotation oder Skalierung – durch Bewegungen der
gungen werden selten ausgewertet. Hände.
}}} [Wil04] ||| }}} http://www.eonreality.com |||
ThinSight wurde innerhalb einer Arbeitsgruppe von Mit ThinSight wurde ein optisches Multi- Die Entwickler erwähnen, dass in heller Umge-
Microsoft Research entwickelt. touch-System entwickelt, das – im Gegen- bung die Emitter der Sensoren auch abgestellt
}}} Hodges et al.: „ThinSight: Versatile Multi-touch Sen-
satz zu den anderen vorher beschriebenen werden können und die Berührungspunkte
sing for Thin Form-factor Displays“, 2007. [Hod07] |||
optischen Technologien – sehr kompakt ist, dann umgekehrt als dunkle Schatten vor dem
}}} http://research.microsoft.com/~shahrami/?0sr=a
||| da hier, statt mit Kameras und Projektoren zu IR-reichen hellen Umgebungslicht wahrgenom-
arbeiten, rückreflektierende optische Sensoren, men werden. Diese beiden Modi – reflective &
die IR-Licht senden und empfangen können, shadow mode – entsprechen dem weiter oben
hinter einem LCD-Display platziert werden. Es beschriebenem Technologie-Paar DRI und DFI.
können dabei sowohl Fingereingaben erkannt
werden, die das Display berühren oder sich Weiterhin können die Silhouetten von Bar-
nahe daran befinden, als auch alle IR-reflek- codes auf Objekten ausgewertet werden, die
tierenden Objekte für die Interaktion genutzt sich vor oder auf dem Display befinden. Neben
werden. der zusätzlich möglichen Interaktion mit IR-
Pointern ist außerdem – durch die Möglichkeit
Die Technologie wird als „intrinsically inte- des Systems, IR-Licht sowohl zu senden als
grated sensing“ bezeichnet. Die IR-Sensoren auch zu empfangen – der Datenaustausch mit
werden in einer Matrix hinter dem LCD-Display mobilen Geräten (Smartphones, PDAs) über
angebracht und senden IR-Licht aus. Das Licht den IR-Kanal denkbar.
tritt nach vorn durch das Display und wird von
IR-undurchlässigen Objekten vor dem Screen
– wie Fingerspitzen – zu den Sensoren zurück
reflektiert, welche diese Reflektion wahrneh-
men. Aus den Sensorwerten wird software-
seitig ein Grauwertbild zusammengesetzt, aus
dem die hellen Berührungsflächen detektiert Im beschriebenen Prototyp ist nur eine begrenzte Fläche im
und getrackt werden können. Zentrum des Displays von IR-Sensoren bedeckt, in der mit
Fingern interagiert werden kann.
}}} [Hod07] |||
Microsoft Research verwendet in ihrem Prototyp einen Bei PlayAnywhere handelt es sich um ein Im binarisierten Bild werden dann die Formen Die Arbeitsgruppe hat zusätzlich ein Set
NEC WT600 DLP Projektor in Verbindung mit einer IR- kompaktes Multitouch-System, das innerhalb der Schatten ausgewertet. In jeder abgeschlos- visueller Codes entwickelt, die auf Objekten
Kamera und einem IR-Scheinwerfer. Bei einer Entfernung
einer Arbeitsgruppe von Microsoft Research senen Schattenform definiert der höchste angebracht vom System erkannt werden
von 2,5“ wird eine Projektion mit einer Bilddiagonalen
entwickelt wurde und bei dem ein Projektor Punkt die Fingerposition. Durch die Analyse können. Für PlayAnywhere ist diese Technik
von 40“ erzeugt.
}}} Wilson: „PlayAnywhere: A Compact Interactive in extrem kurzer Entfernung von vorn aus der Schattenform kann ermittelt werden, ob für Spielsteine angedacht, die im Kontext von
Tabletop Projection-Vision System“, 2005. [Wil05a] ||| einem sehr schrägen Winkel ein vergleichswei- der Finger die Oberfläche berührt oder nicht: Tangible Entertainment-Anwendungen zum
}}} http://research.microsoft.com/~awilson/ ||| se großes Bild auf einer horizontalen (Tisch-) Eine verjüngte Form kommt durch die partielle Einsatz kommen können. Allerdings kann die
Oberfläche erzeugt. Schattenverdeckung bei Tischberührung zu- Verdeckung solcher Codes durch die Hand
stande, eine runde, breite Form wird durch ei- des Nutzers zu Missinterpretationen durch das
Die Vision des Projekts ist es, in Zukunft ein nen über der Oberfläche schwebenden Finger System führen.
kleines mobiles Gerät zu haben, das die Projek- erzeugt. So kann das System sowohl Touch- als
tion, die Bildanalyse und die Computereinheit auch Hover-Gesten auswerten. Mit dieser Mit PlayAnywhere wurden auch Techniken zur
in sich vereint, ohne zusätzlichen Aufwand Technik kann allerdings nur ein Finger pro Integration physischer Dokumente untersucht.
(wie etwa Kalibrierung) vom Nutzer auf jeder Hand erkannt werden und auch nur, wenn der Es wurde ein Algorithmus zur Erkennung und
beliebigen planen Oberfläche schnell einge- Arm von der dem Kamerasystem gegenüberlie- Verfolgung von Papierseiten implementiert, um
setzt und leicht transportiert werden kann. genden Seite ins Bild kommt. Eine komplexere z. B. Bilder exakt darauf zu projizieren.
Bildanalyse könnte aber Abhilfe schaffen.
Für die Realisierung der Multitouch-Interakti- Die Entwickler betonen, dass PlayAnywhere
on wird vom System das Kamerabild mittels eines der gegenwärtig flexibelsten, mobilsten
Analyse der Schattenformen ausgewertet, und am einfachsten zu installierenden Kamera-
die die Hände auf die Oberfläche werfen. Die basierten Multitouch-Systeme überhaupt ist.
Schatten – alle Bereiche, die einen Helligkeits-
schwellwert unterschreiten – können einfach
aus dem Bild extrahiert werden. Das funktio-
niert, weil sowohl Hände als auch Tischoberflä-
che das IR-Licht des Scheinwerfers reflektieren
Oben: Die Vision eines kompakten, mobilen und flexibel und im Kamerabild hell erscheinen – nur die
einsetzbaren Unterhaltungsgeräts. geworfenen Schatten erscheinen dunkel.
Unten: Das prototypische Setup.
Zwei physische Dokumente werden erkannt und getrackt. Auf die Dokumente werden Bilder projiziert.
}}} [Wil05a] |||
}}} [Wil05a] ||| }}} [Wil05a] |||
Lee ist PhD-Doktorand am Human-Computer Johnny Chung Lee untersucht Techniken, um Lee implementiert einen Maus-Emulator, um Den Controller der Nintendo Wii-Konsole kann man
Interaction Institute der Carnegie Mellon University in mit dem Nintendo Wii Controller – dem Wii- mit dem LED-Pen mit gängigen Applikati- auch einzeln erwerben.
Pittsburg, PA. }}} http://www.wii.com/ |||
mote – Multipoint-Systeme zu realisieren. Das onen zu interagieren. Weiterhin bietet er eine
}}} http://www.cs.cmu.edu/~johnny |||
Wiimote ist standardmäßig mit einer Infrarot- Bauanleitung für die Pens an und stellt einige
Lees Wiimote-Projekte finden sich unter:
}}} http://www.cs.cmu.edu/~johnny/projects/wii ||| kamera mit einer Auflösung von 1024 x 768 (Multitouch-) Applikationen zum Herunterla-
Die passenden Diskussions-Foren: Pixeln ausgestattet, die bis zu vier Lichtpunkte den bereit.
}}} http://www.wiimoteproject.com ||| bei einer Frequenz von 100Hz tracken kann.
Sowie Lees Project Blog: Darüber hinaus enthält es einen Beschleuni- Head Tracking für VR-Displays. Befestigt
}}} http://procrastineering.blogspot.com |||
gungssensor. man zwei IR-LEDs am Kopf, so kann das Wii-
mote die Kopfposition tracken. Mit den wahr-
Fingertracking. Indem er an seinen Finger- genommenen Werten kann ein sichtabhän-
spitzen reflektierendes Tape befestigt und giges Bild gerendert und dargestellt werden.
diese mit IR-LEDs anstrahlt, kann Lee mit Auf diese Weise fungiert das Display als Portal
dem Wiimote seine Fingerbewegungen in 2D in eine virtuelle Umgebung, da es dem Nutzer
tracken. In C# DirectX hat er ein Programm zur durch die berechneten Sichtanpassungen die
Visualisierung der getrackten Blobs implemen- Illusion von Tiefe und Raum vermittelt, als sehe
tiert, mit dem das Wiimote via Bluetooth-Ver- er durch ein echtes Fenster.
bindung kommunizieren kann.
3D-Tracking. Unter Verwendung mindestens
Ein interaktives Multipoint Whiteboard. zweier Wiimotes kann ein Multipoint-3D-Tra-
In diesem Projekt trackt das Wiimote Pens cking-System gebaut werden.
mit eingebauter IR-LED in der Spitze. Zeigt
das Wiimote auf ein Projektionsbild oder ein Universelle Pointer.
LCD-Display, so kann dieses in ein interaktives …
Whiteboard bzw. in einen Tablet-PC umfunk- Es lohnt sich einen Blick auf Lees Project Blog
Alle Abbildungen auf dieser Seite zeigen Bilder aus Lees tioniert werden. Das Wiimote kann dabei bis zu werfen, denn dort findet sich ein ganzes
Tutorial-Filmen zu den Projekten. zu vier LED-Pens tracken und kommuniziert Sammelsurium von Ideen, was man alles mit
}}} http://www.cs.cmu.edu/~johnny/projects/wii |||
wieder via Bluetooth mit einem Programm. dem Wiimote anstellen kann…
32
Eine Infrarotkamera kann man sich aus einer Für das Multitouchsystem muss die Kamera Verstärkung und eine adäquate Bildrate für die
handelsüblichen Kamera ziemlich einfach aber noch weitere Anforderungen erfüllen. Ne-
selbst bauen, wenn es gelingt, den Infra- ben einer ausreichenden Bildrate für Echtzeitin- Interaktion in Echtzeit sind ausschlaggebende
rotblocker zu entfernen, der in der Regel in teraktion sollte die Belichtungsautomatik der
„normalen“ Kameras eingebaut ist, um das für Kamera abgestellt werden können, damit sich Kriterien für die zu verwendende Infrarotkamera.
das Bild sonst störende Infrarotlicht herauszu- die Helligkeit des Bildes nicht ständig verän-
filtern. Dieser Blocker ist meist ein kleines Stück dert. Das ist wichtig, da die hellen Berührungs-
Glas, das mit einem Material beschichtet ist, flächen im Bildauswertungsprozess über einen
welches IR-Licht reflektiert, und befindet sich festen Schwellwert vom Hintergrund getrennt
im Objektiv oft hinter der Linse. werden. Ein Treiber, der zudem die Justierung
von Verschlussgeschwindigkeit, Verstärkung
Der IR-Blocker muss entfernt werden, damit und Bildrate erlaubt, ist sehr wünschenswert.
die Kamera nachher auch das Licht im
IR-Bereich wahrnehmen kann. Damit die Ein wichtiges Element der Kamera ist das
Kamera aber effektiv als IR-Kamera fungie- Objektiv selbst. Eine hohe Lichtstärke und die
ren kann, muss zudem das für uns sichtbare optimale Brennweite für die Systemgegeben-
Licht weitestgehend blockiert werden. Sonst heiten sind unerlässlich.
würde zum Beispiel die Projektion auf dem
Display das Kamerabild zu stark beeinflussen. Im Laufe meiner Experimente habe ich insge-
Zu diesem Zweck eignet sich eine Doppel- bis samt vier Webcams getestet – und musste
Dreifachschicht nicht belichteter entwickelter letztendlich für die am besten geeignete
Negativfilm sehr gut. Solch eine Schichtung Webcam ein neues Objektiv installieren, um
wird also an Stelle des IR-Blockers in das Ob- ein befriedigendes Ergebnis zu erhalten.
jektiv der Kamera integriert, und fertig ist die
IR-Kamera.
Hier sind einige Objekte, die mit der IR-Ka- erscheint: Genau in diesem Frequenzbereich
mera aufgenommen worden sind, „norma- liegt ja nachher die Reflektion, die durch eine
len“ Aufnahmen gegenübergestellt. Für das Fingerberührung auf dem Display hervorgerufen
FTIR-System ist besonders relevant, wie hell die wird und ausgewertet werden muss.
Infrarotlampe einer Fernbedienung im IR-Bild
36
Apple iSight
37
Bei der Philips SPC 900NC Kamera kann man ist es jedoch möglich, jedes beliebige CCTV-
das Objektiv nach Entfernen des Aufsatzes Objektiv aufzuschrauben. Ich habe deshalb an
sehr einfach abschrauben. Das Objektiv selbst ein sehr lichtstarkes CCTV-Objektiv, das von
ist nicht so leicht manipulierbar. Es enthält ein vornherein keinen IR-Blocker enthält und die
aufwändigeres und fest integriertes Linsensys- für mein System passende Brennweite besitzt
tem. (4,3 mm), eine Dreifachschicht Negativfilm
geklebt und dieses dann auf die Kamera
Deshalb habe ich zunächst das veränderte geschraubt.
und kompatible Objektiv der Philips PCVC
820K aufgeschraubt, welches jedoch ziemlich Um die Kamera im FTIR-System zu integrieren,
lichtschwach ist. wurde der Klemmbügel entfernt und eine
Halterung aus Polystyrolplatten gebaut, die
Da die Objektivfassung der Philips Kamera mit einfach auf dem Boden der Tischbox befestigt
denen von CCTV Boardkameras kompatibel ist, werden kann.
Das Display
38
Rosco Screen }}} http://www.rosco.com/uk/screens/ Hauptbestandteil des Displays ist eine Acryl- Hier wird KauPo SORTA-Clear 40 verwendet,
roscoscreen.asp||| wurde bezogen bei platte. Für das FTIR-System verwende ich eine welches aus 2 Komponenten besteht und
cast C. ADOLPH & RST DISTRIBUTION GmbH
8 mm dicke Platte, deren Fläche ca. 52 x 70 nach Mischung gleichmäßig auf die Acrylplatte
}}} http://www.rstdistribution.de|||
cm misst. gegossen wurde.
KauPo Plankenhorn e.K. liefert Kautschuk und Poly-
ethane über }}} http://www.kaupo.de ||| Damit das IR-Licht der LEDs gut in die Platte Damit der Rosco-Screen nicht am Silikon
Bei Modulor findet man viele Materialien eindringen kann, müssen die Kanten möglichst kleben bleibt, was störende helle Reflektionen
}}} http://www.modulor.de ||| glatt sein und poliert werden. hervorruft, die als Berührungsflächen inter-
IFOHA GmbH & Ko. KG hat viele selbstklebende Folien pretiert werden, muss zwischen die Projek-
im Sortiment }}} http://www.ifoha.de ||| Auf der Platte ist eine Schichtung notwendig. tionsfolie und das Silikon eine Trennschicht.
Zum einen benötigt man ein Projektions- Als Material hat sich Transparentpapier ganz
material. Hier wird die Rosco Screen grau gut bewährt. Es ist darauf zu achten, dass
Projektionsfolie verwendet. Damit Display- und das Papier einerseits keine zu starke Struktur
Berührungsfläche auf einer Ebene liegen, wird aufweist, damit die Qualität der Projektion
die Projektionsfolie oben auf der Acrylplatte nicht zu stark beeinträchtigt wird, und ande-
positioniert und nicht darunter. rerseits eine raue Oberfläche besitzt, damit das
Silikon nicht wiederum daran haften bleibt. Ich
Für einen guten Kontakt zwischen Acrylplatte verwende transparentes holzfreies Skizzen-
und Projektionsfolie bei Berührung des Screens papier aus 100 % Zellulose mit 40 g / m2 von
sorgt eine rund 1 mm dicke Silikonschicht. Modulor.
Durch ihre Flexibilität wird sie bei Berührung
leicht eingedrückt, was den Kontakt ver- Zwischen dem Transparentpapier und der Pro-
bessert. Ohne sie würde die Berührung des jektionsfolie habe ich zusätzlich eine Infrarotfo-
Nutzers erst bei sehr starkem Druck erkannt lie integriert, die das IR-Licht aus der äußeren
werden, und die Erkennung einer durchgän- Umgebung blockieren soll. Die Folie stoppt das
Die Schichtung des Displays entspricht u. a. der von Tim gigen Drag-Bewegung wäre fast unmöglich. IR-Umgebungslicht zwar nicht komplett, aber
Roth in seinem Projekt 180. Das Silikon macht die Nutzereingabe damit es macht das System etwas robuster in einer
}}} http://timroth.de/180/ |||
komfortabler und robuster. nicht vollständig dunklen Umgebung.
Es gibt verschiedene Ausführungen von IR-LEDs. Solange Wellenlänge und Leuchtkraft stimmen, sollten sie geeignet sein.
42
Der Projektor
44
Ich verwende im vorgestellten FTIR-System den len von 90 cm. Darüber hinaus erreicht er eine Für den Projektor wurde eine Halterung aus
Toshiba TDP-EX20, weil er eine extrem kurze Bildauflösung von 1024 x 768 Bildpunkten und Brettern, Winkeln und einer Klettschnalle ge-
Brennweite aufweist: Bei einem Mindestab- verfügt über die Funktionalitäten Rückprojekti- baut, um ihn sicher und wie gewünscht in der
stand von einem halben Meter liefert er ein on und Trapezverzerrung, die für die optimale Tischbox zu fixieren.
scharfes Bild mit einer maximalen Bilddiagona- Ausrichtung des Projektionsbildes nötig sind.
Der IR-Sperrfilter wird vor der Projektorlinse fixiert – hier ist eine prototypische Halterung abgebildet.
Die Software
46
Touchlib wird von der NUI (Natural User Interface) Als Betriebssystem verwende ich Windows Blob Detection, also die Selektion der hellen OSC – OpenSound Control. Dieses Protokoll wird
Group entwickelt und bereitgestellt. XP, da für die Kamera, für die ich mich ent- Berührungsareale („Blobs“) und ihre Koordi- zur Kommunikation zwischen Computern, Multimedia-
}}} http://touchlib.com ||| Geräten oder Programmen über ein Netzwerk oder das
schieden habe, ein Windows-Treiber mit den naten und Flächen, sowie Blob Tracking, also
}}} http://nuigroup.com ||| Internet genutzt, kann aber auch auf nur einem Rechner
benötigten Einstellungsmöglichkeiten existiert. die Identifizierung der einzelnen Blobs und ihre
unter der Benutzung des localhost laufen. Es wurde
Touchlib nutzt für die Bilderkennungsschritte OpenCV – Für Mac OS X gibt es nur einen rudimentären richtige Zuordnung über die Zeit von Frame zu entwickelt, um Sound und andere Medien in Echtzeit zu
Intels Open Computer Vision Bibliothek, eine Sammlung Treiber, der die oben beschriebenen Anforde- Frame. Die Ergebnisse dieser Bildauswertung verarbeiten und zu steuern.
von Computer-Vision-Routinen }}} Wright et al.: „OpenSound Control: State of the Art
rungen nicht erfüllt. beinhalten folgende Eigenschaften für jeden
}}} http://sourceforge.net/projects/opencvlibrary/ ||| 2003“, 2003. [Wri03] |||
detektierten Blob:
}}} http://www.intel.com/technology/computing/open- }}} http://opensoundcontrol.org |||
cv/index.htm ||| Um das Kamerabild auszuwerten, also die Be- _ID
rührungspunkte bzw. -flächen zu detektieren _(x, y)-Koordinate TUIO ist ein Protokoll, das speziell für Tangible Table-
Damit Touchlib auf Windows läuft, benötigt man: und zu tracken, benötigt man eine Software, _(deltaX, deltaY)-Bewegung Tops entwickelt wurde. Es ermöglicht die Erkennung
_Visual Studio 2005 SP1 x86 redistributable package und das Tracking sowohl von Multitouch-Eingaben als
die dies erfüllt. Für die Entwicklung meiner _Fläche (Rückschluss auf den Druck)
}}} http://www.microsoft.com/downloads/details. auch von getaggten Objekten und deren Identifizierung,
prototypischen Beispielanwendung verwen-
aspx?FamilyID=200b2fd9-ae1a-4a14-984d-389c36f8564 Position und Orientierung auf dem Display.
de ich dafür Touchlib. Touchlib ist eine Nativ kann eine Multitouch-Anwendung direkt }}} Kaltenbrunner et al.: „TUIO: A Protocol for Table-Top
7&displaylang=en |||
_Java Runtime Environment freie C++-Bibliothek, die unter Windows und in C++ geschrieben werden. Alternativ ist es Tangible User Interfaces“, 2005. [Kal05] |||
}}} http://www.java.com/ ||| Ubuntu läuft und mit einigen Tweaks wohl aber auch möglich, Multitouch-Anwendungen }}} http://reactable.iua.upf.edu/?tuio |||
auch unter Mac OS X. Allerdings sind diese in anderen Entwicklungsumgebungen zu im-
Um die im ausführbaren Paket enthaltenen Flash-Client- nicht trivial – ein weiterer Grund, warum ich plementieren, da Touchlib die erkannten Touch
Applikationen zu starten benötigt man zusätzlich den mich gegen dieses Betriebssystem entschieden Events in das standardisierte Protokoll OSC
_Flash Player 9
habe. „verpackt“, genauer gesagt in das TUIO-Proto-
}}} http://labs.adobe.com/downloads/flashplayer9.html
koll, welches auf OSC basiert. Jede Applika-
|||
Touchlib greift auf die Bilder der angeschlos- tion, die das OSC-Protokoll versteht, kann als
senen Kamera zu, führt einige Bildverarbei- Multitouch-Client dienen – als Anwendung,
tungsschritte aus – die möglichen Filter (z. B. die die Touch-Events als Nutzereingabe verar-
Hintergrundsubtraktion, Hochpass, Schwell- beitet und ein Feedback produziert, also das
werteinstellung) können frei gewählt und vom Nutzer wahrnehmbare Interface darstellt.
justiert werden – und wertet die Resultate aus.
Die wichtigen Schritte bei der Auswertung sind Anzeige der Filterergebnisse in Touchlib
Die DRI-Anpassung
48
Statt Touchlib kann man auch andere Software Ich habe für mein System eine DRI-Anpassung
für die Multitouch-Erkennung nutzen. Man (Diffused Rear Illumination) vorgenommen, da
könnte aufbauend auf der OpenCV Library ein ich mit der Touch-Detection-Qualität in FTIR
eigenes System in C++ implementieren. noch nicht 100%ig zufrieden war: Bei schnel-
len Drag-Bewegungen hat der Touch-Blob
Es existiert auch eine Blob-Detection-Biblio- aufgrund einer minimal auftretenden Haftung
Blob Detection für Processing, auch nutzbar für thek für Processing, so dass das komplette zwischen Transparentpapier und Silikon eine
andere Java-Implementierungen System mit Processing umgesetzt werden Spur nach sich gezogen, die selbst auch als Be-
}}} http://www.v3ga.net/processing/BlobDetection/ |||
kann. Allerdings stößt man damit schnell auf rührungsfläche interpretiert wurde. Versuchte
Grenzen die Performance betreffend. ich dies durch eine Senkung des Helligkeits-
schwellwertes zu kompensieren, wurde die
Die ReacTIVision-Software ist verfügbar unter: Alternativ kann man auch ReacTIVision Erkennung der eigentlichen Touchflächen
}}} http://reactable.iua.upf.edu/?software ||| verwenden, ebenfalls ein open source Multi- unzuverlässiger.
touch-Framework – die reacTable-Software, Die Reflektionsfolie, mit der die Innenseiten der Tischbox
für die TUIO ursprünglich entwickelt wurde. Für DRI muss keine so komplexe Display- ausgekleidet wurden, ermöglicht durch ihren Streueffekt
eine gleichmäßige diffuse IR-Ausleuchtung.
ReacTIVision läuft unter Windows, Mac OS X Schichtung erfolgen wie für FTIR: Es wird ledig-
und Linux und kann mit den gleichen Client- lich eine Trägerplatte mit einer reflektierenden
Programmen kommunizieren wie Touchlib. Projektionsschicht benötigt. Ich verwende
eine 10 mm starke, 73 x 55 cm messende
Es sind viele weitere videobasierte Multitouch- Acrylplatte, auf der ich einen Diffuser fixiert Als Diffuser verwende ich den Lee-Farbfilter 225
Implementierungen frei verfügbar, wie z. B. habe. Innerhalb der Tischbox installierte ich 2 neutral density frost. Er ist z. B. bei Skyshopping 24,
einem Shop für DJ-Equipment und Lichttechnik erhältlich.
Die libavg-Homepage: auch libavg für Linux- und Mac-OS-X-Sys- IR-Scheinwerfer bestehend aus je 24 LEDs
}}} http://www.skyshopping24.de |||
}}} https://www.libavg.de ||| teme. Je nach Vorkenntnissen, verwendetem mit 850 nm Wellenlänge. Damit die Schein-
System und Vorlieben kann sich der Entwickler werfer selbst keine Hotspots auf der Rückseite Ich verwende Ecoline IR-Scheinwerfer TV6700, die
also eine Implementierung unter inzwischen der Acrylplatte verursachen, platzierte ich sie man z. B. beim first mall Online Shop erwerben kann.
}}} http://firstmall-security.de |||
zahlreichen aussuchen. von oben nicht sichtbar unter dem Projektor
auf dem Boden der Tischbox.
Die IR-Scheinwerfer müssen, damit das ID- Durch den Einsatz der DI-Technik habe ich nun
System auch funktioniert, den Innenraum der keine Probleme mehr mit Drag-Spuren, die auf
Tischbox gleichmäßig ausleuchten. Das gelingt die Bildinterpretation einen störenden Einfluss
mit Hilfe der Auskleidung der Tischboxinnen- ausüben. Dadurch kann ich die Filtereinstellun-
Ich benutze den Lee-Farbfilter 273, eine Reflektorfolie, flächen mit Reflektionsfolie und ein bisschen gen in Touchlib großzügiger wählen, wodurch
die ebenfalls bei Skyshopping 24 erhältlich ist. Geduld bei der Ausrichtung der Scheinwerfer. die Berührungs-Blobs im Resultatbild bei weni-
}}} http://www.skyshopping24.de |||
ger Druckausübung sehr viel heller und größer
erscheinen und damit die Toucherkennung
stabiler läuft.
Die beiden IR-Strahler sitzen unter dem Projektor. Das neue DI-Display in Aktion.
50
Damit ist das DRI-System schon komplett. Ich Ich kann in einer hellen Umgebung mein
musste einige Vorteile gegenüber dem ur- System übrigens auch in einen DFI-Modus
sprünglichen FTIR-Aufbau feststellen. Das neue (Diffused Front Illumination) umschalten: Die
DRI-System ist: LEDs bzw. LED-Scheinwerfer werden aus-
geschaltet und die Touchlib-Version für den
_stabiler. Es gibt keine Drag-Spuren mehr und MTmini verwendet, die das Kamerabild (dunkle
die Berührung ist auch bei weniger Druck gut Berührungsblobs vor hellem Hintergrund)
erkennbar. invertiert. Da der verwendete Toshiba-Projek-
_brillanter. Die Projektion ist durch die feh- tor sehr lichtstark ist, ist die Projektion auch in
lende Schichtung brillanter und schärfer. heller Umgebung gut erkennbar. So ist mein
_schöner. Der neue Diffuser liegt durch die gebautes Multitouchsystem noch flexibler
fehlende Schichtung plan auf der Acrylplatte einsetzbar.
auf und wirft keine Wellen. Die Anmutung ist
edler (dunkelgrau, fast schwarz) und harmo- Was nach Abschluss dieser Arbeit noch aus-
niert mit der Farbe des durchgefärbten MDF. steht, ist der Einbau eines aktiven Lüftungssys-
Die passgenaue Acrylplatte, die keinen LED- tems neben den schon gebohrten Luftlöchern
Rahmen erfordert, integriert sich hervorragend im Boden und dem Lüftungsschlitz über der
als Tischoberfläche. Türklappe, da der Projektor das Tischinnere
_vielseitiger. Die DRI-Technologie erlaubt stark aufheizt und die auf Dauer erhebliche
Impressionen der fertigen Multitouch-Tischbox. zusätzlich die Verwendung von Fiducials – op- Temperaturerhöhung die integrierten tech-
tischen Markern – die man an der Unterseite nischen Geräte beschädigen kann.
physischer Objekte befestigen kann. Diese
kann die Kamera nun sehen, wenn man solche
Objekte auf dem Screen auflegt. Das System
kann die Muster auswerten und die Objekte
und ihre Position und Orientierung erkennen.
So ist die Umsetzung von Tangible Interfaces
möglich.
transparentes holzfreies Ifoha Infrarotfolie silber-hell Rosco Screen grau Lee-Farbfilter 225 Lee-Farbfilter 273 Reflektor
Skizzenpapier aus 100 % neutral density frost
Zellulose mit 40 g / m2 von
Modulor
Bevor in dieser Arbeit auf mögliche Anwen- Die Hände sind die primären Werkzeuge, mit Alltägliche Interaktionen können auf ein
dungen der Multitouch-Technologie und denen wir Objekte in unserer Umwelt unter- digitales Interface übertragen werden, indem
auf sinnfällige Abbildungen von Gesten auf suchen und bearbeiten. Besonders nützlich man eine Handbewegung in einen bestimmten
Bedeutungen und Aktionen eingegangen wird, dabei ist der Daumen, der den langen Fingern Kontext setzt und bekannte Metaphern aus
werden an dieser Stelle menschliche Handges- anatomisch gegenüber steht. Dies ermöglicht der realen Welt nutzt. Dem Nutzer aufgrund
ten und ihr Einsatz als Kommunikationsmittel das Greifen und Festhalten von Dingen mit nur seines Erfahrungsschatzes eine Antizipation
beschrieben, um das dahingehende Verständ- einer Hand. Die Interaktion mit Objekten findet zu ermöglichen, was seine Aktion hervorrufen
nis als Grundlage für die Entwicklung eines meist mit mehreren oder sogar allen Fingern wird, und diese Vermutung auch zu bestäti-
eigenen Gestenvokabulars zu vertiefen. statt. Aktionen mit nur einem Finger beschrän- gen, macht ein intuitives Interface aus. Eine
56 ken sich auf Berühren, Streichen, Tippen oder rotierende Geste im Uhrzeigersinn in Verbin-
Der Mensch benutzt seine Hände in vielfäl- Drücken. Erst die Nutzung der Finger in Kom- dung mit einem digitalen Schraubverschluss
tiger Weise: Um Dinge zu ertasten, um mit bination ermöglicht komplexere Vorgänge. wird etwas öffnen, wohingegen die Bewegung
Objekten zu interagieren und um zu kommu- Zweihändige Aktionen erlauben sogar noch gegen den Uhrzeigersinn eher etwas schließen
Dies entspricht der Klassifikation durch Cadoz: nizieren. Die letzteren beiden Aspekte sollen kompliziertere Manipulationen: Das Binden sollte. Die Berührung einer digitalen Klaviatur-
_ semiotische Gesten: kommunizierend hier näher untersucht werden. von Schnürsenkeln, viele handwerkliche Tätig- taste sollte einen Ton erzeugen, die Umschlie-
_ ergotische Gesten: manipulierend, kreierend
keiten und Handarbeit sind kaum mit nur einer ßung eines digitalen Objekts mit den Fingern
_ epistemische Gesten: taktil erfahrend, haptisch
Hand denkbar. Deshalb ist es wünschenswert, könnte es fixieren, die Zueinanderbewegung
explorierend
}}} Mulder: „Hand Gestures in HCI“, 1996. [Mul96] ||| auch bei der Eingabe über einen Touchscreen der Finger einer Hand sollte ein digitales Ob-
alle Finger beider Hände zur Verfügung zu jekt kontrahieren oder verkleinern usw.
haben, um ein vielseitigeres Interaktionsvoka-
bular abzudecken, das an Interaktionen mit
Objekten in der physischen Welt anknüpft.
Die nebenstehenden Abbildungen geben eine
kurze Übersicht über diese Vielfalt.
Die menschlichen Hände dienen dem Ertasten,
dem Agieren und der Kommunikation.
57
Um aus Handbewegungen ein Vokabular für Neben der Gebärdensprache – einem vollwer- drehende Faust – untermalt werden.
die Interaktion mit einem computergestützten tigen Sprachsystem – nutzt aber jeder Mensch Was für eine Geste ausgewählt wird, hängt
Gerät zu entwickeln, liegt es nahe, Mechanis- bewusst oder unbewusst mehr oder weniger davon ab, welcher Aspekt des Gesagten als
men der Gebärdensprachen näher zu untersu- stark redebegleitende Gesten, die die gesagten besonders wichtig empfunden wird und unter-
chen, da diese bereits elaborierte Handgesten- Worte untermalen oder ihren Sinn erweitern. strichen werden soll.
vokabulare darstellen. Diese redebegleitenden Gesten folgen auch
einer Grammatik. So unterteilt die deutsche Für die Entwicklung eines Vokabulars für die
Sieht man sich als hörender Mensch solch ein Gestenforscherin Cornelia Müller diese Ges- Multitouch-Eingabe muss beachtet werden, ob
System näher an – es gibt weltweit verschie- ten in 4 Kategorien: der Nutzer bei einer bestimmten Aktion primär
58 dene Gebärdensprachen – so stellt man schnell _agierende Gesten eine Funktion – Verb – im Kopf hat oder ein
fest, dass die benutzten Gesten weit davon _zeichnende Gesten Objekt – Substantiv, Adjektiv – um sich dann
Laut einem Artikel in der NZZ am Sonntag entfernt sind, für Unkundige intuitiv verständ- _modellierende Gesten auf ein geeignetes Mapping festzulegen: Agie-
}}} Kramer: „Grammatik der Gesten“, 2008. [Kra08] lich zu sein. Neben zahlreichen Gesten, die _verkörpernde Gesten rende Gesten passen, wenn der Fokus auf der
|||
man auf Bilder zurückführen kann, existieren Funktion liegt, zeichnende oder verkörpernde
Mehr zum Thema findet sich auf der Homepage der viele Gebärden für abstrakte Begriffe, die Diese Gesten nehmen analog zur Lautsprache Geste bei dem Fokus auf einem Objekt.
Linguistin Cornelia Müller: genau wie bei einer Fremdsprache erst erlernt bestimmte grammatische Funktionen ein und
}}} http://www.cmhmueller.de/ |||
werden müssen. Zudem zeichnet die Gebär- spiegeln damit Denkmuster wider, die sich Neben diesen redebegleitenden Gesten gibt es
sowie auf der Internetpräsenz des Projekts „Towards a
densprache im Gegensatz zur sequenziellen auch in der Strukturierung von Lautsprache fin- losgelöste Handzeichen, die für bestimmte Be-
Grammar of Gesture“:
}}} http://www.togog.org/ ||| Lautsprache eine simultane Erzählstruktur aus: den. Agierende Gesten entsprechen dabei der griffe stehen, die sich aber in ihrer Bedeutung
Mehrere Zeichen werden über unterschiedliche Funktion des Verbs, zeichnende und modellie- von Kulturkreis zu Kulturkreis stark voneinan-
Kanäle gleichzeitig dargestellt, denn neben der rende Gesten stehen für Adjektive (2D und 3D der unterscheiden können. Ist ein Handzeichen
Handhaltung spielen auch Mimik, Kopf-, Arm- betreffend) und verkörpernde Gesten stellen in einem Kulturkreis, der dem der potentiellen
und Rumpfhaltung eine wichtige Rolle für die Objekte dar. Beispielsweise kann die Rede über Nutzerschaft entspricht, etabliert, so kann
Bedeutung. Weiterhin ist Gebärdensprache einen Globus durch eine agierende – An- man sich für ein Multitouch-Vokabular auch
räumlich: Die Bedeutung des Dargestellten deutung der Drehbewegung – , durch eine hier bedienen. Dennoch sollte man bei der
hängt von Objektplatzierungen in der Luft und zeichnende – Kreisform umreißen – , durch Verwendung mehrdeutiger Zeichen Vorsicht
dazugehörenden Handbewegungsrichtungen eine modellierende –Kugelform nachahmen walten lassen.
ab. [Rol07] – oder durch eine verkörpernde Geste – sich
Die letzten Abschnitte haben gezeigt, dass der Gestaltung eines Gesten-Interface entschei- Für Anwendungen mit einem umfassenderen Bei der Gestaltung
Mensch in seiner physischen Umgebung Hand- den, was für Gestentypen angebracht sind. und abstrakteren Funktionsumfang eignet sich
gesten sowohl zur Manipulation als auch zur Die meisten gestenbasierten Systeme nutzen die Integrierung symbolischer Gesten. Solche eines gestenbasierten
Kommunikation einsetzt. Im kommunikativen deiktische und symbolische Gesten. Deiktische können in ihrer Bedeutung mächtiger sein und
Bereich haben sich sogar abstrakte Handsym- Gesten eignen sich besonders für die direkte komplexere Eingaben ermöglichen. Ein großer Interface sollte man
bole und komplexe gestische Zeichensysteme Manipulation grafischer Objekte, da durch Nachteil symbolischer Gesten ist allerdings,
etabliert. Das legt nahe, dass der Mensch Zeigebewegungen leicht Objekte angespro- dass diese sich bei der Interaktion oft nicht von die Balance zwischen
auch mit Computersystemen gut über Gesten chen und Positionen oder Richtungen einfach selbst erschließen und vorher gelernt werden
kommunizieren kann. Existierende Projekte artikuliert werden können. Solche Interfaces müssen. Je größer der Gestenumfang in einer direkten deiktischen
und Produkte, die die Interaktion mittels Hand- sind meist sehr intuitiv, fühlen sich natürlich an Anwendung ist, desto schwieriger kann es 61
gesten realisieren, belegen dies auch (siehe und erfordern kaum eine Lernphase, um mit auch werden, sich diese alle zu merken. und abstrakten symbo-
folgende Abschnitte dieser Arbeit). dem System umgehen zu können. Ein Beispiel
dafür ist Videoplace (siehe Abschnitt 2.1 dieser Allgemein sollte man bei der Konzeption einer lischen Gesten finden,
Je nachdem, um was für eine Anwendung es Arbeit und [Kru85]). Anwendung einen Kompromiss zwischen der
sich im Speziellen handelt, sollte man für die Nutzung einfacher deiktischer Gesten, die um eine gleichermaßen
intuitiv sind, und komplexerer symbolischer
Gesten, die dem Nutzer mehr Möglichkeiten intuitive wie mächtige
Die Existenz von Gebärdensprachen und sym- eröffnen, finden. Darüber hinaus sollte man
versuchen, aus dem Fundus auch der anderen Interaktion zu ermögli-
bolischen Gesten legt nahe, dass der Mensch in Gestentypen zu schöpfen, um ein expressives
Interface umzusetzen, das Freude bereitet. chen.
der Lage ist, auch bei der Computernutzung ein
vollwertiges zweihändiges Gestenvokabular zur
Kommunikation zu nutzen – auch wenn dieses
womöglich erst erlernt werden muss.
Buxton plädiert für natürliche User Interfaces: Buxton weist darauf hin, dass nonverbale Aber immerhin kann über die Maus die hori-
}}} Buxton: „The Natural Language of Interaction: A Dialoge eine günstige Interaktionsform darstel- zontale Handbewegung (zum Bewegen des
Perspective on Non-Verbal Dialogues“, 1990. [Bux90]
len, um (mit Computersystemen) zu kommu- Cursors), ein Niederdrücken einzelner Finger
|||
nizieren. Gesten zählen für ihn zum natür- (zum Anklicken, zum gedrückt Halten) und die
lichen nonverbalen Vokabular des Menschen, Streichbewegung eines Fingers (zum Scrollen)
weshalb er die Fähigkeit, mit beiden Händen kommuniziert werden.
zu interagieren, von vornherein mitbringt. Der
Autor zeigt anhand von Studien, dass Nutzer Eine fließendere und feinmotorisch besser zu
sehr gut in der Lage sind, Interaktionsaufga- steuernde Bewegung ermöglicht der Stylus
62 ben auf beide Hände aufzuteilen. Er empfiehlt in Verbindung mit einem Tablet oder direkt
so eine Aufgabenteilung vor allem dann, wenn auf einem Display angewendet. Für die
ein Arbeitsschritt einem anderen zwischenge- Styluseingabe etwa bei mobilen PDAs und in
schaltet ist. Der Zwischenschritt – die sekun- Ermangelung einer Tastatur bei diesen Geräten
däre Aufgabe – kann dann an die zweite Hand haben sich Gestenvokabulare zur Texteingabe
delegiert werden, damit die primäre Aufgabe etabliert. Solche Zeichensätze – wie Graffiti Graffiti-Gesten.
nicht in ihrem Fluss unterbrochen wird (z. – lehnen sich an die uns bekannten latei-
B. erste Hand malt, zweite Hand verschiebt nischen Buchstaben an, wobei jedes Zeichen in
zwischendurch die Ansicht). einer einzigen Linie umgesetzt wird.
Es gibt zahlreiche Beispiele, bei denen die Solche Zeichen, die durch einen Pfad defi-
Nutzereingabe über Gesten erfolgt. Mit der niert sind, wurden auch für die Mauseingabe
Maus und dem Einzug des GUI wurde es konzipiert – hier eher als Befehlszeichen zur
erstmals möglich, über Handbewegungen mit Steuerung von Applikationen. Ein Beispiel
Computersystemen zu kommunizieren – auch dafür ist StrokeIt, mit dem Funktionen via StrokeIt kann für Windows-Systeme
wenn dieses Eingabegerät nicht primär dafür Mausbewegungen z. B. in Webbrowsern, Me- heruntergeladen werden:
}}} http://www.tcbmi.com/strokeit/ |||
konzipiert ist, Gesten, wie wir sie in der phy- diaplayern oder Chatprogrammen ausgeführt
sischen Umgebung einsetzen, zu übertragen. werden können.
Das Latitude XT von Dell ist ein Tablet PC, über dessen TouchKit besteht fast nur aus einem Screen und einem
Display sowohl mit Stylus als auch mittels Multitouch-Ein- Gestell als Halterung.
gabe interagiert werden kann. Es existieren seit kurzem }}} http://www.flickr.com |||
bereits Software-Updates, um einige Standard-Applika-
tionen (Google Earth, Outlook, MS Office, Firefox, IE 7) Im digitalen Multimediabereich gibt es im
multitouchfähig zu machen. Moment einen Trend zu Geräten mit Multi-
}}} http://www.dell.com/ ||| touch-Interface. Sowohl kleinformatige mobile
Geräte – Apple iPhone & iPod Touch – als
Spätestens mit dem Betriebssystem Windows 7 soll die
auch Laptops und Desktopsysteme – Apple
Multitouch-Eingabe allgegenwärtig werden.
}}} http://windowsvistablog.com/blogs/windowsvista/ar-
MacBook Air & MacBook Pro, Dell Latitude
chive/2008/05/27/microsoft-demonstrates-multi-touch. XT, Windows 7, n-Trig DuoSense – sowie
aspx ||| größere stationäre Systeme – Microsoft Sur- Cubit ist modular gestaltet und kann auch von Laien
face, NOR_/D Cubit und TouchKit, Lumin zusammengebaut werden.
Bei DuoSense handelt es sich um eine transparente }}} http://www.flickr.com |||
Multitouch, Perspective Pixels – erobern 65
Sensorenschicht, die direkt vor Screens installiert werden
den Markt. Dabei handelt es sich sowohl um
kann, um Stylus- und Multitouch-Eingabe zu ermöglichen.
}}} http://www.n-trig.com/ ||| Touchpads als auch um Touchscreens, die die
Mehrfingereingabe ermöglichen.
Das MS Surface Tabletop-System kommt bereits in
öffentlichen Kasinos, Retail Stores und anderen Einrich- Besonders Touchscreens geben dem Nutzer
tungen in den USA zum Einsatz.
das Gefühl, er könne die grafischen Objekte
}}} http://www.microsoft.com/surface |||
direkt berühren und mit seinen Fingern
Cubit und TouchKit sind zwei Multitouch-Projekte bei beeinflussen. Diese Erfahrung wird als sehr
NOR_/D. Der Source-Code (die C++-Bibliothek open- natürlich und angenehm empfunden, was
Frameworks) steht zur freien Verfügung – das „plug-and- sich noch steigert, wenn elegante fließende
play“-Setup kann geordert werden.
Bewegungen involviert sind. Die Multitouch-
}}} http://nortd.com/cubit/ |||
Fähigkeit erlaubt zudem vielfältigere Interakti-
}}} http://touchkit.nortd.com/ |||
}}} http://www.openframeworks.cc/ ||| onsformen mit mehreren Fingern und beiden
Händen und bereichert damit die Kommunika-
Die Lumin Visual Technology AG vertreibt u. a. ein tion zusätzlich. Dabei ist es aber sehr wichtig,
komplettes Multitouch-Tabletop-System. softwareseitig passende Interfaces anzubieten
}}} http://www.lumin.de/multitouch/ |||
und nicht in Paradigmen, die auf Mauseingabe
Perspective Pixels bietet Lösungen für großformatige optimiert sind, zu stagnieren.
Wall-Multitouch-Systeme.
}}} http://www.perceptivepixel.com/ |||
Aktuelle Multitouch-Anwendungen
67
Der Interacitve Table ist ein Beispiel eines
Sensitive.Wall ist ein vertikales Multitouch-Display von iO. Multitouch-Tisches des Werk5.
}}} http://www.sensitivewall.com ||| }}} http://www.interactive-table.de |||
As-Rigid-as-Possible Shape Manipulation ist ein Takeo Igarashi und seine Arbeitsgruppe haben zer Übungszeit schon komplexe Bewegungen
Projekt von Takeo Igarashi, Tomer Moscovich, and John F. 2005 ein Multitouch-Animationssystem mit ausführen. Sie nutzen schnell automatisch
Hughes aus dem Jahr 2005.
dem SmartSkin-Touchpad (siehe Kapitel 2) und mehrere Finger (oft beide Daumen und Zei-
}}} Igarashi et al.: „As-Rigid-As-Possible Shape Manipu-
Topdown-Projektion umgesetzt. Während in gefinger), um lebendige und ausdrucksstarke
lation“, 2005. [Iga05] |||
}}} http://www-ui.is.s.u-tokyo.ac.jp/~takeo/research/ri- dem zugehörigen Paper der Fokus auf den Bewegungsabläufe umzusetzen.
gid/index.html ||| Algorithmen und der Implementierung liegt,
konzentriert sich Moscovich in seiner Disserta- Die extrem intuitive Handhabung ergibt sich
tion auf das Interaktionserlebnis des Nutzers. aus dem hohen Freiheitsgrad der Objektsteue-
rung und das direkte Mapping dieser Eingabe
68 Das interaktive System ermöglicht es dem Nut- auf ein Feedback, das dem der physischen
zer, 2D-Figuren direkt mit mehreren Fingern Welt weitgehend entspricht. Menschen sind
Moscovichs Dissertation über das Projekt und über in Echtzeit zu bewegen und zu deformieren, erfahren darin, Abläufe und zeitliche Gescheh-
fließende, koordinierte Multitouch-Interaktion. indem die Kontroll-Berührungspunkte den nisse mit Hilfe von Bewegungen (Gesten)
}}} Moscovich: „Principles and Applications of Multi-
Fingerbewegungen folgen und die Form der zu kommunizieren und besitzen dabei ein
touch Interaction“, 2007. [Mos07] |||
Figur entsprechend angepasst wird. natürliches Gefühl für Timing. Die expressive
Kraft und Nuancen von Handgesten und Kör-
Die Entwickler konnten beobachten, dass persprache werden in dieser Applikation direkt
Nutzer, die das Programm zum ersten Mal auf die virtuellen Charaktere übertragen. Dabei
verwenden und keinerlei Erfahrungen im Ani- bleibt das Interface simpel (sozusagen unsicht- Nutzer können 2D-Figuren direkt und intuitiv mit ihren
mationsbereich besitzen, die Wirkungsweise bar) und regt aufgrund seiner „Natürlichkeit“ Fingern in Echtzeit animieren.
}}} [Mos07] |||
der Interaktion sofort verstehen und nach kur- Exploration, Kreation und Kollaboration an.
RoomPlanner
An der University of Toronto haben Wu und Die Multi-User-Anwendung RoomPlanner Es wurden 4 Interaktions-Kategorien der Ein-
Balakrishnan Multitouch-Interaktionstechniken anhand wurde in der Arbeitsgruppe rund um Wu und gabegesten aufgestellt:
einer kollaborativen Beispielanwendung untersucht.
Balakrishnan 2003 in Toronto umgesetzt. Die _Ein-Finger-Eingabe
}}} Wu & Balakrishnan: „Multi-Finger and Whole Hand
Autoren untersuchten dabei Eingabetech- _Zwei-Finger-Eingabe
Gestural Interaction Techniques for Multi-User Tabletop
Displays“, 2003. [Wu03] ||| niken mit den Fingern und Händen sowie _Ein-Hand-Eingabe
Interaktions- und Visualisierungstechniken zur _Zwei-Hand-Eingabe
Unterstützung von Privatsphäre und gemein- Die nebenstehende Abbildung zeigt alle ver-
schaftlich genutzten Bereichen und Objekten. fügbaren Gesten.
Für die Umsetzung wurde das Tabletop-System
70 DiamondTouch (siehe Kapitel 2) verwendet. Möbelobjekte können mittels einfachem Touch
selektiert und mit einer einfachen Drag-Bewe-
In RoomPlanner können mehrere Nutzer gung verschoben werden. Ein Double Tap lässt
grafische Objekte, die Möbelstücke repräsen- eines der vier kontextabhängigen kreisför-
tieren, auf einem 2D-Grundriss anordnen, um migen Menüs zur Erstellung oder Manipulation
die Möblierung eines Raums zu planen. Das von Objekten an der Stelle erscheinen. Die
Interface teilt sich in einen zentralen Gemein- Auswahl in dem Menü erfolgt durch ein Drag
schaftsbereich, in dem der Grundriss angezeigt des immer noch auf dem Screen befind-
ist, und private Bereiche auf, die sich jeweils lichen Fingers in das jeweilige Widget. Gibt
direkt vor den Nutzern befinden. Innerhalb es noch ein Untermenü für diese Auswahl, (a) Tap: Ein-Punkt-Berührung. (b) DoubleTap. (c) Flick:
des eigenen privaten Bereichs können Ideen so erscheint, sobald der Finger innerhalb des schnelle Drag-Bewegung vom Nutzer weg. (d) Catch:
schnelle Drag-Bewegung zum Nutzer hin. (e) Flache Hand:
entwickelt und ausprobiert werden, um dann Widgets ist, die Unterauswahlliste, die mit
Hand liegt flach auf Display auf. (f) Vertikale Hand: Hand-
im gemeinschaftlichen Bereich zusammen mit einem zweiten Finger bedient werden soll. Die
kante berührt Display, Finger zeigen vom Nutzer weg. (g)
den anderen Nutzern die Endvision zusam- Autoren betonen, dass eine solche Auswahl in Horizontale Hand: Handkante berührt Display, Handfläche
menzustellen. einer einzigen fließenden Geste erfolgt. zeigt zum Nutzer. (h) Gekippte Hand: Handfläche der hori-
zontalen Hand nach oben gekippt. (i) Zwei vertikale Hände
zueinander hin oder voneinander weg bewegend. (j) Zwei
gewinkelte Hände: Finger abgeknickt.
}}} [Wu03] |||
Durch eine Verschiebung der flachen Hand auf Die Auseinanderbewegung zweier vertikaler
dem Display kann die Ansicht der Anwendung Hände verteilt alle dazwischen liegenden
um deren Pivot gedreht werden. Solange Objekte gleichmäßig auf dem Grund, der sich
mindestens ein Kontaktpunkt dieser Berührung zwischen den Händen aufspannt. Bewegen
erhalten bleibt, kann die Rotation – in einer sich die beiden Hände aufeinander zu, so
angenehmeren Handhaltung – fortgesetzt werden alle dazwischen liegenden Objekte
werden. Eine Alternative wäre, die Hand zu zusammengeschoben. Bewegen sich die Hän-
drehen und dabei die Ansicht um den Mittel- de in die gleiche Richtung, dann gleiten alle Mit zwei vertikalen Händen können Objekte
punkt dieser Hand zu rotieren. dazwischen liegenden Objekte mit ihnen mit. zusammengeschoben oder wieder verteilt werden.
}}} [Wu03] |||
72 Diese zweihändigen Gesten werden analog
Mit einer Bewegung der vertikalen Hand kann zu der einhändigen vertikalen Schiebegeste
der Nutzer – analog zur physischen Welt – Ob- abgebildet.
jekte zur Seite wischen. Durch das Aufsetzen
der horizontalen Hand erscheint eine Box vor Mit dem Auflegen zweier angewinkelter Hän-
der Handfläche, in der Eigenschaften von dort de schließlich wird eine rechteckige Bearbei-
befindlichen Objekten angezeigt werden, die tungsfläche erzeugt, die alle darin befindlichen
nur der Nutzer selbst einsehen kann. Diese Box Objekte kopiert. Die Breite der Box wird durch
Die Objekteigenschaften-Box. }}} [Wu03] ||| folgt der aufgesetzten Hand und verschwin- den Abstand der Hände definiert, die durch
det, wenn sie wieder angehoben wird. Verschieben noch geändert werden kann, und
die Höhe entspricht der Länge der Handflä-
Wird nun die Handfläche nach oben gekippt, chen. Die Bearbeitungsfläche samt der auf ihr Zwei angewinkelte Hände definieren eine Box,
fungiert – aufgrund der Topdown-Projekti- liegenden Objekte kann durch Verschieben der die alle in ihr befindlichen Objekte kopiert.
}}} [Wu03] |||
on – die Hand selbst als Display. Mit dieser angewinkelten Hände oder durch nachherigen
subtilen Bewegung werden diskret private einfachen Finger-Drag verschoben werden.
Informationen auf die Hand projiziert.
Das reacTIVision-Framework besteht aus einem DRI- ReacTable ist ein elektro-akustisches Tabletop- Die Umsetzung eines Musikinstruments eignet Die Interaktion mit dem reacTable
Setup und dazugehörender Software, die frei herunter- Musikinstrument für expressive kollaborative sich in vielerlei Hinsicht, um Multitouch-Inter- vereint Präzision und Expressivität.
geladen werden kann. ReacTable wurde von der Musik }}} http://reactable.iua.upf.edu/ |||
Live-Performances, das mit dem reacTIVision- aktionstechniken zu untersuchen. Musikins-
Technology Group der Pompeu Fabra University in
Framework umgesetzt wurde. Es kann mit trumente bieten generell die Möglichkeit, eine
Barcelona entwickelt und soll Ende 2008 auf den Markt
kommen. Hilfe von mit visuellen Markern versehenen große Bandbreite an Informationen parallel
}}} Kaltenbrunner & Bencina: „reacTIVision: A Pucks – Tangible Objects mit fiducial symbols zu kommunizieren. Genau dieses Potential
Computer-Vision Framework for Table-Based Tangible – bedient werden, indem diese auf das Display eröffnet auch die Multitouch-Interaktion durch
Interaction“, 2007. [Kal07] ||| gelegt und dort verschoben und rotiert wer- die vielen Freiheitsgrade bei der bimanuellen
den. Die Fiducial-Marker werden dabei vom Nutzereingabe. Weitere Eigenschaften, die der
74 Computer-Vision-System erkannt und getrackt, Multitouch-Interaktion zugesprochen werden,
wodurch die Positionen, Orientierungen und sind direkte Manipulation (mit unmittelbarem
Die reacTable-Homepage: Lagebeziehungen der aufliegenden Objekte Feedback), intuitive Nutzung und ein genüss-
}}} http://reactable.iua.upf.edu/ ||| ausgewertet werden können. licher Umgang, was zur spielerischen Explora-
tion das Systems ermuntert und die Kreativität
Mit Hilfe der Tangibles können auf der runden unterstützt. Für die Realisierung dieser Eigen-
Tischoberfläche Audio-Topologien konstruiert schaften sind Musik-Tools prädestiniert. Das
werden, die wie modulare Synthesizer-Kom- alles spiegelt sich in den Kerneigenschaften
ponenten oder eine „greifbare flussgesteu- des reacTable wider:
erte Programmiersprache“ funktionieren.
Mehrere Nutzer können gleichzeitig durch _kollaborativ: Mehrerer Nutzer können ge-
Manipulation der Objekte in die Topologie meinsam performen.
eingreifen und zusätzliche Parameter mittels _intuitiv: Keine Gebrauchsanweisung nötig.
Fingergesten steuern. Jeder Pucktyp hat dabei _herausfordernd und interessant: Exploration
eine spezielle Funktion zur Soundgenerierung, wird angeregt.
-modifizierung oder -steuerung (Generatoren, _erlernbar und beherrschbar: Selbst von Die Lagebeziehungen der modularen Objekte zueinander,
Modulatoren, Filter etc.). Gleichzeitig gibt die Kindern. ihre Position und Orientierung beeinflussen den Soundfluss.
}}} [Jor07] |||
Displayoberfläche mittels visuellem Feedback _geeignet für Anfänger (für Installationen) und
Aufschluss über den aktuellen „Soundfluss“. fortgeschrittene Musiker (für Konzerte)
Zusätzlich wird ein Blick auf Projekte geworfen, Alle Abbildungen auf dieser Doppelseite stammen von
die das „Klick-Paradigma“ der Maus hinter- }}} http://www.tactiva.com |||
fragen oder Alternativen für die Texteingabe
ohne Tastatur untersuchen – Beispiele, die bei
der Konzeption einer Multitouch-Anwendung
von Interesse sein können.
Tactiva sitzt in Palo Alto, Kalifornien. Das TactaPad soll TactaPad ist ein drucksensitives Multitouch- bietet das TactaPad eine Force-Feedback-Funk- gleichzeitig manipulieren realisiert. Für weitere
via USB-Schnittstelle mit Mac OS X- und Windows Pad, das bei Tactiva entwickelt wurde. Es tion, die dem Nutzer ein taktiles Feedback Funktionen wird leider auf für klassische Einga-
-Systemen kompatibel sein, wird aber noch nicht auf dem
ist als Mausersatz angedacht und kann mit über „angefasste“ Objekte oder ausgeführte begeräte optimierte Paradigmen wie Toolbar
Markt zum Kauf angeboten.
beiden Händen bedient werden, um mit dem Aktionen gibt. zum Moduswechsel und andere Widgets für
}}} http://www.tactiva.com |||
Computer in direkter und natürlicher Weise zu Parametermanipulationen zurückgegriffen.
interagieren. Eine Kamera verfolgt dabei die Um die Mehrfingereingabe und die Force-
Bewegungen der Hände und ermöglicht die Feedback-Funktion zu unterstützen, muss es Interessant an TactaPad ist die Repräsentation
Live-Darstellung der transluzenten Fingersil- natürlich entsprechend angepasste Anwen- der Finger auf dem Screen. Damit nähert sich
houetten auf dem Bildschirm, wodurch dem dungen dazu geben. Tactiva hat das Demopro- das Interaktionserlebnis dem einer Touch-
Nutzer das Gefühl vermittelt wird, er fasse gramm TactaDraw zur Erstellung und Mani- Screen-Benutzung an, wobei die „durchsich- 77
in den Rechner hinein, um digitale Objekte pulation von Vektorgrafiken implementiert. tigen Hände“ keine Verdeckungsprobleme
zu berühren. Jede Berührung wird zusätzlich Damit werden „die üblichen“ Multitouch-In- bereiten.
durch einen Softwarecursor repräsentiert. Um teraktionstechniken wie Objekte mit 2 Fingern
die natürliche Anmutung noch zu steigern, drehen und skalieren oder mehrere Objekte
Objektparameter wie Konturdicke werden klassisch über Objekte können mit 2-Finger-Drags gedreht und skaliert Erst über einen Moduswechsel kann die Ansicht
Widgets mit Schiebereglern und Buttons manipuliert. werden. verschoben, gedreht und skaliert werden.
FingerWorks – eine US-Firma, die 1998 und der selben Oberfläche ermöglichen, und Die FingerWorks-Homepage mit Nutzerguides ist noch
gegründet und 2005 von Apple aufgekauft erkennen darüber hinaus Multitouch-Gesten. aktiv, auch wenn die Firma nicht mehr existiert und die
Produkte nicht mehr vertrieben werden.
wurde – brachte das iGesture Pad und das Dafür wurde ein Gesten-Satz entwickelt, mit
}}} http://www.fingerworks.com |||
TouchStream Pad in mehreren Ausführungen dem die Intention des Nutzers – also ob er
auf den Markt, die via USB mit den heute gän- gerade Tippen, eine Geste ausführen, eine FingerWorks wurde von John Elias und Wayne Wester-
gigsten Betriebssystemen (Windows, MacOS Mausoperation durchführen oder lediglich man, Wissenschaftler der University of Delaware, gegrün-
det – in Westermans Dissertation finden sich Details zur
X, Linux, BeOS) kompatibel sind. Die iGesture- die Hand ausruhen will – identifiziert werden
Technologie und Interaktion:
Pads und das TouchStream Mini sind für die kann. Dieses Vokabular wird an dieser Stelle
}}} Westerman: „Hand Tracking, Finger Identification,
Eingabe mit einer Hand gedacht, die übrigen genauer untersucht. and Chordic Manipulation on a Multi-Touch Surface“,
78 größeren TouchStream-Tastatur-Pads sollen mit 1999. [Wes99] |||
beiden Händen bedient werden. Die FingerWork-Pads unterscheiden im We-
sentlichen drei Modi:
iGesture und TouchStream emulieren Maus- _Tastatureingabe
und Tastatur-Eingaben, indem sie gleichzeitiges _Gesten (Cursorbewegung, Scrollen, Maus-
Tippen (Tastatureingabe), Pointing (Cursorbe- klickgesten, Funktionsgesten, Modifier Chords)
wegung) und Klicken (Mausbutton) auf ein _Ausruhen von Hand / Fingern
Das FingerWorks iGesture numPad und das iGesture Pad. Das FingerWorks TouchStream LP Pad.
}}} http://www.fingerworks.com ||| }}} http://www.fingerworks.com |||
An dieser Stelle folgt eine Aufstellung wich- Mausemulierung Modifier Chords Funktionsgesten
tiger – längst nicht aller – Gesten für die
FingerWorks-Produkte. Cursorbewegung: Shift: Kopieren:
_Drag mit 2 beliebigen _Hold mit den 4 Fingern + _Tap mit Daumen und
benachbarten Fingern Tippen mit der anderen Hand oder Heben Mittelfinger
eines dieser 4 Finger und Tippen mit diesem
Selektieren / Draggen: Ausschneiden:
_Drag mit 3 beliebigen Ctrl / Apfel / Cmd: _Drag von Daumen und
benachbarten Fingern _gespreiztes Hold mit den 4 Mittelfinger zueinander hin
Fingern + Tippen mit der anderen Hand oder
Links-Klick: Heben eines dieser 4 Finger und Tippen mit Einfügen:
_Tap mit 2 beliebigen diesem _Drag von Daumen und
80 benachbarten Fingern Mittelfinger voneinander weg
Der Shift- bzw. Ctrl-Modus bleibt so lange
Doppelklick: bestehen, wie mindestens einer der 4 Finger Undo / Redo:
_Tap mit 3 benachbarten sein Hold aufrecht erhält. _Drag mit Daumen und
Fingern Mittelfinger nach oben / unten
Multi-Modifier-Tastenkürzel wie Ctrl-Alt-Del
Mittel-Klick werden nicht mit Gesten, sondern durch Tab / BackTab:
(nur im 3-Button-Modus): Berühren der aufgedruckten „Tasten“ – also im _Drag mit Daumen und
_Tap mit Daumen, Zeige- & Mittelfinger Tastatur-Modus – durchgeführt. Dabei muss Mittelfinger nach rechts / links
der Nutzer darauf achten, dass er bspw. „Ctrl“
Rechts-Klick und „Alt“ nicht gleichzeitig sondern nachein- Abbrechen:
im 2-Button-Modus: ander berührt, da die Eingabe sonst als Maus- _Rotation der Hand gegen den
_Tap mit Daumen, Mittel- & Ringfinger Klick oder Mausbewegung interpretiert wird. Uhrzeigersinn mit gedrücktem
im 3-Button-Modus: Daumen und Mittelfinger
_gespreiztes Tap mit Daumen,
Ring- & kleinem Finger Leertaste:
_Rotation der Hand im
Scrollen Uhrzeigersinn mit gedrücktem
_Drag mit den 4 Fingern Daumen und Mittelfinger
Das Eingabe-Konzept ist weitgehend schlüs- Aber auch innerhalb des Gesten-Repertoires semantische Zuordnung einiger Gesten, die
sig. Die Tastatureingabe lässt jedoch ein treten Probleme auf. Es erschließt sich z. B. aus Ähnlichkeit vieler Gesten untereinander und
taktiles Feedback, wie es bei einer „üblichen“ Nutzersicht nicht, warum die Geste für den die Anforderungen an die koordinativen Fähig-
Tastatur vorhanden ist, missen, was die auf der Maus-Rechts-Klick im 2- und im 3-Button-Mo- keiten des Nutzers.
FingerWorks-Homepage veröffentlichten Studi- dus variiert. (Dies hat wahrscheinlich system-
energebnisse zeigen. Das spielt vor allem eine seitige Gründe: bessere Differenzierung von Als semantisch problematisch sehe ich z. B.
Rolle, weil der Nutzer vorzugsweise bei der Mittel- und Rechtsklick im 3-Button-Modus.) die Geste Abbrechen in Zusammenstellung mit
Eingabe auf den Screen sieht und nicht auf das Zudem bleibt unklar, warum es überhaupt den Gesten für Öffnen, Schließen und Appli-
Pad. Physische Tasten vereinfachen die Orien- diese Modusunterscheidung gibt. Weiterhin kation verlassen an. Die drei letztgenannten
82 tierung der Finger und das Finden der Tasten sind die Modifier Chords („Akkorde“) für die definieren den Uhrzeigersinn als Richtung, die
auf der Tastatur erheblich. Weiterhin sind beim Ein-Hand-Eingabe problematisch, da es unter mit Beendigung assoziiert wird, und verbin-
FingerWorks-Pad Multitasten-Eingaben (Shift, Umständen schwierig sein kann, einige Finger den den Gegenuhrzeigersinn mit dem Beginn
Tastenkürzel) möglich – auch wenn manche gedrückt zu halten, während ein losgelassener einer Handlung. (Die Richtung für Öffnen und
durch Gesten ersetzt werden können. Der der gleichen Hand versucht, eine bestimmte Schließen leitet sich hier vermutlich von der
Nutzer muss jedoch darauf achten, dass er die Taste zu erreichen. Drehrichtung bei Gewinden ab.) Abbrechen
Tasten immer nacheinander, nie gleichzeitig fällt in die semantische Kategorie der Beendi-
berührt, da die Eingabe sonst als Geste falsch Die größten Probleme dieses Gestenreper- gung und sollte daher hier mit einer Geste, die
interpretiert werden würde. toires sind aber meiner Meinung nach die im Uhrzeigersinn verläuft, assoziiert werden.
Eine Arbeitsgruppe bei Alias | Wavefront hat gedrückt wird, wird die Position des Pucks der
1997 GUI-Paradigmen für die zweihändige dominanten Hand (D) auf dem Screen durch
Bei der Entwicklung der Paradigmen in T3 waren Eingabe anhand des Prototypen T3 zur einen Cursor repräsentiert, und an der Position
sowohl Forscher aus dem HCI-Bereich als auch Grafiker Bearbeitung simpler 2D-Grafiken untersucht. des Pucks der nicht-dominanten Hand (ND)
involviert.
Dabei diente die Arbeitsweise von Grafikern „klebt“ eine Toolpalette – das „ToolGlass“.
}}} Kurtenbach et al.: „The Design of a GUI Paradigm
mit physischen Utensilien als Vorbild für die
based on Tablets, Two-Hands, and Transparency“, 1997.
[Kur97] ||| Interaktionsmechanismen. Die zwei vorhandenen Buttons ermöglichen Der analoge Arbeitsplatz eines Grafikers und seine
vier Modi, zwischen denen der Nutzer wech- Vorgehensweise bei der Arbeit diente den entwickelten
Paradigmen in T3 als Vorbild: Die dominante Hand bringt
Bei der Gestaltung des T3-Interface wurden seln kann. Das Mapping für diese Modi, das
Farbe auf das Papier, während die nicht-dominante Hand
84 drei Designziele verfolgt: die Handaufteilung bei der physischen Arbeit
das Blatt justiert oder unterstützend Lineale, Kurvenschab-
Artwork: Den Raum für das eigentliche eines Grafikers reflektiert, sieht folgenderma- lonen oder Abdeckmasken anlegt, fixiert und ggf. wieder
Artwork auf dem Screen maximieren und nicht ßen aus: aus dem Weg räumt.
mit GUI-Elementen belegen. }}} http://www.billbuxton.com/t3.swf |||
Fokus: Die Aufmerksamkeit des Nutzers mög- _Kein Button gedrückt: D bewegt den Cursor,
lichst nicht zum Wechsel zwingen, sondern auf ND bewegt und rotiert das ToolGlass.
der eigentlichen Arbeit belassen. _D-Button gedrückt: D draggt und rotiert
Eingabe: Die Interaktionsqualität durch die Objekte oder führt Toolfunktion aus.
Realisierung von mehr Freiheitsgraden und _ND-Button gedrückt: Toolglass verschwindet
besserem Komfort erhöhen. und ND verschiebt und rotiert Ansicht.
_Beide Buttons gedrückt: Toolglass verschwin-
Als Eingabegeräte werden für T3 zwei Wacom- det und Ansicht wird anhand der Distanzän-
Tablets mit je einem 1-Button-Puck für jede derung zwischen den beiden Pucks vergrößert
Hand genutzt. Das System kann sowohl die bzw. verkleinert (Rein- bzw. Rauszoomen).
x- bzw. y-Position der Pucks als auch deren
Das Eingabe-Setting für T3: Zwei Tablets mit je einem Rotationen auswerten. So ist eine kontinuier- Das Artwork-Designziel wird erreicht, indem
1-Button-Puck, wobei der Puck für die dominante Hand liche Eingabe mit beiden Händen mit je drei abgesehen vom ToolGlass keine UI-Widgets
dynamisch durch einen Stylus ersetzt werden kann.
Freiheitsgraden möglich, was die Eingabemög- permanent eingeblendet werden, die Teile der
}}} [Kur97] |||
lichkeiten verbreitert. Wenn keiner der Buttons Arbeitsfläche verdecken würden. Das Toolglass
bei der Eingabe in den Hintergrund treten, um den Fokus auf die eigent- }}} [Kur97] |||