Diretrizes de Design para Adaptive Multimodal

Entrada solues mobile

De Bruno Dumas, orzano Mar ' IA Sol' e Beat Signer
Engenharia de Sistemas Web e Informaes Lab
Vrije Universiteit Brussel
Pleinlaan 2 , 1050 Bruxelas, Blgica
fbdumas , msolorza , bsignerg@vub.ac.be
RESUMO
O advento dos dispositivos mveis avanados em combinao com
novas modalidades de interao e mtodos para o rastreamento de
informao contextual, abre novas possibilidades no campo da
adaptao interface de usurio sensvel ao contexto . Uma direo investigao particular a
adaptao automtica sensvel ao contexto de
modalidades de entrada em interfaces mveis multimodais . apresentamos
solues de entrada mvel multimodais adaptativos existentes e coloc-los dentro de reas de
pesquisa relacionadas. com base em
uma anlise detalhada do estado da arte , propomos oito
diretrizes de design para solues de entrada mvel multimodais adaptveis . O uso destas
orientaes ainda ilustrada atravs
a concepo e desenvolvimento de uma aplicao de calendrio multimodal adaptativa.
autor Palavras-chave
Orientaes para o projecto ; interao multimodal mvel; usurio
adaptao de interface; sistemas sensveis ao contexto .
ACM Classificao palavras-chave
H.5.2 Informaes Interfaces e apresentao: Usurio
Interfaces .
Termos gerais
projeto ; Fatores Humanos .
INTRODUO

Interfaces multimodais fazer uso de vrias modalidades de entrada ou sada para melhorar a
comunicao e interao
com um usurio. Pela sua prpria natureza , eles so excelentes candidatos
para interfaces adaptativas [18] . Dependendo do perfil de um usurio ou
algumas condies ambientais , uma interface multimodal pode
mudar de uma modalidade de uma outra modalidade . Alm disso ,
interfaces multimodais potencialmente apoiar a adaptao na entrada , bem como no nvel de
sada. Enquanto a adaptao automtica das interfaces multimodais no lado de sada tem sido
explorado por diversos pesquisadores , a adaptao automtica de
modalidades de entrada tem sido menos estudada.
A permisso para fazer cpias digitais ou impressas de todo ou parte deste trabalho para
pessoal ou uso em sala de aula concedido sem taxa desde que as cpias no so
feito ou distribudo com fins lucrativos ou vantagem comercial e que as cpias suportar
este aviso ea citao completa na primeira pgina . Copyrights para componentes
deste trabalho de propriedade de outros que ACM deve ser honrado . abstraindo com
permitido crdito. Para copiar o contrrio, ou republicar, para postar em servidores ou
redistribuir a listas, requer permisso especfica prvia e / ou uma taxa. pedido
permisses de Permissions@acm.org .
MobileHCI '13 , 27-30 agosto de 2013, Munique, Alemanha
Direitos de autor 2013 ACM 978-1-4503-2273-7/13/08 ... R $ 15,00.
Esta falta de solues de entrada multimodais adaptativos podem ser
causada em parte pelo fato de que , at recentemente, os dispositivos mveis
no oferecem uma grande variedade suficiente de modalidades de entrada. No entanto , a
adaptao automtica de entrada multimodal em combinao com algoritmos avanados de
fuso multimodal tem o
potencial para melhorar a usabilidade geral de dispositivos mveis
fornecendo vrias modalidades alternativas. Alm disso , as interfaces podem ajustar-se as
condies ambientais e assim
melhorar a experincia e desempenho do usurio individual.

A adaptao automtica das modalidades de entrada pode avanar

ser um instrumento para tratar de questes de segurana e proteco . para
exemplo, um usurio dirigir um carro no deve usar a tela sensvel ao toque
de seu smartphone, mas sim contar com as modalidades de entrada que
permitir a sua ateno para ficar focado na estrada. Por ltimo, mas
no menos importante, o contexto social pode favorecer ou impedir a utilizao de
certas modalidades . O desenvolvimento deste tipo de sistemas multimodais de adaptao no
s exige tcnica detalhada
conhecimento, mas tambm princpios de design claras .
O novo corpo de pesquisa sobre a entrada multimodal adaptativo vai construir na pesquisa
existente sobre adaptao de entrada automtica na ltima dcada . Ns, portanto, comear
por apresentar
uma reviso do trabalho j existente do campo de adaptao de entrada multimodal
automtico e posicionar as atividades de pesquisa em
este corpo de trabalho. Isto baseado em solues em reas afins
como a adaptao das modalidades de produo, interao multimodal mvel e aplicaes
sensveis ao contexto . o actual
trabalho comparada primeiro e , em seguida, analisada de uma forma mais detalhada
forma com base em trs dimenses: a combinao de modalidades, sensibilidade ao contexto
e da adaptao automatizada de modalidades de entrada. Com base nesta anlise , propomos
um conjunto de
oito diretrizes de design de alto nvel para a criao de aplicaes mveis multimodais
adaptveis contextaware . Finalmente , o
desenvolvimento de uma aplicao de calendrio multimodal adaptativo
discutido para ilustrar a aplicao do citado
Guia de Design.
Comeamos por introduzir alguns conceitos gerais, incluindo a interao multimodal ,
adaptao para o usurio e contexto, bem como
trs quadros tericos relacionados. Este seguido por um
apresentao dos trabalhos de pesquisa que foram analisados
como parte de nossa reviso . A anlise do trabalho existente comea por

resumindo um conjunto de caractersticas para cada projeto. trs

anlises detalhadas sobre a combinao de modalidades , a influncia de contexto e da
adaptao automtica das modalidades de entrada so apresentados. Depois de delinear um
futuro promissor
direes de pesquisa , ns fornecemos algumas concluses gerais .
MOBILE HCI 2013 - ADAPTAO E DESIGN 29 de agosto de 2013 - MUNIQUE , ALEMANHA 285
JUSTIFICATIVA
O campo de adaptao de entrada automtica com base em contextual
informao posicionada na borda de um nmero de diferentes reas de investigao . Ns
fornecemos uma viso geral das reas mais importantes e introduzir trs quadros tericos : o
Propriedades cuidado, o quadro ISATINE eo Cameleon
quadro de referncia .
Interao Multimodal
A fora de interfaces multimodais reside no potencial
combinao de diferentes modalidades. Alm da melhoria
poder expressivo usando vrias modalidades, como ilustrado
por seminal " colocar - que - l" aplicao de Richard Parafuso em
que um usurio combina voz e gesto para expressar complexo
comandos , interfaces multimodais tambm melhorar a usabilidade [ 2,17 ] . Modalidades de
entrada so fontes probabilsticos geralmente contnuos, como fala ou gesto reconhecedores ,
ao contrrio de fontes determinsticos padro, incluindo teclado
ou entrada de mouse. A gesto da probabilstica contnua
fontes pergunta para o processamento paralelo. Fontes probabilsticos e
processamento paralelo , por sua vez demanda de arquiteturas de software distribudos e
timesensitive [11].
Propriedades da CARE
Em um nvel de modelagem , as propriedades CUIDADOS definido por Coutaz
e Nigay [ 6 ] ilustrar como as modalidades podem ser compostas numa
aplicao multimodal . Note-se que a CARE est para a complementaridade , a atribuio ,
redundncia e equivalncia . Modalidades complementares ter todas as modalidades para
alcanar um novo

estado do aplicativo, modalidades atribudos alocar um e apenas

uma modalidade para uma determinada operao , as modalidades redundantes
implica que todas as modalidades podem levar a uma mesma operao e
modalidades equivalentes afirmar que qualquer das modalidades pode
ser usado para mover para um novo estado da aplicao. a diferena
entre redundncia e equivalncia reside na forma como os casos com
vrias modalidades que ocorrem ao mesmo tempo so tratadas.
No caso da adaptao de entrada automtica com base no contexto
informaes, equivalente ou modalidades redundantes so essenciais
ea modalidade adequada para um determinado contexto sero selecionados ou favorecido .
Adaptao ao Usurio e Contexto
Enquanto a adaptao tem sido investigada por WIMP tradicional
interfaces de [5] ou interfaces mveis sensveis ao contexto [1] , o trabalho
dedicado adaptao automtica de entrada com base em informaes contextuais
bastante limitado . Ao considerar usurio
adaptao, diferentes maneiras de adaptar a interface do usurio pode
ser considerado . Por um lado , a interface de utilizador pode ser criado , de tal forma que ele
se adapta automaticamente e sem
qualquer interveno do usurio , que tambm o foco deste artigo .
Por outro lado, vemos as solues em que os usurios so dadas
a possibilidade de modificar a interface do usurio de uma forma pr-ativa.
Mais formalmente, Malinowski et al. [16] props uma completa
taxonomia para descrever adaptao interface do usurio. Sua taxonomia baseada em
quatro estgios diferentes de adaptao em um
determinada interface , ou seja, iniciativa , proposta, deciso e execuo. Cada uma destas
adaptaes aos quatro estdios diferentes
pode ser realizada por parte do utilizador , o aparelho ou ambos. L ' opezJaquero et al . [15]
props o quadro ISATINE com

sete estgios de adaptao , incluindo as metas para adaptao de interface do usurio, a

iniciativa para a adaptao , a especificao de adaptao , a aplicao de adaptao , a
transio com a adaptao , a interpretao de adaptao bem
como a avaliao de adaptao .
Cameleon Reference Framework
Calvrio et al. [4] apresentou uma interface de usurio baseada em modelo
estrutura para as interfaces de multi - alvo , permitindo a descrever
projetar e executar em tempo fases sem levar em conta as necessidades especficas de
implementao . Multi - alvo refere-se a
vrios contextos , enquanto contexto indica o contexto de uso
de um sistema interactivo descrito em termos de um modelo do utilizador , plataforma e
ambiente . O modelo de usurio contm informaes sobre o usurio atual, como preferncias
do usurio ou
limitaes dos utilizadores com deficincia . O modelo de plataforma descreve
caractersticas fsicas do dispositivo o sistema est funcionando
no , incluindo o tamanho do ecr ou da velocidade do processador .
Finalmente, o modelo contm informaes sobre ambiente
atributos sociais e fsicos do ambiente no qual o
interao est ocorrendo.
MULTIMODAL Mobile Solutions ENTRADA
Apresentamos agora os artigos que selecionamos para nossa reviso de
solues de entrada mvel multimodais . Trabalhos relacionados no campo
adaptao de entrada automtica de context-aware discutido em
a seo sobre Automatic Multimodal Adaptao de entrada . como
mostramos , apenas uma pesquisa limitada foi realizado nessa
campo . A fim de ter uma viso mais completa , tambm
trabalho incluem relacionados no campo da multimodal user-driven
adaptao de entrada . Algumas destas solues tambm ilustram como
composio multimodal , a seleo de modalidades e gerenciamento de contexto tm
progredido em aplicaes difundidas .

Multimodal Adaptao entrada user-driven

Comeamos a discutir o estado da arte na rea de entrada mvel multimodal com foco em
solues onde as propriedades ambientais so levados em conta, como parmetros para
influenciar a seleo de modalidades. Isto inclui o bem- conhecido
de trabalho que tem sido realizado no domnio de orientada para o utilizador
( no automtico ) adaptao de entrada context- aware.
Lemmela et al . [ 14 ] apresenta um mtodo iterativo para conceber
aplicaes multimodais em contextos mveis. um interessante
contribuio de sua abordagem que eles identificaram que
modalidades e combinaes de modalidades melhor naipe diferente
situaes de mobilidade com base na carga do canal sensorial do usurio.
Entrada de fala foi atribudo como a tcnica de interao padro para o ambiente do carro
enquanto gestos 2D ( dedo
acidentes vasculares cerebrais ) e gestos de movimento (gestos inclinao ) foram usadas no
andando meio ambiente. Em ambos os cenrios , os usurios tinham que ler
e escrever mensagens SMS durante a execuo de outras atividades. ele
foi referido que os usurios preferem usar a modalidade de entrada de voz ao mesmo tempo
que , no contexto do carro . De S ' um et al . [ 8 ]
descrever um conjunto de tcnicas e ferramentas para apoiar os designers
durante o desenvolvimento de aplicaes mveis multimodais .
Uma dessas ferramentas relacionadas ao contexto e influncia ambiental uma estrutura
conceitual chamado Cenrio Gerao
e Contexto Quadro Seleo. O quadro tem como objetivo
facilitar o processo de seleo de cenrio e de gerao em
MOBILE HCI 2013 - ADAPTAO E DESIGN 29 de agosto de 2013 - MUNIQUE , ALEMANHA 286
um ambiente mvel . Baseia-se na anlise de um conjunto de variveis
que possa afetar a interao do usurio. Ronkainen et al . [24] introduziu um modelo
conceitual chamado Environment Analysis Framework para realizar uma anlise sistemtica
ambiente .
A estrutura foi construda com base na anlise do anterior

trabalho em relao ao uso mvel e influncia de contexto. Os autores afirmam que a sada do
quadro pode ser utilizado para
orientar o projeto de interfaces de usurio e dispositivos otimizados para determinados
ambientes adaptativos e / ou multimodais .
Alguns projetos tambm abordou como a influncia do contexto
e as propriedades ambientais , em particular afeta a interao com o usurio e as modalidades
preferidas em diferentes domnios de aplicao. Por exemplo , o domnio de aplicao baseada
em mapa tem
foram analisados por diversos autores . Doyle et al . [ 10 ] realizada
uma reviso e anlise de sistemas multimodais baseados em mapas existentes. Eles ainda
proposto e avaliado um novo sistema de informao geogrfica mveis multimodal (GIS)
chamado
Compass. Parmetros como a eficcia e eficincia
em comparao com a interaco unimodal foram avaliadas . Ramsay et
ai . [20] props a utilizao de gestos de movimento , como a frente
e inclinao para trs de um dispositivo externo para a navegao do mapa.
O estudo centrou-se na avaliao de preferncias do usurio e sua
percepo de novas tcnicas de interao de entrada em comparao
para navegao teclado tradicional. Uma aplicao de guia turstico
foi desenvolvido para realizar uma avaliao do usurio no campo.
Outras atividades ao ar livre mveis tpicos como fazer compras, acessar diferentes tipos de
servios web e tarefas de preenchimento de formulrios foram
tambm explorado. Por exemplo , o objetivo de Wasinger et al. ' S
trabalho [30] foi o de explorar o uso de interao tangvel como
uma modalidade de entrada complementar para a fala , os gestos em 2D
tocar displays e caneta gestos. Eles desenvolveram uma prova de
conceito de aplicao para medir a intuio , bem como
para avaliar combinao preferida de um usurio de modalidades em um
contexto comercial. Por outro lado , como parte do SmartWeb
projeto , Sonntag et al. [28] propuseram o uso de linguagem natural e multimodalidade como
uma interface para recuperar intuitivamente

diferentes tipos de informao a partir de servios web . Um aspecto importante do seu

sistema o seu processamento context-aware
estratgia. Todas as aes do usurio reconhecidos so processados em relao ao seu
contexto situacional e discurso. Finalmente , Reis
et ai . [22 ] investigaram a modalidade preferida do usurio em diferentes ambientes mveis .
Os autores apresentaram um celular
aplicao multimodal que permitia os usurios a responder a questionrios e preencher as
informaes . O teste foi conduzido
em quatro ambientes , incluindo a casa, um parque , o metr
e um carro. As modalidades de entrada avaliados foram caneta 2D e
gestos , bem como a fala ea entrada base de teclado . seu
resultados destacam que em ambientes silenciosos , sem a presena de estranhos ou outros
fatores perturbadores , os usurios estavam ansiosos
para experimentar novas modalidades.
Automatic Multimodal Adaptao de entrada
Temos agora delinear o estado da arte na rea de entrada multimodal mvel com foco em
solues onde ambiental
propriedades so levados em conta como parmetros que influenciam
a seleco de modalidades . As principais caractersticas do trabalho
apresentados nesta seco esto resumidos e ainda classificados na Tabela 1 .
Como parte do SmartKom [23] projeto de pesquisa , B uhler
et ai . [3] apresentou um prottipo de uma verso mvel do
Sistema SmartKom . A relevncia deste trabalho baseia-se
a introduo de um quadro conceptual que lida com
o controle flexvel das modalidades de interaco bem como
uma nova arquitetura para a interao flexvel em ambientes mveis.
Os utilizadores , bem como o sistema pode iniciar uma transio modalidade
entre as modalidades padro. A estrutura conceitual
descreve cinco combinaes de modalidades de entrada e de sada

com base no nvel do usurio da ateno em um carro e uma configurao de pedestres , ou

seja, o padro, ouvinte , silencioso, carro e discurso
s . O mecanismo de adaptao baseada em um conjunto de regras pr-definidas. Por
exemplo , uma transio de entrada automtica
o ambiente piloto permitiu a modalidade de entrada de caneta gesto para ser ligado
automaticamente quando o dispositivo mvel
estava ligado estao de ancoragem em um carro. Da mesma forma , quando
altos nveis de rudo de fundo foram sentiu no pedestre
meio ambiente, a modalidade de entrada de fala foi desativado.
Usando a mesma abordagem baseada em regras , David et al. [7] props um middleware
mvel que facilita o desenvolvimento
e manuteno de interfaces mveis multimodais adaptativos .
O middleware construdo sobre a estrutura e Android
composto de duas camadas , incluindo uma Servios e uma camada de linguagem de
programao . Uma das novidades da abordagem
que esta biblioteca baseada na programao orientada para o contexto
paradigma apresentado em [ 26 ] . Um prottipo de mensagens instantneas
foi construdo para ilustrar a abordagem . O aplicativo permitia aos usurios a ler e escrever
mensagens SMS usando o
teclado ou discurso. Assim, os modos de entrada foram adaptados
dependendo dos movimentos do usurio em uma condio estressante
tais como andar de bicicleta. Por exemplo, quando o usurio estava montando
uma bicicleta , a modalidade de entrada padro foi definido automaticamente para
fala e quando o usurio parou de andar de bicicleta, a modalidade de discurso foi desativado.
Por sua vez, Kong et al. [13] props um quadro com base em
adaptao humana -centric. Em contraste abordagens baseadas em regras para , eles
quantificar a preferncia mdia do usurio para
uma modalidade em um determinado contexto de interao. Por exemplo , um
ambiente escuro pode reduzir pontuao preferncia de um usurio para
modalidades relacionadas com a exibio visual . Adaptao pode, portanto, ser visto como a
procura de um melhor conjunto de modalidades com

a pontuao mais alta preferncia por um determinado cenrio. O algoritmo de adaptao

tambm verifica que a modalidade selecionada faz
no exceda os recursos do sistema . O design do aplicativo e
processo de desenvolvimento de acordo com o quadro proposto
pode ser sintetizado em trs etapas . Em primeiro lugar, determinar as tarefas
e as modalidades de entrada / sada disponveis para um determinado tipo de dispositivo.
Em seguida , os cenrios de interaco , bem como o contexto de interaco dever ser
determinada . Last but not least , os designers
tem que avaliar a pontuao mdia de preferncia de uma modalidade
para um contexto de interaco especfico . Para obter este valor , uma pesquisa com os
usurios finais devem ser realizadas . Os resultados da
pesquisa esto finalmente usado como entrada para um algoritmo heurstico .
Zaguia et al . [31] apresentou uma abordagem interessante para o
deteco da modalidade ideal. Eles exploraram o domnio
de acesso a servios web utilizando uma modalidade de abordagem ativao baseada em
contexto. A parte importante de sua abordagem que
MOBILE HCI 2013 - ADAPTAO E DESIGN 29 de agosto de 2013 - MUNIQUE , ALEMANHA 287
Nome modalidades de interaco
Tcnicas
interao
Sensores
dispositivos de sada
influncia
Propriedades cuidado com o ambiente
Condies
FMA Adaptao Aplicao
domnio
Buhler
et ai .

2002 [3]
- discurso
- Caneta gestos
- naturais
dilogo
- apontando
- microfone
- stylus
sem fio
computador
( iPAQ )
e laptop
sim
- grfica
- udio
complementaridade
dilogo naturais + apontador
( informaes sobre um lugar )
atribuio
modo de discurso : o dilogo naturais
modo silencioso / ouvinte : Apontar
equivalncia
modo padro : Natural
dilogo ou apontador
conduo
condies sociais : estresse
localizao : Carro

caminhada
condies fsicas : alto
nvel de rudo
condies sociais : interao social estressante
localizao : rua
F ME : velocidade de conduo,
estado dos freios , localizao, nvel de rudo
AP : regra baseada
AM : default interruptor
modo de entrada
Mapa e GIS
SmartKom
David
et ai .
2011 [ 7]
- discurso
- Gestos 2D
- ditado
- digitao
- microfone
- toque
display
smartphones
(Android)
sim
- grfica
- udio

- Vibrao
equivalncia
digitao, ditado ( mensagem escrita, resposta de verificao )
localizao : localizao GPS
condies sociais : estresse
( ciclismo )
M ME: velocidade GPS
AP : regra baseada
AM: modalidades de comutao
comunicao
aplicao SMS
Kong
et ai .
2011 [ 13]
- discurso
- Gestos 2D
- Caneta gestos
(N / A) - microfone
- toque
display
- stylus
smartphones no
- udio
- Vibrao
atribuio
biblioteca: gestos 2D
equivalncia

ao ar livre : fala, gestos 2D

shopping : gestos 2D ,
caneta gestos
local: shopping center ,
ao ar livre, biblioteca
condies fsicas : a luz
nvel (claro , mdio
escuro ), tempo ( sol,
nublado, chuvoso ) , nvel de rudo
( barulhento, silencioso)
F ME: luz ambiente,
nvel de rudo , tempo,
localizao , temperatura
AP : centric humano
(escore de preferncia)
AM : corrente chave
conjunto de modalidades
diverso
aplicativo de rede social
Zaguia
et ai .
2010 [ 31]
- discurso
- Gestos 2D
- Manipulao indireta
- voz
comandos

- nico toque
- digitao
- Pressione a tecla
- microfone
- toque
display
- teclado
sem fio
computador
e laptop
sim
- grfica
- udio
equivalncia
selecionar campos : pressione a tecla , de voz
comandos , nico toque
de entrada de dados : comandos de voz,
datilografia
local: casa, trabalho, em
movimento
condies fsicas : a luz
nvel (claro , escuro, ... ) ,
nvel de rudo ( rudo, silencioso)
A ME: nvel de rudo , localizao, nvel de luz
AP : regra baseada
AM: ativar / desativar
modalidade preferida

Servios
reserva de voo
Porta
et ai .
2009 [ 19]
- discurso
- Gestos 2D
- movimento
gestos
- naturais
dilogo
- nico toque
- Shake
- microfone
- toque
display
- acelermetro
smartphones
(iOS )
no
- grfica
- udio
complementaridade
torneira nica + linguagem natural
( encontrar detalhes de um item)
atribuio
discurso : pedir informaes

tremer : desfazer tarefa

localizao : relative localizao
( dispositivo de boca) , ao ar livre
condies sociais : estresse,
tarefas crticas de tempo
A ME: dispositivo de boca
proximidade
AP : regra baseada
AM: permitir discurso
Servios
sistema B2B
Turunen
et ai .
2009 [ 29]
- discurso
- movimento
gestos
- Gestos extras indiretos
- manipulao
- voz
comandos
- tilt
- Item de toque
- Pressione a tecla
- microfone
- acelermetro
- Leitor de NFC

- Teclado
smartphones
(Symbian)
sim
- grfica
- Vibrao
complementaridade
inclinao vertical + pressione a tecla ( movimento
seleo) , inclinao horizontal + chave
imprensa ( opes de zoom )
equivalncia
fala, gestos extras (menu
opes)
localizao : relative localizao
( dispositivo de boca)
condies fsicas : a luz
nvel ( muito escuro)
A ME: dispositivo de boca
proximidade
AP : regra baseada
AM: permitir discurso
modalidade
diverso
media center
Tabela 1. Resumo da pesquisa sobre a adaptao de entrada automtica sensvel ao contexto.
A coluna Influncia Sada lista todas as modalidades de sada , juntamente com
informaes se a sada adaptado. Na adaptao da coluna, 'ME' significa entidade
monitoramento, ' AP ' para a poltica de adaptao e 'AM ' para

mecanismo de adaptao .
ele garante que as modalidades invocadas so adequados para um usurio de
situao atual. O sistema , ou mais especificamente um agente dedicado interao contexto,
responsvel pela deteco
informao de contexto , bem como a seleco da modalidade ideal. Este valor calculado
com base na avaliao de fatores relacionados ao contexto de interao. interao
contexto refere-se ao contexto do usurio (por exemplo, usurio regular , surdo, mudo,
manualmente deficientes ou com deficincia visual ), ambientais
contexto ( por exemplo, nvel de rudo ou o brilho no local de trabalho )
e contexto do sistema (por exemplo, recursos do dispositivo de computao) .
A abordagem foi ainda ilustrado com um sistema de reserva de bilhetes. A aplicao permitiu
que os usurios de reservar um bilhete
com base nas modalidades ptimas fornecidas pelo sistema e
transies potenciais foram descritos por Petri diagramas de rede.
Porta et al . [ 19 ] investigaram o uso de entrada multimodal
no domnio do apoio deciso , a fim de facilitar o acesso de informaes em situaes crticas
de tempo. Um sistema businessto -business (B2B) que apoiou gestos 2D , movimento
gestos , bem como as modalidades de entrada de fala foi desenvolvido . em
esta aplicao , o discurso e 2D modalidades gesto eram
utilizado de uma forma complementar para pesquisar informaes , enquanto
gestos de movimento (por exemplo, agitando o dispositivo ) foram utilizados para a
implementao de uma operao de desfazer . Nesta abordagem , o sistema
automaticamente ligado a modalidade de discurso quando o usurio
moveu o brao segurando o aparelho perto de sua boca.
Dentro do domnio do entretenimento , Turunen et ai . [29] apresentou uma interface de
media center multimodal. A interface permitiu que os usurios interajam com entrada de voz ,
gestos extras (interao tangvel ) e gestos de movimento . Na mesma forma como
Porta et al. , A modalidade discurso foi comutada automaticamente
quando um usurio moveu o dispositivo perto de sua boca.
ANLISE

A nossa anlise baseia-se nos artigos introduzidos na seco anterior . Trs dimenses
diferentes so observadas : o
combinao de modalidades, sensibilidade ao contexto e automtico
adaptao. As duas primeiras dimenses servir como um conceitual
base para entender os padres de composio multimodal comuns, bem como para analisar a
adequao das modalidades de acordo com as variaes de contexto . Estes aspectos so
fundamentais durante a fase de concepo de uma adaptao sensvel ao contexto eficaz
aplicao multimodal . Note-se que , para uma menor extenso , gentio
et ai . [12] tambm explorou caractersticas dos sistemas adaptativos.
Combinao de modalidades
Todos os quatorze artigos , exceto um , explorou diferentes
combinaes equivalentes e complementares de modalidades.
O artigo remanescente , Ronkainen et al . [ 24 ] , investigou o
atribuio de uma modalidade de entrada especfica para executar uma determinada tarefa.
Por exemplo , os autores estudaram a utilizao do
MOBILE HCI 2013 - ADAPTAO E DESIGN 29 de agosto de 2013 - MUNIQUE , ALEMANHA 288
Discurso 2D Gestos Movimento Gestos Pen Gestos manipulao indireta Gestos extra
Discurso E [ 7,8,13,14,22,31 ] , C [ 19,30 ] E [ 29] E [ 3,8,10,22 ] , C [ 3,8,10,28,30 ] E [ 8,22,31 ] E
[ 29 ] , C [ 30 ]
2D Gestos E [ 7,8,13,14,22,31 ] , C [ 19,30 ] E [ 14] E [ 8,13,22,30 ] E [ 8,22,31 ] E [ 30]
Movimento Gestos E [ 29] E [ 14] E [ 20] , C [29]
Pen Gestos E [ 3,8,10,22 ] , C [ 3,8,10,28,30 ] E [ 8,13,22,30 ] E [ 8,22 ] E [ 30]
Indireto Manipulao E [ 8,22,31 ] E [ 8,22,31 ] E [ 20] , C [29] E [ 8,22 ]
Extra Gestos E [ 29] , C [30] E [ 30] E [ 30]
Tabela 2. Resumo da combinao de modalidades com as citaes correspondentes ( 'E'
significa equivalncia e 'C' de complementaridade )
gesto duplo toque na parte de trs do dispositivo, como uma tcnica alternativa para silenciar
o dispositivo ou para comear a entrada de fala
reconhecimento . importante notar a influncia da
modalidade de entrada atual na seleo da modalidade de sada. A discusso das modalidades
de sada est fora do alcance

desta anlise , no entanto esta relao especfica tem sido

revistos. Os resultados mostraram que em sete dos quatorze
artigos [ 3,7,8,14,24,29,31 ] a modalidade de entrada seleccionada influenciou a modalidade
de sada . Tambm vale a pena destacar que
apenas em Wasinger et al . ' s [ 30 ] trabalhar o uso de redundncia
foi observada . Um resumo das combinaes de diferentes
modalidades fornecido na Tabela 2 .
Curiosamente , os resultados mostram que a modalidade de entrada de voz
presente em cerca de 86 % dos artigos , excepo
de [ 20,24 ] . Os comandos de voz so constitudas principalmente por frases curtas
contendo algumas palavras e comparado com uma gramtica de
regras . Esta tcnica interaco tem sido usado principalmente em
conjunto com as tcnicas baseadas na apontadores . Desta forma , ele
era possvel pedir o sistema de informaes relacionadas a um
elemento apontado pelo usurio. Doze dos quatorze
projetos de pesquisa fez uso das telas de toque de recente
smartphones ou PDAs . Modalidades associados tcteis so gestos 2D e caneta gestos , com
uma aparncia
de, aproximadamente, 64% e 50% nos trabalhos revisados . o
resultados mostram ainda que as tcnicas utilizadas por interaco
as duas modalidades so muito semelhantes . Em geral , eles foram
usado para apontar tarefas , especificamente para selecionar itens na interface. Gestos com
base em tcnicas de reconhecimento de gestos so
principalmente usado para executar tarefas de navegao ou atmicas. Por exemplo , os
gestos de navegao como inclinando o dispositivo para cima , para baixo,
esquerda ou direita foi observado em trs dos quatro artigos [ 14,20,29 ] . Por sua vez , as
aes atmicas so realizadas principalmente
usando um "gesto trema " . Por exemplo , Porta et al . [ 19 ] utilizada
este gesto para especificar uma ao de desfazer . A vantagem

este tipo de gestos o suporte para a interao com uma s mo . Alm disso , o nvel de
ateno para o dispositivo tambm reduzido . Por ltimo, mas no menos importante, o uso
de gestos extras atravs
a interao com os objetos tangveis s foi explorado
por Wasinger et al . [ 30 ] e Turunen et ai . [ 29 ] . No primeiro caso, as etiquetas RFID foram
anexados aos produtos em uma loja e
pegar e colocar de volta as aes do usurio foram avaliados para detectar
se os objetos estavam dentro ou fora da prateleira. no
Este ltimo , Turunen et ai . mapeadas as principais opes do sistema
a uma placa de controle tablet A3 que - por meio de tags RFID rotulados
ligaes armazenadas para as opes do menu . Em ambos os artigos, avaliaes de usurios
indicam uma boa aceitao por parte dos participantes.
conscincia de Contexto
Vamos agora abordar a adequao das modalidades de entrada de acordo com as
configuraes de contexto especfico . Esta anlise baseia-se fortemente sobre os artigos que
realizaram estudos de usurios no mundo real
configuraes [ 10,14,20,22 ] . Da mesma forma, estudos realizados em laboratrio [ 13,29,30 ]
tambm so levados em conta, porque
eles avaliam o preferability ou adequao de modalidades em
contextos especficos . Finalmente , a anlise realizada em contexto
quatro artigos [ 3,8,24,31 ] so uma fonte adicional para a anlise apresentada .
Em geral, os usurios se sentem confortveis usando todas as modalidades em locais privados ,
onde a interao social, bem como os nveis de rudo so
baixa. Isto foi observado em Zaguia et al . ' S [ 31 ] de trabalho , onde todos
modalidades foram categorizados como apropriado para a semntica
localizao casa com baixos nveis de rudo e um bem iluminado
ambiente . No entanto, em ambientes pblicos os resultados
eram diferentes . Trabalho em Reis et al. ' S [22] , um estudo realizado
na natureza , especificamente nas quatro configuraes do mundo real de uma
casa, um parque , o metr e um carro mostrou que em casa

ambiente, os usurios esto ansiosos para experimentar com as modalidades

que achei interessante . Os resultados neste cenrio destaque
usurios que todas avaliadas aplicada interao de voz para selecionar as opes de menu ,
bem como para entrada de dados. Note-se que o comportamento no era o mesmo nas trs
outros ambientes .
Quando as condies ambientais ideais mudam, modalidade preferida do usurio varia
tambm. A Tabela 3 apresenta um resumo
da adequao / preferability de cada modalidade em configuraes ambientais especficos. As
variveis de ambiente observados so retirados do modelo de ambiente de descrita no
Quadro de referncia Cameleon [4] .
Variveis de Ambiente Speech 2D / Pen / Indiretos
manipulao
movimento
Gestos
extra
Gestos
fsico
condio
brilho B / D [ 31] B [31] B / D [ 29] N / A
nvel de rudo L [ 10,31 ] G / H [ 31 ] N / D N / D
social
condio
estresse H [ 3,14,22 ] L [ 8,22,24 ] M [ 14,20 ] N / A
social
interao
L [ 22 ] M / H [ 14,20,22 ] M [ 14,20 ] N / D
localizao semntica
localizao
I [ 10,22,30,31 ] ,

O [ 3,13,14,22 ]
I [ 13,14,24,30,31 ] ,
O [ 13,20,30 ]
I [ 14 ] ,
O [ 20 ]
I [ 29,30] ,
O [ 30 ]
Tabela 3. Adequao das modalidades para diferentes condies ambientais
('B' significa brilhante, 'D' para a obscuridade , 'L' para baixo , 'M' para o meio , 'H' para
alta , 'I' para dentro de casa e 'O' para o exterior )
Adaptao automtica
Com base nas referncias apresentadas na Tabela 1 , a anlise de
os principais recursos de adaptao automtica apresentada . primeiro ,
ns fornecemos uma anlise do componente entidade de monitoramento.
Por isso , analisamos as entidades que monitoram e iniciar o
mecanismo de adaptao nos artigos revisados . Baseando-se em
classificao propriedade de ambiente do mbito da Cameleon ( condies fsicas , localizao
e condies sociais ), ele
foi possvel analisar qual varivel de ambiente especfico
foi utilizado para as quais tarefa . Alm disso , analisou-se o tipo de
de poltica de adaptao e de adaptao tcnica mecanismo observado em diferentes
aplicaes. A Tabela 4 apresenta um resumo
MOBILE HCI 2013 - ADAPTAO E DESIGN 29 de agosto de 2013 - MUNIQUE , ALEMANHA 289
dos artigos investigados em termos de recursos bsicos para
adaptao automtica.
Monitoramento Entidade
Esta seco concentra-se em condies tais tipos de sistemas
adaptar-se e as variveis de ambiente usadas. A partir da Tabela 4 ,

pode-se observar que apenas as variveis fsicas e baseados em localizao foram usados
como adaptao desencadeia . Interessantemente , nenhum
dos estudos avaliados usa mtodos de deteco sugesto sociais
baseado em sensores internos de mveis ou outras tcnicas capazes de
detectar a interao social. Nas informaes a seguir , detalhadas sobre as condies fsicas e
variveis de localizao que
influenciado a adaptao fornecido .
Condies fsicas: as entidades de monitoramento nesta categoria so na sua maioria built-in
sensores que detectam mudanas constantemente
em condies fsicas, como rudo e nvel de luz , tempo
ou acelerao.

alm de

et ai .

no disponvel.

componentes .
artigos.

Por outro lado ,

ai .

componente .

DIRETRIZES

No entanto ,

Em particular ,

a exata

Isto conduzir

Por exemplo , se o

Note-se que

modalidades.

neste

Nesta fase ,

estes

tela.

pelo utilizador .

por favor

aplicao.
Em seguida ,

Por sua vez ,

comportamento.

boto

boto

criao

boto

mover-se entre
meses de calendrio

boto

boto

para

Foram identificadas .

CONCLUSO

modalidades.

AGRADECIMENTOS

Referncias

em
Proc .

Documentos.

Dispositivos mveis.

Aplicaes.
Springer

em

Internacional

Aplicaes.

Servios.

Science.

2010) .