Pesquisa

Experimental
Prof. Jose Fernando Rodrigues Junior
junio@icmc.usp.br

Slides concebidos e cedidos por:

Nemesio Freitas Duarte Filho
Kleberson Junio do Amaral Serique
Prof. Dra. Renata Pontin

Leitura recomendada 1
Capitulo 2:
Experimental research
(Jonathan Lazar, Jinjuan Heidi
Feng, & Harry Hochheiser Research Methods in HumanComputer Interaction, Wiley,
2010. ISBN 0-470-72337-8, 9780-470-72337-1)

Roteiro
Introduo e motivao
Conceitos bsicos da pesquisa experimental

Passos de um experimento
Varivel dependente & independente

Hipteses Alternativas e nulas

Tipos de erros
Limitaes da pesquisa experimental
3

Motivao
A investigao cientfica, juntamente com os seus fundamentos,
so elementos importantes para a Cincia, proporcionando a
descoberta de novos conhecimentos em diversas reas.

Entretanto, ocorrem diferenas significativas no modo de se

praticar a investigao cientfica.

Isso acontece, devido diversidade de perspectivas em relao ao

foco, objetivos, contextos e aspectos a serem pesquisados.

Introduo
A pesquisa experimental tem como finalidade testar
hipteses que dizem respeito convico do pesquisador.

Ela envolve grupos de controle, seleo aleatria e

manipulao de variveis.

Buscam-se generalizaes por meio de tcnicas de coleta de

amostragem realizadas durante a experincia.
5

Introduo
A pesquisa experimental caracteriza-se por manipular
diretamente as variveis relacionadas com o objeto
de estudo.

Portanto, a pesquisa experimental pretende dizer de

que modo ou por que causas o fenmeno
produzido.

Conceitos bsicos da Pesquisa

Experimental
A pesquisa experimental constitui o delineamento mais prestigiado
nos meios cientficos.

Consiste essencialmente em determinar um objeto de estudo,

selecionar as variveis capazes de influenci-lo e definir as formas
de controle e de observao dos efeitos que a varivel produz no
objeto.

Trata-se, portanto, de uma pesquisa em que o pesquisador um agente ativo, e

no um observador passivo.
7

Conceitos bsicos da Pesquisa

Experimental
A pesquisa experimental, pode ser desenvolvida em qualquer lugar,
desde que apresente as seguintes propriedades:
a) Manipulao: o pesquisador precisa fazer alguma coisa para manipular
pelo menos uma das caractersticas dos elementos estudados;

b) Controle: o pesquisador precisa introduzir um ou mais controles na

situao experimental, sobretudo criando um grupo de controle;
c) Distribuio aleatria: a designao dos elementos para participar dos
grupos experimentais e de controle deve ser feita aleatoriamente.

Conceitos bsicos da Pesquisa

Experimental
A pesquisa experimental se baseia em alguns princpios:

Temos uma idia de relao causa-efeito

Acreditamos que existe uma relao entre a construo da causa e a construo do efeito
Temos formulaes de hipteses a serem testadas
Temos vrios tratamentos (variveis independentes)
Executamos o experimento e observamos a sada (variveis dependentes)

Se o experimento foi corretamente elaborado, podemos formular concluses

a respeito da relao causa-efeito para a hiptese estabelecida
9

Conceitos bsicos da Pesquisa

Experimental

10

Passos de um Experimento
1-Definio do Contexto

O escopo do experimento estabelecido em termos do problema existente, objetivos e metas

2-Planejamento
O projeto do experimento determinado, a instrumentao preparada e as ameaas ao experimento so
avaliadas
3-Execuo
Medies so realizadas

4-Anlise e Interpretao
Dados coletados so analisados com suporte estatstico
5-Apresentao e Empacotamento
Os resultados so apresentados e empacotados (criao de BD para armazenar todos os dados do
experimento para sua reutilizao)
11

Variveis dependentes e
independentes
Ao conduzir um experimento, queremos estudar as sadas modificando
algumas variveis de entrada do processo.
Antes de iniciar a execuo de um experimento necessrio definir as
variveis dependentes e independentes
Existem 2 tipos de variveis em um experimento:

Independentes

Dependentes

12

Variveis dependentes e
independentes
Independentes
Todas aquelas que so manipuladas ou controladas

Dependentes
So aquelas que queremos estudar para ver os efeitos
das mudanas nas variveis independentes
Normalmente temos apenas uma varivel dependente
13

Variveis dependentes e
independentes
Variveis independentes:
So aquelas que podemos controlar e mudar
Escolher as variveis no fcil e, normalmente, exige conhecimento do domnio
Possuem um certo efeito sobre as variveis dependentes
Variveis dependentes:
Mede o efeito dos tratamentos
Normalmente, definida somente 1 varivel dependente derivada diretamente das hipteses

Na maioria das vezes no diretamente mensurvel

14

Variveis dependentes e
independentes
Exemplo de Variveis: estudar os efeitos de um novo mtodo de desenvolvimento com
relao produtividade dos desenvolvedores
Considerando que um mtodo OO ser introduzido no lugar de um mtodo baseado em
funes
Varivel dependente:
produtividade
Variveis independentes:
Mtodo de desenvolvimento
Experincia do pessoal
Suporte de ferramentas
Ambiente de trabalho
15

Variveis dependentes e
independentes

16

Hipteses de Pesquisa
Uma hiptese deve ser declarada formalmente.
e os dados coletados durante a execuo experimental
devero ser usados para, se possvel, rejeitar a hiptese.

Se a hiptese pode ser rejeitada/aceita ento

concluses podem ser feitas, com base no teste de
hiptese levando em considerao alguns riscos

17

Hiptese nula vs Hipteses

alternativas
A definio de um experimento formalizada por
meio de hipteses.

Duas hipteses devem ser formuladas.

Hiptese nula (H0) declara que no existem

condies de tendncia ou padres em um
experimento.
18

Hiptese nula vs Hipteses

alternativas
a hiptese que queremos REJEITAR com a maior
significncia (certeza) possvel.

Exemplo: Uma tcnica nova de inspeo encontra, na

mdia (), o mesmo nmero de falhas (#F) que a
tcnica antiga

19

Hiptese nula vs Hipteses

alternativas
Hiptese Alternativa (H1) declarada a favor do
que rejeita a hiptese nula.

Exemplo: Uma tcnica nova de inspeo encontra, na

mdia (), mais falhas (#F) que a tcnica antiga.

20

Hiptese nula vs Hipteses

alternativas
A hiptese nula H0 representa a circunstncia que est
sendo testada, e o objetivo dos testes de hipteses sempre
tentar rejeitar a hiptese nula.

A hiptese alternativa H1 representa o que se deseja

provar ou estabelecer, sendo formulada para
contradizer a hiptese nula.

21

Erros: type I and type II

Existem vrios testes estatsticos de hiptese.

Todos esto baseados na idia de que as hipteses so

formuladas antes dos testes estatsticos serem escolhidos
e realizados.

O teste de hipteses envolve diferentes tipos de riscos:

Ou o teste rejeita uma hiptese verdadeira (falso positivo)
Ou o teste no rejeita uma hiptese falsa (falso negativo)
22

Erros: type I and type II

Repare que, ao testarmos uma hiptese nula, chegamos a
uma concluso:
rejeit-la, ou no rejeit-la

Entretanto, devemos lembrar que tais concluses ora so

corretas, ora so incorretas (mesmo quando fazemos tudo
corretamente!).

Este o preo a ser pago por estarmos trabalhando em uma

situao onde a variabilidade inerente !!!
23

Erros: type I and type II

Type-I-error
Ocorre quando um teste estatstico indica um padro/relacionamento mesmo
que no exista um padro/relacionamento real

A probabilidade de cometer um erro desse tipo pode ser expressa como:

No exemplo de hipteses apresentado, type-I-error a probabilidade de

rejeitar H0 mesmo que as 2 tcnicas, na mdia (), encontrem o mesmo
nmero de falhas (#F)

24

Erros: type I and type II

Type-II-error
Ocorre quando um teste estatstico no indica um padro mesmo se tal
padro/relacionamento existir

A probabilidade de cometer um erro desse tipo pode ser expressa como:

No exemplo de hipteses apresentado, type-II-error a probabilidade de no

rejeitar H0 mesmo que as 2 tcnicas, na mdia, possuam mdias () do
nmero de falhas (#F) encontradas diferentes

25

Erros: type I and type II

26

Controle de riscos: type I and

type II
O tamanho do erro depende de diferentes fatores

Um exemplo a habilidade do teste estatstico revelar

um padro/relacionamento verdadeiro em dados
coletados
Conhecido como o Poder do Teste (P)

27

Controle de riscos: type I and

type II
O poder de um teste estatstico a probabilidade do
teste revelar um padro verdadeiro se H0 for falsa.

Para tanto, ao realizar um experimento devemos

escolher um teste com o maior P possvel.

28

Controle de riscos: type I and

type II
Exemplo:
A eficcia de certa vacina aps um ano de 25% (isto , o efeito
imunolgico se prolonga por mais de um ano em apenas 25%
das pessoas que a tomam). Desenvolve-se uma nova vacina,
mais cara, e deseja-se saber se esta , de fato, melhor.
Sendo p a proporo de imunizados por mais de um ano com
a nova vacina...
Quais hipteses devem ser formuladas?

Que erros poderemos cometer?

29

Controle de riscos: type I

andtype II
Exemplo:
Hiptese nula:H0 : p = 0,25

Hiptese alternativa:H1 : p > 0,25

Erro tipo I: aprovar a vacina quando, na realidade, ela no tem
nenhum efeito superior ao da vacina em uso.

Erro tipo II: rejeitar a nova vacina quando ela , de fato, melhor
que a vacina em uso.
30

Seleo dos participantes

A seleo dos participantes est diretamente relacionada
generalizao dos resultados de um experimento
Para tanto, a seleo deve ser representativa para a
populao Seleo de participantes = amostra de uma
populao
A amostragem pode ser probabilstica ou no-probabilstica

Amostragem probabilstica: a probabilidade da seleo de

cada participante conhecida
Amostragem no-probabilstica: a probabilidade da seleo
de cada participante no conhecida
31

Seleo dos participantes

Exemplos de tcnicas de amostragem probabilstica
incluem:
Amostragem aleatria simples:
participantes selecionados aleatoriamente de uma lista da
populao
Amostragem sistemtica:
1. participante selecionado aleatoriamente da lista da
populao

n-simo participante selecionado da lista

32

Seleo dos participantes

O tamanho da amostra tem impacto sobre a generalizao dos
resultados de um experimento
Quanto maior a amostra, menor a chance de errar ao generalizar
os resultados
Princpios gerais para escolher o tamanho da amostra:
Se existir uma ampla variabilidade na populao, uma amostra de
tamanho maior necessria;
A anlise dos dados pode influenciar a escolha do tamanho da
amostra.

33

Limitaes da Pesquisa
Experimental
As

pesquisas experimentais constituem o mais valioso

procedimento disponvel aos cientistas para testar hipteses que
estabelecem relaes de causa e efeito entre as variveis.

Em virtude de suas possibilidades de controle, os experimentos

oferecem garantia muito maior do que qualquer outro
delineamento de que a varivel independente causa efeitos na
varivel dependente.
A despeito, porm, de suas vantagens, a pesquisa experimental
apresenta vrias limitaes.
Primeiramente, existem muitas variveis, cuja manipulao
experimental se torna difcil ou mesmo impossvel.
34

Limitaes da Pesquisa
Experimental
Uma srie de caractersticas humanas, tais como idade, sexo
ou histrico familiar, no podem ser conferidas s
pessoas de forma aleatria.
Outra limitao consiste no fato de que muitas variveis que
poderiam ser tecnicamente manipuladas esto sujeitas as
consideraes de ordem tica que probem sua
manipulao.
No se pode, por exemplo, submeter pessoas a atividades
estressantes com vistas a verificar alteraes em sua
sade fsica ou mental.

35

Leitura recomendada 2
Capitulo 3:
Experimental design
(Jonathan Lazar, Jinjuan Heidi
Feng, & Harry Hochheiser Research Methods in HumanComputer Interaction, Wiley,
2010. ISBN 0-470-72337-8, 9780-470-72337-1)

36

Roteiro
O que preciso ser considerado quando delineamos
experimentos?

Determinar a estrutura bsica

Investigar uma nica varivel independente

Investigar mais de uma varivel independente

Confiabilidade do resultados experimentais

Procedimentos experimentais
37

Introduo

38

Introduo
Experimentos bem projetados
Experimentos mal projetados

Experimentos em HCI:
Desenvolver e modificar modelos ou tarefas
Avaliar diferenas no designer de solues
Responder questes criticas:
Ex. Qual tecnologia a ser adotada?
39

Experimentos verdadeiros
Baseado no teste e validao da hiptese de pesquisa
Duas condies ou grupos
Varivel dependente medidas quantitativas
Resultados analisados sign. estatsticos
Projetado e conduzido com o objetivo de remover
tendncias (bias)

Replicado diferentes tempo, local e experimentos

40

O que preciso ser considerado

quando delineamos experimentos?
Vrias questes ao desenvolver experimentos HCI
Questes so universais para todos os experimentos
cientficos
Hiptese de pesquisa
Medio de variveis dependentes
Controle de mltiplas condies

Questes humanas
Efeito de aprendizagem
Conhecimento dos participantes
Tamanho do pool de participantes
41

O que preciso ser considerado

quando delineamos experimentos?
Numero de valores das variveis independente
determina a quantidade de condies:
No existe diferena na velocidade de seleo de alvos
ao se usar um mouse, um joystick ou um trackball para
selecionar icones em diferentes tamanhos

42

O que preciso ser considerado

quando delineamos experimentos?
No existe diferena na velocidade de seleo de alvos
ao se usar um mouse, um joystick ou um trackball para
selecionar cones em diferentes tamanhos (P,M e G)

Variveis:
Tipos de dispositivos (3)
Tamanho dos cones (3)

Numero de condies:
(9)

43

O que preciso ser considerado

quando delineamos experimentos?
Identificar varivel dependente
Velocidade de digitao
Palavras por minuto
Palavras corretas por minuto

Controlar variveis independentes

Na maior parte dos casos fcil
Ex. Aplicativo baseado em voz
Controle de erro de comando
Wizard-of-Oz (+ na prxima aula, teste de usabilidade)
44

Roteiro
O que preciso ser considerado quando delineamos
experimentos?

Determinar a estrutura bsica

Investigar uma nica varivel independente

Investigar mais de uma varivel independente

Confiabilidade do resultados experimentais

Procedimentos experimentais
45

Determinar a estrutura bsica

Baseado na hiptese de pesquisa
Estimativas de tempo e oramento
Estrutura bsica:
Quantas variveis independentes sero investigadas?
Quantos valores diferentes em cada varivel
independente?

46

Determinar a estrutura bsica

47

Roteiro
O que preciso ser considerado quando delineamos
experimentos?

Determinar a estrutura bsica

Investigar uma nica varivel independente

Investigar mais de uma varivel independente

Confiabilidade do resultados experimentais

Procedimentos experimentais
48

Investigar uma nica varivel

independente
Planejamento bem simples em relao mltiplas
variveis

Exemplos:
H1: No h diferenas no tempo de digitao (Teclados:
QWERTY, DOVORAK ou Alfanumrico)
H2: No h diferenas no tempo de localizar um item em
uma loja virtual entre usurios novatos e experientes
H3: No h diferenas na confiana percebida em um agente
on-line entre os clientes dos EUA, Rssia, China e Nigria

49

Investigar uma nica varivel

independente
Numero de condies possveis est relacionando a
quantidade de valores das variveis independentes.

H1: 3 condies
H2: 2 condies

H3: 4 condies

50

Investigar uma nica varivel

independente
Entre grupos (between-group design)

Dentro de grupo (within-group design)

Passo critico que impacta:
Qualidade dos dados
Os mtodo estatstico que devem ser usados

51

Between-group design ou
Within-group design
Between-group design:
Cada participante exposto a uma condio
Grupos de participantes == Numero de Condies

52

Between-group design ou
Within-group design
Within-group design:
Cada participante exposto a todas as condies
Apenas um grupos de participantes

53

Vantagens e desvantagem do
Between-group design
Vantagens:
Sem efeito de aprendizagem
Tempo de execuo do participante e muito pequeno
Fadiga e confuso podem ser controlados

Desvantagens:
comparao de performance entre grupos
Diferenas individuais so percebidas
Alto nvel de rudo nos dados

54

Vantagens e desvantagem do
Between-group design
Para excluir dados de rudo:
Grande numero de participantes
Grande tamanho de amostragem

Numero de participantes em cada condio (m)

Numero de condies (n)

Numero total de participantes necessrios (m x n)

Uma tarefa muito desafiadora

Exemplo: n=4

m=16 total = 64
55

Vantagens e desvantagem do
Within-group design
Vantagens:

Tamanho menor da amostra

Diferenas individuais podem ser isoladas
Diferenas esperadas podem ser observadas
Se n=4 e m=16 iremos precisar de 16 e no 64
Custos reduzidos no experimento

Desvantagens:
Possveis efeitos de aprendizagem
Fadiga dos participantes
ex. ATM
56

Comparao entre Between-group

design e Within-group design

57

Escolher a melhor abordagem

de design apropriada
Deciso muito difcil e diretamente relacionado a
qualidade dos resultados do experimento

Between-group design
Quando investigamos tarefas simples
difcil estimar as diferenas individuais (DI)
A DI tente ser pequena quando envolve tarefas simples e
processo cognitivo limitado
H2: No h diferenas no tempo de localizar um item em
uma loja virtual entre usurios novatos e experientes
H3: No h diferenas na confiana percebida em um agente
on-line entre os clientes dos EUA, Rssia, China e Nigria
58

Escolher a melhor abordagem

de design apropriada
Within-group design
Buscar em grandes diferenas individuais
Menos suscetvel as diferenas individuais
Tarefas mais complicadas: leitura, compreenso,
recuperao da informao e resoluo de problemas
Menos suscetvel aos efeitos de aprendizagem
Recrutamento de participantes (pequeno)

59

Escolher a melhor abordagem

de design apropriada
Within-group design
Controlar:
Efeito de aprendizagem (randomizar, treinamento)
Fadiga (tarefas modestas, 60-90 minutos, paradas)
Outros problemas relacionados

60

Roteiro
O que preciso ser considerado quando delineamos
experimentos?

Determinar a estrutura bsica

Investigar uma nica varivel independente

Investigar mais de uma varivel independente

Confiabilidade do resultados experimentais

Procedimentos experimentais
61

Investigar mais de uma

varivel independente
Factorial Design
Mais de uma varivel independente ou fator
Formula para o numero de condies:

C = numero de condies
V = numero de nveis de cada varivel
62

Investigar mais de uma

varivel independente
Exemplo:

QWERTY, DVORAK e Alfanumrico

Tempo de digitao
Efeito de tarefas diferentes (Composio e Transcrio)
Varivel tipo de teclado: 3 valores
Varivel tipo de tarefa: 2 valores
Numero de condies = 3 X 2 = 6

63

Investigar mais de uma

varivel independente
Exemplo: (resultado)

Within-group design (6 grupos)

Between-group design (1 grupo)

64

Split-plot design

Uma abordagem do Within-group design e Between-group design juntos,

aomesmo tempo

Variveis podem ser distribudas nos design

Exemplo: idade e uso do GPS

Idade Between-group

Forma de uso Within-group

65

Efeitos de Interao
Factorial design efeitos de interao entre as
variveis independentes

Variveis independentes X e Y
Varivel dependente Z (X e Y)

Exemplo:
Tipos de dispositivos (mouse ou touch screen)
Tipos de usurios (novatos e experientes)

66

Efeitos de Interao
Exemplo:

67

Roteiro
O que preciso ser considerado quando delineamos
experimentos?

Determinar a estrutura bsica

Investigar uma nica varivel independente

Investigar mais de uma varivel independente

Confiabilidade do resultados experimentais

Procedimentos experimentais
68

Confiabilidade do resultados
experimentais
Confiabilidade de experimento pode ser replicado
em outro local, outro time, outros campos, etc.

HCI & hardsciences

Comportamento humano e interao social
Alto grau de flutuabilidade (erros)
Menos replicado

69

Erros randmicos
Valor real: 50 palavras / minuto
5 sesses:

Sesso 1: 46 palavras / minuto

Sesso 2: 52 palavras / minuto
Sesso 3: 47 palavras / minuto
Sesso 4: 51 palavras / minuto
Sesso 5: 53 palavras / minuto

Valores observados = valor real + erro randmico

70

Erros randmicos
Erros casuais ou rudo

Em duas direes contrarias

Ampliando o tamanho da amostra
Teremos 100% de confiana: (< taxa de amostragem)
Valor observador
Valor real
71

Erros sistemticos
biases preconceitos, tendncias, polarizaes,
vieses,...

Tendem a ser para uma mesma direo

Ex. (cansao e nervosismo)

Sesso 1: 47 palavras / minuto

Sesso 2: 44 palavras / minuto
Sesso 3: 45 palavras / minuto
Sesso 4: 42 palavras / minuto
Sesso 5: 46 palavras / minuto
72

Erros sistemticos

73

Erros sistemticos
Verdadeiro inimigo da pesquisa experimental
5 maiores fontes:

Instrumentos de medio
Procedimentos experimentais
Participantes
Comportamento do experimentador
O ambiente experimental

74

Roteiro
O que preciso ser considerado quando delineamos
experimentos?

Determinar a estrutura bsica

Investigar uma nica varivel independente

Investigar mais de uma varivel independente

Confiabilidade do resultados experimentais

Procedimentos experimentais
75

Procedimentos experimentais
Experimentos Responder um infinidade de
questes

HCI similar a outros campos (comportamento humano)

Erros e bias no podem ser eliminadas 100%

Ter cuidados em analisar os dados e fazer

afirmaes

76

Procedimentos experimentais
Ciclo de vida de um experimento de HCI:
1.
2.
3.
4.
5.
6.
7.

Identificar uma hiptese de pesquisa

Especificar o design do estudo
Estudo piloto para testes
Recrutar participantes
Executar a coleta de dados reais
Analisar os dados
Reporta os resultados

77

Procedimentos experimentais
Passos tpicos em sesso experimental:
1.
2.
3.

4.
5.
6.

Sistemas e dispositivos esto OK

Cumprimentar os participantes
Apresentar a finalidade do estudo e os
procedimentos
Obter o consentimento dos participantes
Atribuir os participantes a condio experimental de
acordo com o mtodo aleatrio predefinido
Treinamento das tarefas

78

Procedimentos experimentais
Passos tpicos em sesso experimental:
7.
8.

Participantes na tarefa real

Participantes respondem questionrios (se for o
caso)
9. Sesso de esclarecimentos
10. Pagamento (se for o caso)

79

Duvidas?

80