Beruflich Dokumente
Kultur Dokumente
Elaborao de
Survey
24 A 28 DE ABRIL DE2017
Sinopse do curso
Ementa
Este curso visa proporcionar tanto um conhecimento terico quanto uma experincia de
aprendizagem aplicada a respeito da construo do questionrio.
Em primeiro lugar, os alunos aprendero sobre as contribuies dos experimentos
metodolgicos, da psicologia cognitiva e da sociolingustica para a compreenso terica
da construo do questionrio. Os alunos conhecero os processos cognitivos
subjacentes ao processo de fazer perguntas e produzir respostas, o sentido pretendido
das perguntas versus os significados interpretados e as implicaes desses processos
para a comparabilidade, a validade e a confiabilidade das medidas. Os alunos sero
introduzidos arte e cincia de fazer perguntas.
Em segundo lugar, os alunos aplicaro esses conhecimentos por meio de um exerccio
de pr-teste de um questionrio, utilizando ferramentas metodolgicas avanadas, como
a entrevista cognitiva e a codificao de comportamentos, para a avaliao crtica da
validade e da confiabilidade das medidas.
Os principais tpicos do curso incluem:
Introduo aplicao da teoria cognitiva na metodologia de survey
elaborao de questionrio e pr-teste.
Introduo a experimentos metodolgicos que abordam controvrsias
centrais na metodologia de survey: a entrevista como uma interao social, a
padronizao rigorosa versus abordagem interativa, a medio de atitudes, de
conhecimento e de comportamento, a ordem das perguntas e efeitos contextuais, os
entrevistados como avarentos cognitivos,as questes abertas versus fechadas,a
ordenao versusas escalas, aaquiescncia bias e outras fontes de efeitos de
resposta sobre a validade e a confiabilidade dos dados do questionrio.
Para ilustrar os tpicos, alm de experimentos metodolgicos, o curso utilizar
questionrios de pesquisa nacionais e internacionais, em especial a PRMBH Pesquisa
da Regio Metropolitana de Belo Horizonte, a qual foi conduzida pelo Programa de Doutorado em
Sociologia da UFMG utilizando o estado da arte da metodologia de survey, com o objetivo de
contribuir para o desenvolvimento dessa metodologia em contextos diferentes dos Estados Unidos e
Europa.
Objetivos
O curso visa fornecer ao participante uma base terica e prtica do estado da arte na construo
de questionrios e, para isso, aborda: 1) uma introduo aos aspectos cognitivos da metodologia de
survey; 2) sua aplicao na construo de questionrios; e 3) sua aplicao na criao de novos e mais
rigorosos instrumentos de pr-teste, com nfase na entrevista cognitiva.
Em particular, a especificidade deste curso para os gestores e profissionais do Ministrio de
Desenvolvimento Social e Agrrio (MDSA) est na exposio e no aprendizado de tcnicas de
construo de survey que permita construir questionrios com rigor para a investigao, por exemplo,
1) de percepes e comportamentos dos cadastrados no cadastro unico e beneficirios do Pograma
Bolsa Familia (PBF); 2) de percepes dos gestores do PBF sobre as condicionalidades do programa;
3) percepes dos gestores municipais sobe as atividades de gesto do cadastro unico e do PBF.
Programa detalhado
Estrutura do curso
24 de abril
A arte e a cincia de fazer perguntas aspectos cognitivos da metodologia de survey e
a construo do questionrio
Bibliografia obrigatria
Simes, S.; Pereira, M.P.A arte e a cincia de se fazer perguntas. In:Aguiar, N. (ed.). Desigualdades
sociais, redes de sociabilidades e participao poltica. Belo Horizonte: Editora UFMG, 2007.
Bibliografia complementar
Sudman, S.; Bradbum, N. M.; Schwarz, N. Implications for questionnaire design and the
conceptualization of the survey interview. In:Thinking about answers: the application of cognitive
processes to survey methodology. San Francisco: Jossey-Bass, 1996.
25 de abril
Experimentos split-ballot
Questes abertas versus questes fechadas: o que medem?
Devemos oferecer a opo no sei?
Bibliografia obrigatria
Fowler Jr., Floyd J. Pesquisa de levantamento. Porto Alegre: Penso, 2011. Cap.6.
Bibliografia complementar
Geer, John G. What do open-ended questions measure? Public Opinion Quarterly,1988;52:365-71.
Gilham,M.; Granberg, D. (1993)Should we take dont know for an answer?. Public Opinion Quarterly,
1993; 57(3):348-57.
26 de abril
A construo do questionrio (continuao) formatos de questes, acquiescence
bias e padres de resposta
Bibliografia obrigatria
Fowler Jr., Floyd J. Pesquisa de levantamento. Porto Alegre: Penso. Cap.7.
Bibliografia complementar
Bradburn, N.; Sudman, S.; Wansink, B. Asking questions: the definitive guide to questionnaire design
for market research, political polls, and health questionnaires (revised edition).San Francisco:
Josse Bass, 2004.
Couper, M. P.; Tourangeau, R.; Conrad, F. G.; Crawford, S. What they see is what we get: response
options for web surveys. Social Science Computing Review,2004;2:111-27.
Couper, M. P., Tourangeau, R.; Kenyon, K. Picture This! Exploring Visual Effects in Web Surveys.
Public Opinion Quarterly, 2004;68:255-6.
27 de abril
A metodologia de pr-teste do questionrio entrevistas cognitivas e outros
instrumentos de avaliao do questionrio (continuao)
Bibliografia obrigatria
Fowler Jr., Floyd J. Pesquisa de levantamento. Porto Alegre: Penso, 2011. Cap.7
Bibliografia complementar
Conrad, F. G.;Blair, J. Sources of errors in cognitive interviewing. Public Opinion Quarterly,
2009;73(1):32-55.
Sudman, S.; Bradbum, N. M.; Schwarz, N. Methods for determining cognitive processes and
questionnaire problems. In:Thinking about answers: the application of cognitive processes to
survey methodology. San Francisco: Jossey-Bass, 1996.
Willis, G.; DeMaio T.; Harris-Kojetin, B. Is the bandwagon headed to the promised land? Evaluating the
validity of cognitive interviewing techniques. In:Cognition and survey research. New York: John
Willey & Sons, 1999.
Beatty, P. C.; Willis, G. B. Research synthesis: the practice of cognitive interviewing. Public Opinion
Quarterly, 2007;71:287-311.
EXERCCIO: Pr-testedo mdulo Qualidade de Vida e Capital Social da Pesquisa da Regio Metropolitana de Belo
Horizonte (PRMBH)
28 de abril
Exerccio final em sala: trabalho em grupo e apresentaao oral dos resultados do pr-
teste
Na aula do dia 28 de abril, os estudantes se reuniro em grupos para a elaborao de um relatrio do
pr-teste. As instrues para a elaborao do relatrio esto no Anexo Complementar: Exerccio de
Pr-teste.Em seguida, os grupos faro uma apresentao oral e discusso dos principais resultados do
pr-teste.
2 aula.Experimentos split-ballot e a
construo do questionrio
1. Experimentos split-ballot
1. CADERNO DE PROBES
Probesneutros
Se voc considera que a performance do entrevistado inadequada (o entrevistado d uma
resposta irrelevante, incompleta, confusa; ou se esquece da questo e divagasobre outro assunto),
sua funo trazer o entrevistado de volta entrevista com a ajuda de tcnicas neutras. O uso de
probes uma dessas tcnicas.
O uso do probe motiva o entrevistado a se comunicar de forma mais completa, ampliando sua
resposta, dando esclarecimentos ou explicando as razes que esto por trs do que ele diz.O uso de
probes tambm ajuda o entrevistado a se prender ao tema em foco no questionrio, de modo que
informaes irrelevantes e desnecessrias so evitadas.
Se voc precisa utilizar um probe para obter a resposta, crucial que ele seja nodiretivo, isto
, noinfluencie o entrevistado a dar uma determinada resposta: por isso, o probe chamado de
tcnica neutra.
Exemplo:
Entrevistador: Voc acha que voc e os familiares que moram com voc estaroem melhor ou em
pior situao financeira daqui a um ano?
Entrevistado: Espero estar em uma melhor situao.
Neste caso, o entrevistado no respondeu questo. Todos desejam estar em melhor situao
no futuro, mas nem todos acham que realmenteestaro em melhor situao.
EXERCCIOS 1 a 3
(1)Entrevistador: Numa semana normal, voc passa cerca de quantas horas cuidando das crianas
que moram com voc? Voc diria: menos de 10 horas, de 10 a 19, de 20 a 39,
ou 40 horas ou mais por semana?
Entrevistado: Bem, na ltima semana eu estava doente, assim, deve ter sido menos de 10
horas.
Questo respondida? (SIM / NO)__________
(2)Entrevistador: Pense em sua vidaem geral. Em que medida voc est satisfeito com
ela:totalmente satisfeito(a), muito satisfeito(a),pouco satisfeito(a)ou nada
satisfeito(a)?
Entrevistado: Os ltimos seis meses foram muito duros. No momento, eu no estou satisfeito(a).
Questo respondida? (SIM / NO)__________
(3)Entrevistador: Em que medida voc est satisfeito(a) com a (sua/de sua famlia) situao
financeira: totalmente satisfeito(a), muito satisfeito(a),pouco satisfeito(a)ou
nada satisfeito(a)?
Entrevistado: Eu estou muito satisfeito(a).
Questo respondida? (SIM / NO)___________
Exemplo:
Entrevistador: H alguma coisa em especial de que voc gosta no Partido dos Trabalhadores (PT)?
Entrevistado: Eu gosto de suas propostas.
EXERCCIOS4 e 5
(4) Circule a letra do probe neutro correto.
a) Voc poderia me falar um pouco mais sobre isso?
b) Bem, e em relao ao pagamento da dvida externa?
Se o entrevistador usar o probe incorreto (b), o entrevistado ser direcionado para um problema
no qual ele no pensou por si mesmo.
Entrevistador: Com qual frequncia voc se encontra com amigos, vizinhos ou parentes para sair
juntos ou fazer visitas nas casas uns dos outros? Voc diria que: mais de uma vez por
semana, uma vez por semana, 2 ou 3 vezes por ms, cerca de uma vez por ms,
menos de uma vez por ms ou nunca?
Entrevistado: Ah, mais de uma vez por ms.
(5)a) Voc diria que:mais de uma vez por semana, uma vez por semana ou 2 ou 3 vezes por ms?
b) Voc diria que: 2 ou 3 vezes por ms?
REGRA
Permanea neutro. Evite probes diretivos.
EXERCCIO 6
Entrevistador: Existe algum em sua vida com quemvoc pode dividiros seus sentimentos e
preocupaes mais ntimos?
Entrevistado: difcil dizer.
Entrevistador: (PAUSA)
Entrevistado: uma pergunta difcil.
Entrevistador: Deixe-me repetir a questo. Existe algum em sua vida com quem voc pode dividir
os seus sentimentos e preocupaes mais ntimos?
Entrevistado: Sim, 2 pessoas.
Respostas mais refletidas so mais completas e mais acuradas. D ao entrevistado tempo para
pensar, lendo a questo lentamente e fazendo as pausas apropriadas. medida que voc adquirir
experincia, voc aprender quo longa a pausa deve ser. Lembre-se sempre de que o entrevistado
nunca ouviu a questo antes, assim a pausa, que para voc parece longa, pode ser exatamente aquela
de que ele necessita.
No apresse o entrevistado: fazer pausa uma das maneiras de indicar a ele que voc espera
respostas bem refletidas.
REGRA
Repita a questo inteira se a resposta do entrevistado indica que ele no entendeu, ou se ele
necessita de mais tempo para pensar na resposta.
Exemplos:
Entrevistador: Pense em sua vidaem geral. Em que medida voc est satisfeito(a) com ela:
totalmente satisfeito(a), muito satisfeito(a), pouco satisfeito(a) ou nada
satisfeito(a)?
Entrevistado: Oh, estou bastante satisfeito(a).
Entrevistador: Voc quer dizer: totalmente ou muito satisfeito(a)?
REGRA
Se o entrevistado j eliminou, de forma clara, uma opo deresposta, no necessrio a incluir
na repetio.
EXERCCIOS 7 a 13
(7 e 8) Entrevistador: Pense em sua vida em geral. Em que medida voc est satisfeito com ela:
totalmente satisfeito(a), muito satisfeito(a), pouco satisfeito(a) ou nada
satisfeito(a)?
Entrevistado: Eu detesto meu trabalho, assim, eu diria no muito satisfeito(a).
REGRA
Repita a questo inteira, a menos que voc tenha certeza deque apenas uma parte da
questofoimal compreendida.
(9 a 11) Entrevistador: Existe algum em sua vida com quem voc pode dividir os seus sentimentos e
preocupaes mais ntimos?
Entrevistado: Eu no estou bem certo(a) sobre isto.
Entrevistador: Eu quero dizer se existe algum que voc conhece com quem pode falar sobre
seus problemas.
(9) Circule a parte mal interpretada.
(10) Qual o probe adequado? _________________________________
O probe melhor e mais seguro Repetir o Enunciado (R.E.). Ele mantm o estmulo
padronizado,aspecto fundamental para a confiabilidade dos dados.
Repita a questo se o entrevistado der uma resposta que indica claramente que ela foi mal
compreendidaou sea resposta no tiver nada a vercom otema da questo.
Probe (SIG.) O que voc quer dizer com isso? Como assim? Em
que voc est pensando?
O probe (SIG.) usado quando o entrevistado no responde de forma clara a uma questo
aberta.
REGRA
Use (SIG.) quando voc no entender a resposta do entrevistado.
Exemplo:
Entrevistador: H alguma coisa em especial de que voc gosta no Partido dos Trabalhadores (PT)?
REGRA
Use o probe (MAIS) quando voc no compreender a resposta do entrevistado.
REGRA
Use o probe (MAIS) quando o entrevistado der uma respostaincompleta.
EXERCCIOS 15 e 16
(15) Entrevistador: No atual estgio de sua vida, quais so as suas maiores fontes de satisfao ou
prazer?
Entrevistado: Coisas relacionadas nossa vida familiar.
Entrevistador: Voc poderia me falar um pouco mais sobre isso? (MAIS)
(16) Entrevistador: No atual estgio de sua vida, quais so os seus maiores problemas ou
preocupaes?
Entrevistado: Eu estou preocupado com vrias coisas.
Entrevistador: Voc poderia me falar um pouco mais sobre isso? (MAIS)
REGRA
Use o probe (ACHA) para uma resposta No sei.
REGRA
Use o probe (ACHA) para uma resposta Espero que sim.
EXERCCIOS 17 a 20
(17) Entrevistador: Em geral, como fica (a sua/de sua famlia) situao financeirano final do ms?
Voc(s) normalmente chega(m) ao final do ms: com algum dinheiro sobrando,
apenas com o dinheiro suficiente para as despesas ou sem dinheiro
suficiente para as despesas?
Entrevistado: Eu sempre espero que haja dinheiro sobrando.
Entrevistador: O que voc pensa que geralmente acontece? (ACHA)
(18) Entrevistador: Voc diria que voc (e as pessoas de sua famlia que moram com voc) (est /
esto) em melhor situao ou em pior situao financeira do que h um ano?
Entrevistado: No sei. Eu ainda no pensei nisto.
Entrevistador: O que voc acha? (ACHA)
Entrevistador: Nos ltimos 3 anos, voc enfrentou problemas financeiros srios ou dificuldades
financeiras?
Entrevistado: Eu no sei. difcil dizer qual a seriedade de alguns problemas dedinheiro.
Entrevistador # 2: Certamente; mas voc acha que a realizao de eleies faz o governo prestar
ateno ao que o povo pensa: muito, um pouco ou quase nada?
(20b)Probe correto? (SIM / NO) __________ [Abreviatura]_________
REGRA
Nota:se o entrevistado no eliminar nenhuma das opes de resposta, voc devefazer uma pausa e/ou
repetir as opes de resposta (R.OP.) em vez de usar (PX.).
EXERCCIOS 21 a 24
Indique se o probe usado o correto e escreva a abreviatura correta do probe.
(21) Entrevistador: Em que medida voc est satisfeito(a) com a situao financeira atual (sua / de sua
famlia):totalmente satisfeito(a), muito satisfeito(a) , pouco satisfeito(a) ou nada
satisfeito(a)?
Entrevistado: Algum ponto entre muito e pouco satisfeito(a).
Entrevistador: Qual se aproxima mais do que voc sente?
Probe correto? (SIM/NO) __________ [Abreviatura]_________
(22)Entrevistador: Cerca de quanto voc (e a sua famlia) gasta(m), numa semana normal, com
comida? Inclua vales-refeio e o dinheiro gasto comendo fora.
Entrevistado:Entre R$ 75,00 e R$ 100,00, por semana.
Entrevistador: Qual se aproxima mais?
Probe correto? (SIM/NO) __________ [Abreviatura]_________
(23) Entrevistador: Voc diria que voc (e a sua famlia)esto em melhor ou em pior condio financeira
hoje do que h um ano?
Entrevistado:Penso que sim.
Entrevistador:Qual se aproxima mais do que voc pensa?
Probe correto? (SIM/NO)__________ [Abreviatura]_________
(24)Entrevistador: Cerca de quantas horas,voc passa, numa semana normal, cuidando das crianas
que moram com voc? Voc diria: menos de 10 horas, de 10 a 19, de 20 a 39 ou
40 horas ou mais por semana?
Entrevistado:Eu gasto a maior parte do meu tempo.
Exemplo
Entrevistador: J falamos sobre atividades do passado e das atuais, alegrias e problemas em muitas
reas de sua vida. Falando do futuro, quais so as coisas que voc mais deseja para
os prximos anos?
Entrevistado: Eu desejo muitas coisas emocionantes.
Entrevistador: Voc poderia me falar um pouco mais sobre isso?
Entrevistado: Eu espero aposentar-me cedo.
Entrevistador: H outras coisas que voc deseja? (0.MOT.)
REGRA
Existe outra razo para voc pensar assim? (0.MOT.) usado ao menos uma vez para todas as
questes abertas, a no ser que haja orientao em contrrio no Manual de Questo por
Questo.
REGRA
(0.MOT.) usado nas questes fechadas, quando em tais questes est especificamente
indicado que voc deve usar o probe para obter menes adicionais.
EXERCCIO 25
Indique se o probe correto e escreva a abreviatura correta para o probe.
Entrevistador: Neste estgio de sua vida, quais as suas maiores fontes de satisfao ou prazer?
Entrevistado: Ver meus filhos crescerem e serem bem-sucedidos.
Entrevistador # 1: H outras fontes de satisfao ou de prazer?
Um breve Algo mais? no um substituto aceitvel para Existem outros motivos / Existem
outras razes para voc pensar assim?, porque ele tende mais a inibir do que a encorajar explicaes
mais detalhadas. Somente use Algo mais? quando estiver especificamente orientado no Manual de
Questo por Questo.
Introdues neutras
Para tornar mais natural o uso do probe aps uma resposta inadequada, o entrevistador deve
dizer alguma frase ou expresso neutra antes de repetir a questo ou usar outro probe.
A seguir, listam-se introdues neutras e os probescom os quais elas so usadas:
EXERCCIOS 26 a 32
(26)Circule a letra da introduo neutra e do probe correto.
Entrevistador: H algum em sua vida com quem voc pode realmente dividir seus sentimentos e
preocupaes mais ntimos?
Entrevistado: Minha mulher conversa com a irm dela sobre tudo.
a. Naturalmente, mas h algum em sua vida com quem voc poderealmentedividir seus
sentimentos e preocupaes mais ntimos?
b. Deixe-me repetir a questo. H algum em sua vida comquem voc pode realmente dividir seus
sentimentos e preocupaes mais ntimos?
(27 a 29) Escolha o probe e a introduo corretos e os escreva nos espaos em branco.
Entrevistador: Em geral, como fica (a sua/de sua famlia) situao financeirano final do ms? Voc(s)
normalmente chega(m) ao final do ms: com algum dinheiro sobrando, apenas com o
dinheiro suficiente para as despesas ou sem dinheiro suficiente para as
despesas?
(27) Entrevistado # 1:Puxa vida, no tenho certeza. Minha mulher paga todas as contas.
Entrevistador:
____________________________________________________________________________
____________________________________________________________________________
______________________________
(28) Entrevistado # 2: claro que eu gostaria que houvesse algum dinheiro sobrando.
Entrevistador:
____________________________________________________________________________
____________________________________________________________________________
______________________________
(29) Entrevistado #3:Depende. Em alguns meses, sobra dinheiro , em outros no sobra nem falta e
em outros, ficamos no vermelho.
Entrevistador:
____________________________________________________________________________
____________________________________________________________________________
_______________________________
Quando o entrevistado responde Eu no sei., pense que ele na verdade pode estar querendo dizer
que:
No entendeu mas no quer admitir isto.
Est pensando na resposta e tenta preencher o silncio.
No deseja responder a questo.
No sabe ou no tem opinio sobre o assunto.
Lembretes
Deve-se usar pelo menos um probe para a resposta No sei.
O probe mais efetivo para No sei um (ACHA) / (R.E.) ou uma PAUSA ou ambos.
Para permitir que o entrevistado se sinta vontade, voc pode usar uma introduo neutra.
(32)Escreva trs frases que voc pode usar como probe para uma resposta No sei.
1. __________________________________________________________
2. __________________________________________________________
3. __________________________________________________________
Reviso
O uso efetivo do probe requer do entrevistador o conhecimento dos objetivos das questes
ea capacidade de ouvir atentamente o que o entrevistado diz, para decidir se a resposta
dada atende aos objetivos da questo.
Osmelhores e mais seguros probes so a PAUSA e Repetir o Enunciado (R.E.).
Se mais informaes so necessrias, pode-se usar (MAIS), (SIG.), (ACHA), (PX.),
dependendo da situao.
Para a maioria das questes abertas que perguntam Por qu?, aps obter uma resposta
que atenda aos objetivos, use o probe (0.MOT.) somente uma vez.
Esteja atento para probes especiais padronizados apenas para alguns estudos.
Sempre use um probe para uma resposta No sei, a menos que o Manual de Questo por
Questo oriente o contrrio.
Use introdues neutras, quando apropriado, para demonstrar que a resposta inicial do
entrevistado foi levada em conta e para facilitar o uso do probe aps uma resposta
inadequada.
Sempre que voc usar um probe,assinale a abreviatura na linha de probe.
Para probes adicionais, anote a abreviatura, entre parnteses, no final da linha de probe.
2. MANUAL DO ENTREVISTADOR
Contedo
Introduo
Questes ticas
Como conseguir uma entrevista
O contato inicial
Tcnicas gerais de entrevista
A conduo da entrevista
Clarificando perguntas e respostas: probes
Relao das abreviaturas dos principais probes
Introduo
O entrevistador a nica pessoa que tem contato direto com o entrevistado. Ele a ligao
entre a coordenao da pesquisa e o entrevistado, pois quem reporta as informaes obtidas, as
atitudes do entrevistado e as circunstncias da entrevista.
O trabalho do entrevistador fazer uma coleta completa e apurada de dados. Para tanto, voc
deve:
Questes ticas
Como entrevistador(a), voc est submetido(a) a certas obrigaes ticas, apresentadas a
seguir.
2. No use a situao de entrevista para obter ganhos pessoais: No use a entrevista para
divulgar ou defender suas prprias convices polticas, sociais ou religiosas.
3. No d conselhos ao entrevistado:no d conselhos ou orientaes ao entrevistado sobre
quaisquer tipos de problemas por ele mencionados durante a entrevista. Se ele solicitar
diretamente a sua ajuda, voc pode citar nomes de instituies conhecidas, mas sem fazer
nenhuma recomendao.
4. No pea nenhum tipo de ajuda ou favor ao entrevistado.
5. Mantenha a distncia profissional entre voc e o entrevistado:isso no impede que voc
aceite um cafezinho durante a entrevista, mas voc no poder iniciar ou aceitar convites
para contatos sociais fora da entrevista.
Tenha sempre presente que voc um representante da UFMG e, como tal, no poder adotar
atitudes que possam comprometer a instituio ou voc mesmo, em sua integridade fsica,
moral e emocional.
I. Preparao
II. Apresentao
O contato inicial
O processo da entrevista depende em grande parte do seu contato inicial com o entrevistado.
Assim, voc deve se apresentar de forma confiante diante dele e, ainda na porta da casa, fazer sua
apresentao pessoal e a apresentao da pesquisa.
A coordenao da pesquisa normalmente prepara um modelo de apresentao com os seguintes
itens: a) uma frase de introduo; b) uma pequena explanao do que voc est fazendo; c) um breve
resumo sobre a pesquisa; e d) argumentos para conseguir a participao do entrevistado.
O importante que vocse sinta confortvel em sua apresentao. Para tanto, refaa o modelo
usando suas prprias palavras e treine com a ajuda de um amigo ou de outro entrevistador, lembrando-
se sempre de enfatizar:
Para isso, importante que voc registre na Folha de Controle de Contato para Marcao de
Entrevista:
A conduo da entrevista
Os mecanismos de coleta de informaes e de seu registro so partes fundamentais do trabalho
do entrevistador. A seguir, h instrues para a obteno de dados os mais completos e confiveis
possveis.
como um probe, pois o entrevistado, ao escutar suas prprias palavras, poder se sentir
estimulado a ampliar sua resposta.
6. Use letra legvel ao escrever as respostas. Aps terminar a entrevista, releia suas anotaes
e reescreva aquelas palavras que no esto claras e legveis e que poderiam no ser
entendidas pelo codificador.
7. Tome cuidado com as abreviaes que fizer. Voc poder usar as suas prprias siglas para
anotar o que est sendo dito, mas deixe registrado o significado de tais siglas para que
outras pessoas possam entender suas anotaes.
8. Registre os probes que voc usar. Voc pode abrevi-los, mas seja cuidadoso para indicar
o que significam. Registre-os exatamente no lugar em que foram usados.
9. H questesa serem respondidas pelo prprio entrevistador. Nestes casos, voc mesmo vai
responder questo marcando a opo correta de acordo com informaes obtidas
anteriormente.
Para evitar interrupes e perda do ritmo, estude, com muita ateno, o MQQ antes de iniciar
a conduo das entrevistas.
1. Se existe qualquer dvida de que o entrevistado escutou a questo inteira, repita a questo
toda. Assinale (R.E.) na barra de esclarecimentos.
2. Se lhe for pedido, repita o marco de referncia temporal (p. ex.: nas ltimas semanas, no
ano passado). Assinale (R.E.).
3. Quando lhe pedido para repetir uma opo de resposta, releia todas as opes de
resposta da questo, a menos que o entrevistado j tenha eliminado uma ou mais opes
explicitamente. Assinale (R.OP.).
4. Quando lhe pedida a definio de algum conceito, h duas situaes:
a) No caso de definio ou esclarecimentode conceito especificado na questo no Manual
de Questo por Questo, fornea a definio ao entrevistado. Assinale a instruo (Sig.
Op).
b) No caso de definio de conceito no especificado no Manual de Questo por Questo,
diga ao entrevistado para responder Qualquer que seja o significado que isso tenha
para voc. Assinale (SIG.E. ou Sig.Op.). Em seguida, pergunte: O que isso (conceito)
significa para voc?e anote a resposta abaixo da barra de esclarecimentos.
Quando usar
Voc deve usar os probes quando:
A seguir, alguns exemplos dos principais probes e sugestes sobre quando us-los:
1. ProbeO que voc quer dizer? ou Voc quer dizer como?ou Como assim? ou Em que
voc est pensando?:use quando voc no entender a resposta do entrevistado. Indique
isto por (SIG.).
2. ProbeVoc pode me falar um pouco maissobre isso?:use quando a resposta do
entrevistado no for clara ou der margem a mais de uma interpretao. Indique isso por
(MAIS).
3. ProbeO que voc acha? ou O que voc pensa? ou O que voc espera?:use quando
uma resposta se inicia porNo sei.... Indique isso por (ACHA).
Alm dos probes principais j mencionados,h ainda os seguintes probesquepodem ser usados:
ProbeVoc pode me falar um pouco mais sobre o que isso significa para voc? ou Em
que voc est pensando?(SIG.).
ProbeComo voc se sente em relao a isso? (SENT.)
ProbeO que aconteceu? (AC.)
ProbePor que foi assim? (PQ.)
ProbeVoc pode me dar um exemplo? (EX.)
ProbeMas, em geral, o que voc pensa? (DIG)
muito importante para ns sabermos o que voc pensa sobre a qualidade de vida no/a
seu/sua bairro/vila.
Q1. So vrias as atitudes que as pessoas podem tomar para resolver problemas no/a
seu/suabairro/vila ou vizinhana. No ltimo ano,voc...
Q1.a. Foi membro de associao comunitria de bairro/vila?
1. Sim
2. No
8. NS
|___|
9. NR Q1.a
1. R. Enun. 3. Sig. Enun.
Q1.b. No ltimo ano, voc procurou algum vereador para resolver assunto relacionado ao/a
seu/sua bairro/vila ou vizinhana?
1. Sim
2. No (V PARA A Q1d.) |___|
8. NS Q1.b
9. NR
Q1.c. Voc fez isso sozinho, atravs de um grupo ou associao, ou de ambas as formas?
1. Sozinho
2. Atravs de grupo ou associao
3. Ambas as formas
7. NSA
|___|
8. NS
Q1.c
9. NR
1. R. Enun. 2. R. Op. 3. Sig. Enun. 4. Sig. Op.
Q1.d. No ltimo ano, voc procurou a prefeitura para resolver algum assunto relacionado
ao/aseu/sua bairro/vila ou vizinhana?
1. Sim
2. No (V PARA Q2)
8. NS |___|
9. NR Q1.d
Q1.e. Voc fez isso sozinho(a), atravs de um grupo ou associao, ou de ambas as formas?
1. Sozinho
2. Atravs de grupo ou associao
3. Ambas as formas
8. NS
9. NR
|___|
Q1.e
1. Foi fcil ou difcil responder a estas duas ltimas perguntas?
1. Sim
2. No
8. NS
9. NR
|___|
1. Quem voc considera seus vizinhos? Q3
ATENO ENTREVISTADOR:
PERGUNTAR A PRXIMA QUESTO APENAS PARA OS QUE MORAM EM
PRDIO OU CONDOMNIO.PARA OS DEMAIS, V PARA Q5.
Q4. (CE. p. 1) Com que frequncia vocvai s reunies do seu prdio ou condomnio?Voc
vai frequentemente, algumas vezes, raramente ou nunca?
1. Frequentemente
2. Algumas vezes
3. Raramente
4. Nunca
7. NSA
8. NS
9. NR |___|
Q4
1. R. Enun. 2. R. Op. 3. Sig. Enun. 4. Sig. Op. 5. Escala
Q5. Agora, vamos falar um pouco sobre seus vizinhos e sua vizinhana.O que voc
considera como sendo a sua vizinhana?
(ANOTAR)____________________________________________
88. NS |___|
99. NR |___|
Q5
1. Na sua opinio, h diferena entre o que voc considera como sendo vizinhos e o
que considera como sendo vizinhana?
Q6. Com qual dessas afirmativas voc concorda mais: (LER OPES)
1. Este/esta bairro/vila como se fosse a minha casa
2. Para mim este/a bairro/vila apenas um lugar para morar
8. NS
9. NR
1. R. Enun. 2. R. Op. 3. Sig. Enun. 4. Sig. Op.
|___|
Q6
(MAIS PRX): _________________
1. O que voc pensou quando ouviu a frase Este/esta bairro/vila como se fosse a
minha casa?
2. E o que voc pensou quando ouviu a frase Para mim este/esta bairro/vila apenas
um lugar para morar?
Q7. (CE, p. 2)Agora, eu vou ler uma lista de problemas que existem em alguns (bairros,
vilas). Para cada um deles, diga se esse um problema grave, um problema ou se no
um problema no seu/suabairro/vila.
Problema um No NS NR
grave problema problema
Q7.a. Meninos de rua 1 2 3 8 9
Q8. (CE. p. 2) Agora, vamos falar sobre a situao dos seguintes servios no/a seu/sua
bairro/vila. Para cada um deles, diga se esse um problema grave, um problema, ou no
um problema?
Problema um No No tem NS NR
grave problema problema coleta
de lixo
Q8.a. Falta de vagas em 1 2 3 4 8 9
escolas
Q8.b. Poucas creches 1 2 3 4 8 9 |___|
Q8.c. Coleta de lixo 1 2 3 4 8 9 Q8.a
irregular ou inadequada
|___|
Q8.d. Falta de 1 2 3 4 8 9
Q8.b
saneamento, (esgoto a |___|
cu aberto, lixes, Q8.c
abastecimento de gua)
Q8.e. Falta de reas de 1 2 3 4 8 9 |___|
lazer (como praas, Q8.d
quadras esportivas,
parques, etc.) |___|
Q8.f. Transporte 1 2 3 4 8 9 Q8.e
(horrios, preo da
passagem, nibus cheio)
Q8.g. Algum outro? |___|
Q8.f
(PERGUNTAR E
ANOTAR)_______
|___|
1. R. Enun. 2. R. Op. 3. Sig. Enun. 4. Sig. Op. 5. Escala Q8.g
2. E o menos importante?
Q9. Agora, eu gostaria de fazer algumas perguntas sobre seus amigos e sua famlia. Tirando
aqueles que moram na sua casa, quantos parentes moram no/aseu/sua bairro/vilaou
bairros/vilas prximos/as?
(ANOTAR): ____________
8. NS
9. NR
1. R. Enun. 3. Sig. Enun.
Parentes
(SIG):______________________________________________________________________ |___|
|___|
1. Quem voc incluiu ou no incluiucomo parentes? Por qu? Q9
Q10.Quantos amigos voc tem que moram no/a seu/sua bairro/vilaou bairros/vilas
prximos/as?
(ANOTAR): ____________
8. NS
9. NR
1. R. Enun. 3. Sig. Enun. |___|
|___|
Q10
1. Quem voc incluiu ou no incluiucomo amigos? Por qu?
Q11. (CE, p. 3) Com que frequncia voc conversa pessoalmente oupor telefone com seus
vizinhos? (LER OPES)
1. Diariamente ou quase todos os dias
2. Algumas vezes por semana
4. Algumas vezes por ms
5. Raramente
6. Nunca
8. NS
9. NR
1. R. Enun. 2. R. Op. 3. Sig. Enun. 4. Sig. Op. 5. Escala
|___|
Q11
1. O que voc considerou como sendo conversar com vizinhos?
2. importante ou no para voc ter vizinhos com quem conversa com certa
frequncia? Por qu?
Q12a. Voc usa a Internet para enviar e-mail ou mensagens ou para participar de grupos de
conversa?
1. Sim
2. No (V PARA Q13)
9. NR
|___|
1. Para voc a internet uma forma boa ou ruim de se comunicar com as pessoas?
Q12a
2. Em que situaes voc acha vantagem usar a Internet, em vez do telefone ou visitas
pessoais, para se comunicar com as pessoas?
3. Em quais situaes voc acha que no deve usar a Internet, em vez do telefone ou
visitas pessoais, para se comunicar com as pessoas?
Q12b. (CE, p. 3) Com que frequncia voc usa a Internet para enviar e-mail ou mensagens
ou para participar de grupos de conversa? Voc o faz...(LER OPES)
Q13. (CE, p. 4)Com que frequncia voc e seus vizinhos fazem favor uns aos outros?Por
fazer um favor, quero dizer coisas como cuidar dos filhos, emprestar mantimentos, levar
filhos para a escola ou outras gentilezas. Isso acontece frequentemente, s vezes, raramente
ou nunca?
1. Frequentemente
2. s vezes
3. Raramente
4. Nunca
8. NS
9. NR
1. R. Enun. 2. R. Op. 3. Sig. Enun. 4. Sig. Op. 5. Escala |___|
Q13
1. Que outros favores voc e seus vizinhos fazem uns aos outros?
Q14. (CE, p. 5)H muitas maneiras de as pessoas sentirem que fazem parte de um grupo.
Eu vou ler uma lista de grupos e gostaria que voc me dissesse qual deles lhe d o
sentimento mais forte de fazer parte do grupo. E em segundo lugar? E o que menos lhe d
esse sentimento? (LER OPES)
(NS) (ACHA):___________
Q15.a. Agora, eu vou ler uma lista de afirmativas sobre vizinhos e vizinhana e gostaria de
saber se voc concorda ou discorda de cada uma delas.
Voc tem pouco a ver com as pessoas que moram neste/nesta bairro/vila. Voc concorda ou
discorda?
2. O que voc entende por ter pouco a vercom as pessoas do seu/sua (bairro,vila) ? |___|
Q15.a
Q15.b. Ns podemos confiar nas pessoas que moram neste/nesta bairro/vila. Voc concorda
ou discorda?
(NS) (ACHA):__________
1.Em que e quem voc pensou quando falamos em pessoas prestativas do seu/sua
bairro/vila?
Q15.d. Morar neste/nesta bairro/vila me faz sentir parte de uma comunidade. Voc concorda
ou discorda?
|___|
1. R. Enun. 2. R. Op. 3. Sig. Enun. 4. Sig. Op. 5. Escala
Q15.d
(NS) (ACHA):__________
1. Em quevoc pensa quando falamos em comunidade?O que voc entende por ela?
D exemplos.
Pr-teste
Questionrio: !____!____!
Entrevistador: ___________________________________________________
Numa escala de 0 a 10, sendo 0 = nenhuma dificuldade e 10 = muita dificuldade, qual o grau de
dificuldade quanto aos seguintes tipos de dificuldades.
Tipos de dificuldades:
1. Enunciado (compreenso, longo, ambiguo, etc.)
2. Terminologia (termos difceis, ambguos, etc.)
3. Compreenso do objetivo da questo
4. Problemas relativos memria
5. Formato da questo (lista, ordenao, escalas, etc.)
6. Opes de respostas
7. Constrangimento
8. Desconhecimento do assunto
9. Entendimento dos temas
10. No sensvel questo de gnero
11. Outras (especificar)
1.A. Avaliao por bateria: (classificar o grau de dificuldade de 0 a 10) e indicar as questes onde
aparecem problemas e os tipos de dificuldades:
B1. Introduo
B2. Qualidade de
vida e capital social
B3. Polcia e
criminalidade
B4. Associativismo
B5. Valores
B6. Religio
B8. Trabalho
B9. Estratificao
Numa escala de 0 a 10, sendo 0 = nenhuma dificuldade e 10 = muita dificuldade, na sua opinio,
qual o grau de dificuldade em relao s escalas?
Tipos de dificuldades:
1. Distino dos pontos
2. Nmero de pontos
3. Outras (especificar)
1. Problema grave
2. um problema
3. No problema
1. Diariamente ou quase todos os dias
2. Algumas vezes por semana
3. Algumas vezes por ms
4. Raramente
5. Nunca
1. Frequentemente
2. s vezes
3. Raramente
4. Nunca
1. Concorda totalmente
2. Concorda e parte
3. Discorda e parte
4. Discorda totalmente
1. Muito boa
2. Boa
3. Ruim
4. Pssima
1. Aumentou
2. Diminuiu
3. Continua o mesmo
1. Muito democrtica
2. Razoavelmente democrtica
3. Pouco democrtica
4. Nada democrtica
1. Muito feliz
2. Mais ou menos feliz
3. Pouco feliz
4. Nada feliz
1. Muito orgulhoso
2. Razoavelmente orgulhoso
3. No muito orgulhoso
4. Nada orgulhoso
1. Muito bom
2. Bom
3. Ruim
4. Muito ruim
1. Totalmente a favor
2. Um pouco a favor
3. Nem a favor, nem contra
4. Um pouco contra
5. Totalmente contra
OUTRAS
3.A. Interesse pelo assunto por bateria: classificar o grau de interesse do entrevistado em uma
escala de 0 a 10, sendo 0 =nenhum interesse e 10 = muito interessado:
3.B. Receptividade (gentil, hostil, etc.?): classificar o grau de receptividade do entrevistado em uma
escala de 0 a 10, sendo 0 = pouco receptivo e 10 = muito receptivo: __________
4. Outros comentrios
_______________________________________________________________________________
_______________________________________________________________________________
_______________________________________________________________________________
__________________________________________________________
4.A. Comentrios sobre a situao da entrevista (outras pessoas presentes? local da entrevista,
etc.)
_______________________________________________________________________________
_______________________________________________________________________________
_______________________________________________________________________________
_____________________________________________________
_______________________________________________________________________________
_______________________________________________________________________________
_______________________________________________________________________________
__________________________________________________________
Solange Simes
Maria Aparecida Machado Pereira
INTRODUO
A metodologia de survey que a contrapartida acadmica mais cientfica e analtica das pesquisas de
opinio tem desempenhado um papel importante na produo do conhecimento sociolgico
contemporneo. Pioneiros da metodologia de survey, como Samuel A. Stouffer e Paul F. Lazarsfeld (1962)
buscaram aplicar mtodos de pesquisa social emprica para a anlise de problemas sociais e sociolgicos,
transformando questes sociais em questes sociolgicas, ou seja, relevantes para o desenvolvimento da
sociologia enquanto cincia. Seguindo os passos desses pioneiros, nas ltimas dcadas, a metodologia de
survey tem produzido conhecimento cientfico, relevante para a formulao de polticas pblicas nas mais
diversas reas das cincias sociais, destacando-se o comportamento eleitoral, a estratificao social, as
relaes raciais, a criminalidade e o meio ambiente, entre inmeros outros temas. Na cincia poltica
brasileira, um dos usos destacados da metodologia de survey nas dcadas de 1970 e 1980 foi na anlise
do comportamento eleitoral dentro da temtica mais geral de transio democrtica. Hoje, cientistas sociais
brasileiros utilizam o survey na investigao de temas como o desenvolvimento/ampliao da democracia,
seja no que concerne aos direitos polticos (associativismo, transparncia poltica ou accountability), seja no
que concerne aos direitos sociais (trabalho, educao, meio ambiente, relaes de gnero e raciais, etc.).
Ademais, essa ampliao da utilizao do survey tem ocorrido em um momento em que a explicao da
dinmica social e poltica tende a superar os determinismos econmicos ou culturais e a incorporar um
modelo multivariado de anlise, no qual um conjunto de clivagens sociais (classe, gnero, etnia, etc.) se
combinam de forma no linear. Nesse novo contexto de produo do conhecimento, com a utilizao da
metodologia de survey, a anlise da estratificao e da mudana social podem ser retomadas numa
abordagem que no recorre s leis de ferro da histria, mas no abandona a investigao de tendncias
probabilsticas (Inglehart, 1997).
Apesar da (ou em razo da) ampliao do seu uso por cientistas sociais, a metodologia de
survey muitas vezes se defronta com fortes resistncias. Parte das crticas sofridas no meio
acadmico deriva-se do fato de que esta uma tcnica de alguma maneira similar quela utilizada
pelos institutos de opinio pblica e pesquisas de mercado, os quais esto mais preocupados com a
habilidade de prever do que com a explicao e compreenso dos fenmenos que investigam
(Marsh, 1982, p.83-4). Catherine Marsh aponta os principais problemas da metodologia de survey
quando cientistas sociais tratam os depoimentos dos sujeitos que entrevistam como explicaes e
agregam os resultados das pesquisas como se fossem autoevidentes. Mas, para o pesquisador
acadmico, as respostas dos entrevistados so dados cujo papel subserviente, servindo como
evidncia para a questo terica que levantam (Marsh, 1982, p.83-4).
No Brasil, o carter muito descritivo e jornalstico de teses e artigos acadmicos foi apontado
como sria deficincia de grande parte das cincias sociais produzida no Pas (Reis, 1991).
Acredita-se que exista uma lacuna na formao de cientistas scias que no est ligada apenas a
mtodos quantitativos, mas especialmente adequada articulao entre teoria e investigao
emprica. Nesse propsito, o uso da metodologia de survey, com a anlise multivariada, e
especialmente atravs do desenho longitudinal, possibilita a investigao das relaes causais,
permitindo aos cientistas sociais responder no apenas as maneiras (descrio) mas tambm os
motivos na sua anlise da dinmica social e poltica.
A conexo entre teoria e empiria, porm, no pode ser relegada ao momento da anlise dos
dados. A qualidade validade e confiablidade dos dados (ou deveria ser) condio sine qua non
para qualquer esforo analtico. Ou seja, a coleta ou construo do dado tambm deve se guiar
pelos mesmos cnones de rigor cientfico e articulao entre teoria e empiria. esse crucial
componente da metodologia de survey que ser explorado neste Anexo, no qual nos propomos a
apresentar os procedimentos metodolgicos utilizados, refinados ou concebidos na construo do
questionrio e na conduo das entrevistas da Pesquisa da Regio Metropolitana de Belo Horizonte
(PRMBH).
Ao empregar a metodologia de survey e possibilitar a anlise sistemtica e longitudinal dos
mltiplos fatores que hoje condicionam a dinmica social e poltica, a PRMBH busca fazer uma
contribuio relevante para o desenvolvimento das cincias sociais no Brasil. A PRMBH, que deve
ser compreendida como um dos componentes de um projeto maior de capacitao de cientistas
sociais brasileiros no uso de mtodos quantitativos, foi criada em sequncia e em adio ao
programa em Metodologia Quantitativa em Cincias Scias do Departamento de Sociologia e
Antropologia da UFMG, com a colaborao do Departamento de Cincia Poltica. Esse programa,
nos ltimos seis anos, tem treinado professores e estudantes de ps-graduao de todo o Brasil,
cumprindo, e indo alm das expectativas iniciais, um papel central no preenchimento do que tem
sido considerado uma lacuna na formao de cientistas sociais no Pas. Assim, a PRMBH busca
ampliar a capacitao de cientistas sociais brasileiros em um dos mtodos quantitativos mais
prolficos (mas no necessariamente bem entendido e corretamente utilizado) em cincias scias: a
metodologia de survey. Nas sees que se seguem ser apresentado o estado da arte dessa
metodologia, discutindo os desenvolvimentos mais recentes propiciados pela experimentao e
teorizao advindas da psicolingustica e da psicologia cognitiva, com ilustraes retiradas da
PRMBH.
arte na construo do nosso questionrio. Neste Anexo, abordaremos, mesmo que brevemente, os
recursos metodolgicos mais recentemente desenvolvidos e utlizados pela PRMBH.
Ainda nos anos de 1950, o clssico The Art of Asking Questions (Payne, 1951) j apontava
repetidamente para a necessidade de se basear essa arte em evidncia quantitativa. Mas foi nos
anos de 1970 que um maior impulso na experimentao metodolgica foi dado por outro clssico,
Question and Answer in Attitudes Surveys: experiments on question form, wordingand context
(Schuman e Presser, 1981), no qual os autores buscam medir com rigor os efeitos da terminologia,
do formato das questes (aberta ou fechada), da ordem das questes, da sequncia das
alternativas, da apresentao ou no de filtros, etc. na produo das respostas. Para isso, so
utilizados experimentos split-ballot, dividindo-se uma amostra aleatria em duas partes e utilizando-
se para cada uma delas uma verso da questo. A varivel a ser manipulada pode ser o termo
empregado, o formato (aberto ou fechado), a sequncia em que a questo aparece, entre muitas
outras possibilidades. Na medida em que as duas metades da amostra aleatria podem ser
consideradas iguais, as diferenas nas respostas so consideradas efeitos da varivel teste. Por
exemplo, em um experimento clssico (Schuman e Presser, 1981), os pesquisadores argumentam
que proibir e permitir so logicamente opostos e que, portanto, substituir um pelo outro na
pergunta Os Estados Unidos deveriam [permitir/proibir] discursos pblicos contra a democracia?
no deveria produzir nenhum efeito na resposta, ou seja, a resposta sim em uma formulao
deveria logicamente corresponder a no na outra. Contudo, o experimento mostrou que mais
estadunidenses esto dispostos a no permitir do que a proibir tais discursos.
Os estudos desses efeitos exploram e buscam detectar os fatores que influenciam o
entendimento dos entrevistados e como os significados inferidos muitas vezes diferem dos
significados pretendidos pelo pesquisador (Bradburn e Sudman, 1982; Converse e Presser, 1986;
Fowler Jr., 1995). Alm disso, a questo da cristalizao de opinies (Converse, 1964), a criao de
padres de resposta e a desejabilidade social se tornaram elementos centrais nas disputas
epistemolgicas e metodolgicas em relao ao estatuto cientfico do survey, ento frequentemente
rotulado de positivista ou visto como um artefato sociolgico.
Os experimentos dos anos de 1970 foram bem-sucedidos na revelao de vrios tipos de
efeitos produzidos na resposta pelos instrumentos de pesquisa de survey. Contudo, a explicao
terica para a produo de tais efeitos s vai se desenvolver de maneira mais rigorosa nos anos de
1980 e 1990 com importantes publicaes e experimentos de psicolinguistas e psiclogos
cognitivos. Estes partem da definio do survey enquanto, por um lado, uma interao social guiada
pelas regras sociais e lingusticas da conversao e, por outro, uma srie de tarefas cognitivas
realizadas pelos entrevistados (Sudman et al., 1996). Os psicolinguistas argumentam que a tentativa
de entender como os entrevistados compreendem as questes em um survey inevitavelmente leva
busca de informaes acerca de como as pessoas compreendem o mundo volta delas e de como
elas se comunicam umas com as outras. Assim, a entrevista do survey pode ser melhor
compreendida enquanto uma conversa na qual os entrevistados conduzem suas parcelas de
reflexo e produo de respostas em um contexto social e de dilogo especfico (Clark e Schober,
1992). Segundo os psicolinguistas, a entrevista do survey deve ser analisada a partir do princpio da
cooperao, um dos elementos estruturantes da conversa, que postula que os indivduos esperam
que suas interlocues sejam claras, verdadeiras, relevantes e noredundantes. Assim, quando em
nossas aulas, a ttulo de exemplificao, perguntamos a um aluno O que voc fez hoje? e eles
geralmente respondem algo como Li alguns textos e vim para a universidade, eles esto
colocando em ao o princpio da cooperao e nos passando informaes que acreditam serem o
que julgamos relevante nenhum aluno at hoje nos respondeu tomei banho ou escovei os
dentes. Em outro exemplo, fazemos perguntas no estilo das famosas pegadinhas: O que voc
acha que acontecer com as negociaes de paz entre Israel e Palestina depois do assassinato de
Mahmoud Abas ontem noite?, e, na maioria das vezes, temos estudantes perplexos tentando
emitir suas respostas. Segundo o princpio da cooperao, tal resposta no fruto necessariamente
de uma necessidade de parecer bem informado, mas sim do julgamento de que, em princpio, ns,
os professores, estaramos sendo verdadeiros.
A partir de uma perspectiva cognitiva, a resposta a uma questo requer a realizao de
quatro tarefas cognitivas: interpretar a questo; buscar na memria informao sobre um
comportamento ou uma opinio; formatar a resposta; e edit-la (Strack e Martin, 1987). A operao
combinada do princpio da cooperao e das tarefas cognitivas nos revela o processo de
entendimento da pergunta e produo da resposta. A interpretao da palavra manga na pergunta
Voc gosta de manga? certamente depende se esta aparece em uma sequncia de questes
sobre moda ou sobre alimentao. Entender uma questo de maneira a produzir uma resposta
adequada requer o entendimento no apenas do sentido literal da palavra usada, mas tambm do
seu sentido pragmtico, ou seja, das inferncias sobre a inteno de quem fez a pergunta (Sudman
et al., 1996). Dessa forma, na entrevista do survey, ao interpretar a pergunta, o entrevistado busca
no enunciado pistas para inferir os significados pretendidos pelo pesquisador: as alternativas de
resposta ou a sequncia em que a questo aparece, por exemplo, so fontes para sua interpretao
deveriam aparecer no Manual de Questo por Questo (MQQ), instrumento para o campo final e
que visa a garantir a padronizao da entrevista e a comparabilidade dos dados.
Ao conceber os instrumentos de pr-teste, procuramos sistematizar procedimentos que nos
permitissem no apenas identificar os problemas, mas tambm registrar a frequncia da sua
ocorrncia. As sesses de debriefing (reunio em que se realiza um balano e a avaliao de todas
as dificuldades encontradas) com os entrevistadores, realizadas logo aps o pr-teste, usualmente
no so longas nem estruturadas o suficiente para permitir o resgate ou o registro adequado dos
problemas identificados nas entrevistas. Outra limitao dessas sesses que entrevistadores mais
eloquentes podem acentuar e causar a crena na generalidade de um problema que de fato teve
apenas uma ocorrncia mnima. Buscando uma identificao detalhada dos problemas e a
frequncia da sua ocorrncia, concebemos e utilizamos os instrumentos de avaliao do
questionrio que se seguem.
1) Barra de probes
abarra de sondagem para aprofundamento da questo. Permitiu a computao do nmero
de ocorrncias em que foi necessria a repetio do enunciado (R. Enun.), repetio das opes de
resposta (R. Op.), a solicitao do significado do enunciado (Sig. Enun.) ou a solicitao do
significado das opes de resposta (Sig. Op.). A barra de probes permitiu o registro do
comportamento do entrevistado com um custo muito menor do que a tcnica de codificao de
comportamento ou behavior coding feita a partir de gravaes das entrevistas.
Sendo uma tcnica bem estruturada, o survey utiliza procedimentos padronizados para
garantir o compartilhamento de significados entre pesquisador e entrevistado e, assim, assegurar a
comparabilidade das questes feitas e das respostas dadas pelos diferentes entrevistadores e
entrevistados. O probe, como um aprofundamento da questo, uma tcnica neutra, pois, sem
induzir a resposta, ajuda o entrevistado a entender e responder a questo proposta e tambm
auxilia o entrevistador a entender e esclarecer a resposta dada. Assim, a busca de clarificao pode
partir tanto do entrevistador quanto do entrevistado.
Quando h dvida ou pedido de esclarecimento parte do entrevistado, o entrevistador utiliza
as seguintes alternativas de procedimento: a) repetir o enunciado e/ou as opes (Assinalar: R.
Enun. ou R. Op.); b) usar a expresso Qualquer que seja o significado que isso tenha para voc,
quando o entrevistado solicitar definio que no aparea no enunciado da questo (Assinalar: Sig.
Enun. ou Sig. Op.); ou c) dar esclarecimentos sobre a questo previstos no MQQ, caso aparea na
questo a instruo MQQ pg... (Assinalar: MQQ).
Quando h dvida ou pedido de esclarecimento parte do entrevistador, o probe aplicado por
meio de uma questo adicional padronizada, com o objetivo de motivar o entrevistado a se
comunicar de forma mais clara e completa, permitir ou encorajar o entrevistado a explicar as suas
respostas, ou evitar que ele inicie digresses com informaes irrelevantes. Algumas das principais
questes padronizadas so as seguintes:
Como computamos o nmero de ocorrncias de cada probe para cada questo, sabemos
com maior preciso, por exemplo, quantas vezes foi pedida a repetio de um determinado
enunciado ou a explicao de um termo. Podemos, assim, avaliar uma questo e buscar
alternativas com mais informao e maior rigor.
No Roteiro de Avaliao, cada tipo de problema precodificado, o que, por um lado, facilita a
sua anotao pelo entrevistador e, por outro, permite a computao da frequncia de ocorrncias.
Enquanto a barra de probes permite a observao objetiva do comportamento do
entrevistado, o Roteiro de Avaliao propicia a avaliao subjetiva, por parte do entrevistador, do
desempenho do entrevistado.
A combinao dos resultados da barra de probes com o Roteiro de Avaliao permite-nos,
por exemplo, no apenas identificar termos de difcil compreenso por pessoas de baixa
escolaridade, como tambm identificar sinnimos que acrescentamos, em parnteses, ao
enunciado. Alm de assegurar maior validade das respostas e facilitar a conduo da entrevista, o
procedimento estabelecido de todos os entrevistadores fornecerem o mesmo sinnimo ou
explicao para cada entrevistado visa a garantir a comparabilidade dos dados.
3) Entrevistas cognitivas
Este instrumento possibilita investigar as quatro etapas do processo de compreenso da
pergunta e produo da resposta: entendimento do enunciado, retrieval (busca na memria de
informaes necessrias ou relevantes para a resposta), julgamento e edio da resposta.
As questes cognitivas foram feitas subsequentemente s questes avaliadas. O objetivo no
era fazer uma entrevista em profundidade ou explorar o tema as questes cognitivas foram
formuladas para se resgatar as quatro tarefas cognitivas envolvidas na interpretao da pergunta e
produo da resposta.
No mdulo etnia e cor da PRMBH, que visava a construir uma medida mais vlida de etnia,
usamos as questes cognitivas para investigar os significados atribudos a cinco categorias de
etnia/cor usadas pelo Censo. Logo aps o entrevistado ter respondido questo tal como formulada
pelo IBGE, as questes cognitivas foram introduzidas. A seguir, esto alguns exemplos de questes
e respostas obtidas:
QUESTO COGNITIVA: O que voc entende por pardo? Voc poderia dar um exemplo de uma
pessoa parda famosa no Brasil?
QUESTO COGNITIVA: Na lista acima, como voc classificaria a atriz Camila Pitanga?
- Morena.
- Acho que ela negra. Mas ela no escura como eu.
- Parda.
- uma mulata.
- Preta.
- Tem diferena; o pardo tem a cor sem definio, no branco nem preto. Moreno j tem a pele
mais escura.
QUESTO COGNITIVA: O que voc entende por amarelo? Voc poderia dar um exemplo de uma
pessoa amarela famosa no Brasil?
O uso das questes cognitivas no pr-teste da PRMBH foi bastante exaustivo para todos os
mdulos. Mas mesmo algumas poucas ilustraes so suficientes para nos alertar para problemas
srios de validade e comparabilidade.
No pr-teste da PRMBH 2002, o cientista poltico Ronald Inglehart, pesquisador do Institute for
Social Research da Universidade de Michigan e colaborador na nossa bateria de valores, props a
replicao de algumas questes do seu survey internacional World Vales Survey, e entre elas a
seguinte questo da sua famosa bateria de valores ps-materialistas:
Se voc tivesse que escolher, qual dessas coisas voc diria que a mais importante? E qual seria a
segunda mais importante: manter a ordem no pas, dar mais voz s pessoas em decises importantes do
governo, combater a alta de preos ou proteger a liberdade de expresso?
propiciaria respostas mais profundas, refletidas, qualificadas e completas. Sabemos que no isso o
que necessariamente, ou principalmente, ocorre em relao s questes abertas em um survey. Alguns
experimentos que discutem o que se mede com as questes abertas questionam se esse formato de
fato uma mais vlida medida de opinio ou apenas uma medida da capacidade de verbalizao do
entrevistado (Geer, 1988). Seguindo essa linha de argumentao, preciso ressaltar que as questes
abertas, em vez de garantir respostas mais qualificadas, podem vir a ser incodificveis ou gerar
esquemas de codificao de baixa confiabilidade. Isso ocorre se os entrevistadores no forem
treinados a usar os probes adequados para clarificar respostas ou para garantir que estas sejam claras
e completas. Apesar de no nosso manual de treinamento1 indicarmos que toda questo aberta deve ser
seguida de pelo menos um probe, observamos que os entrevistadores nem sempre seguiam tal
procedimento. Portanto, para garantir o uso dos probes e a obteno de respostas claras, relevantes e
completas, passamos a incluir no questionrio a seguinte instruo aps questes abertas: APLICAR
PELO MENOS UM DENTRE OS PROBES: O que mais voc poderia acrescentar?, Voc poderia me
falar um pouco mais sobre isto..., O que voc quer dizer com isso?, Voc poderia dar um exemplo?.
Mesmo em relao questo fechada, o entrevistador deve estar apto a usar o probe adequado.
Considere o seguinte exemplo de uma resposta insatisfatria bastante comum:
Entrevistador: Pense em sua vida em geral. Em que medida voc est satisfeito com ela:
totalmente satisfeito(a), muito satisfeito(a), pouco satisfeito(a) ou nada
satisfeito(a)?
Entrevistado: Eu detesto meu trabalho, assim, eu diria no muito satisfeito(a).
Neste caso, o probe correto a ser aplicado pelo entrevistador, para garantir que o entrevistado
produza uma resposta de acordo com o objetivo da questo, repetir a questo enfatizando o marco
de referncia: Mas, pensando em sua vida em geral..., e os pontos da escala, dado que na resposta o
entrevistado tambm no usou a escala oferecida no enunciado.
O uso efetivo do probe requer do entrevistador o conhecimento dos objetivos das questes e a
capacidade de ouvir atentamente o que o entrevistado diz, para decidir se a resposta dada atende aos
objetivos da questo:
Entrevistador: Em que medida voc acha que a realizao de eleies faz o governo prestar
ateno no que o povo pensa: muito, um pouco ou quase nada?
Entrevistado: Eu no estou certo. Espero que as eleies faam o governo prestar ateno no
povo.
Entrevistador: Certamente, mas voc acha que a realizao de eleies faz o governo prestar
ateno no que o povo pensa: muito, um pouco ou quase nada?
Os entrevistadores so tambm instrudos a sempre usar o probe o que voc acha? toda vez
que a resposta for no sei, em uma tentativa de evitar o falso negativo, ou seja, pessoas que tm
opinio usarem o no sei como uma sada fcil para uma questo.
Os experimentos tm tambm mostrado como aspectos da situao da entrevista, tal como a
presena do cnjuge, podem produzir efeitos na resposta (Aquilino, 1993). Alm de tais efeitos, ao
levar em conta a situao da entrevista, tambm somos confrontados com um leque variado de
questes que vo de consideraes ticas preocupao com a segurana dos entrevistadores. O
seguinte relato de uma entrevistadora da PRMBH (2002) contundente:
O entrevistado sorteado para responder o questionrio morava em sua casa com sua filha, sua me e uma
amiga, segundo sua prpria descrio durante a conduo da entrevista. Desde o incio, a me do
entrevistado seguiu elogiando a entrevistadora, sempre muito solcita, deixando entender que gostaria de
ter uma nora como a entrevistadora. Ao mesmo tempo, a amiga do entrevistado, que estava na cozinha
ouvindo a entrevista, se mostrou bastante irritada e hostil em relao presena da entrevistadora na casa.
Ao final da entrevista, quando perguntado sobre sua situao conjugal, o entrevistado declarou que era
solteiro. Neste momento, a amiga saiu da cozinha e se dirigiu, visivelmente irritada, ao segundo andar da
casa. De repente, a amiga comeou a jogar objetos (pregadores de roupa, almofadas, etc.) escada
abaixo, com a inteno de acertar o entrevistado, que se encontrava assentado no primeiro degrau da
escada. O entrevistado, muito constrangido, explicou entrevistadora que vivia com a amiga em situao
de concubinato e pediu que, por favor, ela no revelasse este fato ao pastor de sua igreja. Em seguida, a
ento amiga desceu as escadas carregando uma mala e, descontroladamente, gritava que estava indo
embora da casa. A entrevistadora encerrou a entrevista e saiu da casa, ainda sendo assediada pela me
do entrevistado.
Um outro aspecto da pesquisa a sua apresentao fator muito importante para evitar
recusas.A equipe da PRMBH sentiu necessidade de utilizar vrios instrumentos para evitar recusas,
como: carta de apresentao enviada ao domiclio antes da primeira visita do entrevistador e folder de
apresentao com um leque de questes antecipando respostas s perguntas que os entrevistados
normalmente fazem acerca dos objetivos e procedimentos da pesquisa. No entanto, apesar da nfase
no fato de a pesquisa ser realizada pela universidade, fator que abre portas e d credibilidade,
situaes no antecipadas acontecem: um entrevistador aluno da UFMG foi surpreendido pela
apreenso gerada no entrevistado ao se apresentar como sendo da Federal...
Os experimentos
Susanne Lundasen (2002, p.132) apresentou resultados de pesquisas (General Social Survey)
realizadas nos Estados Unidos nas dcadas de 1970 e 1980, nas quais diferentes formulaes da
pergunta resultaram em grandes diferenas no percentual de resposta. O contexto do pr-teste da
PRMBH nos levou tambm a formular uma hiptese metodolgica para explicar os resultados para o
Brasil do World Vales Survey que colocam o Brasil, junto com a Turquia, como o pas com o menor
ndice de confiana interpessoal entre as mais de sessenta sociedades estudadas por Inglehart. Esse
curioso e preocupante dado certamente incita a busca de interpretaes tericas, mas um aspecto
metodolgico que nos chamou a ateno nos parece relevante para a produo de tais resultados.
Entendemos que a formulao da pergunta, tal como traduzida do World Vales Survey para o
portugus, utilizava-se de uma expresso que, no contexto brasileiro, remetia a um dito popular. Isso
nos levou a hipotetizar que a terminologia utilizada, ou seja, um dito popular, poderia estar contribuindo
para o altssimo percentual de brasileiros que declaravam que cuidado nunca demais. No
experimento split-ballot da PRMBH, utilizamos a traduo original cuidado nunca demais e a
expresso alternativa podemos confiar em poucas pessoas. Assim, essas duas formulaes foram
testadas mantendo-se constante a expresso para representar confiana: podemos confiar na maioria
das pessoas. O resultado nos surpreendeu quando os percentuais de respostas para as duas
formulaes foram iguais, com 90,7% respondendo cuidado nunca demais na primeira formulao e
90,9% respondendo podemos confiar em poucas pessoas na segunda formulao.
Embora o resultado do experimento no tenha demonstrado uma variao nas respostas a partir
da mudana na formulao da pergunta, entendemos que a investigao quanto s questes tericas e
de mensurao envolvidas na discusso sobre a medida de confiana interpessoal ainda est no seu
incio e com um grande campo para ser explorado; por exemplo, o entendimento das dimenses do
conceito de confiana, a construo de medidas nicas versus medidas compostas e at a relao
(diferenas) entre medidas atitudinais e comportamentais.
Outro experimento utilizando diferentes terminologias foi em relao s categorias de
classificao de etnia e cor. Em uma das subamostras, utilizamos as categorias do IBGE branco,
preto, pardo, amarelo e indgena; e na outra subamostra, substitumos a categoria pardo pela
categoria moreno, mantendo as outras categorias iguais. A variao dos percentuais na distribuio
de frequncias das questes foi grande; ao apresentarmos a categoria moreno, o percentual de
respostas aumentou significativamente em relao ao percentual de respostas para a categoria
pardo, diminuindo o percentual de brancos e pretos. Esse resultado certamente fomenta um
importante debate sobre os significados e os entendimentos das medidas de etnia/cor (ver Simes et
al., 2004).
O segundo tipo de experimento testa os efeitos na resposta quando decidimos oferecer ou no a
opo no sei como alternativa de resposta. Para medidas de percepo ou de conhecimento,
quando no oferecemos a opo no sei dentre as categorias de respostas, o entrevistado, ao se
sentir constrangido em declarar espontaneamente no sei, poder ser levado a escolher qualquer
uma das categorias apresentadas (o que se chama de falso positivo). Ou seja, na ausncia de um
filtro para aqueles que no tm opinio (Converse e Presser, 1986), poderemos produzir uma opinio
que no existe, o que, alis, Bourdieu (apudThiollent, 1985) j destacava como o primeiro postulado
das pesquisas de opinio que deve ser colocado em questo para uma anlise rigorosa. Por um lado, o
filtro ou o semifiltro (a apresentao da opo no sabe no prprio enunciado da pergunta)
importante para tornar explcita ao respondente a legitimidade de uma resposta no sei. Por outro
lado, quando oferecemos a opo no sei, os respondentes, mesmo tendo uma opinio sobre o
assunto em questo, podero buscar uma sada mais fcil de resposta declarando no conhecer o
suficiente para opinar, em vez de emitir sua opinio (o que se chama de falso negativo). Esse dilema
uma discusso importante para as medidas atitudinais (crenas, opinies). O que estaremos medindo
com perguntas de percepo, ou seja, o que buscamos com maior empenho evitar: a criao de
opinio enquanto um artefato sociolgico ou a subestimao das crenas e opinies do conjunto de
entrevistados?
A questo selecionada para o split-ballot da PRMBH (2002) foi uma medida de percepo sobre
o Oramento Participativo. Quatro perguntas foram elaboradas, cada uma abordando um aspecto do
Oramento Participativo em relao: 1) ao poder da populao de decidir sobre obras na cidade, 2)
prestao de contas da prefeitura junto populao, 3) ateno s demandas populares e 4) ao
poder dos vereadores.
A avaliao desses aspectos do Oramento Participativo levou em conta se aumentou,
diminuiu ou continua igual. Para uma das subamostras, no oferecemos a opo no sei; e para a
outra, oferecemos a opo no sei expressa enquanto ou voc no conhece o suficiente para
opinar.
As diferenas percentuais na distribuio das respostas foram muito altas para as quatro
perguntas feitas. Respectivamente, para o no sei voluntrio e para o no conhece o suficiente para
opinar, os resultados foram os seguintes: 1a pergunta: 9,1 % e 46,2%; 2a pergunta: 16,8% e 50,3%; 3a
a
pergunta: 12,7% e 42,9%; 4 pergunta: 19,2% e 55,1%.
utilizao de um modo de coleta do dado que garantisse o sigilo das respostas foi colocada como
alternativa metodolgica para uma questo em que se tratava de uma temtica sensvel no contexto
brasileiro.
Para as duas sequncias de questes, foram utilizados o modo face-a-face e o modo
autoaplicado em duas subamostras de um experimento split-ballot, no qual, mantendo-se a mesma
formulao, apenas variava o modo de conduo da entrevista. Os resultados no demonstraram
diferenas quanto distribuio dos percentuais das respostas, o que ressalta a necessidade de um
aprofundamento do entendimento das especificidades da questo da discriminao no contexto
brasileiro, quando a utilizao de um recurso metodolgico para garantir o sigilo das respostas no
funcionou como esperado.
Outro desafio, bem conhecido entre os pesquisadores que utilizam a metodologia de survey para
coleta de dados, perguntar o valor da renda (familiar ou individual), uma vez que tambm tomada
como uma temtica sensvel, na medida em que se sabe que o nmero de entrevistados que se
recusam a responder esse tipo de questo bastante grande nos mais diversos pases. Portanto, essa
questo se colocou como uma candidata verificao dos efeitos na resposta produzidos pelos modos
de coleta do dado. Assim, utilizou-se o experimento relativo ao modo de coleta do dado (entrevista
face-a-face ou questionrio autoaplicado) com a expectativa de que o nmero de respostas no modo
autoaplicado fosse maior do que na entrevista face-a-face. Os percentuais daqueles que se recusaram
a dar respostas sobre a renda, contudo, no apresentaram diferenas que indicassem efeitos da
variao dos modos de coleta do dado.
A utilizao dos experimentos um importante instrumento para a investigao sobre a validade
e a confiabilidade das medidas e demanda um conhecimento especfico sobre a sua metodologia.
Cada resultado deve ser analisado levando-se em conta a natureza especfica de cada medida, alm
da fundamentao terica na explicao dos efeitos nas respostas. No caso do uso do survey no
contexto brasileiro, os experimentos podero ser um instrumento muito til na adequao da
metodologia para populaes altamente heterogneas em termos educacionais e culturais.
Comentrios finais
O processo de construo do questionrio da PRMH, trabalho longo e minucioso, efetivamente
se tornou um fascinante aprendizado para todos ns, professores e alunos, na arte e na cincia de
fazer perguntas. Esperamos que esse processo e seus instrumentos, brevemente descritos neste
Anexo, possam incentivar outros cientistas socias a ver o pr-teste como uma fase crucial na gerao
de dados vlidos e confiveis, sendo, portanto, um momento do survey que deve ser feito com o maior
rigor e com o uso de tcnicas bem elaboradas. Ns, da PRMBH, estamos totalmente convencidos
disso.
Notas:
1
O nosso Manual do Entrevistador uma adaptao ao nosso contexto social e de pesquisa do manual
desenvolvido ao longo de cinquenta anos pelo Survey Research Center do Institute for Social Research da
Universidade de Michigan.
2
Susanne Lundasen (2002, p.132) levantou os diferentes significados do termo confiana interpessoal e apontou
trs diferentes nveis, apresentados por Couch e Jones (1997): confiana generalizada (na natureza humana),
confiana relacional (relacionada com as pessoas conhecidas especficas) e confiana na rede (nvel
intermedirio relacionado com as redes sociais ou familiares).
Referncias
Aquilino, W. Spouse presence during the interview on survery responses concerning marriage. Public
Opinion Quarterly, 1993;57:358-76.
Bradburn, N.; Sudman, S. Asking questions: a practical guide to questionnaire design. San Francisco:
Jossy-Bass, 1982.
Clark, H.; Schober, M. Asking questions and influencing answers. In: Tanur, J. M. (org.). Questions
about questions: inqueries into the cognitive bases of surveys. New York: Russel Sage Foundation,
1992.
Converse, J. M.; Presser, S. Survey questions: handcrafting the standartized questionnaire. Beverly
Hills: Sage, 1986.
Converse, P. The nature of belief systems in mass publics. In: Apter, D. (org.). Ideology and discontent.
New York: Free Press, 1964. p.206-61.
Couch, L.; Jones, W. Measuring levels of trust.Journal of Research in Personality, 1997;31:317-36.
Fowler Jr., Floyd J.Improving survey questions: design and evaluation. Thousand Oaks, CA: Sage
Publications,1995.
Fowler Jr., Floyd J. Pesquisa de levantamento. Porto Alegre: Penso, 2011.
Geer, J. G. What do open-ended questions measure? Public Opinion Quarterly, 1988;52:365-71.
Inglehart, R. Modernization and postmodernization: cultural, economic, and political change in 43
societies. Princeton: Princeton University Press, 1997.
Lundasen, S. Podemos confiar nas medidas de confiana? Opinio Pblica, 2002;7(2):304-27.
Marsh, C. The Survey method: the contribution of survey to sociological explanation. London: George
Allen & Unwin, 1982.
Payne, S. L. The art of asking questions. Princeton: Princeton University Press, 1951.
Formular uma questo para um instrumento de pesquisa formular uma medida, no uma
investigao conversacional. Em geral, uma resposta dada a uma questo de levantamento no
carrega um interesse intrnseco. Ela valiosa na medida em que pode mostrar que possui uma relao
previsvel com os fatos ou com os estados subjetivos de interesse. Boas questes maximizam a
relao entre as respostas registradas e o que o pesquisador est tentando medir.
De certo modo, respostas de levantamento so simples respostas evocadas em uma situao
artificial criada pelo pesquisador. A questo crtica neste captulo : o que uma resposta a uma questo
de levantamento nos diz sobre alguma realidade na qual temos interesse. Vejamos alguns tipos
especficos de respostas e seus significados:
1. Um respondente nos diz que votou em Kerry e no em Bush para presidente em 2004. A
realidade na qual estamos interessados em que nvel, se houve algum, ele foi influenciado
na cabine de votao. A resposta dada no levantamento pode diferir de o que aconteceu na
cabine de votao por diversas de razes. O respondente pode ter pressionado o boto
errado e, portanto, no saber em quem ele realmente votou; ele pode ter esquecido; ou
tambm pode ter alterado sua resposta intencionalmente por algum motivo.
2. Um respondente nos diz quantas vezes foi ao mdico durante o ano passado. Este o
mesmo nmero a que o pesquisador chegaria se tivesse seguido o respondente cerca de 24
horas todos os dias durante o ano passado? Problemas de recordao, de definio do que
constitui uma visita ao mdico e de boa vontade para responder com preciso podem afetar a
correspondncia entre o nmero que o respondente fornece e a conta a que o pesquisador
teria chegado de forma independente.
3. Quando um entrevistado qualifica o seu sistema de escolas pblicas como bom em vez de
regular ou ruim, o pesquisador interpretar tal resposta como refletindo avaliaes e
percepes daquele sistema escolar. Se o entrevistado classificou apenas uma escola (em
vez de todo o sistema), se inclinou a resposta para agradar o entrevistador ou se entendeu a
questo de maneira diferente dos outros, sua resposta pode no refletir os sentimentos que o
pesquisador tentou medir.
pesquisador gostaria de estar apto a assumir que as diferenas nas respostas derivam das diferenas
entre os entrevistados no que eles tm para dizer e no das diferenas no estmulo ao qual os
respondentes foram expostos. A formulao das questes obviamente uma parte central do estmulo.
Uma coleta de dados de levantamento uma interao entre um pesquisador e um respondente.
Em uma pesquisa autoadministrada, em papel ou via computador, o pesquisador fala diretamente com
o entrevistado por meio de um questionrio escrito ou por palavras em uma tela de computador. Em
outros levantamentos, um entrevistador l as palavras do pesquisador para o respondente. Em ambos
os casos, o instrumento de pesquisa o protocolo para um dos lados da interao. A fim de fornecer
uma experincia de coleta de dados consistente para todos os respondentes, uma boa questo tem as
seguintes propriedades:
FORMULAO INCOMPLETA:
Ruim Melhor
6.2 Razo pela qual foi ao mdico da ltima Qual foi o problema mdico ou a razo pela qual voc foi ao
vez? mdico mais recentemente?
Entrevistadores (ou respondentes) tero de adicionar palavras ou substitu-las para que se possa
respond-las a partir das palavras na coluna da esquerda. Se o objetivo que todos os respondentes
respondam s mesmas questes, ento melhor que o pesquisador escreva as questes de forma
completa.
s vezes, a formulao opcional requerida para atender s diferentes circunstncias dos
respondentes. Isso no significa, contudo, que o pesquisador tenha que desistir de escrever as
questes. Se a entrevista assistida por computador, frequentemente possvel adequar a formulao
das questes. Se usado um roteiro de entrevista em papel, uma conveno comum colocar termos
opcionais entre parnteses. Tais palavras sero usadas pelo entrevistador quando forem adequadas
situao e omitidas quando no forem necessrias.
No exemplo 6.3, a frase entre parnteses seria omitida se o entrevistador j soubesse que o
respondente vivia sozinho. Se mais de uma pessoa vivia na casa, contudo, o entrevistador incluiria
isso. A opo entre parnteses oferecida em 6.4 pode parecer de menor importncia. Os parnteses,
contudo, alertam o entrevistador para o fato de que uma escolha de termo deve ser feita; o pronome
adequado utilizado, e o princpio de que o entrevistador precisa ler apenas a questo exatamente
como escrita a fim de apresentar um estmulo satisfatrio mantido.
Uma variao que mostra a mesma situao ilustrada em 6.5. Um formato como esse pode ser
usado se a mesma pergunta fosse feita para cada pessoa em uma famlia. Em vez de repetir
infinitamente as mesmas palavras, uma nica questo escrita instruindo o entrevistador para
substituir uma designao apropriada (seu marido, seu filho, sua filha mais velha).
Tanto em papel quanto pelo computador, o objetivo fazer o entrevistador realizar perguntas
que faam sentido e que se valham dos conhecimentos previamente obtidos na entrevista para
adequar as questes s circunstancias individuais dos respondentes. H outro tipo de formulao
opcional que visto ocasionalmente em questionrios e que no aceitvel.
6.6 O que voc mais gosta neste bairro? (Ns estamos interessados em qualquer coisa,
como casas, pessoas, parques ou o que quer que seja.)
Presumivelmente, o que est entre parnteses foi pensado para ajudar os respondentes que
tenham dificuldade em responder questo. A partir de um ponto de vista da medio, contudo, isso
viola o princpio da entrevista padro. Se o entrevistador usa o contedo entre parnteses quando um
respondente no chega prontamente a uma resposta, aquele subconjunto de respondentes ter
respondido uma questo diferente. Tais opes so introduzidas quando o pesquisador no acredita
que a questo inicial uma boa questo. A abordagem apropriada escrever, em primeiro lugar, uma
boa questo. Aos entrevistadores no deve ser dada nenhuma opo sobre quais questes ler ou
como l-las, exceto, como nos exemplos anteriores, para fazer as questes se adaptarem s
circunstncias particulares de um respondente de uma forma padronizada.
O que se segue um exemplo diferente de uma formulao de questo incompleta. H trs
erros envolvidos no exemplo.
a. Escolas pblicas
b. Parques
c. Transporte pblico
d. Outro
6.7a Eu irei pedir a voc para que classifique diferentes caractersticas do seu bairro.Eu
quero que voc pense cuidadosamente sobre as suas respostas.
Como voc classificaria (CARACTERSTICA): muito bom, bom, razovel ou ruim?
O entrevistador inseriria sequencialmente cada item (escolas pblicas, parques, etc.) at que as
quatro questes tivessem sido feitas. Esse formado d ao entrevistador a formulao necessria para
perguntar o primeiro e todos os outros itens subsequentes da lista como questes completas. Isso
tambm coloca os elementos da questo em uma ordem apropriada, de forma que as alternativas de
resposta so lidas para o respondente da maneira que elas mais provavelmente sero lembradas.
O terceiro problema com o exemplo 6.7 a quarta alternativa:outro. O que o entrevistador dir?
Ele far uma nova questo, como H alguma outra coisa no seu bairro que voc aprecie?. Como
sero redigidas as questes de classificao? No raro ver a opo outro em uma lista de questes
em um formulrio similar ao do exemplo. Claramente, da forma como apresentado em 6.7, o
planejamento inadequado.
Os exemplos apresentados ilustram questes que no poderiam ser apresentadas
consistentemente a todos os respondentes como um resultado da formulao incompleta.
Outro passo necessrio para melhorar a consistncia criar um conjunto de questes que fluam
sem problemas e facilmente. Se as questes tm uma formulao estranha ou confusa, se h palavras
difceis de pronunciar ou se combinaes de palavras soam estranhas juntas, os entrevistadores
mudaro as palavras para faz-las soarem melhor ou para torn-las mais fceis de ler. possvel
treinar e supervisionar os entrevistadores para seja feitoo mnimo de mudanas. No entanto, o melhor
modo de ajudar os entrevistadores oferecer-lhes questes fceis de ler.
culturais sero representadas. At mesmo com respondentes muito bem-educados, usar palavras
simples que so curtas e amplamente entendidas um mtodo seguro para a formulao de
questionrios.
Indubitavelmente, um erro muito mais comum do que usar palavras no familiares o uso de
termos ou conceitos que podem ter mltiplos significados. A prevalncia de interpretaes errneas de
formulaes comuns vem sendo bem documentada por aqueles que estudaram o problema (por
exemplo, Belson, 1981; Fowler Jr., 1992; Oksenberg et al, 1991; Tanur, 1991; Tourangeau, Rips e
Rasinski, 2000).
Problema. H dois termos ou conceitos ambguos nessa questo. Primeiro, h base para
incerteza sobre o que constitui um profissional da sade. Apenas as pessoas com formao em
medicina e que a praticam esto includas? Se sim, os psiquiatras esto includos, mas
psiclogos, quiroprticos, osteopatas e podlogos no esto. E os mdicos-assistentes ou
enfermeiros que trabalham diretamente para os mdicos em consultrios? Se uma pessoa vai a
um consultrio mdico para ser vacinada por um enfermeiro, isso conta?Segundo, o que
constitui ver ou falar com um mdico? Consultas por telefone contam? Visitas a um consultrio
mdico quando o mdico no visto contam?
Solues. Normalmente, a melhor abordagem fornecer aos entrevistadores e respondentes as
definies que eles precisam:
Problema. O problema que a definio de caf da manh varia muito. Algumas pessoas
consideram caf e uma rosquinha a qualquer momento antes do meio-dia um caf da manh.
Outras no consideram que tomaram caf da manh a menos que isso inclua uma grande
entrada, como bacon e ovos, e que seja consumido antes das 8h. Se o objetivo medir o
consumo de comida pela manh, os resultados provavelmente tero erros considerveis
decorrentes das diferentes definies de caf da manh.
Solues. H duas opes de abordagens para a soluo: definir caf da manh (6.9a) ou
perguntar s pessoas o que elas comeram antes das 10h.
6.9aPara os nossos propsitos, vamos considerar caf da manh como uma refeio
consumida antes das 10h, que inclua alguma protena, como ovos, carne ou leite, alguns
gros, como torradas ou cereal, e alguma fruta ou vegetal, incluindo suco.
Usando essa definio, voc tomou caf da manh ontem?
Embora a opo 6.9a seja normalmente uma abordagem muito boa, nesse caso muito
complicada. Em vez de tentar comunicar uma definio comum aos respondentes, o pesquisador pode
simplesmente perguntar s pessoas o que elas comeram antes das 10h. Na fase de codificao, o que
foi consumido pode ser avaliado coerentemente para ver se isso se encaixa nos padres de caf da
manh, sem precisar que cada respondente compartilhe a mesma definio.
Problema. A legislao para o controle de armas pode significar banir a venda legal de certos
tipos de armas, pedir s pessoas para que registrem suas armas, limitar o nmero ou o tipo de
armas que as pessoas podem possuir ou limitar quais pessoas podem possu-las. As respostas
no podem ser interpretadas sem suposies sobre o que os respondentes pensam que a
questo significa. Eles indubitavelmente interpretam essa questo de forma diferente.
Soluo. Definir o que seria a legislao para o controle de armas:
6.10a. Uma proposta para o controle das armas que a nenhuma pessoa que j tenha sido
condenada por um crime violento seja permitindo comprar ou possuir uma pistola, um rifle
ou uma espingarda. Voc se ope ou apoia uma legislao como esta?
Pode-se argumentar que essa apenas uma de uma variedade de propostas para o controle das
armas. Esse exatamente o ponto. Se queremos perguntar mltiplas questes sobre possveis
diferentes estratgias para o controle das armas, devemos perguntar separadamente questes
especficas que podem ser geralmente entendidas por todos os respondentes e interpretadas pelos
pesquisadores. No se resolve o problema de uma questo complexa deixando-se para o respondente
decidir qual questo ele quer responder.
H uma tenso potencial entre dar uma definio complicada para todos os respondentes e
tentar manter as questes claras e simples. Isso particularmente verdadeiro para levantamentos
administrados pelo entrevistador, assim como as definies so particularmente difceis de entender
quando so dadas oralmente.
Uma abordagem potencial dizer aos entrevistadores para fornecer definies aos respondentes
que pedirem esclarecimentos ou aparentarem no compreender bem uma questo. Uma preocupao
acerca de tais abordagens que os entrevistadores no daro definies coerentes se tiverem que
improvisar. Contudo, entrevistas assistidas por computador facilitam o fornecimento de definies
precisamente formuladas.
A outra preocupao, mais importante, que apenas alguns respondentes entendero a
definio necessria. Aqueles que no solicitarem esclarecimentos ou que no aparentarem estar
confusos vo ter uma lacuna de informaes que poder afetar suas respostas.
Conrad e Schober (2000) experimentaram dar certa liberdade aos entrevistadores para
fornecerem definies e explicaes quando elas parecessem necessrias. Houve alguma evidncia
de que a preciso melhorou, mas o aumento veio a um preo de mais treinamento de entrevistadores e
entrevistas mais longas. Enquanto existira necessidade de se pesquisarformas adequadas de se fazer
questes sobre conceitos complexos, a melhor abordagem para a maioria dos levantamentos evitar
termos difceis ou ambguos e definir aqueles que sero usados na formulao das questes.
Problema. bvio que rico e famoso no so a mesma coisa. Uma pessoa pode querer ser um,
mas no querer ser o outro. Os respondentes, quando se deparam com duas questes, tero de
decidir a qual responder, e essa deciso ser feita de forma inconsistente por diferentes
respondentes.
O exemplo 6.11 foi um tanto exagerado; sabe-se que a maioria das questes mltiplas um
pouco mais sutil.
Problemas.Essa questo do exemplo 6.12 requer trs clculos cognitivos: calcular o nmero de
visitas a um caixaeletrnico, o nmero de vezes que foram sacados menos de 25 dlares e a
relao entre os dois nmeros. Tecnicamente, h apenas uma questo, mas necessrio
responder pelo menos duas questes antesde se obter a resposta final.
Soluo.A pergunta seria mais bem formulada se fossem feitas duas questes:
6.12a Nos ltimos 30 dias, quantas vezes voc sacou dinheiro em um caixa eletrnico?
6.12b (SE ALGUMA) Em quantas dessas vezes voc sacou menos de 25 dlares?
Observe outras duas virtudes das sries 6.12a e 6.12b: identificam-seaqueles que no usaram
um caixa eletrnico, aos quais a questo 6.12b no se aplica;e, ao perguntar por nmeros em ambas
as questes, evita-se que os respondentes faam um clculo. Simplificar a demanda sobre o
respondente quase sempre uma boa ideia.
6.13 A que tipo de lugar voc vai para o seu atendimento mdico de rotina?
Problema.Essa questo admite que todos os respondentes tm uma rotina de cuidados mdicos,
o que no uma suposio precisa.
Soluo. Recomenda-se perguntar em duas questes. Provavelmente, a melhor abordagem
perguntar aos respondentes se eles tiveram alguma rotina de cuidados mdicos em algum
perodo; por exemplo, nos ltimos 12 meses. Se sim, prossiga com a questo sobre o tipo de
lugar.
A opo no sei
Quando os respondentes so questionados sobre suas prprias vidas, sentimentos ou
experincias, a resposta no sei normalmente uma resistncia embuscar uma resposta efetiva. Por
outro lado, s vezes eles legitimamente no sabem ou no formaram opinio sobre o assunto.
Conforme o assunto se afasta de suas vidas imediatas, mais plausvel e razovel que alguns
respondentes no tenham o conhecimento adequado para fornecer uma resposta ou no tenham
formado uma opinio ou sentimento. Nesses casos, novamente ocorre a questo duas em uma, cuja
soluo desmembr-la para o entrevistado:Voc tem a informao necessria para responder
pergunta?Se sim, qual a resposta?.
H duas abordagens para lidar com esse tipo desituao.
Pode-se apenas perguntar as questes a todos os respondentes, confiando que o respondente
ter a iniciativa de responder no sei. Contudo, relevante considerar que os respondentes diferem
em sua complacncia para voluntariamente responderem que no sabem(Schuman; Presser, 1981) e
que os entrevistadores so inconsistentes na forma como lidar com essas respostas (Fowler Jr. e
Mangiore, 1990; Groves, 1989).
Asegunda alternativa executar, a todos os respondentes, uma triagem de questes
padronizadas a fim de identificar se eles se sentem ou no familiarizados o suficiente com um tpico
para ter uma opinio ou sentimento sobre ele. Nesses casos, independentemente do tema na questo,
sempre recomendado ponderar a familiaridade do respondente com o assunto, para decidir se far
ou no a triagem. Seh ampla familiaridade com o assunto por parte dos respondentes, no importar
realizar ou no uma questo de triagem para conhecimento do assunto. Se um nmero notvel de
respondentes no estiver familiarizado ou nunca pensou sobre o tpico, melhor fazer uma questo de
triagem sobre a familiaridade com o tpico.
EXEMPLO:
6.14 Qual foi a principal razo pela qual voc foi ao mdico?Por um novo problemade
sade, para o acompanhamento de um problema de sade anterior, paraum checkup de
rotina ou por alguma outra razo?
EXEMPLO:
6.15 Quando voc teve sarampo?
usar as palavras no exemplo 6.14 e consistentemente obter dados comparveis, porque cada
respondente deve adivinhar que tipo de resposta esperado.
Soluo.A questo precisa explicar ao respondente que tipo de resposta esperado deve ser
criada:
Obviamente, a opo 6.15a a forma que a questo deveria ter sido formulada pelo pesquisador
para todos os respondentes.
EXEMPLO:
6.16 Por que voc votou no candidato A?
Problemas. Quase todas as questes com Por que levantam problemas, j que o sentido de
causalidade ou a estrutura de referncia pode influenciar as respostas. No exemplo 6.16, o
respon-dente pode escolher falar sobre os pontos fortes do candidato A, as fraquezas do
candidato B ou as razes pelas quais ele usou determinado critrio (Minha me foi Republicana
ao longo da vida). necessrio consentir que os respondentes que veem as coisas exatamente
da mesma forma podem responder de forma diferente.
Soluo. Especificar o foco da resposta.
Esse tipo de questo explica aos respondentes que o pesquisador quer que eles falem sobre o
candidato A, ou seja, a pessoa na qual eles votaram. Se todos os respondentes respondem com a
mesma estrutura de referncia, ento o pesquisador estar apto a comparar as respostas dos
diferentes respondentes de forma direta.
EXEMPLO:
6.17. Quais so algumas das coisas deste bairro que voc mais gosta?
Problemas. Ao responder uma questo como essa, algumas pessoas vo apenas mencionar um
ou dois pontos, enquanto outros mencionaro vrios. possvel que isso reflita diferenas
6.17a Qual a caracterstica deste bairro que voc elegeria como a que voc mais gosta?
6.17b Diga-me trs coisas relacionadas a viver neste bairro de que voc mais gosta.
Embora essa no seja uma soluo satisfatria para absolutamente todas as questes, uma
forma eficaz de reduzir a variao indesejada nas respostas entre os respondentes para a maioria das
questes como essas dos exemplos.
O ponto bsico ter em mente que as respostas podem variar em razo de entendimentos
diferentes(por parte dos respondentes) em relao aos tipos de resposta apropriados. Especificar
melhor as propriedades de uma resposta desejada pode remover fontes desnecessrias de incertezas
no processo de medio.
medio independente (p. ex., ter acesso aos registros do uso do caixa eletrnico); porm, o
entendimento da validade , de fato, consistente para situaes objetivas.
Em contrapartida, quando as pessoas so questionadas sobre estados subjetivos, sentimentos,
atitudes e opinies, no h uma forma objetiva de validar as respostas. Somente o respondente tm
acesso aos seus sentimentos ou opinies. Portanto, a validade dos relatos de estados subjetivos
determinada somente por meio de correlaes e correspondncias com outras respostas ou outros
fatos j relatados pelo respondente. As mensuraes de estados subjetivos no permitem medidas
verdadeiramente diretase independentes; o significado das respostas deve ser inferido a partir dos
padres de associao.
Nveis de mensurao
Em Cincias Sociais, h quatro formas de medies, as quais produzem quatro tipos diferentes
de tarefas para os respondentes e quatro tipos diferentes de dados para anlise. So elas:
Muito comumente em levantamentos, quando se est coletando dados factuais, solicitado aos
respondentes que encaixem a si mesmos ou suas experincias em uma categoria, criando dados
nominais, ou lhes solicitado um nmero (muitas vezes, uma relao de dados).
Exemplos de questes que os respondentes devem fornecer nmeros reais para uma
relao de dados: Quantas vezes voc foi ao mdico?,Quanto voc pesa? e Quanto lhe
pago por hora?.
Tambm para coletar dados factuais, podem ou devem ser inquiridasrespostas ordinais aos
respondentes. Por exemplo, requisitar a eles que reportem seus rendimentos em categorias
relativamente amplas ou que descrevam seu comportamento em termos no numricos (como
habitualmente, s vezes, raramente ou nunca). Se for solicitadorelato de eventos factuais em termos
ordinais, porque o pesquisador no necessita de muita preciso nas respostas ou porque ser muito
difcil relatarum nmero exato. Entretanto, normalmente, h uma base numrica real subjacente a uma
resposta ordinal para uma questo factual.
A situao um pouco diferente com relao aos relatos de dados subjetivos. Ao longo dos
anos, psiclogos psicofsicos (como, por exemplo, Thurstone e Chave, 1992) esforaram-see ainda
afoitam-se para as pessoas atriburem nmeros a estados subjetivos que satisfaam as hipteses do
intervalo e da razo de dados. Todavia, na grande maioria das vezes, solicitado aos respondentes
que forneam dados nominais e ordinais sobre estados subjetivos. A questo nominal Em qual
categoria seus sentimentos, opinies ou percepes se encaixam?.
Ao formular um instrumento de levantamento, uma tarefa bsica do pesquisador decidir que
tipo de medio desejado. Quando essa deciso for tomada, h algumas implicaes claras para a
forma em que a questo ser perguntada.
Tipos de questes
As questes de pesquisa podem ser grosseiramente classificadas em dois grupos:
H dois pontos importantes sobre os tipos de dados gerados por essas questes. Primeiro, os
respondentes entendero de formas diferentes os significados dos rtulos ou das categorias. A nica
suposio necessria para se obter anlises significativas que, em mdia, as pessoas que
classificam seus sentimentos como bom sentem-se mais positivas do que aquelas que os classificam
como regular. Ao se detectar entendimentos diferentes de um determinado critrio, comobom e
regular, h uma desconfiana na mensurao, mas ela ainda pode ter significado (isto , correlaciona-
se com o estado de sentimentos subjacente que o pesquisador quer medir).
Segundo ponto:essa escala de medio ordinal relativa. A distribuio de pessoas escolhendo
um determinado rtulo ou categoria depende da escala particular apresentada.
Considere a Figura 6.1 e duas abordagens de escalas ordinais apresentadas: a de 3 pontos
(bom, regular ou ruim) e da 5 opes descritivas (excelente, muito bom, bom, regular e ruim).
Comparando as duas escalas, nota-se que adicionar excelente e muito bom em todas as
probabilidades no apenas fragmenta a categoria bom em trs partes, mas tambm muda todo o
sentido da escala. As pessoas respondem posio ordinal das categorias assim como o fazem aos
descritores.
Em um recente experimento de Wilson et al. (2004), foi solicitado aos respondentes que
usassem duas escalas de 5 pontos para classificar sua sade; uma de 5 pontos igual da Figura 6.1
que continha excelente, muito bom, bom, regular e ruim e outra usando muito boa, boa, moderada,
ruim e muito ruim. Os respondentes foram, ento, orientados a usar uma escala de 1 a 10 para
fornecer um equivalente numrico para cada categoria verbal nas duas escalas.Como se poderia
esperar, o nmero dado para muito boa foi maior quando esta era a primeira resposta (9,8 versus 7,8)
e boa recebeu um escore numrico de 7,3 quando esta foi a segunda categoria, mas apenas 5,4
quando foi a terceira.
Tais escalas so significativas se forem usadas como devem ser: para classificar as pessoas.
Por si s, a declarao de que uma porcentagem da populao sente que algo est bom ou melhor
no inadequada, uma vez que implica que a populao est sendo descrita em algum sentido
absoluto. Na verdade, a porcentagem mudaria se a pergunta fosse diferente.
Somente afirmaes comparativas (ou afirmaes sobre relaes) so justificveis ao se utilizar
medidas ordinais:
comparando respostas mesma questo ao longo dos grupos (por exemplo, 20% a mais do
grupo A do que do grupo B classificou o candidato como bom ou melhor); ou
comparando respostas de amostras comparveis ao longo do tempo (por exemplo, 10% a mais
classificou o candidato como bom ou melhor em janeiro do que em novembro).
Os mesmos comentrios gerais se aplicam aos dados obtidos pela ordenao dos itens feita
pelos prprios respondentes. Por exemplo, na pergunta Considerando as escolas, os servios de
polcia e a coleta de lixo, qual o servio mais importante para voc?, o percentual referente
aosresultados obtidoscomo o topo do ranking ou o ranking mdio de um item completamente
dependente da lista particular fornecida. Comparaes entre distribuies quando as alternativas foram
trocadas/substitudas no so significativas.
6.20 Minha sade est ruim. Voc concorda fortemente, concorda, discorda ou discorda
fortemente?
6.20a Como voc classificaria sua sade: excelente, muito boa, boa, regular ou ruim?
grupos (os que concordam e os que no concordam). Portanto, mais informao obtida da
classificao.
Questes concordo/no concordo, para que sejam interpretveis, devem ser perguntadas
apenas em realao a extremos em um continuum. Se a afirmao fosse Minha sade
regular, uma pessoa poderia discordar tanto porque boa ou porque ruim. Essa
caracterstica limita a habilidade de ordenar as pessoas no meio de um continuum.
Os respondentes normalmente acham confusa a forma de dizer que sua sade boa por
discordar que ela ruim.
Estudos mostram que alguns respondentes so particularmente provveis de concordar (ou
consentir) quando as questes so colocadas dessa maneira; ou seja, h pessoas que
concordariam tanto que sua sade ruim quanto que ela no ruim se a questo 6.20
fosse declarada na negativa (Dillman e Tamai, 1991; Krosnick et al., 2007; Schuman e
Presser, 1981).
Essa questo est perguntando pelo menos trs coisas de uma vez: o estado econmico
percebido, o olhar sobre o nmero mximo apropriado de filhos e o olhar sobre a relao entre a
economia e o tamanho da famlia.Alm disso, se uma pessoa responde que concorda ou discorda,
difcil saber com o que o respondente concorda ou discorda. Aprofundamento mais, se a pessoa no
acha que as condies econmicas so ruins (o que a questo impe como uma suposio) e/ou que
as condies econmicas no impliquemno tamanho da famlia, mas acredita que dois filhos um bom
objetivo para uma famlia, torna-se muito complexo responder questo.
O formato concordo/no concordo parece ser uma maneira bastante simples de construir
questes. Mas, na verdade, usar essa forma para fornecer medidas confiveis e teis no fcil e
requer muito cuidado e ateno minuciosa. Normalmente, os pesquisadores tero dados mais
confiveis, vlidos e interpretveis se evitarem as questes concordo/no concordo.
1. Entendendo a questo
Se os respondentes de uma mesma questo a entendem, isso certamente resultar em erro.
Como discutido antes, quando os pesquisadores abordam eventos que tm definies complexas,
como assaltos ou servios mdicos, eles tm duas opes: fornecer definies para todos os
respondentes; ou permitir que os respondentes deem as informaes necessrias para classificar suas
experincias em categorias detalhadas/complexas e, depois, ter os codificadores que categorizem as
respostas.
Fowler Jr. (1992) mostrou que, ao responderem a questes com termos ambguos, as pessoas
produzem dados completamente distorcidos. Os pesquisadores no podem presumir que um
respondente pedir para que se esclarea a questo caso no a tenha entendido. Para maximizar a
validade de dados de um levantamento factual, um primeiro passo essencial escrever questes que
sero consistentemente entendidas por todos os respondentes.
2. Falta de conhecimento
A falta de conhecimento como uma fonte de erro pode ser de dois tipos principais: (a) O
respondente escolhido no sabe a resposta para a questo, mas algum na famlia selecionada sabe;
ou (b) ningum na famlia selecionada sabe a resposta. A soluo para a primeira situao escolher o
respondente correto, ou seja, no se refere formulao da questo. Na maioria das vezes, o
problema que o respondente da famlia solicitado a relatar informaes sobre outros membros da
famlia ou dela como um todo. As solues incluem o seguinte:
s vezes, necessria uma estratgia complexa de coleta de dados. Por exemplo, a Nacional
Crime Victimization Survey, conduzida pelo Bureau of the Census, obtm relatos de crimes domsticos
de um nico informante da famlia; mas, alm disso, pergunta a cada adulto da famlia diretamente
sobre crimes pessoais, como furtos. Se a entrevista bsica ser conduzida pessoalmente, os custos
das entrevistas com outros membros da famlia podem ser reduzidos se formulrios autoadministrados
forem deixados para que sejam preenchidos pelos membros ausentes da famlia ou se entrevistas
secundrias forem feitas por telefone. Uma variao pedir ao principal respondente para reportar o
mais completamente possvel a informao desejada para todos os membros da famliae, depois,
enviar a ele um resumo para verificao, permitindo a consulta a outros membros da famlia.
Quando perguntamos aos respondentes questes sobre eles mesmos que no conseguem
responder, h um problema de formulao da questo. Teoricamente, pode-se diferenciar entre a
informao que o respondente no consegue lembrar e a informao que ele nunca teve. Em ambos os
casos, o problema para o pesquisador formular questes que quase todos possam responder. Dentre
as opinies disponveis,tm-se:
Mude as questes para perguntar informaes que sejam menos detalhadas ou mais fceis
de lembrar.
Ajude o respondente a estimar a resposta.
Mude ou pule o objetivo.
3. Convenincia social
H certos fatos ou eventos que os respondentes preferiro no relatar de maneira precisa em
uma entrevista. Situaes de sade com algum grau de inconvenincia social, como transtornos
mentais ou doenas venreas, so significativamente menos relatadas do que outras. Hospitalizaes
associadas a condies particularmente ameaadoras, quer pelos possveis estigmas que podem ser
associados a elas ou por seu natural risco de morte, so relatadas em taxa menor do que a mdia
(Cannell et al., 1977). As estimativas referentesao consumo de lcool sugerem fortemente um relato
inferior, embora os problemas de relato possam ser uma combinao das dificuldades de recordao e
das preocupaes dos respondentes sobre as normas sociais em relao ao consumo de lcool. Priso
e falncia so outros eventos que so consistentemente menos relatados, mas que parecem
improvveis de ser esquecidos (Locander et al., 1976).
Provavelmente,em uma configurao padro de entrevista h limites no que as pessoas vo
relatar. Se um pesquisador realmente espera que algum admita algo muito embaraoso ou ilegal,
esforos extraordinrios so necessrios para convencer os respondentes de que os riscos so
mnimos e de que as razes para correr tal risco so importantes. A seguir, so apresentados alguns
passos que o pesquisador deve considerar ao realizar questes particularmente sensveis (ver tambm
Catania et al., 1990; Bradbum; Sudman, 1982).
1 passo
Torne as questes o mais confivel possvel. Reveja a seo sobre confiabilidade das questes,
lidando com a ambiguidade dos termos, com apresentaes padronizadas e com a impreciso nos
formulrios de resposta, e faa o possvel para obter as questes que significaro a mesma coisa para
todos os respondentes. Na medida em que as medies subjetivas no so confiveis, sua validade
ser reduzida. Uma questo especial a confiabilidade das escalas ordinais, que so dominantes entre
as medies de estados subjetivos. As alternativas de resposta oferecidas devem ser unidimensionais
(isto , tratar de apenas uma questo) e uniformes (apresentadas em ordem, sem inverso).
A questo 6.22 tem duas escalas de propriedade gratificao e estresse que no devem ser
relacionadas. Nem todas as alternativas so esgotadas. A questo 6.22 deveria ser feita em duas
questes se for o caso de se medir gratificao e estresse dos trabalhos. Em 6.23, alguns podem ver
gratificante como mais positivo do que algo gratificante e ficar confuso sobre como as categorias
foram ordenadas. Ambos os problemas so comuns e devem ser evitados.
2 passo
Ao posicionar as pessoas em classes ordenadas ao longo de um continuum, melhor ter mais
categorias do que poucas. Lgico que deve haver um limitepara a preciso da discriminao AO SE
fornecer classificaes ordenadas. Quando o nmero de categorias excede a habilidade dos
respondentes em discriminar seus sentimentos, ou seja, quando so numerosas, elas simplesmente
produzem um rudo no confivel. Alm disso, podem dificultar a escolha das respostas,
particularmente se for pesquisa por telefone. Apesar dessas ponderaes, relevante considerar que
para se mensurar a variao real entre os respondentes, quanto mais categorias, mais aumenta sua
validade.
3 passo
Faa questes mltiplas, com diferentes formulrios de questes, que meam o mesmo estado
subjetivo; combine as respostas em uma escala. As respostas para todas as questes so
potencialmente influenciadas pelo estado subjetivo e pelas caractersticas especficas do respondente
ou das questes. Alguns respondentes evitam categorias extremas; alguns tendem a concordar mais
do que discordar. Questes mltiplas ajudam at mesmo sustentas idiossincrasias de respostas e
aumentam a validade do processo de medio (Cronbach, 1951; DeVellis, 2003).
Relatividade
O ponto mais fundamental de se lembrar sobre o significado das medies subjetivas a sua
relatividade. As distribuies podem ser comparadas apenas quando a situao de estmulo a
mesma. Pequenas mudanas na formulao, que mudam o nmero de alternativas oferecidas ou
mudam a posio de uma questo em um questionrio, podem fazer uma diferena vital na forma de
as pessoas responderem. Sugerimos consultar Schuman; Presser, 1981; Bradbum;Sudman, 1982; e
Tumer; Martin, 1984, para vrios exemplos dos fatores que afetam as distribuies de respostas.
A distribuio de respostas para uma questo subjetiva no pode ser interpretada diretamente;
ela tem significado apenas quando as diferenas entre as amostras expostas ao mesmo questionrio
so comparadas ou quando os padres de associao entre as respostas so estudados.
estimativas acerca de quo vlida a medida resultante . Muitas das sugestes indicadas neste
captulo para melhorar os relatos emergiram de um programa de 20 anos para avaliar e melhorar as
medies de variveis relacionadas sade (Cannell et al., 1977a; Cannell et al,, 1977b). H vrias
reas que necessitam de muito mais estudos sobre validao.
Reduzir os erros de medida por meio de uma boa formulao de questes uma das maneiras
menos custosas de melhorar as estimativas de levantamento. Em qualquer levantamento, deve-se
atentar cuidadosamente para a formulao de questes e para o pr-teste (discutido no Captulo 7),
bem como para o uso da literatura de pesquisa existente sobre como mensurar o que se deseja.
tambm muito necessriocontinuar construindo uma literatura em que a validade das medies seja
avaliada e relatada. Robinson et al. (1997) e McDowell (2003) compilaram dados sobre a validade de
vrias medies de multi-item comumente utilizadas e, assim, documentarm como as medies tm
sido validadas, bem como quanto trabalho ainda precisa ser feito.
EXERCCIOS
1. Use os critrios discutidos neste captulo para avaliar as seguintes questes como confivel,
interpretvel e medies analiticamente teis. Escreva questes melhores se conseguir.
a. Para medir os rendimentos: Quanto voc ganha?
b. Para medir a sade: Quo saudvel voc est?
c. Para medir a satisfao com a vida: Como voc classificaria sua vida: muito boa, melhor do
que a mdia, um pouco dos dois, poderia ser melhor ou muito ruim?
d. Para medir opinies sobre leis de aborto: Diga-me se voc concorda ou no com a
declarao a seguir: O aborto moralmente muito questionvel; abortos deveriam ser ilegais,
exceto em emergncias.
2. Escreva uma srie de questes para medir a posio a favor ou contra planos de sade
universais.
3. Escreva uma srie de questes para medir o grau de envolvimento poltico.
4. Escreva uma hiptese sobre uma possvel relao entre duas variveis (por exemplo, boa sade
relacionada com receber assistncia mdica de qualidade; ou boa qualidade de habitao est
relacionada com altos rendimentos). Ento, sob cada parte da hiptese, escreva uma informao
de que voc necessitaria a fim de atribuir um valor a uma pessoa para cada uma das duas
variveis. Em seguida, elabore uma questo (ou um conjunto delas) para cada parte.As
respostas devem fornecer as informaes de que voc necessita. Indique se as suas questes
Leitura complementar
Fowler Jr., Floyd J. Improving survey questions. Thousand Oaks, CA: Sage, 1995.
Fowler Jr., Floyd J. Pesquisa de levantamento.Porto Alegre: Penso, 2011.
Krosnick, J. A.; Judd, C. M.; Wittenbrink, B. The measurement of attitudes. In: Albarracin, D.; Johnson,
B. T.; Zanna, M. P. (eds.). The handbook of attitudes. New York: Psychology Press, 2007. p.21-78.
Tourangeau, R.; Rips, L.; Rasinski, K. The psychology of survey response.Cambridge, UK: Cambridge
University Press, 2000.
Avaliando questes e
instrumentos de
levantamento(Fowler Jr., Floyd J. Pesquisa de
levantamento capitulo 7)
Todo levantamento de dados requer ou um roteiro de entrevista, o qual constitui uma espcie de
guia para entrevistadores em pesquisas, ou um questionrio que os respondentes iro ler e preencher
sem auxlio. Esses documentos, que sero apresentados impressos ou por programas de computador,
sero utilizados como instrumentos genricos de levantamento de dados.
Compreender a correta estruturao de uma boa questo e a melhor maneira de utilizar
questes como parmetros, consoante o que foi discutido no Captulo 6, certamente o elemento
principal para a elaborao de um bom instrumento de levantamento. No entanto, h uma srie de
instrues muito prticas essenciais para a produo de um bom instrumento de coleta de dados. Este
captulo apresenta um resumo desses passos. Converse e Presser (1986), Bradbum e Sudman (1992),
Fowler Jr. (1995), Groves et al. (2004), Presser et al. (2004) e Willis (2005) apresentam longas e
detalhadas discusses a respeito desses passos.
A elaborao de um instrumento de levantamento de dados possui dois componentes: (a) decidir
o que averiguar e (b) elaborar e testar questes que sero boas ferramentas de avaliao. Geralmente,
o primeiro passo definir os objetivos do levantamento, embora essas metas possam ser revisadas,
baseadas em testes subsequentes de questes. Ento, o processo de escolha e o teste de questes
Definindo objetivos
Um pr-requisito para elaborar um bom instrumento de levantamento de dados decidir o que
ser averiguado. Isso pode parecer simples e evidente, mas um passo frequentemente esquecido, em
detrimento dos resultados. Um valioso primeiro passo escrever um pargrafo sobre as funes que
devero ser executadas pelo levantamento de dados. Na elaborao de um instrumento de
levantamento de dados, pesquisadores so geralmente tentados a adicionar questes que no
contribuem para alcanar as metas do projeto. Uma maneira de evitar essas tentaes ter um bom
relatrio dos propsitos, contra os quais a incluso de uma rea especfica de pesquisa pode ser
avaliada. Outro passo que um pesquisador precisa elaborar uma lista do que deve ser averiguado
para atingir as metas do projeto. Essas no devem ser questes; devem ser variveis a serem avalia-
das, listadas em categorias ou reas que tenham sentido.
Um plano de anlise deve ser desenvolvido para acompanhar uma lista de variveis a serem
analisadas. Um bom comeo j dever ter sido feito associado elaborao da amostra. O
pesquisador j dever ter definido quais subgrupos da populao requerem estimativas especiais.
Nesse ponto, o pesquisador precisa refinar essas ideias, com o intuito de criar trs listagens: (a) de
quais variveis so elaboradas para serem variveis dependentes, para as quais medidas de tendncia
central (p. ex., meios ou distribuies) so estimadas; (b) de quais variveis precisam ser
independentes, com o objetivo de compreender distribuies e padres de associao; e (c) de quais
variveis podem ser necessrias como variveis de controle e interveno para explicar padres
observados e analisar hipteses conflitantes.
Esses trs documentos, um relatrio de propostas, uma lista dos tipos de variveis a serem
analisadas e um esboo de um plano de anlise so componentes essenciais para a elaborao de um
instrumento de levantamento de dados.
O que os indivduos sabem. Por exemplo, est claro que um psiquiatra formado em
Medicina, mas um psiclogo no o ? Quesuposies podem ser feitas sobre o
conhecimento prvio e percepes das pessoas, treinamento ou credenciais de seguro-
sade?
A compreenso de algumas palavras-chave ou termos. A palavra mdico significa um
indivduo formado em Medicina ou mais genrica (como quando utilizamos o nome de
uma marca comercial para nos referirmos ao produto) referindo-se a quaisquer profissionais
que usem jalecos brancos e lidem com questes relacionadas sade? Termos como
provedor de cuidados com a sade ou profissional dos cuidados com a sade teriam o
mesmo significado para os respondentes?
Discusses de grupos focais so mais bem realizadas com seis a oito participantes. O protocolo
geral discutir as percepes, as experincias e talvez os sentimentos dos indivduos relacionados ao
que ser averiguado no levantamento de dados. O nmero de grupos que ser necessrio pode variar,
mas praticamente qualquer instrumento de levantamento de dados ser bem-sucedido com ao menos
dois grupos focais nos estgios iniciais do processo de elaborao do instrumento de levantamento de
dados.
Esboando questes
Munido de uma lista do que ser avaliado, o pesquisador deve se esforar em encontrar uma
nica questo ou relao de questes necessrias para criar medidas das variveis da lista. Muitas
questes, como as que lidam com informaes prvias ou problemas demogrficos, so padro para a
maioria dos levantamentos de dados. Pode ser til revisar as questes utilizando o General Social
Survey, com o apoio do National Opinion Research Center, da University of Chicago. Muitas pesquisas
so tambm realizadas pela internet pelo Interuniversity Consortium of Political and Social Research
(ICPSR), da University of Michigan. McDowell (2003) expe um excelente recurso para a realizao
desses levantamentos de dados com temas relacionados aos cuidados com a sade. Cpias de
instrumentos de levantamentos de dados originais, advindos das mais importantes organizaes de
levantamento, tambm so teis como referncias. Com base neles, o pesquisador pode abstrair ideias
sobre como questes especficas so estruturadas e como gerar questes padronizadas e formatar
instrumentos de levantamentos de dados.
Usufruir de trabalhosj elaborados muito sensato. Obviamente, melhor revisar questes
feitas por pesquisadores que anteriormente fizeram trabalhos com o mesmo tpico. Alm disso, se
questes j foram feitas em outras amostras, a coleta de dados para comparao pode contribuir para
a confiabilidade da pesquisa. Todavia, o simples fato de que uma questo foi utilizada por algum
anteriormenteno garantia de que ela muito boa ou que certamente apropriada para a dada
pesquisa. Muitas questes inadequadas so largamente utilizadas por pesquisadores que no realizam
uma anlise crtica. Todas as questes devem ser testadas para que haja garantias de que funcionam
para os sujeitos, para o contexto e para os objetivos de um determinado estudo.
submetidas a pr-testes em campos formais, uma espcie formal de teste, comumente denominada
testes cognitivos, um importante passo (DeMaio e Rothgeb, 1996; Forsyth e Lesser, 1992; Fowler Jr.,
1995; Lesser e Tourangueau, 1989; Presser et al., 2004; Willis, 2005; Willis et al., 1999). Embora
entrevistas cognitivas tenham uma variedade de formas, h certas caractersticas que so comumente
compartilhadas. Primeiramente, respondentes so voluntrios dispostos a estender o seu perodo de
participao para alm do necessrio na realizao da coleta de dados, com o objetivo de auxiliar os
pesquisadores. Frequentemente, o servio dos respondentes recompensado, e eles so levados ao
laboratrio, onde as entrevistas podem ser observadas e gravadas.
Em geral, essas entrevistas no so realizadas por entrevistadores comuns. Em algumas
ocasies, os entrevistadores so psiclogos cognitivos; em outras, as entrevistas so realizadas pelos
prprios investigadores ou indivduos encarregados de supervisionar entrevistadores. Na maioria dos
casos, os entrevistadores possuem um vasto conhecimento sobre os objetivos de cada questo, o que
possibilita a percepo de problemas relacionados compreenso dos respondentes ou forma como
eles respondem s questes.
O padro bsico requer perguntar aos respondentes uma srie de questes, avaliando a maneira
como os indivduos as compreenderam e como as responderam. No raro os respondentes so
solicitados a pensar em voz alta enquanto preparam suas respostas. Em outros casos, os indivduos
so convidados a responder uma srie de perguntas sobre sua compreenso e sobre dificuldades
relacionadas s suas respostas. Duas das tarefas mais comuns so:
1. Solicitar aos respondentes que expliquem, com suas prprias palavras, o que a questo
est pedindo.
2. Solicitar aos respondentes que justifiquem sua escolha em favor de uma resposta, em
detrimento das outras.
H um certo limite sobre o que pode ser obtido por intermdio de entrevistas em laboratrios.
Poucas entrevistas desse tipo so realizadas (geralmente o nmero de entrevistas inferior a 10), pois
elas exigem trabalho e, na maioria das organizaes, podem ser conduzidas apenas por um reduzido
nmero de pessoas. Segundo, as entrevistas so conduzidas sob condies artificiais; tarefas pelas
quais os respondentes esto realmente interessados, e so hbeis para executar, podem no ser
passveis de execuo por uma amostra cruzada realizada em suas residncias. Entretanto, estas
entrevistas so muito utilizadas como um passo essencial na elaborao e avaliao de um
instrumento de levantamento de dados. Questes que no so satisfatoriamente compreendidas ou
respondidas em um laboratrio certamente no iro ter melhor resultado em uma situao real.
Problemas de compreenso e dificuldades com a tarefa de resposta no so consideradas confiveis
em pretextos de campo como seriam em entrevistas em laboratrios, onde o processo para resposta
pode ser examinado.
A entrevista cognitiva em laboratrio tem sido comumente empregada para testar protocolos de
entrevista. Os mesmos problemas de compreenso e dificuldades da tarefa de resposta, contudo, se
aplicam a mtodos autoadministrados. Embora o teste-padro de mtodos autoadministrados, como
descrito a seguir, geralmente envolva a ampliao de questes similares quelas empregadas em
entrevistas cognitivas, a compreenso dos respondentes mais aparente quando o processo de per-
guntas e respostas realizado oralmente. Deste modo, para questes de teste elaboradas para serem
autoadministradas, uma entrevista cognitiva pode ser um meio eficaz de identificar problemas que no
seriam observados no pr-testepadro.
raciocnio mais apurado, ou aquelas que lidam com temas delicados, so comumente reservadas para
as ltimas sesses. Um procedimento aconselhvel numerar as questes de cada sesso: Al, A2, Bl,
B2, e assim por diante. Dessa forma, quando questes so adicionadas ou excludas, no necessrio
renumerar todas as questes.
Quer o levantamento de dados seja administrado por um entrevistador, quer pelo prprio
respondente, o objetivo principal dos esquemas e formato do questionrio deve ser facilitar a tarefa dos
entrevistadores e dos respondentes. Com o intuito de alcanar este objetivo, a seguir podero ser
observadas algumas regras, elaboradas para um instrumento de levantamento de dados administrado
por um entrevistador:
1. Adotar uma conveno que diferencie as palavras lidas pelos entrevistadores para os
respondentes, e as palavras que so instrues. Uma conveno comum o emprego de
letras em caixa alta para instrues e em caixa baixa para questes que devem ser lidas em
voz alta.
2. Se uma entrevista apresentada em forma impressa, e no monitorada por computador,
necessrio fazer uso de instrues que permitam ao respondente que ignore questes que
foram elaboradas para um grupo especfico de indivduos. Uma conveno comum
colocar INSTRUES EM LETRAS MAISCULAS. As instrues devem ser ligadas a
respostas especficas, auxiliando o entrevistador. Obviamente, instrumentos monitorados
por computador pularo questes automaticamente, com base nas respostas fornecidas.
3. Colocar vocabulrio opcional em parnteses. Convenes como (dele/dela) ou
(esposo/esposa) podem ser empregadas com naturalidade por entrevistadores se eles
forem alertados por termos em parnteses. Uma conveno similar utiliza todas as letras
maisculas (por exemplo, CNJUGE) quando o entrevistador precisa substituir uma palavra
que no fornecida na prpria questo. A assistncia do computador geralmente oferece
vocabulrio opcional para ser utilizado, em vez de um entrevistador adaptar o vocabulrio
situao.
4. Garantir que todas as palavras que devero ser utilizadas pelo entrevistador esto, de fato,
escritas. Isso inclui no apenas a estruturao das questes, mas transies, introdues
para questes, definies necessrias e explicaes.
A maioria dos princpios listados anteriormente tambm pode ser aplicada em instrumentos
monitorados por computador. Alm disso, auxiliar os respondentes e entrevistadores a lidar com
dificuldades comuns surgidas durante o processo, como encontrar a maneira adequada para corrigir
respostas anteriores ou o que fazer se respondentes desejam ignorar uma questo uma parte
importante no trabalho de elaborao. A chave para evitar todas essas dificuldades localizar os
problemas com antecedncia, por meio de testes. Boas descries de procedimentos de teste so
apresentadas por Dillman; Redline (2004), Tamai; Moore (2004), Hansen; Couper (2004) e Baker,
Pr-testes de campo
Uma vez que o instrumento de levantamento de dados esteja prximo de sua concluso, um
pr-teste de campo do instrumento e dos procedimentos se faz necessrio. O propsito de tais pr-
testes descobrir como os protocolos de coleta de dados e os instrumentos do levantamento de dados
iro funcionar sob circunstncias reais.
identificar situaes nas quais os entrevistadores precisaram voltar para telas e questes anteriores.
Ter de retomar a questes anteriores diminui a produtividade de um entrevistador e geralmente
evidencia que a questo no foi elaborada adequadamente. Observar como funes de auxlio so
utilizadas pode fornecer indcios de onde a ajuda necessria e quo teis as vrias funes de
auxlio so. Novamente, uma informao adicional sobre arquivos de acompanhamento que os
resultados so sistemticos e confiveis (Couper et al., 1997; Hansen e Couper, 2004).
Concluso
Houve um tempo em que o processo de avaliao de questes era considerado uma tarefa
bastante subjetiva, eventualmente subordinada s preferncias de entrevistadores e pesquisadores.
Hoje, sabemos que preciso ir alm. As questes em levantamento de dados devem ter o mesmo
significado para todos os respondentes; responder s questes deve ser uma tarefa que a maioria dos
respondentes possa realizar; e as palavras em um roteiro de entrevistas devem ser adequadas, de
maneira que os entrevistadores possam ser guiados na administrao da entrevista.
Indubitavelmente, no importando o quo clara uma questo possa ser, alguns respondentes
apresentaro dificuldades para a responder e alguns entrevistadores no iro a compreender. H
julgamentos a serem feitos sobre o quo mal elaborada uma questo pode ser, de modo que melhorias
sejam possibilitadas.
Uma parte crtica do processo de elaborao e avaliao de instrumentos de levantamento de
dados coletar informaes sobre a compreenso, sobre a tarefa de responder s questes e sobre
como entrevistadores e respondentes usam os protocolos,a fim de que anlises possam ser feitas a
respeito de possveis modificaes nas questes e nos instrumentos. A avaliao adequada de
questes e instrumentos, antes mesmo da elaborao de uma pesquisa, um elemento crucial para a
prtica de um bom levantamento de dados. um dos meios mais baratos de reduzir erros em
estimativas de levantamentos de dados.
Embora seja trabalhoso definir meios eficientes de avaliar questes, os procedimentos citados
neste texto constituem um apanhado de tcnicas teis que, quando usadas, tero um impacto positivo
nos dados da pesquisa.
EXERCCIOS
Utilize as questes elaboradas no exerccio do Captulo 6 e transforme-as em uma lista de
questes que poderiam ser administradas por um entrevistador em um formulrio padro.
1. Teste cognitivamente as questes e revise-as, se necessrio.
2. Realize um pr-teste com as questes conseguintes. Revise se for preciso.
Leitura complementar
Presser, S. et al. Methods for testing and evaluating survey questionnaires. Hoboken, NJ: John Wiley,
2004.
Willis, G. Cognitive interviewing. Thousand Oaks, CA: Sage, 2005.
Bibliografia
Beatty, P. C.; Willis, G. B. Research synthesis: the practice of cognitive interviewing. Public Opinion
Quarterly, 2007;71:287-311.
Bradburn, N.; Sudman, S.; Wansink, B. Asking questions: the definitive guide to questionnaire design
for market research, political polls, and health questionnaires (revised edition).San Francisco:
Josse Bass, 2004.
Conrad, F. G.;Blair, J. Sources of errors in cognitive interviewing. Public Opinion Quarterly,
2009;73(1):32-55.
Couper, M. P.; Tourangeau R.; Conrad,F. G.; Crawford, S. What they see is what we get: response
options for web surveys. Social Science Computing Review, 2004;2:111-27.
Couper, M.; Tourangeau, R.; Kenyon, K. Picture this! exploring visual effects in web surveys. Public
Opinion Quarterly, 2004;68:255-66.
Fowler Jr., Floyd J. Pesquisa de levantamento. Porto Alegre: Penso, 2011. Cap.6.
Fowler Jr., Floyd J.Pesquisa de levantamento.Porto Alegre: Penso, 2011. Cap.7.
Geer, John G. What do open-ended questions measure? Public Opinion Quarterly, 1988;52:365-71.
Gilham,M.; Granberg, D. Should we take dont know for an answer?. Public Opinion Quarterly,
1993;57(3)348-57.
Simes, S.; Pereira, M.P. A arte e a cincia de se fazer perguntas. In:Aguiar, N. (ed.). Desigualdades
sociais, redes de sociabilidades e participao poltica. Belo Horizonte: Editora UFMG, 2007.
Sudman, S.; Bradbum, N. M.; Schwarz, N. Implications for questionnaire design and the
conceptualization of the survey interview. In:Thinking about answers: the application of cognitive
processes to survey methodology. San Francisco: Jossey-Bass, 1996.
Sudman, S.; Bradbum, N. M.; Schwarz, N. Methods for determining cognitive processes and
questionnaire problems. In:Thinking about answers: the application of cognitive processes to
survey methodology. San Francisco: Jossey-Bass, 1996.
Willis, G.; DeMaio T.; Harris-Kojetin, B. Is the bandwagon headed to the promised land? Evaluating the
validity of cognitive interviewing techniques. In:Cognition and survey research. New York: John
Willey & Sons, 1999.
Informaes de Contato
Solange Simes
Professora da Eastern Michigan University
Department of Sociology, Criminology and Anthropology
AND
Departament of Womens and Gender Studies
Refernciascomplementares
Profa. Solange Simes
Eastern Michigan University
713H Pray Harrold Hall
Ypsilanti, MI 48197
Tel1 734 6462562
http://www.fafich.ufmg.br/