Beruflich Dokumente
Kultur Dokumente
SECRETARIA-GERAL DE ADMINISTRAO
BTCU@tcu.gov.br
Vice-Presidente
BENJAMIN ZYMLER
Ministros
ANTONIO VALMIR CAMPELO BEZERRA
WALTON ALENCAR RODRIGUES
JOO AUGUSTO RIBEIRO NARDES
AROLDO CEDRAZ DE OLIVEIRA
RAIMUNDO CARREIRO SILVA
JOS JORGE DE VASCONCELOS LIMA
JOS MCIO MONTEIRO FILHO
Auditores
AUGUSTO SHERMAN CAVALCANTI
MARCOS BEMQUERER COSTA
ANDR LUS DE CARVALHO
WEDER DE OLIVEIRA
Ministrio Pblico junto ao TCU
Procurador-Geral
LUCAS ROCHA FURTADO
Subprocuradores-Gerais
PAULO SOARES BUGARIN
MARIA ALZIRA FERREIRA
Procuradores
MARINUS EDUARDO DE VRIES MARSICO
CRISTINA MACHADO DA COSTA E SILVA
JLIO MARCELO DE OLIVEIRA
SERGIO RICARDO COSTA CARIB
SECRETARIA-GERAL DE ADMINISTRAO
Secretrio-Geral
Fernando Luiz Souza da Eira
segedam@tcu.gov.br
Boletim do Tribunal de Contas da Unio Especial v. 1, n. 1 (1982)
. Braslia : TCU, 1982- .
v.
Irregular.
A numerao recomea a cada ano.
Continuao de: Boletim do Tribunal de Contas da Unio.
Contedo: Tcnica de pesquisa para auditoria
Ato administrativo peridico Brasil. I. Brasil. Tribunal de
Contas da Unio (TCU).
BTCU ESPECIAL
1
Braslia Ano xliii n. 10 18/ maio 2010
SEGECEX / SEPROG
MAIO/2010
BTCU ESPECIAL
2
Braslia Ano xliii n. 10 18/ maio 2010
Internet: http://www.tcu.gov.br
SAFS Quadra 4 Lt. 01
CEP: 70042-900 Braslia-DF
BTCU ESPECIAL
3
Braslia Ano xliii n. 10 18/ maio 2010
BTCU ESPECIAL
4
Braslia Ano xliii n. 10 18/ maio 2010
SUMRIO
INTRODUO......................................................................................................................................... 5
OBJETIVO................................................................................................................................................ 5
O QUE SO PESQUISA E QUESTIONRIO ..................................................................................... 5
APLICAO EM AUDITORIA ............................................................................................................ 5
POTENCIALIDADE E LIMITAES DA PESQUISA EM AUDITORIAS ................................... 6
QUANDO ELABORAR E APLICAR O QUESTIONRIO DE PESQUISA .................................... 7
FORMAS DE REALIZAR A PESQUISA ............................................................................................. 9
COMO USAR A PESQUISA EM AUDITORIA ................................................................................. 13
CRITRIOS DE ELABORAO DE PERGUNTAS ....................................................................... 14
TIPOS DE PERGUNTAS USADAS EM QUESTIONRIO ............................................................. 16
ESTRUTURA E FORMATAO DO QUESTIONRIO ................................................................ 18
ESTRUTURA .......................................................................................................................................................................... 18
FORMATAO ...................................................................................................................................................................... 19
BTCU ESPECIAL
5
Braslia Ano xliii n. 10 18/ maio 2010
INTRODUO
Os procedimentos para realizao de pesquisas1 (survey) aqui apresentados foram testados com sucesso
em auditorias realizadas nos ltimos nove anos e complementam informaes contidas no Manual de
Auditoria Operacional do TCU. Essas orientaes no devem ser tomadas como algo esttico, pois os
padres de qualidade podem se alterar com o tempo, e os documentos tcnicos do TCU devem ser
mantidos atualizados e compatveis com as melhores prticas. Para isso, importante que os usurios do
documento apresentem sugestes com base em suas experincias.
O documento est organizado por temas, que visam destacar as oportunidades de uso de pesquisa em
auditoria, orientar como elaborar e aplicar o questionrio e como analisar as respostas.
Espera-se que a disseminao dessas orientaes contribua para que as evidncias coletadas por meio de
pesquisas tenham maior validade e confiabilidade.
OBJETIVO
1.
O objetivo deste documento orientar as equipes de auditoria a realizar pesquisas com o uso de
questionrios para coleta de dados, mediante definio de critrios gerais. A aplicao dessas
orientaes contribuir para evitar as falhas mais comuns ao se realizar pesquisas em auditoria,
especialmente na elaborao de questionrios, de forma a garantir a validade e confiabilidade das
evidncias produzidas pela anlise dos dados coletados.
Pesquisa uma estratgia metodolgica que permite obter informaes de carter quantitativo e
qualitativo sobre um objeto de auditoria, relacionadas, entre outros, a aspectos operacionais e
gerenciais (BRASIL, 2010, p. 46-47). Com frequncia, utilizada em conjunto com estudos de caso
como suporte para as anlises de carter qualitativo, tpicas dessa ltima estratgia (ISSAI
3000/5.3). Como mtodo estruturado de coleta de dados, quando realizada na forma de pesquisa
amostral, visa generalizar para toda a populao informaes obtidas a partir de uma amostra.
Quando realizada pesquisa no amostral, no possvel generalizar, mas a evidncia obtida de
grande nmero de pesquisados importante e pode ser fortalecida por meio de informaes de outra
natureza e de deduo lgica (ISSAI 3000/Apndice 3).
3.
4.
APLICAO EM AUDITORIA
5.
A equipe de auditoria pode realizar pesquisa para colher dados primrios, no disponveis em
bancos de dados da administrao pblica, ou para colher dados que permitam testar a
confiabilidade dos j disponveis. Posteriormente, os dados coletados so analisados, permitindo
extrair evidncias que daro suporte aos achados de auditoria.
6.
6
Braslia Ano xliii n. 10 18/ maio 2010
BTCU ESPECIAL
A pesquisa pode ser usada para obter informaes quantitativas ou qualitativas com os objetivos
imediatos de caracterizar unidades pesquisadas, por meio de dados descritivos, e colher opinies dos
atores interessados, em especial de executores e beneficirios, sobre o desempenho e caractersticas
do objeto auditado. Em situaes particulares, os dados coletados podem servir para testar hipteses
sobre relaes causais.
Quadro 1 Exemplos de uso de pesquisa em auditoria
Objetivo
Caracterizar
unidades de
pesquisa
Obter informaes
sobre atividades do
pesquisado
Exemplo
Inventariar os tipos de equipamentos
disponveis em postos de vigilncia
fitozoossanitria de produtos agropecurios
(Anexo A exemplo 1)
Se o Cadastro Nacional de
Estabelecimentos de Sade (CNES)
apresenta dados confiveis sobre
equipamentos de diagnstico por imagem
1 - contratao de cursos de
aperfeioamento para professores com
carga horria inferior ao mnimo previsto
2 treinamento de professores em
nmero menor do que o mnimo previsto
nos convnios
Se, na opinio dos participantes, os cursos
contratados com recursos
descentralizados pela Unio apresentam
caractersticas de boa qualidade
8.
Outra vantagem obter dados uniformes de grande quantidade de unidades de pesquisa a custo
relativamente baixo. Quando essas informaes so coletadas usando tcnicas adequadas de
amostragem e de coleta, possvel fazer generalizaes para a populao a partir das respostas das
unidades pesquisadas (BRASIL, 2002). Mesmo quando no possvel fazer inferncia estatstica,
pode ser eloqente a evidncia obtida por meio da anlise de grande quantidade de respostas, em
especial se associada a outras evidncias.
9.
BTCU ESPECIAL
7
Braslia Ano xliii n. 10 18/ maio 2010
10. A principal limitao metodolgica da pesquisa que as perguntas trazem de forma implcita a
estrutura de entendimento do fenmeno pela equipe de auditoria. Pode haver vis na formulao das
perguntas do questionrio, caso a equipe se deixe influenciar por preconceitos sociais e noes prassumidas sobre o objeto da auditoria. O instrumento de coleta de dados reflete o ponto de vista de
quem elaborou as perguntas, que pode ser diferente da que compartilhada pelos atores diretamente
envolvidos. Outra limitao que a uniformidade das perguntas aparente, pois elas podem ter
sentidos diferentes para diferentes pessoas (RICHARDSON, 1999).
11. Essas limitaes podem ser reduzidas por intermdio de um bom diagnstico da situao, realizado
durante a fase de planejamento, inclusive com consulta a especialistas, gestores, servidores e
beneficirios. Outra providncia a equipe submeter o questionrio avaliao de especialistas no
tema da pesquisa que possam validar as perguntas. Por fim, o instrumento de coleta deve ser testado
com especialistas e colegas auditores e durante o teste piloto da auditoria para que sejam
identificadas falhas na construo do questionrio, como ser explicado adiante.
12. Com relao validade, nem sempre possvel saber se os dados informados correspondem
realidade. Essa incerteza varia segundo o tema da pesquisa e a natureza dos dados solicitados. Com
relao confiabilidade, as respostas dos indivduos podem variar no tempo, em especial quando se
referem a atitudes e opinies (RICHARDSON, 1999).
13. Outras fontes de vis podem atuar sobre a coleta e a anlise das informaes. Para reduzir essa
possibilidade, devem ser tomados os cuidados necessrios na definio do desenho amostral para
favorecer a obteno de amostra representativa. Na conduo da coleta de dados, caso sejam usados
pesquisadores, eles devem ser treinados e supervisionados. Por sua vez, ao analisar as respostas, a
equipe no deve desconsiderar evidncias aparentemente pouco consistentes com o que esperava.
14. A realizao de pesquisas mediante questionrios demanda tempo, sendo assim, o cronograma
fixado para a auditoria deve ser compatvel. Alm disso, a equipe j deve ter conhecimento razovel
sobre o objeto de auditoria para poder elaborar perguntas pertinentes e relevantes. Isso s vivel
em etapa avanada da fase de planejamento, o que tambm deve ser levado em conta ao estabelecer
o cronograma da auditoria.
15. Por fim, o desenho amostral para seleo das unidades de pesquisa e a anlise estatstica das
respostas pode exigir conhecimentos especficos. Caso a equipe no tenha as competncias
necessrias, elas devem ser obtidas, em tempo, por meio de apoio de outros profissionais do TCU,
requisitados de outros rgos ou contratao de consultoria.
QUANDO ELABORAR E APLICAR O QUESTIONRIO DE PESQUISA
16. Em pesquisas, h duas fontes potenciais de erro: o erro amostral e os erros no-amostrais. Sobre o
erro amostral, que pode ser controlado mediante clculo estatstico, consulte o texto Tcnicas de
Amostragem para Auditorias (BRASIL, 2002), que trata do tema em diversas oportunidades. Os
erros no-amostrais tm como fontes principais problemas com a construo e com a aplicao dos
questionrios.
17. O questionrio elaborado em fase avanada do planejamento da auditoria, quando a equipe j tem
segurana sobre a caracterizao do objeto de auditoria e a formulao do problema e das questes
de auditoria. A configurao definitiva do questionrio somente finalizada aps a validao da
matriz de planejamento e a realizao do teste piloto.
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
BTCU ESPECIAL
8
Braslia Ano xliii n. 10 18/ maio 2010
18. Para elaborar o questionrio, necessrio antes saber quais informaes devem ser coletadas e quem
so os destinatrios da pesquisa. Sendo assim, preciso j ter elaborado a matriz de planejamento. A
formulao exata das perguntas somente definida durante a elaborao do questionrio, mas elas
ainda podem sofrer alteraes aps o questionrio ser testado. Essas providncias de elaborao e
teste so realizadas na fase de planejamento da auditoria.
19. Tipicamente, nas auditorias realizadas pelo TCU o questionrio aplicado na fase de execuo da
auditoria. No entanto, o ideal que a tabulao completa dos dados esteja disponvel para a equipe
antes do incio do trabalho de campo. Assim, a equipe poder explorar detalhes, em profundidade,
sobre a situao revelada pela resposta aos questionrios. Dessa forma, no primeiro momento, o
conhecimento sobre o tema da auditoria, obtido na fase de planejamento, inclusive mediante visitas
a campo, base para a elaborao do questionrio. Em momento posterior, na fase de execuo, a
anlise da resposta aos questionrios orienta os exames realizados nos estudos de caso.
20. A pesquisa pode ser realizada em um ou mais momentos. O mais comum que a pesquisa seja em
corte transversal, isto , os dados so coletados em um nico momento. possvel tambm realizar
pesquisa longitudinal, ou seja, os dados so coletados em dois ou mais momentos (FREITAS et al.,
2000). Essa ltima situao mais rara, porm possvel, em processos de monitoramento, por
exemplo.
Quadro 2 - Exemplos de pesquisa longitudinal
Exemplo 1 - Em 2001, o Tribunal de Contas da Unio (TCU) avaliou o Programa Nacional Biblioteca da Escola
(PNBE), vinculado ao Ministrio da Educao. Na ocasio, foi realizada pesquisa, via postal, com 879 escolas de
ensino fundamental de todos os estados brasileiros, selecionadas por meio de amostra estatstica, tendo sido
obtida taxa de resposta de 57,2% (TC n. 012.854/2001-6).
Em 2004, foi realizado o monitoramento final da implementao das deliberaes do TCU sobre a auditoria. Na
oportunidade foram enviados questionrios s mesmas 879 escolas pesquisadas na auditoria de 2001. A repetio
da pesquisa possibilitou comparar a situao verificada em 2001 pela auditoria e as condies das escolas em
2004. A taxa de retorno dos questionrios na segunda ocasio foi de 44,5%.
Exemplo 2 Em 2005, o TCU avaliou as aes de vigilncia e fiscalizao no trnsito internacional de produtos
agropecurios do Programa Segurana Fitozoossanitria no Trnsito de Produtos Agropecurios, sob
responsabilidade do Ministrio da Agricultura, Pecuria e Abastecimento MAPA (012.488/2005-5). Na
ocasio, foi realizada pesquisa postal e eletrnica com 26 Servios de Gesto da Vigilncia Agropecuria
VIGIAGRO/DT-UF (100% de retorno) e 91 unidades do Vigiagro (8 Servios de Vigilncia Agropecuria
SVA e 83 Unidades de Vigilncia Agropecuria Uvagro) (74% de retorno). Tambm foram enviados
questionrios a 542 fiscais federais agropecurios lotados nas unidades de vigilncia (75% de retorno).
Em 2008, foi realizado o primeiro monitoramento da auditoria (001.845/2008-6). Dessa vez, a pesquisa postal foi
realizada apenas as 91 unidades do Vigiagro (SVA e Uvagro) (47% de retorno). O objetivo da pesquisa foi
comparar a percepo dos chefes das unidades sobre a situao do programa nas pocas do monitoramento e da
auditoria. O questionrio abordou perguntas sobre a infra-estrutura das unidades, organizao e gesto de
recursos humanos, execuo de procedimentos de vigilncia fitozoossanitria e integrao com os demais rgos
envolvidos no processo.
21. O questionrio deve ser endereado aos atores pertinentes, isto , queles que detm as informaes
requeridas pela auditoria. Para circularizar as informaes e ter maior garantia sobre a validade das
evidncias, pode ser necessrio enviar diferentes questionrios para atores distintos em uma mesma
auditoria.
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
9
Braslia Ano xliii n. 10 18/ maio 2010
BTCU ESPECIAL
POTENCIALIDADES
Confivel
Permite pesquisar pessoas com
baixa escolaridade
LIMITAES
USO EM
AUDITORIA
Usada em trabalho de
campo
Exige treinamento de
pesquisadores
Exige conferncia de parte dos
questionrios preenchidos pelos
pesquisadores
Pode haver dificuldade de
encontrar pesquisados presentes
na residncia
Pesquisados podem se sentir
constrangidos de responder certas
perguntas pessoalmente
Pode haver dificuldade de acesso
ou risco segurana dos
pesquisadores
Exige digitao das respostas
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
FORMA DE
APLICAO
Por telefone
10
Braslia Ano xliii n. 10 18/ maio 2010
BTCU ESPECIAL
POTENCIALIDADES
LIMITAES
Custo alto
Exige que as perguntas sejam
simples e em nmero reduzido
para que o pesquisado no
perca o raciocnio durante a
ligao
USO EM
AUDITORIA
Nas auditorias
realizadas pelo
TCU, uma forma
ainda pouco
explorada
Custo baixo
Permite abranger grande
nmero de pesquisados com
alta disperso geogrfica
Permite que o pesquisado
levante as informaes
necessrias, caso no as
tenha de imediato
Permite que o pesquisado
pense melhor sobre a
resposta, confira
informaes e consulte
outros atores
O pesquisado se sente mais
seguro e livre para responder
de forma privada e annima
Muito usada em
auditoria
FORMA DE
APLICAO
Eletrnica
POTENCIALIDADES
11
Braslia Ano xliii n. 10 18/ maio 2010
BTCU ESPECIAL
LIMITAES
USO EM
AUDITORIA
Usada com
freqncia em
auditoria
23. Quando a pesquisa aplicada por intermdio de contato pessoal, os aplicadores devem ser treinados.
Neste caso, h semelhanas entre os critrios para a aplicao de questionrios e para a realizao de
entrevistas, no entanto existem diferenas importantes. A aplicao do questionrio mediante
contato pessoal difere da entrevista no grau de interao com o entrevistado. Quem aplica o
questionrio no tem liberdade para alterar, suprimir ou adicionar perguntas e o grau de interao
com o pesquisado reduzido. Na entrevista, ocorre influncia recproca. O entrevistado tem maior
controle sobre a forma e a ordem segundo a qual presta as informaes, tornando o discurso mais
fluente e aumentando o grau de interao com o pesquiador (LDKE; ANDR, 1986).
24. Outra diferena relevante que o aplicador do questionrio, ao contrrio do entrevistador, nem
sempre faz parte da equipe de planejamento da auditoria, logo tem menor conhecimento sobre o
objeto de auditoria. O aplicador pode ser auditor do TCU, mas que no participou do trabalho desde
o incio ou pode ser um entrevistador contratado (Quadro 6). Nesses casos, o treinamento do
aplicador do questionrio inclui o seguinte:
24.1
24.2
24.3
BTCU ESPECIAL
12
Braslia Ano xliii n. 10 18/ maio 2010
25. Quando o questionrio aplicado por telefone, a conciso das perguntas ainda mais importante. A
dinmica do contato telefnico pode oferecer oportunidade para a ocorrncia de mal entendidos e de
perda de informao da resposta.
Quadro 6 - Exemplo de aplicao de questionrio por telefone
Em 2009, o Tribunal de Contas da Unio (TCU), por solicitao do Congresso Nacional, avaliou o
Programa de Resposta aos Desastres e Reconstruo, vinculado Secretaria Nacional de Defesa Civil
Sedec (TC 008.556/2009-3).
A metodologia contemplou a anlise dos processos de transferncia obrigatria firmados de novembro
de 2008 a agosto de 2009, anlise de dados secundrios em sistemas informatizados da Sedec, bem
como do Siafi e do Sistema SigaBrasil do Senado; entrevistas individuais e em grupo com a titular e
tcnicos da Sedec e do Ministrio das Cidades; pesquisa via telefone com responsveis pela defesa civil
de estados e municpios que firmaram termos de compromisso com a Secretaria Nacional de Defesa
Civil at o dia 6 de agosto de 2009.
A pesquisa com os responsveis teve por finalidade investigar a estrutura e os recursos disponveis nos
rgos de defesa civil, sua capacidade operacional, as pricipais dificuldades enfrentadas, avaliao
qualitativa da atuao da Sedec, conhecimento sobre o programa federal avaliado. Houve retorno de
89% dos responsveis estaduais (8) e 87% dos responsveis municipais (27).
A equipe testou o questionrio de 17 perguntas com trs responsveis. O tempo de resposta foi
estimado em 15 minutos, no mnimo. Ao entrar em contato com os pesquisados, o auditor informava o
objeto da pesquisa, o nmero de perguntas e o tempo estimado para respond-las. A maioria dos
entrevistados respodeu a pesquisa na primeira tentativa e poucos pediram que fosse realizado contato
posterior.
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
BTCU ESPECIAL
13
Braslia Ano xliii n. 10 18/ maio 2010
26. Sempre que vivel, o pesquisado deve ser informado previamente sobre os objetivos da pesquisa e
sobre o tipo de informao que ser solicitada (ANEXO A EXEMPLO 5). Essa providncia
adotada especialmente nas seguintes situaes: a) para comunicar ao gestor (secretrio municipal ou
estadual, por exemplo) que unidades sob sua gesto recebero o questionrio, b) para informar ao
pesquisado sobre o tipo de informao que ele eventualmente ter que compilar.
COMO USAR A PESQUISA EM AUDITORIA
27. Para que o uso da pesquisa em auditoria contribua para responder as questes de auditoria,
necessrio seguir procedimentos de planejamento, elaborao, teste, aplicao e anlise do
questionrio. Seguir esses procedimentos aumenta a probabilidade de que as perguntas do
questionrio permitam coletar as informaes necessrias para responder as questes de auditoria e
que as informaes tenham validade e confiabilidade.
28. O passo-a-passo dos procedimentos de uso de pesquisa em auditoria encontra-se no Apndice A.
Cabe aqui destacar alguns desses procedimentos em razo de sua importncia para o sucesso da
aplicao da metodologia:
28.1
28.2
28.3
Ateno
No deixe de realizar o teste piloto do questionrio.
Apenas com a aplicao e anlise do questionrio de certo nmero de pesquisados possvel
identificar falhas que podero prejudicar a eficcia da pesquisa. Alm da qualidade das
perguntas, o teste permite identificar problemas de logstica para a realizao da pesquisa e
falhas no treinamento dos pesquisadores.
1 primeiro, teste o questionrio com colegas e com profissionais que tenham conhecimento
sobre o tema pesquisado.
2 em seguida, faa um teste piloto, simulando as condies reais da pesquisa, com parcela
da populao pesquisada. A amostra piloto de pelo menos 30 casos em grandes pesquisas
(NAO, 1999).
28.4
O questionrio deve ser enviado com prazo fixado para ser respondido. Controle as unidades
de pesquisa que no responderam no prazo e encoraje quem permaneceu em silncio. Depois
de expirado o prazo, telefone, envie mensagem eletrnica ou reenvie o questionrio pelos
correios. Deixe claro que a resposta dos pesquisados importante e desculpe-se
antecipadamente para o caso de a resposta j ter sido enviada (NAO, 1999).
BTCU ESPECIAL
14
Braslia Ano xliii n. 10 18/ maio 2010
Ateno
A questo de auditoria e o tipo de informao que voc precisa para respond-la determinam
o tipo de pergunta que deve ser formulada
No inverta essa lgica
29.2
Inclua perguntas que esclaream umas s outras, permitindo conferir a consistncia das
respostas.
29.3
No faa duas perguntas em uma s. Exemplo: voc pensa que a criao de centrais de
marcao eletrnica de consultas mdicas foi uma boa iniciativa e que elas funcionam bem?
Nesse caso, o pesquisado poderia responder sim, que considera uma boa iniciativa, mas que
elas no funcionam bem, por exemplo, em razo de problemas relacionados
implementao.
29.4
29.5
29.6
Evite perguntas ambguas, ou seja, que usem palavras cujo significado seja incerto e d
margem a diferentes interpretaes. Por exemplo: Numere de 1 a 5, do mais importante para
o menos importante, os cinco fatores que mais contribuiram para a ocorrncia de atrasos
nesse aeroporto ultimamente. Veja como eliminar a ambiguidade dessa pergunta no Anexo
A exemplo 10.
29.7
Evite perguntas que obriguem o pesquisado a levantar dados, apesar de isso ser possvel em
questionrios postais e eletrnicos (GAO, 1991, p. 22).
29.8
Assegure-se de que a pergunta permite obter a informao necessria anlise das questes
de auditoria.
15
Braslia Ano xliii n. 10 18/ maio 2010
BTCU ESPECIAL
Manh
Tarde
Noite
Tera
Quarta
Quinta
Sexta
Sbado
Domingo
30. A elaborao das perguntas do questionrio deve seguir os padres gerais de redao de relatrio,
no que couber (BRASIL, 2010, p. 29-31), em especial o seguinte:
30.1
Clareza - ser de fcil compreenso para o pblico ao qual o questionrio destinado. Para
aumentar a clareza e a compreenso das perguntas:
evite termos tcnicos;
evite termos eruditos e expresses em outros idiomas;
evite usar siglas e abreviaturas;
evite usar dupla negao;
use frases curtas, evitando perodos longos que se estendam por diversas
linhas;
prefira usar a ordem direta (sujeito, verbo, objeto e complementos), evitando
oraes intercaladas, parntesis e travesses;
evite escrever em caixa alta;
organize as perguntas por meio do sequenciamento lgico dos temas,
dispondo-as no questionrio em blocos identificados por ttulo sugestivo do
tema abordado.
16
Braslia Ano xliii n. 10 18/ maio 2010
BTCU ESPECIAL
30.2
Conciso - produzir enunciado de perguntas que no seja mais extenso do que o necessrio
para transmitir a mensagem. Como critrio indicativo, o questionrio no deve ter mais do
que quatro pginas (frente e verso de duas folhas).
30.3
30.4
30.5
As perguntas podem ser abertas (Quadro 10) ou fechadas (ANEXO A EXEMPLO 3). Cada uma
serve a um prposito e tm seus pros e contras.
Quadro 8 Caractersticas das perguntas abertas e das fechadas
Pergunta aberta
Pergunta fechada
Fcil de responder.
32. As perguntas fechadas podem permitir resposta nica (ANEXO A EXEMPLO 3) ou mltipla
(ANEXO A EXEMPLO 8). Em perguntas de resposta nica, possvel usar escalas. As mais
usadas em Anop no TCU so as escalas tipo Likert, perguntas com escalas diversas e o diferenciador
semntico.
32.1
32.2
BTCU ESPECIAL
17
Braslia Ano xliii n. 10 18/ maio 2010
32.3
Os questionrios aplicados em Anop incluem com frequencia perguntas que usam escalas.
Escalas so usadas para investigar as atitudes dos pesquisados. Ao usar escalas, formule
nveis equilibrados, isto , no formule mais nveis de um tipo que de outro (discordncia ou
concordncia). Inclua a opo equivalente a no aplicvel ou no sei, se for o caso.
Inclua o ponto neutro, que no expressa discordncia nem concordncia, se a situao exigir.
Pode ser que o ponto neutro no seja uma resposta conveniente para a auditoria, mas o fato
que muito provavelmente existam pesquisados com essa opinio. A omisso do ponto neutro
quando ele possvel de ocorrer pode trazer vis para as respostas e para as anlises.
Usualmente, atribui-se um nmero a cada opo da escala e calcula-se a mdia das respostas.
Assim, possvel ordenar os diferentes itens julgados pelos pesquisados (ANEXO A
EXEMPLO 4).
32.4
33. Outro tipo de pergunta a de ordenao, que tem a particularidade de fornecer mais informao do
que simplesmente um rol de respostas, pois classifica os itens (ANEXO A EXEMPLO10). A
ordenao apresentada no significa que os itens estejam separados pela mesma distncia. Esta pode
ser um tipo de pergunta mais difcil para o pesquisado responder, especialmente em caso de haver
muitas opes. Sendo assim, d instrues claras de preenchimento e, se possvel, pea para marcar
os itens mais importantes (os trs mais importantes, por exemplo) (NAO, 1999). Uma alternativa
quando se tem muitos itens reformular a pergunta de ordenao como vrias perguntas de escala, e
orden-las posteriormente, como descrito no pargrafo 32.3 (GAO, 1991, p. 29).
BTCU ESPECIAL
18
Braslia Ano xliii n. 10 18/ maio 2010
34.2
34.3
34.4
Estrutura
35. A estrutura do questionrio refere-se ordenao de seus elementos, principalmente ordem em que
as perguntas so apresentadas no formulrio. Os questionrios so compostos das seguintes partes:
35.1
Mensagem explicativa: inicie o questionrio com informaes sobre a (1) motivao e os (2)
objetivos da pesquisa, (3) como os dados sero usados (garantia de que o respondente no
ser identificado), (4) quem deve responder o questionrio (por exemplo, em questionrio
enviado para hospitais, o chefe do setor de radiologia), bem como o (5) contato com a equipe
em caso de dvida (ANEXO A EXEMPLO 6).
35.2
Instruo sobre como enviar resposta ao questionrio: quando a pesquisa postal, necessrio
fornecer instrues precisas sobre como a resposta deve ser encaminhada. Deve tambm ser
enviado envelope resposta pr-pago para os pesquisados. O TCU tem contrato com os correios
que permite esse tipo de correspondncia (ANEXO A EXEMPLO 7).
35.3
35.4
36. No formulrio, as perguntas devem ser agrupadas em sees, por tema. Estrutura-se o questionrio
do geral para o especfico, do menos pessoal para o mais delicado e pessoal. Esta estrutura aplica-se
ordenao dos temas no questionrio e ordenao das perguntas no tema (GNTHER, 2003).
Ateno
Somente pea dados socioeconmicos se realmente for analis-los e se so importantes
para responder alguma questo de auditoria.
36.1
36.2
36.3
36.4
Na ltima parte, recomenda-se formular uma pergunta aberta que deixe o pesquisado livre
para abordar algum ponto que no tenha sido coberto pelas perguntas fechadas (Quadro 11
exemplo 2). Por fim, pode ser formulada pergunta sobre telefone ou endereo eletrnico de
contato para posterior confirmao de respostas e envio do resultado da pesquisa.
BTCU ESPECIAL
19
Braslia Ano xliii n. 10 18/ maio 2010
37. Procure agrupar perguntas direcionadas para apenas um subgrupo dos pesquisados de forma a evitar
necessidade de que o pesquisado tenha que pular perguntas, obedecendo a comandos do tipo se ....
ento v para a pergunta .... O roteamento funciona melhor quando o questionrio aplicado por
pesquisadores ou por meio eletrnico que automatize o roteamento (NAO, 1999).
Formatao
38. Entre os cuidados de formatao que devem ser observados, citam-se:
38.1
38.2
38.3
38.4
38.5
Evite continuar uma pergunta em outra coluna ou pgina porque a parte final pode escapar
ao pesquisado.
38.6
BTCU ESPECIAL
20
Braslia Ano xliii n. 10 18/ maio 2010
BTCU ESPECIAL
21
Braslia Ano xliii n. 10 18/ maio 2010
BTCU ESPECIAL
22
Braslia Ano xliii n. 10 18/ maio 2010
BTCU ESPECIAL
23
Braslia Ano xliii n. 10 18/ maio 2010
BTCU ESPECIAL
24
Braslia Ano xliii n. 10 18/ maio 2010
ANEXO A EXEMPLOS
No
sei
BTCU ESPECIAL
25
Braslia Ano xliii n. 10 18/ maio 2010
Exemplo 2 - Preencha o quadro abaixo com o nmero total de equipamentos de diagnstico por imagem
existente no seu estabelecimento de sade e o nmero, desse total de equipamentos, que esto em
funcionamento:
Nmero total
Nmero de
Equipamentos de radiologia de TODAS as unidades do estabelecimento
de
equipamentos
de sade
equipamentos
em
existentes
funcionamento
Mamgrafo com comando simples
Mamgrafo com estereotaxia
Tomgrafo computadorizado
Ressonncia magntica
RX Mveis
RX Fixos
Raio X telecomandado (com fluoroscopia, contrastado, escopia)
Raio X para densitometria ssea (densitmetro)
Ultrassom Doppler colorido
Ultrassom ecgrafo
Fonte: adaptado do TC 011.587/2009-1
Exemplo 3 Qual a carga horria do curso de aperfeioamento para professores do qual voc participou
em 2005?
igual ou inferior a 80 horas
entre 80 e 120 horas
igual ou superior a 120 horas
no sei
no participei de curso em 2005
Fonte: adaptado do TC 012.485/2005-3
26
Braslia Ano xliii n. 10 18/ maio 2010
BTCU ESPECIAL
Afirmaes
Discordo
totalmente
Discordo
Nem
concordo
nem
discordo
Concordo
Concordo
totalmente
No sei
BTCU ESPECIAL
27
Braslia Ano xliii n. 10 18/ maio 2010
BTCU ESPECIAL
28
Braslia Ano xliii n. 10 18/ maio 2010
29
Braslia Ano xliii n. 10 18/ maio 2010
BTCU ESPECIAL
Exemplo 8 Indique os critrios de prioridade usados pelo municpio para seleo de famlias
beneficirias de programas de melhoria habitacional voltados populao de baixa renda. (admite mais
de uma resposta)
1.
2.
Idosos na famlia
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
Outros critrios
Muito
fcil
1
Muito difcil
5
30
Braslia Ano xliii n. 10 18/ maio 2010
BTCU ESPECIAL
Exemplo 10 Numere de 1 a 5, do mais importante para o menos importante, os cinco fatores que mais
contriburam para que vos tenham atrasado por mais de 30 minutos no seu aeroporto em 2007. Responda
apenas considerando a situao operacional nesse aeroporto (por exemplo, no considere o fato de o vo
j ter chegado atrasado a esse aeroporto).
( ) Manuteno no prevista de aeronaves
( ) Ptio de estacionamento de aeronaves
( ) Meio-fio de embarque
( ) Sala de embarque
( ) Balces de check-in
( ) rea de desembarque e esteiras de restituio de bagagem
( ) Meio-fio de desembarque
( ) Controle de passaportes
( ) Alfndega
( ) Controle de trfego areo
( ) Meteorologia
( ) Problemas operacionais das empresas
Fonte: adaptado do TC 014.799/2007-0
B Idade
at 25 anos
entre 26 e 30 anos
entre 31 e 40 anos
entre 41 e 50 anos
entre 51 e 65 anos
acima de 65 anos
C Escolaridade
At a 3 srie do 1 Grau
Da 3 srie a 7 do 1 Grau
1 Grau completo
2 Grau incompleto
2 Grau completo
Superior incompleto
Superior completo
31
Braslia Ano xliii n. 10 18/ maio 2010
BTCU ESPECIAL
Exemplo 12 Em 2009, o Tribunal de Contas da Unio (TCU) avaliou a alocao, o uso e a manuteno
de mamgrafos disponveis para o SUS (TC 011.587/2009-1). Entre os procedimentos de coleta de dados
usados, foram enviados 420 questionrios para os estabelecimentos pblicos de sade que figuravam no
Cadastro Nacional de Estabelecimentos de Sade CNES como possuidores de mamgrafos. A pesquisa
foi respondida por 249 estabelecimentos. A equipe usou o teste qui-quadrado (STEVENSON, 1981) para
verificar se a distribuio dos estabelecimentos respondentes por Regio seguia a distribuio dos
estabelecimentos no CNES. A hiptese foi aceita. Sendo assim, sups-se que a amostra dos respondentes
era representativa dos estabelecimentos cadastrados.
Vale lembrar que a distribuio amostral poderia ter sido classificada segundo outras variveis e
testada em confronto com a distribuio da populao. Entre as variveis que poderiam ter sido usadas,
citam-se: tamanho dos estabelecimentos (em nmero de leitos, por exemplo), natureza do estabelecimento
(beneficiente, administrao direta, administrao indireta), tipo de estabelecimento (hospital geral,
centro de sade, policlnica, clnica especializada), esfera administrativa (federal, estadual, municipal,
privada) e outras variveis disponveis no CNES.
Para testar a hiptese de que a distribuio amostral segue a distribuio da populao, foram
seguidos os seguintes passos, usando o excel, conforme registrado na Tabela E:
1 Foi calculada a estatstica de teste (somatrio da ltima coluna da Tabela E) = 0,2273.
2 Calculou-se o grau de liberdade da distribuio qui-quadrado a ser usada da seguinte forma: (L-1)*(C1) = (5-1)*(2-1) = 4, onde L o nmero de classes segundo a qual os dados esto distribudos (5 Regies)
e C o nmero de distribuies que esto sendo comparadas (respondentes e cadastrados).
3 Foi obtido o valor da estatstica qui-quadrado (tabelada) no excel para 95% de confiana e 4 graus de
liberdade usando a seguinte funo: =inv.qui(0,05;4) , que resultou 9,4877.
4 Como a estatstica tabelada maior do que a estatstica de teste, aceita-se a hiptese de que as
respondentes e cadastrados seguem a mesma distribuio por Regio.
Tabela E - Nmero de estabelecimentos de sade pblicos que responderam a pesquisa e estabelecimentos possuidores de
mamgrafos, segundo o Cadastro Nacional de Estabelecimentos de Sade CNES em abril de 2009, por estado
Norte
16
27
Frequencia
relativa dos
respondentes %
(O)
6,43
Nordeste
50
88
Centro Oeste
17
Regio
Sudeste
Sul
Total
Respondentes
Cadastrados no
CNES
Frequencia relativa
dos cadastrados no
CNES % (E)
Estatstica de
teste
(O-E)^2/E
6,43
0,0000
20,08
20,95
0,0363
33
6,83
7,86
0,1350
144
236
57,83
56,19
0,0479
22
36
8,84
8,57
0,0081
249
420
100
100
0,2273
Nota: no foram considerados o Distrito Federal e o Amazonas porque todos os estabelecimentos de sade possuidores de
mamgrafos foram pesquisados em teste piloto
Fonte: adaptado do TC 011.587/2009-1
BTCU ESPECIAL
32
Braslia Ano xliii n. 10 18/ maio 2010
REFERNCIAS
BRASIL. Tribunal de Contas da Unio. Tcnicas de amostragem para auditorias. Braslia: TCU, 2002.
______. Manual de auditoria operacional. Braslia: TCU, 2010.
COHEN, Ernesto; FRANCO, Rolando. Avaliao de projetos sociais. Petrpolis: Vozes, 1993.
FREITAS, H.; OLIVEIRA, M.; SACCOL, A.Z.; MOSCAROLA, J. O mtodo de pesquisa survey.
Revista de Administrao, So Paulo, v.35, n.3, p.105-112, jul./set. 2000.
GENERAL Accounting Office . Using structured interviewing techniques. Washington: GAO, 1991.
GNTHER, Hartmut. Como elaborar um questionrio Braslia: UnB, Laboratrio de Psicologia
Ambiental, 2003. (Planejamento de Pesquisa nas Cincias Sociais, n. 1)
INTERNATIONAL Organization of Supreme Audit Institutions. Implementation Guidelines for
Performance Auditing (ISSAI 3000). Viena: Intosai, 2004. Disponvel em:
<http://www.issai.org/media(381,1033)/ISSAI_3000E.pdf>. Acesso em: 8 set. 2008.
LDKE, Hermengarda A.; ANDR, Marli E. A. Pesquisa em educao: abordagens qualitativas. So
Paulo: EPU, 1986.
MEDEIROS, Marcelo. Questionrios: recomendaes para formatao. Braslia: IPEA, janeiro de 2005.
(Texto para Discusso, n. 1063)
NATIONAL Audit Office. Taking a survey. London: NAO, 1999.
RICHARDSON, R. J. Pesquisa social: mtodos e tcnicas. So Paulo: Atlas, 1999.
STEVENSON, W.J. Estatstica aplicada administrao. So Paulo: Harper & Row do Brasil, 1981.
NOTAS EXPLICATIVAS
1
Este documento trata de pesquisa, que uma metodologia de coleta de dados conhecida na literaturatura em ingls por
survey. Em textos em portugus, possvel encontrar autores que no traduzem a expresso e outros que usam pesquisa survey
ou levantamento para designar a mesma metodologia.