Sie sind auf Seite 1von 34

Braslia, 18 de Maio de 2010 - Ano XLIII - N 10

TCNICA DE PESQUISA PARA


AUDITORIAS
PORTARIA-SEGECEX N 16, DE 14 DE MAIO DE 2010

SECRETARIA-GERAL DE ADMINISTRAO

TRIBUNAL DE CONTAS DA UNIO


Boletim do Tribunal de Contas da Unio
http://www.tcu.gov.br

BTCU@tcu.gov.br

SAFS Lote 1 Anexo I sala 422 - CEP:70042-900 - Braslia - DF


Fones: 3316-7650/3316-7079/3316-7870/3316-7869
Presidente
UBIRATAN DINIZ DE AGUIAR

Vice-Presidente
BENJAMIN ZYMLER

Ministros
ANTONIO VALMIR CAMPELO BEZERRA
WALTON ALENCAR RODRIGUES
JOO AUGUSTO RIBEIRO NARDES
AROLDO CEDRAZ DE OLIVEIRA
RAIMUNDO CARREIRO SILVA
JOS JORGE DE VASCONCELOS LIMA
JOS MCIO MONTEIRO FILHO
Auditores
AUGUSTO SHERMAN CAVALCANTI
MARCOS BEMQUERER COSTA
ANDR LUS DE CARVALHO
WEDER DE OLIVEIRA
Ministrio Pblico junto ao TCU
Procurador-Geral
LUCAS ROCHA FURTADO
Subprocuradores-Gerais
PAULO SOARES BUGARIN
MARIA ALZIRA FERREIRA
Procuradores
MARINUS EDUARDO DE VRIES MARSICO
CRISTINA MACHADO DA COSTA E SILVA
JLIO MARCELO DE OLIVEIRA
SERGIO RICARDO COSTA CARIB
SECRETARIA-GERAL DE ADMINISTRAO
Secretrio-Geral
Fernando Luiz Souza da Eira
segedam@tcu.gov.br
Boletim do Tribunal de Contas da Unio Especial v. 1, n. 1 (1982)
. Braslia : TCU, 1982- .
v.
Irregular.
A numerao recomea a cada ano.
Continuao de: Boletim do Tribunal de Contas da Unio.
Contedo: Tcnica de pesquisa para auditoria
Ato administrativo peridico Brasil. I. Brasil. Tribunal de
Contas da Unio (TCU).

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

1
Braslia Ano xliii n. 10 18/ maio 2010

TRIBUNAL DE CONTAS DA UNIO


SECRETARIA-GERAL DE CONTROLE EXTERNO
SECRETARIA DE FISCALIZAO E AVALIAO DE PROGRAMAS
DE GOVERNO

TCNICA DE PESQUISA PARA


AUDITORIAS

SEGECEX / SEPROG
MAIO/2010

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

2
Braslia Ano xliii n. 10 18/ maio 2010

Tribunal de Contas da Unio

Internet: http://www.tcu.gov.br
SAFS Quadra 4 Lt. 01
CEP: 70042-900 Braslia-DF

Secretrio-Geral de Controle Externo


Paulo Roberto Wiechers Martins
Secretrio Adjunto de Planejamento e Procedimentos
Marcelo Luiz Souza da Eira
Secretrio de Fiscalizao e Avaliao de Programas de Governo
Carlos Alberto Sampaio de Freitas
Superviso
Glria Maria Merola da Costa Bastos Gerente da 1 Diviso Tcnica da Seprog
Equipe Tcnica
Dagomar Henriques Lima
Reviso
Jorge Mendes de Oliveira Castro Neto

Brasil. Tribunal de Contas da Unio.


Tcnica de pesquisa para auditorias / Tribunal de Contas da
Unio. Braslia : TCU, Secretaria de Fiscalizao e Avaliao
de Programas de Governo (Seprog), 2010.
34 p.
33 p.

1. Auditoria operacional, pesquisa. 2. Auditoria operacional,


manual. 2. Auditoria operacional, questionrio. I. Ttulo.
Ficha catalogrfica elaborada pela Biblioteca Ministro Ruben Rosa

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

3
Braslia Ano xliii n. 10 18/ maio 2010

PORTARIA-SEGECEX N 16, DE 14 DE MAIO DE 2010

Aprova o documento Tcnica de Pesquisa para


Auditorias.

O Secretrio-Geral de Controle Externo, no uso de suas atribuies e considerando o


disposto no art. 32, inciso III, da Resoluo-TCU n 214, de 20 de agosto de 2008:
Considerando que o Plano Estratgico do Tribunal definiu como objetivos estratgicos
Aperfeioar a estrutura legal e normativa de suporte ao controle externo e Aperfeioar instrumentos
de controle e processos de trabalho;
Considerando a necessidade de estabelecer parmetros para orientar a construo do sistema
de pesquisa para auditoria, resolve:
Art. 1 Fica aprovado o documento Tcnica de Pesquisa para Auditorias.
Art. 2 A Segecex manter atualizado o documento de que trata o artigo anterior, cabendolhe, ainda, o esclarecimento de dvidas e o recebimento de sugestes para o seu aperfeioamento, bem
como o acompanhamento de sua implementao.
Art. 4 Esta Portaria entra em vigor na data de sua publicao.

PAULO ROBERTO WIECHERS MARTINS


Secretrio-Geral de Controle Externo

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

4
Braslia Ano xliii n. 10 18/ maio 2010

SUMRIO
INTRODUO......................................................................................................................................... 5
OBJETIVO................................................................................................................................................ 5
O QUE SO PESQUISA E QUESTIONRIO ..................................................................................... 5
APLICAO EM AUDITORIA ............................................................................................................ 5
POTENCIALIDADE E LIMITAES DA PESQUISA EM AUDITORIAS ................................... 6
QUANDO ELABORAR E APLICAR O QUESTIONRIO DE PESQUISA .................................... 7
FORMAS DE REALIZAR A PESQUISA ............................................................................................. 9
COMO USAR A PESQUISA EM AUDITORIA ................................................................................. 13
CRITRIOS DE ELABORAO DE PERGUNTAS ....................................................................... 14
TIPOS DE PERGUNTAS USADAS EM QUESTIONRIO ............................................................. 16
ESTRUTURA E FORMATAO DO QUESTIONRIO ................................................................ 18
ESTRUTURA .......................................................................................................................................................................... 18
FORMATAO ...................................................................................................................................................................... 19

COMO ANALISAR AS RESPOSTAS ................................................................................................. 20


PLANEJAMENTO DA ANLISE .............................................................................................................................................. 20
CODIFICAO ...................................................................................................................................................................... 20
ANLISE DE CONSISTNCIA DAS VARIVEIS ....................................................................................................................... 21
TESTE DA COERNCIA ENTRE POPULAO E AMOSTRA ..................................................................................................... 22

APNDICE A PROCEDIMENTOS PARA USO DE PESQUISA EM AUDITORIAS ............... 23


ANEXO A EXEMPLOS...................................................................................................................... 24
REFERNCIAS ...................................................................................................................................... 32
NOTAS EXPLICATIVAS ..................................................................................................................... 32

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

5
Braslia Ano xliii n. 10 18/ maio 2010

INTRODUO
Os procedimentos para realizao de pesquisas1 (survey) aqui apresentados foram testados com sucesso
em auditorias realizadas nos ltimos nove anos e complementam informaes contidas no Manual de
Auditoria Operacional do TCU. Essas orientaes no devem ser tomadas como algo esttico, pois os
padres de qualidade podem se alterar com o tempo, e os documentos tcnicos do TCU devem ser
mantidos atualizados e compatveis com as melhores prticas. Para isso, importante que os usurios do
documento apresentem sugestes com base em suas experincias.
O documento est organizado por temas, que visam destacar as oportunidades de uso de pesquisa em
auditoria, orientar como elaborar e aplicar o questionrio e como analisar as respostas.
Espera-se que a disseminao dessas orientaes contribua para que as evidncias coletadas por meio de
pesquisas tenham maior validade e confiabilidade.
OBJETIVO
1.

O objetivo deste documento orientar as equipes de auditoria a realizar pesquisas com o uso de
questionrios para coleta de dados, mediante definio de critrios gerais. A aplicao dessas
orientaes contribuir para evitar as falhas mais comuns ao se realizar pesquisas em auditoria,
especialmente na elaborao de questionrios, de forma a garantir a validade e confiabilidade das
evidncias produzidas pela anlise dos dados coletados.

O QUE SO PESQUISA E QUESTIONRIO


2.

Pesquisa uma estratgia metodolgica que permite obter informaes de carter quantitativo e
qualitativo sobre um objeto de auditoria, relacionadas, entre outros, a aspectos operacionais e
gerenciais (BRASIL, 2010, p. 46-47). Com frequncia, utilizada em conjunto com estudos de caso
como suporte para as anlises de carter qualitativo, tpicas dessa ltima estratgia (ISSAI
3000/5.3). Como mtodo estruturado de coleta de dados, quando realizada na forma de pesquisa
amostral, visa generalizar para toda a populao informaes obtidas a partir de uma amostra.
Quando realizada pesquisa no amostral, no possvel generalizar, mas a evidncia obtida de
grande nmero de pesquisados importante e pode ser fortalecida por meio de informaes de outra
natureza e de deduo lgica (ISSAI 3000/Apndice 3).

3.

Questionrio o formulrio de perguntas usado em pesquisas, para obter informaes de forma


padronizada sobre grande nmero de unidades de pesquisa. o instrumento de coleta de dados
usado em pesquisas (BRASIL, 2010, p. 48).

4.

O que distingue a aplicao de um questionrio de uma entrevista que, ao aplic-lo, mesmo


pessoalmente, o pesquisador no tem possibilidade de ajustar, alterar ou adicionar novas perguntas
durante o processo de aplicao.

APLICAO EM AUDITORIA
5.

A equipe de auditoria pode realizar pesquisa para colher dados primrios, no disponveis em
bancos de dados da administrao pblica, ou para colher dados que permitam testar a
confiabilidade dos j disponveis. Posteriormente, os dados coletados so analisados, permitindo
extrair evidncias que daro suporte aos achados de auditoria.

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

6.

6
Braslia Ano xliii n. 10 18/ maio 2010

BTCU ESPECIAL

A pesquisa pode ser usada para obter informaes quantitativas ou qualitativas com os objetivos
imediatos de caracterizar unidades pesquisadas, por meio de dados descritivos, e colher opinies dos
atores interessados, em especial de executores e beneficirios, sobre o desempenho e caractersticas
do objeto auditado. Em situaes particulares, os dados coletados podem servir para testar hipteses
sobre relaes causais.
Quadro 1 Exemplos de uso de pesquisa em auditoria
Objetivo

Caracterizar
unidades de
pesquisa

Obter informaes
sobre atividades do
pesquisado

Exemplo
Inventariar os tipos de equipamentos
disponveis em postos de vigilncia
fitozoossanitria de produtos agropecurios
(Anexo A exemplo 1)

Se os postos dispem dos equipamentos


necessrios para fiscalizar o tipo de
produto agropecurio importado ou
exportado no local

Inventariar nmero de equipamentos


existentes em servio de radiologia de
estabelecimentos pblicos de sade (Anexo
A exemplo 2)

Se o Cadastro Nacional de
Estabelecimentos de Sade (CNES)
apresenta dados confiveis sobre
equipamentos de diagnstico por imagem

Coletar dados socioeconomicos dos


pesquisados (Anexo A exemplo 11)

Se o programa discrimina positivamente


famlias cujo responsvel seja do sexo
feminino.

Levantar a distribuio de freqncia da


carga horria dos cursos ministrados para
professores

Se h indcios de falhas na execuo do


objeto do convnio por:

Identificar se os pesquisados participaram de


curso de aperfeioamento para professores
(Anexo A exemplo 3)
Obter informao
sobre opinio

O que a anlise pode dizer

Colher avaliao dos professores


participantes sobre aspectos da qualidade dos
cursos de aperfeioamento (Anexo A
exemplo 4)

1 - contratao de cursos de
aperfeioamento para professores com
carga horria inferior ao mnimo previsto
2 treinamento de professores em
nmero menor do que o mnimo previsto
nos convnios
Se, na opinio dos participantes, os cursos
contratados com recursos
descentralizados pela Unio apresentam
caractersticas de boa qualidade

POTENCIALIDADES E LIMITAES DA PESQUISA EM AUDITORIAS


7.

A pesquisa permite equipe obter informaes diretamente de atores interessados (gestores,


servidores, especialistas, beneficirios de programas governamentais). Em geral, isso mais
confivel do que se basear em informaes coletadas por terceiros, quando a equipe no tem
controle sobre a qualidade da coleta.

8.

Outra vantagem obter dados uniformes de grande quantidade de unidades de pesquisa a custo
relativamente baixo. Quando essas informaes so coletadas usando tcnicas adequadas de
amostragem e de coleta, possvel fazer generalizaes para a populao a partir das respostas das
unidades pesquisadas (BRASIL, 2002). Mesmo quando no possvel fazer inferncia estatstica,
pode ser eloqente a evidncia obtida por meio da anlise de grande quantidade de respostas, em
especial se associada a outras evidncias.

9.

Os dados coletados em massa e de forma padronizada podem permitir caracterizar as unidades de


pesquisa segundo critrios socioeconmicos, facilitando a interpretao dos dados. Alm disso,
permite comparar os dados segundo diversos critrios para posterior investigao das causas das
variaes encontradas. Quando coletados em momentos diferentes, os dados permitem comparar a
evoluo histrica da situao encontrada e identificar, por exemplo, variaes no desempenho.

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

7
Braslia Ano xliii n. 10 18/ maio 2010

10. A principal limitao metodolgica da pesquisa que as perguntas trazem de forma implcita a
estrutura de entendimento do fenmeno pela equipe de auditoria. Pode haver vis na formulao das
perguntas do questionrio, caso a equipe se deixe influenciar por preconceitos sociais e noes prassumidas sobre o objeto da auditoria. O instrumento de coleta de dados reflete o ponto de vista de
quem elaborou as perguntas, que pode ser diferente da que compartilhada pelos atores diretamente
envolvidos. Outra limitao que a uniformidade das perguntas aparente, pois elas podem ter
sentidos diferentes para diferentes pessoas (RICHARDSON, 1999).
11. Essas limitaes podem ser reduzidas por intermdio de um bom diagnstico da situao, realizado
durante a fase de planejamento, inclusive com consulta a especialistas, gestores, servidores e
beneficirios. Outra providncia a equipe submeter o questionrio avaliao de especialistas no
tema da pesquisa que possam validar as perguntas. Por fim, o instrumento de coleta deve ser testado
com especialistas e colegas auditores e durante o teste piloto da auditoria para que sejam
identificadas falhas na construo do questionrio, como ser explicado adiante.
12. Com relao validade, nem sempre possvel saber se os dados informados correspondem
realidade. Essa incerteza varia segundo o tema da pesquisa e a natureza dos dados solicitados. Com
relao confiabilidade, as respostas dos indivduos podem variar no tempo, em especial quando se
referem a atitudes e opinies (RICHARDSON, 1999).
13. Outras fontes de vis podem atuar sobre a coleta e a anlise das informaes. Para reduzir essa
possibilidade, devem ser tomados os cuidados necessrios na definio do desenho amostral para
favorecer a obteno de amostra representativa. Na conduo da coleta de dados, caso sejam usados
pesquisadores, eles devem ser treinados e supervisionados. Por sua vez, ao analisar as respostas, a
equipe no deve desconsiderar evidncias aparentemente pouco consistentes com o que esperava.
14. A realizao de pesquisas mediante questionrios demanda tempo, sendo assim, o cronograma
fixado para a auditoria deve ser compatvel. Alm disso, a equipe j deve ter conhecimento razovel
sobre o objeto de auditoria para poder elaborar perguntas pertinentes e relevantes. Isso s vivel
em etapa avanada da fase de planejamento, o que tambm deve ser levado em conta ao estabelecer
o cronograma da auditoria.
15. Por fim, o desenho amostral para seleo das unidades de pesquisa e a anlise estatstica das
respostas pode exigir conhecimentos especficos. Caso a equipe no tenha as competncias
necessrias, elas devem ser obtidas, em tempo, por meio de apoio de outros profissionais do TCU,
requisitados de outros rgos ou contratao de consultoria.
QUANDO ELABORAR E APLICAR O QUESTIONRIO DE PESQUISA
16. Em pesquisas, h duas fontes potenciais de erro: o erro amostral e os erros no-amostrais. Sobre o
erro amostral, que pode ser controlado mediante clculo estatstico, consulte o texto Tcnicas de
Amostragem para Auditorias (BRASIL, 2002), que trata do tema em diversas oportunidades. Os
erros no-amostrais tm como fontes principais problemas com a construo e com a aplicao dos
questionrios.
17. O questionrio elaborado em fase avanada do planejamento da auditoria, quando a equipe j tem
segurana sobre a caracterizao do objeto de auditoria e a formulao do problema e das questes
de auditoria. A configurao definitiva do questionrio somente finalizada aps a validao da
matriz de planejamento e a realizao do teste piloto.
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

8
Braslia Ano xliii n. 10 18/ maio 2010

18. Para elaborar o questionrio, necessrio antes saber quais informaes devem ser coletadas e quem
so os destinatrios da pesquisa. Sendo assim, preciso j ter elaborado a matriz de planejamento. A
formulao exata das perguntas somente definida durante a elaborao do questionrio, mas elas
ainda podem sofrer alteraes aps o questionrio ser testado. Essas providncias de elaborao e
teste so realizadas na fase de planejamento da auditoria.
19. Tipicamente, nas auditorias realizadas pelo TCU o questionrio aplicado na fase de execuo da
auditoria. No entanto, o ideal que a tabulao completa dos dados esteja disponvel para a equipe
antes do incio do trabalho de campo. Assim, a equipe poder explorar detalhes, em profundidade,
sobre a situao revelada pela resposta aos questionrios. Dessa forma, no primeiro momento, o
conhecimento sobre o tema da auditoria, obtido na fase de planejamento, inclusive mediante visitas
a campo, base para a elaborao do questionrio. Em momento posterior, na fase de execuo, a
anlise da resposta aos questionrios orienta os exames realizados nos estudos de caso.
20. A pesquisa pode ser realizada em um ou mais momentos. O mais comum que a pesquisa seja em
corte transversal, isto , os dados so coletados em um nico momento. possvel tambm realizar
pesquisa longitudinal, ou seja, os dados so coletados em dois ou mais momentos (FREITAS et al.,
2000). Essa ltima situao mais rara, porm possvel, em processos de monitoramento, por
exemplo.
Quadro 2 - Exemplos de pesquisa longitudinal
Exemplo 1 - Em 2001, o Tribunal de Contas da Unio (TCU) avaliou o Programa Nacional Biblioteca da Escola
(PNBE), vinculado ao Ministrio da Educao. Na ocasio, foi realizada pesquisa, via postal, com 879 escolas de
ensino fundamental de todos os estados brasileiros, selecionadas por meio de amostra estatstica, tendo sido
obtida taxa de resposta de 57,2% (TC n. 012.854/2001-6).
Em 2004, foi realizado o monitoramento final da implementao das deliberaes do TCU sobre a auditoria. Na
oportunidade foram enviados questionrios s mesmas 879 escolas pesquisadas na auditoria de 2001. A repetio
da pesquisa possibilitou comparar a situao verificada em 2001 pela auditoria e as condies das escolas em
2004. A taxa de retorno dos questionrios na segunda ocasio foi de 44,5%.
Exemplo 2 Em 2005, o TCU avaliou as aes de vigilncia e fiscalizao no trnsito internacional de produtos
agropecurios do Programa Segurana Fitozoossanitria no Trnsito de Produtos Agropecurios, sob
responsabilidade do Ministrio da Agricultura, Pecuria e Abastecimento MAPA (012.488/2005-5). Na
ocasio, foi realizada pesquisa postal e eletrnica com 26 Servios de Gesto da Vigilncia Agropecuria
VIGIAGRO/DT-UF (100% de retorno) e 91 unidades do Vigiagro (8 Servios de Vigilncia Agropecuria
SVA e 83 Unidades de Vigilncia Agropecuria Uvagro) (74% de retorno). Tambm foram enviados
questionrios a 542 fiscais federais agropecurios lotados nas unidades de vigilncia (75% de retorno).
Em 2008, foi realizado o primeiro monitoramento da auditoria (001.845/2008-6). Dessa vez, a pesquisa postal foi
realizada apenas as 91 unidades do Vigiagro (SVA e Uvagro) (47% de retorno). O objetivo da pesquisa foi
comparar a percepo dos chefes das unidades sobre a situao do programa nas pocas do monitoramento e da
auditoria. O questionrio abordou perguntas sobre a infra-estrutura das unidades, organizao e gesto de
recursos humanos, execuo de procedimentos de vigilncia fitozoossanitria e integrao com os demais rgos
envolvidos no processo.

21. O questionrio deve ser endereado aos atores pertinentes, isto , queles que detm as informaes
requeridas pela auditoria. Para circularizar as informaes e ter maior garantia sobre a validade das
evidncias, pode ser necessrio enviar diferentes questionrios para atores distintos em uma mesma
auditoria.
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

9
Braslia Ano xliii n. 10 18/ maio 2010

BTCU ESPECIAL

Quadro 3 - Exemplo de pesquisa com mais de um questionrio em uma mesma auditoria


Em 2005, o Tribunal de Contas da Unio (TCU) avaliou o Programa Nacional de Erradicao da Febre Aftosa
(PNEFA), vinculado ao Ministrio da Agricultura, Pecuria e Abastecimento (TC 002.624/2005-5).
A estratgia metodolgica aplicada compreendeu pesquisa, visita de estudo e anlise de documentos e de
dados existentes.
A pesquisa contemplou entrevistas e aplicao de questionrios, por via postal e por correio eletrnico, para
superintendncias federais de agricultura, servios estaduais de defesa agropecuria, federaes estaduais de
agricultura e pecuria, associaes de criadores de gado, sindicatos de produtores rurais e conselhos
regionais de medicina veterinria. Os questionrios foram compostos por perguntas fechadas, com emprego
de escalas ordinais, que buscaram verificar a percepo de segmentos envolvidos sobre o desempenho do
PNEFA. Os itens avaliados foram agrupados em cinco categorias: i) aes de vacinao; ii) educao
sanitria; iii) controle do trnsito de animais; iv) controle da sanidade do rebanho; v) aes emergenciais.
Considerando-se o nmero de questionrios que foram aplicados durante as visitas de campo e os
respondidos por via postal e eletrnica dentro do prazo limite, a configurao final de respondentes foi a
seguinte: 17 federaes (63% de retorno), 21 Conselhos Regionais de Medicina Veterinria (78% de
retorno), 256 sindicatos de produtores rurais (27% de retorno), 11 servios estaduais de defesa agropecuria
(41% de retorno), 10 superintendncias federais de agricultura nos seguintes estados (37% de retorno), 6
associaes de criadores (22% de retorno).

FORMAS DE REALIZAR A PESQUISA


22. Os questionrios podem ser aplicados pessoalmente, por telefone, por via postal ou por meio
eletrnico. O Quadro 4 apresenta as formas de aplicao dos questionrios, suas potencialidades,
limitaes e caractersticas de uso.
Quadro 4 Formas de aplicao de questionrios: potencialidades, limitaes e caractersticas
FORMA DE
APLICAO
Contato pessoal

POTENCIALIDADES
Confivel
Permite pesquisar pessoas com
baixa escolaridade

LIMITAES

USO EM
AUDITORIA

Custo muito alto (custo da


contratao de pesquisadores e do
deslocamento)

Usada pela equipe de


auditoria no teste
piloto

Demorado (tempo para contactar


pesquisados, quando dispersos
geograficamente)

Usada em trabalho de
campo

Exige treinamento de
pesquisadores
Exige conferncia de parte dos
questionrios preenchidos pelos
pesquisadores
Pode haver dificuldade de
encontrar pesquisados presentes
na residncia
Pesquisados podem se sentir
constrangidos de responder certas
perguntas pessoalmente
Pode haver dificuldade de acesso
ou risco segurana dos
pesquisadores
Exige digitao das respostas
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

FORMA DE
APLICAO

Por telefone

10
Braslia Ano xliii n. 10 18/ maio 2010

BTCU ESPECIAL

POTENCIALIDADES

Permite obter informaes


rapidamente de nmero
reduzido de pesquisados
Permite abranger
pesquisados com alta
disperso geogrfica

LIMITAES

Custo alto
Exige que as perguntas sejam
simples e em nmero reduzido
para que o pesquisado no
perca o raciocnio durante a
ligao

USO EM
AUDITORIA

Nas auditorias
realizadas pelo
TCU, uma forma
ainda pouco
explorada

Exige que o questionrio seja


elaborado para que sua
aplicao seja inferior a 20
minutos
Como a interao entre
pesquisador e pesquisado
limitada, podem ocorrer mal
entendidos
Postal

Custo baixo
Permite abranger grande
nmero de pesquisados com
alta disperso geogrfica
Permite que o pesquisado
levante as informaes
necessrias, caso no as
tenha de imediato
Permite que o pesquisado
pense melhor sobre a
resposta, confira
informaes e consulte
outros atores
O pesquisado se sente mais
seguro e livre para responder
de forma privada e annima

Exige anlise da no-resposta


para identificar possvel vis
Pode exigir trabalho de
reduo da no-resposta por
meio de reenvio de
questionrios ou contato
telefnico
Exige digitao das respostas
Exige processo trabalhoso de
impresso, codificao de
questionrios, envelopamento,
postagem
Limita acesso a pesquisados
de baixa escolaridade
Demanda tempo
Depende do entendimento do
pesquisado sobre as perguntas
e do correto preenchimento do
questionrio

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

Muito usada em
auditoria

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

FORMA DE
APLICAO

Eletrnica

POTENCIALIDADES

Custo muito baixo


Possibilita eliminar digitao
das respostas
Mesmas vantagens da
pesquisa postal

11
Braslia Ano xliii n. 10 18/ maio 2010

BTCU ESPECIAL

LIMITAES

No alcana pesquisados que


no possuem endereo
eletrnico

USO EM
AUDITORIA

Usada com
freqncia em
auditoria

Limita acesso a pesquisados


de baixa escolaridade
Dificuldade de obter cadastro
atualizado de endereos
eletrnicos
Pode apresentar baixo
percentual de resposta
Possibilidade de ocorrncia de
problemas tecnolgicos
variados: bloqueio da
mensagem eletrnica por
firewall do pesquisado, baixo
desempenho da conexo com
a internet e outros.

Fonte: elaborao prpria e NAO (1999)

23. Quando a pesquisa aplicada por intermdio de contato pessoal, os aplicadores devem ser treinados.
Neste caso, h semelhanas entre os critrios para a aplicao de questionrios e para a realizao de
entrevistas, no entanto existem diferenas importantes. A aplicao do questionrio mediante
contato pessoal difere da entrevista no grau de interao com o entrevistado. Quem aplica o
questionrio no tem liberdade para alterar, suprimir ou adicionar perguntas e o grau de interao
com o pesquisado reduzido. Na entrevista, ocorre influncia recproca. O entrevistado tem maior
controle sobre a forma e a ordem segundo a qual presta as informaes, tornando o discurso mais
fluente e aumentando o grau de interao com o pesquiador (LDKE; ANDR, 1986).
24. Outra diferena relevante que o aplicador do questionrio, ao contrrio do entrevistador, nem
sempre faz parte da equipe de planejamento da auditoria, logo tem menor conhecimento sobre o
objeto de auditoria. O aplicador pode ser auditor do TCU, mas que no participou do trabalho desde
o incio ou pode ser um entrevistador contratado (Quadro 6). Nesses casos, o treinamento do
aplicador do questionrio inclui o seguinte:
24.1

instruo para evitar maneirismos verbais ou observaes tendenciosas, inclusive linguagem


corporal sugestiva de aprovao ou reprovao;

24.2

simulao da aplicao do questionrio, destacando procedimentos de apresentao,


conduo e agradecimento;

24.3

esclarecimento acerca do papel da superviso sobre o trabalho dos aplicadores.

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

12
Braslia Ano xliii n. 10 18/ maio 2010

Quadro 5 - Exemplo de aplicao de questionrio por terceiros


Em 2003, o Tribunal de Contas da Unio (TCU), avaliou o Programa Morar Melhor, vinculado
Secretaria Nacional de Habitao do Ministrio das Cidades (TC 012.278/2003-1).
A metodologia contemplou consulta documentao e anlise de dados secundrios; observao direta
em 8 estados brasileiros (17 municpios); entrevista individual e em grupo com tcnicas sociais que
trabalhavam em 7 gerncias regionais da Caixa Econmica Federal; entrevistas estruturadas com 27
Gerncias e Escritrios Regionais da Caixa; pesquisa postal com 437 municpios (taxa de resposta de
46,5%); e pesquisa amostral com famlias beneficiadas em projetos implementados em agregados de
municpios do Rio Grande do Norte (Acari, Campo Redondo, Lagoa Nova, Pedro Avelino, Grossos,
Parnamirim e So Jos Mipibu), e nas cidades de Campo Grande/MS, Palmas/TO e So Bernardo do
Campo/SP.
A pesquisa com os beneficirios do Programa teve por finalidade levantar dados para verificao e
anlise dos resultados e impactos sociais das intervenes sobre as famlias entrevistadas. O foco da
pesquisa foi orientado para a verificao dos seguintes aspectos: a) equidade e incluso; b) condies de
habitabilidade; e c) satisfao dos beneficirios.
A coleta de dados com as famlias beneficirias foi conduzida por profissionais da rea social,
credenciados pela Caixa, com formao superior em servio social, sociologia, pedagogia ou psicologia
e experincia em coleta de dados. O custo dos servios de consultoria prestado pela Caixa, includos os
custos de aplicao dos questionrios e de superviso tcnica da equipe de entrevistadores, foi
compartilhado, cabendo ao TCU o valor de R$ 15.000,00, que foi pago mediante recursos de doao
internacional, sem nus para o Tribunal. A coleta de dados em campo aconteceu, de forma simultnea,
nas quatro unidades da federao, de 24 de setembro a 8 de outubro de 2003.

25. Quando o questionrio aplicado por telefone, a conciso das perguntas ainda mais importante. A
dinmica do contato telefnico pode oferecer oportunidade para a ocorrncia de mal entendidos e de
perda de informao da resposta.
Quadro 6 - Exemplo de aplicao de questionrio por telefone
Em 2009, o Tribunal de Contas da Unio (TCU), por solicitao do Congresso Nacional, avaliou o
Programa de Resposta aos Desastres e Reconstruo, vinculado Secretaria Nacional de Defesa Civil
Sedec (TC 008.556/2009-3).
A metodologia contemplou a anlise dos processos de transferncia obrigatria firmados de novembro
de 2008 a agosto de 2009, anlise de dados secundrios em sistemas informatizados da Sedec, bem
como do Siafi e do Sistema SigaBrasil do Senado; entrevistas individuais e em grupo com a titular e
tcnicos da Sedec e do Ministrio das Cidades; pesquisa via telefone com responsveis pela defesa civil
de estados e municpios que firmaram termos de compromisso com a Secretaria Nacional de Defesa
Civil at o dia 6 de agosto de 2009.
A pesquisa com os responsveis teve por finalidade investigar a estrutura e os recursos disponveis nos
rgos de defesa civil, sua capacidade operacional, as pricipais dificuldades enfrentadas, avaliao
qualitativa da atuao da Sedec, conhecimento sobre o programa federal avaliado. Houve retorno de
89% dos responsveis estaduais (8) e 87% dos responsveis municipais (27).
A equipe testou o questionrio de 17 perguntas com trs responsveis. O tempo de resposta foi
estimado em 15 minutos, no mnimo. Ao entrar em contato com os pesquisados, o auditor informava o
objeto da pesquisa, o nmero de perguntas e o tempo estimado para respond-las. A maioria dos
entrevistados respodeu a pesquisa na primeira tentativa e poucos pediram que fosse realizado contato
posterior.
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

13
Braslia Ano xliii n. 10 18/ maio 2010

26. Sempre que vivel, o pesquisado deve ser informado previamente sobre os objetivos da pesquisa e
sobre o tipo de informao que ser solicitada (ANEXO A EXEMPLO 5). Essa providncia
adotada especialmente nas seguintes situaes: a) para comunicar ao gestor (secretrio municipal ou
estadual, por exemplo) que unidades sob sua gesto recebero o questionrio, b) para informar ao
pesquisado sobre o tipo de informao que ele eventualmente ter que compilar.
COMO USAR A PESQUISA EM AUDITORIA
27. Para que o uso da pesquisa em auditoria contribua para responder as questes de auditoria,
necessrio seguir procedimentos de planejamento, elaborao, teste, aplicao e anlise do
questionrio. Seguir esses procedimentos aumenta a probabilidade de que as perguntas do
questionrio permitam coletar as informaes necessrias para responder as questes de auditoria e
que as informaes tenham validade e confiabilidade.
28. O passo-a-passo dos procedimentos de uso de pesquisa em auditoria encontra-se no Apndice A.
Cabe aqui destacar alguns desses procedimentos em razo de sua importncia para o sucesso da
aplicao da metodologia:
28.1

teste o questionrio durante o teste piloto da auditoria para verificar se os pesquisados


entendem o que voc teve a inteno de perguntar, se o que voc perguntou era relevante, se
faltou perguntar algo;

28.2

codifique os questionrios postais para viabilizar o controle de resposta. A simples


numerao sequencial dos questionrios pode ser suficiente;

28.3

confira informaes-chave de identificao dos entrevistados com amostra de 25% deles,


caso a aplicao dos questionrios tenha sido por contato pessoal e terceirizada.

Ateno
No deixe de realizar o teste piloto do questionrio.
Apenas com a aplicao e anlise do questionrio de certo nmero de pesquisados possvel
identificar falhas que podero prejudicar a eficcia da pesquisa. Alm da qualidade das
perguntas, o teste permite identificar problemas de logstica para a realizao da pesquisa e
falhas no treinamento dos pesquisadores.
1 primeiro, teste o questionrio com colegas e com profissionais que tenham conhecimento
sobre o tema pesquisado.
2 em seguida, faa um teste piloto, simulando as condies reais da pesquisa, com parcela
da populao pesquisada. A amostra piloto de pelo menos 30 casos em grandes pesquisas
(NAO, 1999).

28.4

O questionrio deve ser enviado com prazo fixado para ser respondido. Controle as unidades
de pesquisa que no responderam no prazo e encoraje quem permaneceu em silncio. Depois
de expirado o prazo, telefone, envie mensagem eletrnica ou reenvie o questionrio pelos
correios. Deixe claro que a resposta dos pesquisados importante e desculpe-se
antecipadamente para o caso de a resposta j ter sido enviada (NAO, 1999).

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

14
Braslia Ano xliii n. 10 18/ maio 2010

CRITRIOS DE ELABORAO DE PERGUNTAS


29. O contedo das perguntas o elemento principal na elaborao do relatrio, mas a forma segundo a
qual a pergunta formulada pode afetar decisivamente o sucesso da pesquisa. Siga as seguintes
orientaes referentes a contedo.
29.1

Beseie-se na matriz de planejamento. Colete informao til para responder as questes de


auditoria, de forma compatvel com os mtodos de anlise a ser usados.

Ateno
A questo de auditoria e o tipo de informao que voc precisa para respond-la determinam
o tipo de pergunta que deve ser formulada
No inverta essa lgica

29.2

Inclua perguntas que esclaream umas s outras, permitindo conferir a consistncia das
respostas.

29.3

No faa duas perguntas em uma s. Exemplo: voc pensa que a criao de centrais de
marcao eletrnica de consultas mdicas foi uma boa iniciativa e que elas funcionam bem?
Nesse caso, o pesquisado poderia responder sim, que considera uma boa iniciativa, mas que
elas no funcionam bem, por exemplo, em razo de problemas relacionados
implementao.

29.4

Evite perguntas cuja resposta dependa demais da memria do pesquisado. No caso de


perguntas sobre a freqncia segundo a qual certo evento ocorre, apresente opes para
facilitar a resposta (exemplo: nenhuma vez no ano passado; uma ou duas vezes; mais de duas
vezes). Mesmo com esse cuidado, esteja consciente de que a resposta ter alguma margem
de erro.

29.5

Evite perguntas embaraosas.

29.6

Evite perguntas ambguas, ou seja, que usem palavras cujo significado seja incerto e d
margem a diferentes interpretaes. Por exemplo: Numere de 1 a 5, do mais importante para
o menos importante, os cinco fatores que mais contribuiram para a ocorrncia de atrasos
nesse aeroporto ultimamente. Veja como eliminar a ambiguidade dessa pergunta no Anexo
A exemplo 10.

29.7

Evite perguntas que obriguem o pesquisado a levantar dados, apesar de isso ser possvel em
questionrios postais e eletrnicos (GAO, 1991, p. 22).

29.8

Assegure-se de que a pergunta permite obter a informao necessria anlise das questes
de auditoria.

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

15
Braslia Ano xliii n. 10 18/ maio 2010

BTCU ESPECIAL

Quadro 7 - Exemplo de formulao de pergunta


Em 2009, o Tribunal de Contas da Unio (TCU) avaliou a alocao, o uso e a manuteno de
mamgrafos disponveis para o SUS (TC 011.587/2009-1). Havia indcios de que os equipamentos
eram subutilizados. Para dimensionar o problema, foi formulada a seguinte questo sobre o regime
de funcionamento do servio:
6. Qual a quantidade de perodos que o equipamento funciona POR MS (considerar a mdia do
primeiro semestre de 2009; PERODO corresponde a um turno, que pode ser uma manh, tarde ou
noite):
Essa pergunta foi formulada com base na experincia da equipe na fase de planejamento, inclusive
em estudo de caso realizado em Braslia, e considerando o fato de que os questionrios seriam
respondidos pelos chefes da radiologia, que possuiam alta escolaridade. Alm disso, a pesquisa foi
testada com hospitais do Estado do Amazonas. Apesar desses cuidados, foram recebidas respostas
que demostravam que a pegunta no havia ficado clara. Por exemplo, alguns responderam o nmero
de dias de funcionamento no ms, ou o nmero de horas, ou o nmero de perodos na semana ou
mesmo o nmero de dias de funcionamento no semestre.
Posteriormente, a equipe de auditoria chegou concluso de que teria sido melhor elaborar uma
questo fechada para que os pesquisados assinalassem uma combinao de dias e turnos:
6. Assinale com um X a combinao de dias e turnos nos quais o mamgrafo normalmente funciona
na semana.
Turnos
Dias
Segunda

Manh

Tarde

Noite

Tera
Quarta
Quinta
Sexta
Sbado
Domingo

30. A elaborao das perguntas do questionrio deve seguir os padres gerais de redao de relatrio,
no que couber (BRASIL, 2010, p. 29-31), em especial o seguinte:
30.1

Clareza - ser de fcil compreenso para o pblico ao qual o questionrio destinado. Para
aumentar a clareza e a compreenso das perguntas:
evite termos tcnicos;
evite termos eruditos e expresses em outros idiomas;
evite usar siglas e abreviaturas;
evite usar dupla negao;
use frases curtas, evitando perodos longos que se estendam por diversas
linhas;
prefira usar a ordem direta (sujeito, verbo, objeto e complementos), evitando
oraes intercaladas, parntesis e travesses;
evite escrever em caixa alta;
organize as perguntas por meio do sequenciamento lgico dos temas,
dispondo-as no questionrio em blocos identificados por ttulo sugestivo do
tema abordado.

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

16
Braslia Ano xliii n. 10 18/ maio 2010

BTCU ESPECIAL

30.2

Conciso - produzir enunciado de perguntas que no seja mais extenso do que o necessrio
para transmitir a mensagem. Como critrio indicativo, o questionrio no deve ter mais do
que quatro pginas (frente e verso de duas folhas).

30.3

Relevncia - perguntar apenas o que tem importncia, considerando os objetivos da


auditoria. No elabore perguntas que no sero analisadas nem contribuiro para responder
alguma questo de auditoria.

30.4

Tempestividade - cumprir o prazo previsto para elaborao do questionrio, sem


comprometer sua qualidade nem o cronograma da auditoria.

30.5

Objetividade - produzir perguntas imparciais, equilibradas e neutras. A linguagem utilizada


deve ser isenta de qualquer conotao tendenciosa ou ambgua, de forma a evitar atitude
defensiva e oposio.

TIPOS DE PERGUNTAS USADAS EM QUESTIONRIO


31.

As perguntas podem ser abertas (Quadro 10) ou fechadas (ANEXO A EXEMPLO 3). Cada uma
serve a um prposito e tm seus pros e contras.
Quadro 8 Caractersticas das perguntas abertas e das fechadas
Pergunta aberta

Pergunta fechada

Permite que o pesquisado use suas prprias palavras, o que


pode trazer informao adicional

Restringe a resposta s formulaes do elaborador do


questionrio

Mais apropriada para explorar a diversidade de idias e de


opinies

Mais apropriada para colher fatos e dados numricos

Pode ser analisada por meio de criao de categorias e


posterior codificao

Permite usar ampla variedade de tcnicas de anlise


quantitativa de dados

Exige menor tempo de elaborao

Exige maior tempo de elaborao para evitar vieses, mal


entendidos, reducionismo

Trabalhosa para responder. A resposta pode no representar


bem o pensamento do pesquisado com baixo nvel de
escolaridade

Fcil de responder.

O processo de codificao e anlise d margem introduo


de vieses do pesquisador
Demanda anlise trabalhosa

Normalmente, a anlise menos trabalhosa do que a das


respostas a perguntas abertas

32. As perguntas fechadas podem permitir resposta nica (ANEXO A EXEMPLO 3) ou mltipla
(ANEXO A EXEMPLO 8). Em perguntas de resposta nica, possvel usar escalas. As mais
usadas em Anop no TCU so as escalas tipo Likert, perguntas com escalas diversas e o diferenciador
semntico.
32.1

A escala de tipo Likert usada para medir o grau de concordncia ou discordncia do


pesquisado sobre determinada afirmao acerca de uma situao, atitude, crena, juzo de
valor (ANEXO A EXEMPLO 4).

32.2

Na escala de diferenciador semntico, solicita-se que o pesquisado se posicione em uma


escala que relaciona duas palavras de significado semntico oposto nos extremos (ANEXO
A EXEMPLO 9).

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

17
Braslia Ano xliii n. 10 18/ maio 2010

32.3

Os questionrios aplicados em Anop incluem com frequencia perguntas que usam escalas.
Escalas so usadas para investigar as atitudes dos pesquisados. Ao usar escalas, formule
nveis equilibrados, isto , no formule mais nveis de um tipo que de outro (discordncia ou
concordncia). Inclua a opo equivalente a no aplicvel ou no sei, se for o caso.
Inclua o ponto neutro, que no expressa discordncia nem concordncia, se a situao exigir.
Pode ser que o ponto neutro no seja uma resposta conveniente para a auditoria, mas o fato
que muito provavelmente existam pesquisados com essa opinio. A omisso do ponto neutro
quando ele possvel de ocorrer pode trazer vis para as respostas e para as anlises.
Usualmente, atribui-se um nmero a cada opo da escala e calcula-se a mdia das respostas.
Assim, possvel ordenar os diferentes itens julgados pelos pesquisados (ANEXO A
EXEMPLO 4).

32.4

Escalas desequilibradas so usadas quando respostas negativas no so possveis. As


respostas progridem a partir de um ponto de referncia, usualmente zero ou nenhum. o
caso dos dois primeiros exemplos do Quadro 9 (GAO, 1991, p. 27).
Quadro 9 Exemplos de escalas usadas em questionrios de Anop

Nunca, poucas vezes, muitas vezes, sempre


No atuante, pouco atuante, atuante, muito atuante
Pssimo, ruim, regular, bom, timo
Muito rpido, rpido, normal, demorado, muito demorado
Piorou muito, piorou, ficou inalterado, melhorou, melhorou muito
Muito satisfeito, satisfeito, nem satisfeito nem insatisfeito, insatisfeito, muito insatisfeito
Aumento da incidncia, incidncia inalterada, reduo da incidncia

33. Outro tipo de pergunta a de ordenao, que tem a particularidade de fornecer mais informao do
que simplesmente um rol de respostas, pois classifica os itens (ANEXO A EXEMPLO10). A
ordenao apresentada no significa que os itens estejam separados pela mesma distncia. Esta pode
ser um tipo de pergunta mais difcil para o pesquisado responder, especialmente em caso de haver
muitas opes. Sendo assim, d instrues claras de preenchimento e, se possvel, pea para marcar
os itens mais importantes (os trs mais importantes, por exemplo) (NAO, 1999). Uma alternativa
quando se tem muitos itens reformular a pergunta de ordenao como vrias perguntas de escala, e
orden-las posteriormente, como descrito no pargrafo 32.3 (GAO, 1991, p. 29).

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

18
Braslia Ano xliii n. 10 18/ maio 2010

ESTRUTURA E FORMATAO DO QUESTIONRIO


34. Em especial questionrios que devem ser preenchidos pelo pesquisado devem apresentar formatao
e estrutura claras e atrativas, o que se justifica pelas seguintes razes:
34.1

elevar taxas de resposta;

34.2

facilitar a aplicao do questionrio pelo pesquisador;

34.3

padronizar comportamento dos pesquisadores;

34.4

favorecer a correo dos registros das informaes.

Estrutura
35. A estrutura do questionrio refere-se ordenao de seus elementos, principalmente ordem em que
as perguntas so apresentadas no formulrio. Os questionrios so compostos das seguintes partes:
35.1

Mensagem explicativa: inicie o questionrio com informaes sobre a (1) motivao e os (2)
objetivos da pesquisa, (3) como os dados sero usados (garantia de que o respondente no
ser identificado), (4) quem deve responder o questionrio (por exemplo, em questionrio
enviado para hospitais, o chefe do setor de radiologia), bem como o (5) contato com a equipe
em caso de dvida (ANEXO A EXEMPLO 6).

35.2

Instruo sobre como enviar resposta ao questionrio: quando a pesquisa postal, necessrio
fornecer instrues precisas sobre como a resposta deve ser encaminhada. Deve tambm ser
enviado envelope resposta pr-pago para os pesquisados. O TCU tem contrato com os correios
que permite esse tipo de correspondncia (ANEXO A EXEMPLO 7).

35.3

Formulrio de perguntas: esta parte do questionrio corresponde ao rol de perguntas a ser


respondidas.

35.4

Agradecimento: corresponde a uma simples declarao do tipo Obrigado por sua


colaborao ao final do questionrio. Objetiva reconhecer a ateno e o esforo do
pesquisado em responder a pesquisa.

36. No formulrio, as perguntas devem ser agrupadas em sees, por tema. Estrutura-se o questionrio
do geral para o especfico, do menos pessoal para o mais delicado e pessoal. Esta estrutura aplica-se
ordenao dos temas no questionrio e ordenao das perguntas no tema (GNTHER, 2003).

Ateno
Somente pea dados socioeconmicos se realmente for analis-los e se so importantes
para responder alguma questo de auditoria.

36.1

Inicia-se o questionrio pelos temas que no abordam diretamente o problema.

36.2

Em seguida, passa-se a perguntas referidas ao tema, mas em termos gerais.

36.3

Em terceiro lugar, so apresentadas as perguntas que formam o ncleo do questionrio, as


mais complexas e mais emocionais. Nesse ponto, espera-se que o pesquisado esteja mais
envolvido com o tema.

36.4

Na ltima parte, recomenda-se formular uma pergunta aberta que deixe o pesquisado livre
para abordar algum ponto que no tenha sido coberto pelas perguntas fechadas (Quadro 11
exemplo 2). Por fim, pode ser formulada pergunta sobre telefone ou endereo eletrnico de
contato para posterior confirmao de respostas e envio do resultado da pesquisa.

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

19
Braslia Ano xliii n. 10 18/ maio 2010

Quadro 10 - Exemplo de pergunta sobre contato


Em 2009, o Tribunal de Contas da Unio (TCU) avaliou a alocao, o uso e a
manuteno de mamgrafos disponveis para o SUS (TC 011.587/2009-1). A
informao sobre o contato dos pesquisados foi muito importante porque cerca de
15% dos repondentes foram entrevistados complementarmente por telefone para
esclarecer dados sobre os quais havia indcio de erro.
9. Por favor, informe nos campos abaixo um endereo de e-mail e um telefone para
possvel contato sobre as informaes desta pesquisa
E-mail: ______________________________
Telefone: ____________________________

37. Procure agrupar perguntas direcionadas para apenas um subgrupo dos pesquisados de forma a evitar
necessidade de que o pesquisado tenha que pular perguntas, obedecendo a comandos do tipo se ....
ento v para a pergunta .... O roteamento funciona melhor quando o questionrio aplicado por
pesquisadores ou por meio eletrnico que automatize o roteamento (NAO, 1999).
Formatao
38. Entre os cuidados de formatao que devem ser observados, citam-se:
38.1

Procure manter o questionrio com at 4 pginas, mas no sacrifique a clareza e o objetivo


da auditoria em razo do espao. Especialistas e gestores interessados no tema podem manter
o interesse em responder questionrios mais longos.

38.2

Numere as pginas do questionrio e as perguntas.

38.3

Use tipos e tamanhos diferentes de fontes para propsitos diferentes.

38.4

Procure registrar as opes das perguntas na vertical e no na horizontal.

38.5

Evite continuar uma pergunta em outra coluna ou pgina porque a parte final pode escapar
ao pesquisado.

38.6

No caso de questionrios longos e que sero digitados por prestadores de servio


especializados, pode ser necessrio discutir a formatao que facilite a digitao. Maiores
detalhes sobre formatao podem ser encontrados em IPEA (2005).

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

20
Braslia Ano xliii n. 10 18/ maio 2010

COMO ANALISAR AS RESPOSTAS


39. A anlise das respostas aos questionrios pode ser realizada com grande liberdade na escolha de
tcnicas. Dessa forma, a equipe deve consultar a literatura especfica de cada tcnica. Esta seo
trata de providncias gerais de organizao e anlise preliminar que podem ser usadas em conjunto
com qualquer tcnica de anlise.
Planejamento da anlise
40. A anlise dos questionrios precisa ser planejada. Os tipos de variveis investigadas influenciam as
possveis tcnicas de anlise que podero ser usadas. Sendo assim, na fase de planejamento, devem
ser definidas as tcnicas de anlise que sero aplicadas, de forma a obter evidncias para responder
as questes de auditoria. Na prtica, o processo interativo. As perguntas so formuladas,
verificam-se quais tcnicas podem ser aplicadas para o tipo de varivel analisada e que tipo de
informao a anlise produzir. Se a concluso for insatisfatria, as perguntas so reformuladas para
permitir aplicar a tcnica que produzir a informao desejada. Esse processo inclui verificar se a
equipe possui as competncias necessrias para aplicar as tcnicas e se os recursos disponveis so
suficientes (como software adequado, por exemplo). Caso negativo, necessrio solicitar apoio
tcnico e novos recursos ou reformular o projeto de auditoria.
Codificao
41. A codificao a tarefa de atribuir nmeros s variveis e aos valores que estas possam assumir
dentro da faixa de variao (COHEN; FRANCO, 1993). Esses cdigos que so usados na prtica
quando aplicadas certas tcnicas de anlise de dados. Assim, a codificao tambm deve ser
planejada. Por exemplo, crie cdigos para diferenciar desconhecimento da resposta (9999) da falta
de resposta para a pergunta (99).
42. Outra providncia de codificao refere-se quela necessria anlise de perguntas abertas com
resposta textual. Com frequncia, a ltima questo do questionrio aberta e tem por finalidade
deixar o pesquisado expressar opinio sobre algum ponto no abordado pelo questionrio ou
apresentar sugestes de melhoria. Isso feito porque normalmente as perguntas so fechadas e
deixam pouco espao para a expresso desse tipo de informao. A codificao das respostas s
perguntas abertas realizada aps o recebimento dos questionrios, ao contrrio da codificao das
perguntas fechadas.

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

21
Braslia Ano xliii n. 10 18/ maio 2010

Quadro 11 - Exemplos de codificao de varivel


Exemplo 1 varivel numrica
Pode haver perda significativa de informao caso seja formulada pergunta fechada no
questionrio e a equipe no tenha dados suficientes sobre a possvel faixa de variao
da varivel. Nesse caso, a equipe pode elaborar uma pergunta aberta no questionrio.
Posteriormente, quando da tabulao dos dados, e conforme a tcnica de anlise a ser
usada, possvel codificar as respostas e elaborar uma escala formada por faixas de
variao.
Exemplo 2 varivel textual
Em 2009, o Tribunal de Contas da Unio (TCU) avaliou a alocao, o uso e a
manuteno de mamgrafos disponveis para o SUS (TC 011.587/2009-1). Foi
elaborada a seguinte pergunta para gestores de unidades de sade onde havia
mamgrafo registrado no Cadastro Nacional de Estabelecimentos de Sade CNES.
10. Caso ache necessrio, utilize o espao abaixo para discorrer sobre algum ponto que
no tenha sido abordado pelo questionrio, ou ento opinar acerca dos fatores que
possam contribuir para aumentar o nmero de mamografias realizadas pelo Sistema
nico de Sade:
Foram digitadas respostas de 42 gestores, de total de 249 respondentes, que fizeram
comentrios substantivos sobre o tema da auditoria. As respostas foram classificadas
em 6 categorias de anlise. As manifestaes serviram para interpretar as evidncias
quantitativas, decorrentes da tabulao das respostas s perguntas fechadas, e, em
alguns casos, foram transcritas no relatrio como evidncia e ilustrao. Categorias: 1)
atualizao do CNES; 2) treinamento de pessoal; 3) manuteno de equipamentos; 4)
processadora de filmes; 5) teto financeiro; 6) estrutura fsica.

Anlise de consistncia das variveis


43. Aps a tabulao, os valores registrados devem ser testados para verificar se se encontram na faixa
de variao possvel e so consistentes entre si (COHEN, FRANCO, 1993). A anlise de
consistncia pode revelar mal entendidos na formulao da pergunta (Quadro 7), marcaes
invlidas (marcao de duas opes, quando caberia apenas uma; marcao de X quando o
solicitado era preenchimento de informao numrica, por exemplo), concentrao de no-resposta
em alguma pergunta.
44. Quando as respostas so digitadas a partir de um questionrio respondido, 10% dos dados so
conferidos. Caso sejam encontrados erros de digitao, o percentual de questionrios a ser
conferidos deve ser aumentado. A anlise de consistncia envolve calcular estatsticas descritivas,
como valores mximo e mnimo, mdia e desvio padro, bem como elaborar grficos, como o boxplot, para identificar observaes estranhas, fora do esperado e que devem ser investigadas. Esses
valores podem representar variveis de unidades de pesquisa de fato destoantes ou podem significar
erros de digitao ou de prestao de informao. A consistncia entre as variveis pode ser
verificada, por exemplo, pela construo de tabelas que cruzem os respectivos dados e pelo
confronto de estatsticas descritivas e propores. Esses dados podem ser analisados em confronto
com uma teoria ou comportamento hipottico esperado.

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

22
Braslia Ano xliii n. 10 18/ maio 2010

Teste da coerncia entre populao e amostra


45. Na quase totalidade das pesquisas realizadas pelo TCU, so enviados questionrios para todas as
unidades de pesquisa da populao ou para uma amostra delas, com prazo para resposta. O
percentual de pesquisados que respondem pesquisa no prazo depende de vrios fatores, entre os
quais: a possibilidade de entrar em contato direto com os pesquisados para insistir na resposta, a
natureza da unidade pesquisada (se jurisdicionada ao TCU ou no), a localizao geogrfica dos
pesquisados, a qualidade do cadastro de endereos e outros. Nos exemplos apresentados nos quadros
2 a 6, a taxa de resposta variou de 44,5 a 100%.
46. O fato que as anlises so realizadas sobre as respostas obtidas, que nem sempre correspondem a
uma amostra aleatria e representativa da populao. Os respondentes podem ser aqueles com
opinies mais extremadas ou que so mais interessados no tema. Dessa forma, podem no refletir a
populao (NAO, 1999).
47. Sendo assim, necessrio fazer algumas anlises para verificar se os respondentes guardam alguma
correspondncia com a populao. Isso no garante que a amostra no seja enviesada, mas informa
ao leitor do relatrio sobre a qualidade dos dados obtidos.
48. O teste qui-quadrado permite testar se a distribuio dos respondentes segundo certa varivel (sexo,
localizao geogrfica, renda, escolaridade) corresponde distribuio da populao segundo essa
mesma varivel. Caso essa hiptese no seja rejeitada, razovel concluir que a amostra
representativa da populao (ANEXO A EXEMPLO 12).

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

23
Braslia Ano xliii n. 10 18/ maio 2010

APNDICE A PROCEDIMENTOS PARA USO DE PESQUISA EM AUDITORIAS

1. definir populao alvo e meio de aplicao


2. elaborar as perguntas para testar as hipteses formuladas na fase de planejamento ou descrever como
se desenvolvem processos ou como se caracteriza certa situao
3. selecionar pesquisados
4. testar questionrio com especialistas e colegas
5. ajustar questionrio
6. codificar respostas s perguntas fechadas
7. pilotar aplicao do questionrio e sua anlise
8. ajustar o questionrio, conforme indicado no piloto
9. avisar os pesquisados que recebero o questionrio
10. treinar aplicadores, se for o caso
11. aplicar/enviar questionrios
12. relembrar ou enviar questionrios pela segunda vez para no-respondentes
13. digitar respostas
14. codificar respostas s perguntas abertas
15. fazer primeira tabulao e anlise de consistncia das respostas
16. conferir com pesquisados algumas informaes-chave, se for o caso
17. analisar possveis padres da no-resposta
18. analisar dados (relao entre variveis, caracterizao de situaes ou grupos de pesquisados)
19. enviar aos pesquisados o resultado da auditoria

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

24
Braslia Ano xliii n. 10 18/ maio 2010

ANEXO A EXEMPLOS

Exemplo 1 - Marque um X na coluna correspondente a sua avaliao sobre a disponibilidade dos


seguintes equipamentos em seu posto de vigilncia.
Itens a serem avaliados

No Existe, mas Existe, e No se


no
existe satisfatrio satisfatrio aplica*

No
sei

1. Veculos para as atividades de fiscalizao


2. rea que permita isolamento e segregao de
cargas para tratamento fitossanitrio
3. rea que permita isolamento e segregao de
cargas perigosas
4. Laboratrio para exame bsico de
mercadorias
5. Local e equipamento de recebimento e
isolamento de animais
6. Pedilvios
7. Rodolvios
8. Incineradores para destruio de produtos
agropecurios em situao de risco
9. Cmaras de expurgo (fumigao)
10. Detector de material orgnico
11. Ambiente climatizado para inspees de
mercadorias
12. Equipamentos de informtica que permitam
acesso ao SISCOMEX
*Assinale esta opo caso o equipamento no seja necessrio em seu posto. Por exemplo, caso seu posto
no fiscalize trnsito de animais vivos, o item 4 no se aplica.
Fonte: adaptado do TC 012.488/2005-5.

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

25
Braslia Ano xliii n. 10 18/ maio 2010

Exemplo 2 - Preencha o quadro abaixo com o nmero total de equipamentos de diagnstico por imagem
existente no seu estabelecimento de sade e o nmero, desse total de equipamentos, que esto em
funcionamento:
Nmero total
Nmero de
Equipamentos de radiologia de TODAS as unidades do estabelecimento
de
equipamentos
de sade
equipamentos
em
existentes
funcionamento
Mamgrafo com comando simples
Mamgrafo com estereotaxia
Tomgrafo computadorizado
Ressonncia magntica
RX Mveis
RX Fixos
Raio X telecomandado (com fluoroscopia, contrastado, escopia)
Raio X para densitometria ssea (densitmetro)
Ultrassom Doppler colorido
Ultrassom ecgrafo
Fonte: adaptado do TC 011.587/2009-1

Exemplo 3 Qual a carga horria do curso de aperfeioamento para professores do qual voc participou
em 2005?
igual ou inferior a 80 horas
entre 80 e 120 horas
igual ou superior a 120 horas
no sei
no participei de curso em 2005
Fonte: adaptado do TC 012.485/2005-3

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

26
Braslia Ano xliii n. 10 18/ maio 2010

BTCU ESPECIAL

Exemplo 4 Marque um X na coluna correspondente ao seu grau de concordncia ou discordncia com


as afirmaes abaixo sobre o planejamento, a qualidade e o contedo do curso/evento de capacitao do
qual voc participou.

Afirmaes

Discordo
totalmente

Discordo

Nem
concordo
nem
discordo

Concordo

O curso/evento ocorreu em local prximo ou


de fcil acesso para mim
Na poca da seleo, eu conhecia os critrios
que seriam usados para selecionar quem iria
participar do curso
Antes de iniciar o curso, eu j conhecia seu
programa
Participei do curso por minha prpria vontade
e iniciativa, sem imposio da minha escola
ou da Secretaria de Educao
Houve controle da freqncia dos treinandos
que participaram do curso
A freqncia foi um critrio utilizado na
avaliao dos alunos do curso
Os
instrutores
demonstraram
ter
conhecimento sobre o contedo da disciplina
que estavam ministrando
Os instrutores demonstraram ter boa didtica
nas exposies em sala de aula
Fonte: adaptado do TC 012.485/2005-3

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

Concordo
totalmente

No sei

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

27
Braslia Ano xliii n. 10 18/ maio 2010

Exemplo 5 Mensagem de aviso sobre encaminhamento da pesquisa.


Senhor Secretrio,
Comunico a Vossa Senhoria que o Tribunal de Contas da Unio TCU est realizando,
por solicitao do Congresso Nacional, auditoria operacional com o objetivo de avaliar a alocao, uso e
manuteno de mamgrafos e outros equipamentos de radiodiagnstico disponveis para o SUS. Um dos
objetivos do trabalho o conhecimento do panorama nacional da distribuio e funcionamento desses
equipamentos.
Para isso, estamos realizando pesquisa com os estabelecimentos de sade pblicos que
possuem equipamentos de mamografia. Assim sendo, unidades de sade sob a gesto dessa Secretaria
recebero questionrios, via postal, para a obteno das informaes necessrias.
Tendo em vista o cronograma estabelecido para realizao da auditoria, solicito a gentileza
de instruir os dirigentes das unidades sob gesto de Vossa Senhoria, e chefes dos servios de radiologia
respectivos, a enviar a resposta at o dia 10 de setembro de 2009.
O preenchimento com informaes fidedignas muito importante, pois a qualidade dos
resultados desta pesquisa depende das respostas das unidades de sade.
Nesse sentido, agradeo, antecipadamente, a colaborao que for prestada para o envio das
respostas pesquisa.
Contatos adicionais podero ser feitos com a coordenadora da auditoria, nome do(a)
auditor(a), mediante o telefone (61) 3316-5463, ou nome do(a) auditor(a) (61) 3316-5132 ou endereo
eletrnico equipamentos_saude@tcu.gov.br .
Atenciosamente,
Nome do titular da Unidade
Secretrio 4 Secex
Fonte: adaptado do TC 011.587/2009-1

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

28
Braslia Ano xliii n. 10 18/ maio 2010

Exemplo 6 Mensagem explicativa para o pesquisado.


Sr.(a). Responsvel Tcnico,
O Tribunal de Contas da Unio est realizando auditoria operacional na Poltica de Garantia de
Preos Mnimos PGPM. O foco do presente trabalho o processo de armazenamento dos produtos
agrcolas adquiridos pela Conab. O objetivo principal analisar o processo de armazenagem de produtos,
para, em conjunto com a Conab, propor melhorias na execuo da PGPM.
Tendo em vista que o armazenamento dos produtos de essencial importncia para a PGPM, este
questionrio foi enviado a todos os armazns prprios da Conab, a fim de colher informaes e opinies
acerca dos temas abordados a seguir.
Ressaltamos que as respostas dadas a esse questionrio so sigilosas. Os dados coletados sero
tratados em conjunto. O desconhecimento das respostas de algumas questes no inviabiliza o
preenchimento das demais. Se houver alguma dvida, por favor, entre em contato com nome do(a)
auditor(a), supervisor da auditoria, ou nome do(a) auditor(a), coordenador, pelo telefone 61-3316.7898
ou pelo e-mail seprog@tcu.gov.br.
Sua contribuio de grande importncia para o sucesso dos trabalhos e para a melhoria do
processo de armazenamento de estoques pblicos. Desde j, agradecemos sua participao.
Nome do titular da Unidade
Secretrio de Fiscalizao e Avaliao de Programas de Governo Seprog
Tribunal de Contas da Unio TCU

Fonte: adaptado do TC 009.789/2009-0

Exemplo 7 Instruo para resposta ao questionrio.

INSTRUO PARA ENVIO DE RESPOSTA


Aps preencher o questionrio, por favor, envie-o pelos Correios usando o envelope pr-pago que o
acompanha.
Caso preferir, possvel escanear o questionrio respondido e enviar para o seguinte endereo
eletrnico equipamentos_saude@tcu.gov.br
Fonte: adaptado do TC 011.587/2009-1

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

29
Braslia Ano xliii n. 10 18/ maio 2010

BTCU ESPECIAL

Exemplo 8 Indique os critrios de prioridade usados pelo municpio para seleo de famlias
beneficirias de programas de melhoria habitacional voltados populao de baixa renda. (admite mais
de uma resposta)
1.

Chefe de famlia mulher

2.

Idosos na famlia

3.

Pessoas com deficincia na famlia

4.

Renda per capita da famlia

5.

Nmero de dependentes na famlia

6.

Caracterstica tnico/racial do chefe da famlia

7.

Famlias residentes em reas de risco

8.

Famlias residentes em reas de degradao ou proteo ambiental

9.

Famlias residentes em reas insalubres

10.

Famlias que habitam domiclios rsticos ou improvisados

11.

Tempo de residncia da famlia no municpio

12.

Outros critrios

Fonte: adaptado do TC 012.278/2003-1

Exemplo 9 Marque um X na coluna correspondente ao grau de dificuldade que o municpio enfrenta


para executar cada etapa do programa de tratamento de resduos slidos urbanos.
Etapa

Muito
fcil
1

Cumprimento pelo municpio das condies para participar


do programa
Processo para o licenciamento ambiental
Obteno de terreno para implantao de aterro sanitrio
Elaborao do projeto pelo municpio
Execuo das obras pelo municpio
Operacionalizao do aterro pelo municpio
Manuteno do aterro pelo municpio (inclusive
equipamentos)
Cumprimento de contrapartidas pelos municpios
Articulao com o Programa Sade da Famlia
Articulao com o Programa Agentes Comunitrios de
Sade
Descontinuidade administrativa (troca de gesto
municipal)
Sustentabilidade econmica-financeira do aterro sanitrio
Sustentabilidade tcnica-operacional do aterro sanitrio
Controle social
Fonte: adaptado do TC 004.987/2006-9

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

Muito difcil
5

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

30
Braslia Ano xliii n. 10 18/ maio 2010

BTCU ESPECIAL

Exemplo 10 Numere de 1 a 5, do mais importante para o menos importante, os cinco fatores que mais
contriburam para que vos tenham atrasado por mais de 30 minutos no seu aeroporto em 2007. Responda
apenas considerando a situao operacional nesse aeroporto (por exemplo, no considere o fato de o vo
j ter chegado atrasado a esse aeroporto).
( ) Manuteno no prevista de aeronaves
( ) Ptio de estacionamento de aeronaves
( ) Meio-fio de embarque
( ) Sala de embarque
( ) Balces de check-in
( ) rea de desembarque e esteiras de restituio de bagagem
( ) Meio-fio de desembarque
( ) Controle de passaportes
( ) Alfndega
( ) Controle de trfego areo
( ) Meteorologia
( ) Problemas operacionais das empresas
Fonte: adaptado do TC 014.799/2007-0

Exemplo 11 Marque um X na opo correspondente informao correta sobre o responsvel pela


famlia:
A - Sexo
Homem
Mulher

B Idade
at 25 anos
entre 26 e 30 anos
entre 31 e 40 anos
entre 41 e 50 anos
entre 51 e 65 anos
acima de 65 anos

C Escolaridade
At a 3 srie do 1 Grau
Da 3 srie a 7 do 1 Grau
1 Grau completo
2 Grau incompleto
2 Grau completo
Superior incompleto
Superior completo

Fonte: adaptado do TC 012.278/2003-1

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

31
Braslia Ano xliii n. 10 18/ maio 2010

BTCU ESPECIAL

Exemplo 12 Em 2009, o Tribunal de Contas da Unio (TCU) avaliou a alocao, o uso e a manuteno
de mamgrafos disponveis para o SUS (TC 011.587/2009-1). Entre os procedimentos de coleta de dados
usados, foram enviados 420 questionrios para os estabelecimentos pblicos de sade que figuravam no
Cadastro Nacional de Estabelecimentos de Sade CNES como possuidores de mamgrafos. A pesquisa
foi respondida por 249 estabelecimentos. A equipe usou o teste qui-quadrado (STEVENSON, 1981) para
verificar se a distribuio dos estabelecimentos respondentes por Regio seguia a distribuio dos
estabelecimentos no CNES. A hiptese foi aceita. Sendo assim, sups-se que a amostra dos respondentes
era representativa dos estabelecimentos cadastrados.
Vale lembrar que a distribuio amostral poderia ter sido classificada segundo outras variveis e
testada em confronto com a distribuio da populao. Entre as variveis que poderiam ter sido usadas,
citam-se: tamanho dos estabelecimentos (em nmero de leitos, por exemplo), natureza do estabelecimento
(beneficiente, administrao direta, administrao indireta), tipo de estabelecimento (hospital geral,
centro de sade, policlnica, clnica especializada), esfera administrativa (federal, estadual, municipal,
privada) e outras variveis disponveis no CNES.
Para testar a hiptese de que a distribuio amostral segue a distribuio da populao, foram
seguidos os seguintes passos, usando o excel, conforme registrado na Tabela E:
1 Foi calculada a estatstica de teste (somatrio da ltima coluna da Tabela E) = 0,2273.
2 Calculou-se o grau de liberdade da distribuio qui-quadrado a ser usada da seguinte forma: (L-1)*(C1) = (5-1)*(2-1) = 4, onde L o nmero de classes segundo a qual os dados esto distribudos (5 Regies)
e C o nmero de distribuies que esto sendo comparadas (respondentes e cadastrados).
3 Foi obtido o valor da estatstica qui-quadrado (tabelada) no excel para 95% de confiana e 4 graus de
liberdade usando a seguinte funo: =inv.qui(0,05;4) , que resultou 9,4877.
4 Como a estatstica tabelada maior do que a estatstica de teste, aceita-se a hiptese de que as
respondentes e cadastrados seguem a mesma distribuio por Regio.
Tabela E - Nmero de estabelecimentos de sade pblicos que responderam a pesquisa e estabelecimentos possuidores de
mamgrafos, segundo o Cadastro Nacional de Estabelecimentos de Sade CNES em abril de 2009, por estado

Norte

16

27

Frequencia
relativa dos
respondentes %
(O)
6,43

Nordeste

50

88

Centro Oeste

17

Regio

Sudeste
Sul
Total

Respondentes

Cadastrados no
CNES

Frequencia relativa
dos cadastrados no
CNES % (E)

Estatstica de
teste
(O-E)^2/E

6,43

0,0000

20,08

20,95

0,0363

33

6,83

7,86

0,1350

144

236

57,83

56,19

0,0479

22

36

8,84

8,57

0,0081

249

420

100

100

0,2273

Nota: no foram considerados o Distrito Federal e o Amazonas porque todos os estabelecimentos de sade possuidores de
mamgrafos foram pesquisados em teste piloto
Fonte: adaptado do TC 011.587/2009-1

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO


Segedam Secretaria-Geral de Administrao

BTCU ESPECIAL

32
Braslia Ano xliii n. 10 18/ maio 2010

REFERNCIAS

BRASIL. Tribunal de Contas da Unio. Tcnicas de amostragem para auditorias. Braslia: TCU, 2002.
______. Manual de auditoria operacional. Braslia: TCU, 2010.
COHEN, Ernesto; FRANCO, Rolando. Avaliao de projetos sociais. Petrpolis: Vozes, 1993.
FREITAS, H.; OLIVEIRA, M.; SACCOL, A.Z.; MOSCAROLA, J. O mtodo de pesquisa survey.
Revista de Administrao, So Paulo, v.35, n.3, p.105-112, jul./set. 2000.
GENERAL Accounting Office . Using structured interviewing techniques. Washington: GAO, 1991.
GNTHER, Hartmut. Como elaborar um questionrio Braslia: UnB, Laboratrio de Psicologia
Ambiental, 2003. (Planejamento de Pesquisa nas Cincias Sociais, n. 1)
INTERNATIONAL Organization of Supreme Audit Institutions. Implementation Guidelines for
Performance Auditing (ISSAI 3000). Viena: Intosai, 2004. Disponvel em:
<http://www.issai.org/media(381,1033)/ISSAI_3000E.pdf>. Acesso em: 8 set. 2008.
LDKE, Hermengarda A.; ANDR, Marli E. A. Pesquisa em educao: abordagens qualitativas. So
Paulo: EPU, 1986.
MEDEIROS, Marcelo. Questionrios: recomendaes para formatao. Braslia: IPEA, janeiro de 2005.
(Texto para Discusso, n. 1063)
NATIONAL Audit Office. Taking a survey. London: NAO, 1999.
RICHARDSON, R. J. Pesquisa social: mtodos e tcnicas. So Paulo: Atlas, 1999.
STEVENSON, W.J. Estatstica aplicada administrao. So Paulo: Harper & Row do Brasil, 1981.

NOTAS EXPLICATIVAS
1

Este documento trata de pesquisa, que uma metodologia de coleta de dados conhecida na literaturatura em ingls por
survey. Em textos em portugus, possvel encontrar autores que no traduzem a expresso e outros que usam pesquisa survey
ou levantamento para designar a mesma metodologia.

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

Das könnte Ihnen auch gefallen