Indicadores de desempenho e mapa de produtos para auditoria

TRIBUNAL DE CONTAS DA UNIO
Secretaria-Geral de Controle Externo

Coordenadoria de Fiscalizao e Controle
TCNICA DE AUDITORIA
INDICADORES DE DESEMPENHO
E
MAPA DE PRODUTOS
2000
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
Tribunal de Contas da Unio

Internet: http://www.tcu.gov.br
SAFS Lt. 01
CEP: 70.042-900 - Braslia (DF)
Secretria-Geral de Controle Externo:
Rosngela Paniago Fleury
Coordenador de Fiscalizao e Controle:
Jos Moacir Cardoso da Costa
Diretor da 2 Diviso Tcnica:
Paulo Roberto Pinheiro Dias Pereira
Analistas de Finanas e Controle Externo - rea de Controle
Externo:
Carlos Alexandre Amorim Rocha
Carmen Pereira Rgo Meireles
Glria Maria Merola da Costa Bastos
Colaboradores Projeto de Cooperao TCU/Reino Unido:
Jos Carlos Lobo Menezes
Luiz Akutsu
Luiz Geraldo Santos Wolmer
657.63
Brasil. Tribunal de Contas da Unio.
B823t
Tcnicas de Auditoria: Indicadores de
Desempenho e Mapa de Produtos - Braslia : TCU,
Coordenadoria de Fiscalizao e Controle, 2000.
32 p.
1. TCU - Tcnicas de Auditoria: Indicadores
de Desempenho e Mapa de Produtos (2000) I. Ttulo.
Ficha Catalogrfica elaborada pela Diviso de Documentao do TCU.
2
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
APRESENTAO
Este documento tcnico produto das atividades
desenvolvidas no mbito do Projeto de Cooperao Tcnica TCU/
Reino Unido. Na sua elaborao, a Coordenadoria de Fiscalizao
e Controle contou com a colaborao dos analistas participantes do
Projeto e com o apoio tcnico da KPMG, empresa contratada pelo
Governo Britnico para prestar consultoria ao TCU na rea de
auditoria de desempenho.
A tcnica apresentada neste documento, indicadores de
desempenho e mapa de produto, foi testada com sucesso durante
a realizao das seis auditorias-piloto realizadas em 1998 e
complementa informaes contidas no Manual de Auditoria de
Desempenho do TCU.
Na primeira parte do documento feita uma breve discusso
sobre indicadores de desempenho, suas caractersticas bsicas e
sua utilizao na avaliao de desempenho. Em seguida,
apresentada a tcnica de mapa de produtos, sua aplicao e forma
de elaborao. Finalmente, mostrado como podem ser elaborados
os indicadores de desempenho para os produtos-chave identificados
no mapa de produtos.
No poderia, antes de terminar esta apresentao, deixar de
registrar os merecidos agradecimentos equipe da COFIS e a todos
os servidores que colaboraram para a confeco de mais esta
ferramenta de trabalho.
ROSNGELA PANIAGO FLEURY

Secretria-Geral de Controle Externo
SUMRIO
1.
INDICADORES DE DESEMPENHO
1.1. INTRODUO
1.2. MEDIO DE DESEMPENHO E INDICADOR

DE DESEMPENHO
1.3. NATUREZA COMPARATIVA DOS INDICADORES

DE DESEMPENHO
10
1.4. VARIVEIS EMPREGADAS NA CONSTRUO

DE INDICADORES
10
1.5. PRINCIPAIS USOS DE INDICADORES DE

DESEMPENHO
11
1.6. QUALIDADES DESEJVEIS EM UM INDICADOR

DE DESEMPENHO.
12
1.7. ASPECTOS DO DESEMPENHO MEDIDOS

PELOS INDICADORES
14
2.
17
MAPA DE PRODUTOS
2.1. INTRODUO
17
2.2. CARACTERSTICAS
17
2.3. APLICAO
20
2.4. ELABORAO
21
3.
ELABORAO DE INDICADORES DE
DESEMPENHO A PARTIR DO MAPA DE PRODUTOS
24
3.1. IDENTIFICAO DOS PRODUTOS-CHAVE.
24
3.2. FORMULAO DE QUESTES SOBRE

ECONOMICIDADE, EFICINCIA E EFICCIA.
24
3.3. IDENTIFICAO DOS INDICADORES DE

DESEMPENHO
27
3.4. SELEO DOS INDICADORES
28
3.5. DEPURAO DOS INDICADORES SELECIONADOS
30
3.6. FIXAO DE METAS PARA OS

INDICADORES SELECIONADOS
30
3.7. REVISO DOS INDICADORES
31
4.
32
REFERNCIAS
LISTA DE FIGURAS
FIGURA 1 VARIVEIS COMPONENTES DOS
INDICADORES.
11
FIGURA 2 DIMENSES DE ANLISE:
15
FIGURA 3 EXEMPLOS DE INDICADORES DE

DESEMPENHO.
16
FIGURA 4 ESTRUTURA BSICA DE UM MAPA DE

PRODUTOS.
18
FIGURA 5 MAPA DE PRODUTOS X MAPA DE

PROCESSOS.
20
LISTA DE EXEMPLOS
EXEMPLO 1 MAPA DE PRODUTOS: COMUNICAO
VIA MEMORANDO.
18
EXEMPLO 2 MAPA DE PRODUTOS: ALTERAO

NA ROTINA.
19
EXEMPLO 3 QUESTES SOBRE O DESEMPENHO.
26
EXEMPLO 4 SELEO DE INDICADORES.
29
EXEMPLO 5 FIXAO DE METAS.
31
1. INDICADORES DE DESEMPENHO
1.1.
INTRODUO
A utilizao de indicadores de desempenho para aferir os

resultados alcanados pelos administradores uma metodologia
que est relacionada ao conceito de gerenciamento voltado para
resultados (results oriented management ROM). Esse conceito
tem sido adotado nas administraes pblicas de diversos pases,
especialmente nos de cultura anglo-saxnica (EUA, Austrlia, Reino
Unido).
Alguns autores da literatura especializada conceituam
indicador de desempenho como um instrumento de mensurao
quantitativa ou qualitativa de aspectos do desempenho. Neste Guia,
optamos por no estabelecer tal distino e adotar a seguinte
definio:
Um indicador de desempenho um nmero, percentagem ou
razo que mede um aspecto do desempenho, com o objetivo de
comparar esta medida com metas preestabelecidas1.
1.2. MEDIO DE DESEMPENHO E INDICADOR DE

DESEMPENHO
A expresso indicador de desempenho tambm
normalmente utilizada no sentido de medio de desempenho.
Entretanto, possvel estabelecer-se uma distino entre ambas.
Medies de desempenho so efetuadas quando os aspectos
do desempenho podem ser mensurados diretamente e quantificados
com facilidade. Exemplos: quilometragem de estradas conservadas;
nmero de alunos matriculados no 1o grau.
Denomina-se mtrica frmula matemtica utilizada para calcular o indicador

de desempenho.
9
Indicadores de desempenho so utilizados quando no

possvel efetuar tais mensuraes de forma direta. So uma
alternativa para a medio do desempenho, embora no forneam
uma mensurao direta dos resultados. Exemplo: a utilizao do
ndice de repetncia na 1a srie do 1o grau, como um dos fatores a
serem considerados na formao de um indicador de desempenho
para medir a efetividade do ensino de 1 grau.
O que se deseja ressaltar com essa diferenciao que os
indicadores de desempenho podem fornecer uma boa viso acerca
do resultado que se deseja medir, mas so apenas aproximaes
do que realmente est ocorrendo, necessitando, sempre, de
interpretao no contexto em que esto inseridos.
1.3. NATUREZA COMPARATIVA DOS INDICADORES DE

DESEMPENHO
Informaes sobre desempenho so essencialmente
comparativas 2. Um conjunto de dados isolado mostrando os
resultados atingidos por uma instituio no diz nada a respeito do
desempenho da mesma, a menos que seja confrontado com metas
ou padres preestabelecidos, ou realizada uma comparao com
os resultados atingidos em perodos anteriores, obtendo-se assim
uma srie histrica para anlise.
1.4. VARIVEIS EMPREGADAS NA CONSTRUO DE

INDICADORES
Os indicadores quase sempre so compostos por variveis
provenientes de um dos seguintes grupos: custo, tempo, quantidade
e qualidade.
Sobre a comparao de desempenho vide o Guia de Tcnica de Auditoria:

Benchmarking.
10
FIGURA 1 VARIVEIS COMPONENTES DOS INDICADORES
Custo:
Tempo:
Qualidade:
Quantidade:
- satisfao do cliente
- padres de qualidade
- produo total
- custo unitrio
- custo total programado
1.5.
- prazos estabelecidos
- tempo por tarefa
- demanda atendida
PRINCIPAIS USOS DE INDICADORES DE DESEMPENHO

A utilizao de indicadores de desempenho pela instituio:
Possibilita a avaliao qualitativa e quantitativa do
desempenho global da instituio, por meio da
avaliao de seus principais programas e/ou
departamentos;
Permite o acompanhamento e a avaliao do
desempenho ao longo do tempo e ainda a comparao
entre:
desempenho anterior x desempenho corrente;
desempenho corrente x padro de comparao;
desempenho planejado x desempenho real;
11
Possibilita enfocar as reas relevantes do desempenho

e express-las de forma clara, induzindo um processo
de transformaes estruturais e funcionais que permite
eliminar inconsistncias entre a misso da instituio,
sua estrutura e seus objetivos prioritrios;
Ajuda o processo de desenvolvimento organizacional
e de formulao de polticas de mdio e longo prazos;
Melhora o processo de coordenao organizacional,
a partir da discusso fundamentada dos resultados e
o estabelecimento de compromissos entre os diversos
setores da instituio;
Possibilita a incorporao de sistemas de
reconhecimento pelo bom desempenho, tanto
institucionais como individuais
1.6. QUALIDADES DESEJVEIS EM UM INDICADOR DE
DESEMPENHO
Tanto na anlise de indicadores de desempenho j
existentes, quanto na elaborao de novos, deve-se verificar as
seguintes caractersticas:
1)
Representatividade: o indicador deve ser a expresso

dos produtos essenciais de uma atividade ou funo;
o enfoque deve ser no produto: medir aquilo que
produzido, identificando produtos intermedirios e
finais, alm dos impactos desses produtos (outcomes).
Este atributo merece certa ateno, pois indicadores
muito representativos tendem a ser mais difceis de
ser obtidos.
2)
Homogeneidade: na construo de indicadores

devem ser consideradas apenas variveis
homogneas. Por exemplo, ao estabelecer o custo
mdio por auditoria, devem-se identificar os diversos
tipos de auditoria, j que para cada tipo tem-se uma
12
composio de custo diversa.

3)
Praticidade: garantia de que o indicador realmente

funciona na prtica e permite a tomada de decises
gerenciais. Para tanto, deve ser testado, modificado
ou excludo quando no atender a essa condio.
4)
Validade: o indicador deve refletir o fenmeno a ser

monitorado.
5)
Independncia: o indicador deve medir os resultados

atribuveis s aes que se quer monitorar, devendo
ser evitados indicadores que possam ser influenciados
por fatores externos.
6)
Confiabilidade: a fonte de dados utilizada para o

clculo do indicador deve ser confivel, de tal forma
que diferentes avaliadores possam chegar aos
mesmos resultados.
7)
Seletividade: deve-se estabelecer um nmero

equilibrado de indicadores que enfoquem os aspectos
essenciais do que se quer monitorar.
8)
Simplicidade: o indicador deve ser de fcil

compreenso e no envolver dificuldades de clculo
ou de uso.
9)
Cobertura: os indicadores devem representar

adequadamente a amplitude e a diversidade de
caractersticas do fenmeno monitorado, resguardado
o princpio da seletividade e da simplicidade.
10)
Economicidade: as informaes necessrias ao

clculo do indicador devem ser coletadas e atualizadas
a um custo razovel, em outras palavras, a manuteno
da base de dados no pode ser dispendiosa.
13
11)
Acessibilidade: deve haver facilidade de acesso s

informaes primrias bem como de registro e
manuteno para o clculo dos indicadores.
12)
Estabilidade: a estabilidade conceitual das variveis

componentes e do prprio indicador bem como a
estabilidade dos procedimentos para sua elaborao
so condies necessrias ao emprego de indicadores
para avaliar o desempenho ao longo do tempo.
1.7
ASPECTOS DO DESEMPENHO MEDIDOS PELOS
INDICADORES
O desempenho na obteno de um determinado resultado
pode ser medido segundo as seguintes dimenses de anlise:
economicidade, eficincia, eficcia e efetividade. Para cada
dimenso de anlise podem existir um ou mais indicadores.
14
FIGURA 2 DIMENSES DE ANLISE

Economicidade
Minimizao dos custos dos
recursos utilizados na consecuo de
uma
atividade,
sem
comprometimento dos padres de
qualidade. Refere-se capacidade
de uma instituio de gerir
adequadamente os recursos
financeiros colocados a sua
disposio.
Os suprimentos hospitalares na
qualidade especificada foram
adquiridos ao menor preo?
As licitaes para contratao de
servios de informtica redundaram
em preos menores, mantida a
qualidade dos servios?
Eficincia
Relao entre os produtos (bens
e servios) gerados por uma atividade
e os custos dos insumos empregados
para tal em um determinado perodo
de tempo. Se a quantidade de produto
est predeterminada, procura-se
minimizar o custo total; se o gasto
total est previamente fixado,
procura-se otimizar a combinao de
insumos para maximizar o produto;
em ambos os casos a qualidade deve
ser mantida. Essa dimenso,
portanto, mede o esforo do processo
de transformao de insumos em
produtos.
Os tempos de atendimento nos

hospitais foram reduzidos, sem
aumento de custos e sem reduo de
qualidade do atendimento?
Os custos diretos e indiretos de
uma oficina de manuteno foram
minimizados, enquanto houve
aumento no nmero de veculos
reparados que satisfizeram os
padres de qualidade requeridos?
Eficcia
Grau de alcance das metas
programadas, em um determinado
perodo
de
tempo,
independentemente dos custos
implicados.
O nmero de crianas vacinadas

na ltima campanha nacional de
vacinao
atingiu
a
meta
programada?
As rodovias privatizadas foram
recuperadas dentro do prazo
previsto?
Efetividade
Relao entre os resultados
alcanados e os objetivos que
motivaram a atuao institucional,
entre o impacto previsto e o impacto
real de uma atividade.
O programa de valorizao do
magistrio resultou na reduo do
ndice de repetncia escolar?
O programa mdico de famlia
redundou na reduo da mortalidade
infantil?
15
Economicidade
Programa de
Vacinao
Manuteno de
Rodovias
Ensino Distncia
Eficcia
Efetividade
Custo de aquisio das

vacinas, consideradas as
opes de mercado.
Custo de uma criana

vacinada em relao
s estimativas iniciais
ou n de crianas
vacinadas
por
vacinador
N de crianas
vacinadas como um
percentual das metas
programadas.
Percentual da
populao
que
contraiu a doena em
relao ao perodo
anterior
Custo dos servios de

manuteno, em relao
aos preos de mercado.
Custo
de
manuteno de um km
de rodovia em relao
a
padres
preestabelecidos.
Extenso
de
rodovias em boas
condies de uso
como percentagem
das
metas
planejadas.
N de acidentes
fatais, em relao ao
perodo anterior.
Tempo mdio de
viagem, em relao ao
perodo anterior.
Custo das atividades de

treinamento, em relao s
alternativas de mercado.
Custo de treinar um
t r a b a l h a d o r
desempregado
em
relao
a
outros
programas
de
treinamento
e/ou
Qualificao profissional.
N de trabalhadores
treinados
como
percentual das metas
planejadas.
Percentual dos
trabalhadores
treinados
e
empregados,
em
razo do treinamento
recebido.
Custo de elaborao dos

programas, em relao s
alternativas de mercado.
Tempo mdio de
titulao do aluno em
relao
a
anos
anteriores.
N de estudantes
formados em relao s
metas programadas.
16
Qualificao
Profissional de
Trabalhadores
Desempregados
Eficincia
Taxas de evaso escolar,

antes e depois da implementao do programa.
Percentagem de pessoas
com nvel mdio de
escolaridade, antes e depois
da implementao do
programa.
FIGURA 3 EXEMPLOS DE INDICADORES DE DESEMPENHO
2. MAPA DE PRODUTOS
2.1.
INTRODUO
Mapa de produtos uma tcnica utilizada para a obteno

de indicadores de desempenho. essencial que definamos, desde
logo, em que sentido estamos utilizando a palavra produto:
PRODUTO um bem, um servio ou uma condio resultante de
atividade(s) de uma organizao ou de um indivduo.
Assim, so exemplos de produtos: benefcios de um
programa, estradas conservadas, correspondncia datilografada,
pacientes atendidos etc. Implementar um programa; conservar
estradas; datilografar correspondncia e atender pacientes so
atividades das quais resultam tais produtos.
Uma administrao pblica voltada para resultados deve
direcionar sua ateno para seus produtos. Entretanto, esse
enfoque pode encontrar alguma resistncia por parte de gestores
habituados a administrar predominantemente os insumos (pessoal,
recursos financeiros, instalaes, etc.) e os processos (atividades
desempenhadas).
2.2.
CARACTERSTICAS
Um mapa de produtos possui trs componentes bsicos:

insumos, produtos intermedirios e produtos finais. Ele se
assemelha a uma linha de produo ou de montagem, onde o
importante o produto gerado em cada fase, em vez do processo
(ou atividade) que gerou o produto.
17
FIGURA 4 ESTRUTURA BSICA DE UM MAPA DE PRODUTOS
Insumos
Produtos
Intermedirios
Produto
Final
No mapa de produtos as setas indicam que a existncia do

contedo da caixa esquerda (insumo ou produto intermediiro)
necessrio para que se produza o contedo da caixa direita
(produto intermedirio ou final).
Insumos
Quando estamos lidando com um ministrio, um rgo ou

um programa de governo, os insumos tendem a ser muito parecidos:
poltica de governo, oramento, instalaes, equipamentos, pessoal,
programas de treinamento, sistemas informatizados etc.). medida
que descemos aos escales inferiores da Administrao Pblica,
eles se tornam diferenciados.
Os produtos intermedirios so subprodutos obtidos a partir
dos insumos existentes e que, juntos, daro origem ao produto final.
Pode-se dizer que os produtos intermedirios desempenham o papel
de insumos para outros produtos intermedirios ou para o produto
final.
EXEMPLO 1 MAPA DE PRODUTOS: COMUNICAO VIA
MEMORANDO
O diretor do departamento A, deseja fornecer uma orientao
formal a todos os chefes de diviso que lhe so subordinados. Para
tanto ele dita um memorando para sua secretria, que o digita e o
distribui aos chefes de diviso.
Papel
Computador
Secretria
Memorando
Impresso
18
Comunicao
Efetuada
O produto final (output) das atividades no deve ser

confundido com o impacto (outcome) originado dessas atividades.
Enquanto o produto final depende apenas do desempenho das
atividades, o impacto que ele causa afetado por condies
externas, que fogem ao controle do rgo ou do indivduo.
EXEMPLO 2 MAPA DE PRODUTOS: ALTERAO NA ROTINA

Retomando o exemplo anterior, se o diretor almeja obter um
maior nvel de satisfao dos funcionrios, mediante uma alterao
na rotina de seu departamento e comunica tal alterao por meio
do memorando aos chefes de diviso, teramos um novo mapa de
produtos.
Papel
Computador
Secretria
Memorando
Impresso
Comunicao
Efetuada
Rotina
Alterada
Note-se, no exemplo acima, que o produto final rotina

alterada, e no maior nvel de satisfao dos funcionrios, que
o impacto almejado. A alterao na rotina depende apenas do correto
funcionamento do departamento. J o maior nvel de satisfao
pretendido depende de fatores externos, como a receptividade dos
funcionrios nova rotina. Exemplos mais complexos foram
extrados das primeiras auditorias realizadas utilizando esta tcnica
e podem ser vistos em anexo.
IMPORTANTE: Mapas de produto e de processo no se

confundem. Aqui esto as principais diferenas entre eles.
19
FIGURA 5 MAPA DE PRODUTOS X MAPA DE PROCESSOS

O mapa de processo apresenta graficamente uma
srie de atividades interligadas que do origem a
determinados produtos, ao passo que o mapa de
produtos apresenta graficamente os produtos gerados
por aquelas atividades. Nos mapas de produtos, os
processos esto representados pelas setas.
Processos e atividades mudam com o passar do

tempo, enquanto os produtos, se identificados
adequadamente, devem permanecer os mesmos,
independente das atividades realizadas para obt-los.
O enfoque nos produtos em vez de nos processos

empregados para sua obteno, permite-nos comparar
o desempenho de diferentes alternativas (processos)
para obter os mesmos produtos.
2.3.
APLICAO
O mapa de produtos pode ser empregado em diferentes

nveis administrativos: pode ser elaborado para uma instituio,
departamento, funo, atividade individual ou mesmo para um
projeto ou programa . A elaborao do mapa de produtos visa:
Obter um quadro claro sobre os objetivos do rgo ou
da atividade auditada;
Mostrar as relaes de dependncia entre os diversos

produtos;
20
Identificar as reas ou setores do rgo responsveis

pelos produtos crticos (aqueles cuja obteno fator
determinante do custo, da qualidade e do prazo de
obteno do produto final);
Estabelecer as bases para o trabalho subseqente de

elaborar indicadores de desempenho.
2.4.
ELABORAO
O mapa de produtos deve ser elaborado preferencialmente

com a participao do pessoal da instituio auditada, pois quem
melhor conhece as atividades desempenhadas, os produtos
resultantes, os objetivos e a misso da instituio. Essa participao
contribui para a elaborao de um mapa de produtos capaz de refletir
a realidade da instituio.
Uma forma de angariar essa participao por meio da
realizao de workshop3, envolvendo a participao do pessoal
chave da instituio ou do programa auditado que, sob a orientao
da equipe de auditoria, vai montando, passo a passo, o mapa de
produtos. Os passos a serem seguidos no workshop, basicamente,
so:
1 passo.
Utilizar a tcnica de brainstorm4, incentivando
os participantes a identificar os possveis produtos
resultantes das atividades da instituio. Os produtos
identificados podem ser anotados em etiquetas
autocolantes.
Reunio destinada troca de idias e conhecimento prtico sobre um assunto.
Tcnica em que o facilitador estimula os participantes a emitir opinies.

21
2 passo.
Definir qual o produto final e quais so os
intermedirios. Colar a etiqueta que descreve o produto
final na parede da sala ou em alguma superfcie lisa
existente, em local visvel a todos.
3 passo.
Selecionar um pequeno nmero de produtos
que sejam essenciais para a funo ou atividade sob
exame. Considerar um mximo de dez produtos,
embora algumas atividades mais complexas possam
exigir um nmero maior.
4 passo.
Verificar quais produtos A, B, C etc. deveriam
ter sido obtidos numa fase imediatamente anterior
de obteno do produto final. Colar as etiquetas
referentes a esses produtos esquerda daquela que
representa o produto final.
5 passo.
Verificar quais produtos ( X, Y, Z etc.) deveriam
ter sido obtidos numa fase imediatamente anterior a
de obteno dos produtos A, B, C etc., e assim por
diante. Cole as novas etiquetas sempre esquerda
das anteriores.
6 passo.
Utilizar o mapa de produtos para mostrar de
que forma esses produtos se relacionam entre si e com
o produto final.
7 passo.
Desenhar o mapa, utilizando software
apropriado, normalmente disponvel em pacotes para
escritrio, distribuindo-o aos participantes.
22
RECOMENDAES:
O produto final no deve ser um resultado genrico,
mas algo mensurvel.
O uso de bloco de notas autocolantes facilita a
montagem do mapa, pois permite que se rearranjem
os produtos at se obter uma seqncia adequada.
A efetiva participao dos auditados essencial. O
papel do auditor no workshop deve ser o de facilitador,
incentivando os prprios participantes a elaborar o
mapa de produtos.
O tempo deve ser controlado. As discusses acerca
de quais so os produtos que devem constar no mapa
podem tornar-se acaloradas e prolongar-se
demasiadamente.
23
3. ELABORAO DE INDICADORES DE DESEMPENHO A

PARTIR DO MAPA DE PRODUTOS
3.1.
IDENTIFICAO DOS PRODUTOS-CHAVE
Na anlise do Mapa de Produtos para identificao dos

produtos essenciais, devem ser considerados os seguintes aspectos:
custo: produto cuja obteno demanda muito mais
recursos que os demais;
qualidade: produto de cuja obteno dependem vrios
outros;
tempo: produto que determina o tempo total gasto na
obteno do produto final.
Para identificar os produtos-chave preciso recorrer ao mapa
de produtos e rever os produtos. Para alguns deles no necessrio
desenvolver indicadores de desempenho, pois:
no so produtos crticos; eles esto no mapa apenas
para facilitar o seu entendimento;
no so produtos que necessitem de monitoramento
regular;
so produtos cujo acompanhamento deve ser efetuado
no nvel operacional e no no nvel gerencial.
3.2. FORMULAO
DE
QUESTES
ECONOMICIDADE, EFICINCIA E EFICCIA
SOBRE
Esta a fase crucial na elaborao dos indicadores de

desempenho. Se, durante o workshop com o pessoal chave, tais
questes no forem formuladas, partindo-se diretamente para a
elaborao dos indicadores, podero surgir os seguintes problemas:
24
os indicadores sugeridos no refletiro os produtoschave que se deseja mensurar;

um nmero excessivo de indicadores sero propostos;
existir uma tendncia em se sugerir indicadores que
reflitam o impacto do produto final, ou de um nico
produto (outcome), em vez dos produtos cuja obteno
depende to-somente das aes da instituio.
IMPORTANTE: O enfoque do workshop no deve recair sobre os

indicadores, mas sobre as questes que os indicadores devem
responder.
Todos os participantes do workshop devem ser instrudos para
que se coloquem no lugar dos gerentes da instituio e tentem definir
as perguntas para as quais provavelmente gostariam de obter
respostas. Essas so as questes que realmente interessam a
respeito dos produtos. Os participantes devem tambm indicar se
tais perguntas referem-se economicidade, eficincia ou
eficcia. Chegando a um consenso, os produtos e as perguntas
devem ser anotados em lugar visvel a todos.
25
EXEMPLO 3 QUESTES SOBRE O DESEMPENHO
Instalaes e equipamentos disponveis para uso.

O equipamento est disponvel quando se precisa
dele?
Quais as reais condies de uso do nosso
equipamento?
Quanto custa manter o equipamento em condies
de uso?
Estradas conservadas.
Qual o custo por km de estrada conservada?
mais caro terceirizar ou utilizar pessoal prprio?
As condies gerais das estradas tm melhorado?
Licenas ambientais emitidas.
Quantas licenas foram emitidas comparadas com
o planejado?
Quanto de receita foi gerado?
Qual o custo de se emitir uma licena?
26
3.3.
IDENTIFICAO DOS INDICADORES DE DESEMPENHO
Deve-se ter especial cuidado na identificao dos indicadores

de desempenho, pois se a avaliao de desempenho da instituio
auditada for efetivamente considerada nas tomadas de deciso, a
incorporao dos indicadores como instrumento dessa avaliao
acarretar cobranas em relao ao cumprimento das metas
estabelecidas. Portanto, ao se desenvolverem indicadores de
desempenho, deve-se sempre buscar o comprometimento do gestor
e observar se os indicadores so teis para a administrao, bem
como para o pblico externo.
Deve ser lembrado que:
So necessrios poucos indicadores. Um nmero
excessivo de indicadores ir sobrecarregar a instituio
na obteno de informao necessria ao seu clculo.
preciso que os indicadores cubram todos os

produtos-chave e forneam informaes de
economicidade, eficincia e eficcia. Deve-se evitar a
concentrao de indicadores em torno de um nico
produto, e procurar fazer-se uma distribuio
equilibrada dos indicadores.
Os indicadores de desempenho devem ser

comparativos. Por exemplo: nmero de treinamentos
efetuados no um indicador, mas sim nmero de
treinamentos efetuados comparado com o nmero
planejado.
Os indicadores de eficincia relacionam insumos com

produtos. Por exemplo: Nmero de crianas vacinadas
por vacinador.
27
Aps a discusso sobre as questes que foram colocadas

pelos participantes, devem ser selecionados um ou dois conjuntos
de questes mais relevantes. Para esses conjuntos deve-se tentar
identificar indicadores de desempenho que respondam s questes.
Para os demais, a equipe de auditoria dever identificar os
indicadores, por si mesma ou com algum integrante da instituio,
aps o workshop.
3.4.
SELEO DOS INDICADORES
Identificados os indicadores, a equipe provavelmente contar

com um nmero muito grande de potenciais indicadores. O passo
seguinte selecionar os mais relevantes. Essa tarefa, por mais que
se tente tornar o critrio de seleo objetivo, envolve muito de
subjetividade, sendo extremamente necessrio contar-se com a
experincia do pessoal da instituio auditada.
28
EXEMPLO 4 SELEO DE INDICADORES

O critrio abaixo foi utilizado na seleo de indicadores de
desempenho para a Secretaria de Assuntos
Multiculturais da Austrlia (Australian Office of
Multicultural Interests):
1)
Para cada indicador potencial foram atribudas notas

de 1 a 5 nos seguintes quesitos:
Benefcio: as melhorias potenciais decorrentes
de se utilizar aquele indicador na avaliao do
desempenho.
Relevncia: a relevncia do indicador para os
objetivos da instituio.
Acessibilidade: a disponibilidade de dados para
clculo do indicador.
Controle: o quanto de controle a instituio teria
sobre o indicador.
2)
Multiplicaram-se as notas de cada um, obtendo-se

valores entre 1 e 625.
3)
Selecionaram-se os indicadores que obtiveram os

maiores produtos.
Utilizando esse critrio, os 27 potenciais indicadores

inicialmente encontrados foram
reduzidos para apenas 8 indicadores de desempenho.
29
3.5
DEPURAO DOS INDICADORES SELECIONADOS
Aps a identificao dos indicadores, deve-se proceder a

entrevistas com os gerentes da instituio para se discutir com eles
a adequao desses indicadores. Basicamente, a pergunta que deve
ser colocada para eles : Se os gerentes necessitarem de resposta
a esta pergunta, este indicador de desempenho fornecer a resposta
esperada?. Provavelmente ser necessrio revisar os indicadores
vrias vezes, especialmente em reas onde no existam medies
diretas nem facilidade para obteno de informaes.
3.6
FIXAO DE METAS PARA OS INDICADORES
SELECIONADOS
O passo final consiste na fixao de metas de desempenho
a serem atingidas pela instituio, que devero ser aferidas pelos
indicadores de desempenho elaborados. Cabe aos gestores a
fixao de tais metas, devendo equipe to-somente verificar se
elas so:
1)
Realsticas: levam em conta os objetivos da

instituio, o contexto econmico em que est inserida,
as limitaes oramentrias, o desempenho anterior
etc;
2)
Exeqveis: so passveis de serem atingidas, pois

se no forem, elas sero vistas como meros ideais e
no tero influncia prtica no comportamento da
instituio;
3)
Desafiadoras: so desafiadoras, pois se no forem,

elas no encorajaro a se efetuarem melhorias no
sistema; devem, portanto, ser cada vez mais
ambiciosas ao longo do tempo, de maneira a incentivar
que a instituio busque a otimizao dos resultados,
a partir dos recursos disponveis;
4)
Comparveis: podem ser comparadas internamente

instituio, ou externamente, com outras instituies
de reconhecido bom desempenho na rea;
5)
Claras: so facilmente identificveis; no sendo,

podem utilizar termos ambguos na sua definio.
30
EXEMPLO 5 FIXAO DE METAS

No desenvolvimento de indicadores de desempenho e metas
a serem atingidas por diferentes instituies governamentais
australianas, criou-se a seguinte escala de desempenho, para
avaliao da evoluo da instituio:
timo
Melhor nvel de desempenho possvel.
Meta consensual
Nvel de desempenho a ser atingido dentro de um

prazo pr-determinado.
Situao atual
Nvel de desempenho atual.
Ponto crtico
Esse nvel de desempenho aponta a necessidade

de se rever o sistema.
Inaceitvel
Pior nvel de desempenho possvel.
A vantagem de utilizar-se um sistema semelhante que se

pode ter uma viso de como as metas estabelecidas se inserem no
contexto da instituio. Isso permite que se verifique, numa primeira
anlise, se as metas foram estabelecidas de forma correta ( i.e., se
so realsticas, exeqveis, desafiadoras etc.).
3.7
REVISO DOS INDICADORES
Ainda que se tomem todos os cuidados na elaborao de

indicadores de desempenho, eles sempre podero vir a ser
aperfeioados, medida em que forem sendo utilizados pela
instituio auditada.
Outra forma de aperfeioamento dos indicadores sujeitlos s crticas e sugestes dos usurios dos servios pblicos, de
instituies acadmicas, de outras organizaes governamentais,
das entidades de classe, dos escales superiores nos ministrios,
das entidades governamentais fiscalizadoras, enfim, de todos os
que, de certa forma, esto interessados no desempenho do servio
da entidade pblica em exame.
31
4. REFERNCIAS
AUDIT Commission. Direction 98 Performance Indicators for
the Financial Year 1999/2000.
ESCOLA Nacional de Administrao Pblica. Curso: Elaborao
de Indicadores de Desempenho. Braslia, 1996.
KPMG. Output Mapping & Developing Performance Indicators.
(Documento do Microsoft Word).
KPMG. Results Oriented Management - ROM. (Apresentao em
Microsoft Powerpoint). Spring 1999.
NATIONAL Audit Office. Value for Money Handbook. Spring 97.
NATIONAL Audit Office. Performance measurement what to look
for in VFM studies. Spring 98.
NATIONAL Audit Office. What are taxpayers getting for their
money? A value for money guide to examining outputs and
outcomes. Spring 1999.
INSTITUTO Serzedello Corra. Curso: Elaborao de Indicadores
de Desempenho Institucional Fbio Ferreira Batista. Novembro,
99.
32
33

Indicadores de desempenho e mapa de produtos para auditoria

Hochgeladen von

Dokumentinformationen

Originalbeschreibung:

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Indicadores de desempenho e mapa de produtos para auditoria

Hochgeladen von

Copyright:

Verfügbare Formate

TRIBUNAL DE CONTAS DA UNIO

Secretaria-Geral de Controle Externo

Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos

Tribunal de Contas da Unio

Brasil. Tribunal de Contas da Unio.

Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional

ROSNGELA PANIAGO FLEURY

Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional

1.2. MEDIO DE DESEMPENHO E INDICADOR

1.3. NATUREZA COMPARATIVA DOS INDICADORES

1.4. VARIVEIS EMPREGADAS NA CONSTRUO

1.5. PRINCIPAIS USOS DE INDICADORES DE

1.6. QUALIDADES DESEJVEIS EM UM INDICADOR

1.7. ASPECTOS DO DESEMPENHO MEDIDOS

3.1. IDENTIFICAO DOS PRODUTOS-CHAVE.

3.2. FORMULAO DE QUESTES SOBRE

Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos

3.3. IDENTIFICAO DOS INDICADORES DE

3.4. SELEO DOS INDICADORES

3.5. DEPURAO DOS INDICADORES SELECIONADOS

3.6. FIXAO DE METAS PARA OS

3.7. REVISO DOS INDICADORES

Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional

FIGURA 2 DIMENSES DE ANLISE:

FIGURA 3 EXEMPLOS DE INDICADORES DE

FIGURA 4 ESTRUTURA BSICA DE UM MAPA DE

FIGURA 5 MAPA DE PRODUTOS X MAPA DE

EXEMPLO 2 MAPA DE PRODUTOS: ALTERAO

EXEMPLO 3 QUESTES SOBRE O DESEMPENHO.

EXEMPLO 4 SELEO DE INDICADORES.

EXEMPLO 5 FIXAO DE METAS.

Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional

A utilizao de indicadores de desempenho para aferir os

1.2. MEDIO DE DESEMPENHO E INDICADOR DE

Denomina-se mtrica frmula matemtica utilizada para calcular o indicador

Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos

Indicadores de desempenho so utilizados quando no

1.3. NATUREZA COMPARATIVA DOS INDICADORES DE

1.4. VARIVEIS EMPREGADAS NA CONSTRUO DE

Sobre a comparao de desempenho vide o Guia de Tcnica de Auditoria:

Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional

FIGURA 1 VARIVEIS COMPONENTES DOS INDICADORES

PRINCIPAIS USOS DE INDICADORES DE DESEMPENHO

Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos

Possibilita enfocar as reas relevantes do desempenho

Representatividade: o indicador deve ser a expresso

Homogeneidade: na construo de indicadores

Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional

composio de custo diversa.

Praticidade: garantia de que o indicador realmente

Validade: o indicador deve refletir o fenmeno a ser

Independncia: o indicador deve medir os resultados

Confiabilidade: a fonte de dados utilizada para o

Seletividade: deve-se estabelecer um nmero

Simplicidade: o indicador deve ser de fcil

Cobertura: os indicadores devem representar

Economicidade: as informaes necessrias ao

Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos

Acessibilidade: deve haver facilidade de acesso s

Estabilidade: a estabilidade conceitual das variveis

Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional

FIGURA 2 DIMENSES DE ANLISE