Um modelo um recurso analtico com o propsito de representar a realidade a partir da definio de um conjunto de variveis (ou aspectos da realidade que se pretende representar, aspectos estes que podem ser vistos/definidos/medidos de forma quantitativa ou qualitativa, por meio de indicadores). ssume se que a realidade um todo comple!o e os modelos, ao inclurem apenas al"umas variveis para represent la (#uscando descrever, e!plicar ou prever al"o), sero sempre recursos limitados, revelando e escondendo, dei!ando de fora muitas variveis potencialmente importantes e contendo limita$es para esta#elecer os padr$es de comportamento entre as variveis. %m suma, todo modelo limitado, mas a limitao deve ser sempre minorada por meio da escol&a das variveis mais relevantes' incluir o que mais importa e e!cluir o que no importa. construo de modelos, a partir da escol&a das variveis e seus padr$es (&ipteses) de relacionamento (causao), pode se"uir vrias l"icas' rela$es causais verificadas empiricamente ou l"ica dedutiva.( desafio deste )uia proporcionar a construo de modelos especficos de mensurao do desempen&o. *o"o, inicialmente isto implica a definio de variveis (aspectos ou dimens$es) do desempen&o que devem ser consideradas (includas no modelo). +rata se, portando, de um modelo l"ico dedutivo, que inclui variveis su"eridas pela literatura e esta#elece uma ordem de causalidade entre elas' desempen&o , aspectos relativos aos esforos - aspectos relativos aos resultados. ou seja, um conjunto de esforos que (presumivelmente) causam um conjunto de resultados. Modelos so, portanto, um conjunto de indicadores relacionados.Indicadores so mtricas que proporcionam informaes sobre o desempenho de um objeto (seja governo, poltica, programa, organi!ao, projeto etc.", com vistas ao controle, comunicao e melhoria. #s indicadores so instrumentos de gesto essenciais nas atividades de monitoramento e avaliao das organi!aes, assim como seus projetos, programas e polticas, pois permitem acompanhar o alcance das metas, identificar avanos, melhorias de qualidade, correo de problemas, necessidades de mudana etc. $ssim sendo, pode se di!er que os indicadores possuem, minimamente, duas funes b%sicas& a primeira descrever por meio da gerao de informaes o estado real dos acontecimentos e o seu comportamento' a segunda de car%ter valorativo que consiste em analisar as informaes presentes com base nas anteriores de forma a reali!ar proposies valorativas. /e forma "eral, os indicadores no so simplesmente n0meros, ou seja, so atri#ui$es de valor a o#jetivos, acontecimentos ou situa$es, de acordo com re"ras, que possam ser aplicados critrios de avaliao, como, por e!emplo, eficcia, efetividade e efici1ncia. 18 Relembrando os 6e: Dimenso (ubdimenses E1 - Efetiidade ).) Impacto *inal& o resultado "erado pelos produtos e servios de um determinado sistema (or"ani2ao, pro"rama, poltica p0#lica, rede, etc.) no #enificrio final, ou seja, na sociedade. %!emplos' 3ndice de /esenvolvimento 4umano (5/4). 657 per capita. 8oeficiente de )ini. ).+ Impacito Intermedi%rio& o resultado intermedirio "erado pelos produtos e servios de um determinado sistema (or"ani2ao, pro"rama, poltica p0#lica, setor rede, etc.) em seu #eneficrio direto. %!emplos %!emplos' 8oeficiente de mortalidade infantil. %!pectativa mdia de vida da populao 4a#itantes/domiclio. +a!a de &omicdios. Continua... E2 ! Efic"cia +.) ,uantidade - volume& o nvel de oferta e disponi#ilidade de #ens e servios "erado por umdeterminado sistema (or"ani2ao, pro"rama, poltica 0#lica, rede, etc.). %!emplo' 90mero de jovens e adultos alfa#eti2ados. :uanditdade de &a#ita$es construidas. %!tenso da mal&a rodoviria pavimentada. +.+ qualidade do produto - servio& representa a adequao entre as caractersticas dos produtos e servios entre"ues, e os requisitos e necessidades dos #eneficirios. %!emplos' :ualidade perce#ida (6ercepo/%!pectativa), dura#ilidade, esttica, confia#ilidade, tempestividade, inovao, etc. +.. $cessibilidade e /quidade& a capacidade de disponi#ili2ar #ens e servios equitativamente e fornec1;los de forma equ<nime, atendendo i"ualmente =s necessidades dos #eneficirios e a sociedade. +.0 1obertura& corresponde = relao entre a populao atendida so#re a que deveria ser atendida com #ens ou servios p0#licos "eado por um determinado sistema (or"ani2ao,pro"rama, poltica p0#lica, rede, etc.). +.2 3isco& avalia a pro#alidade de um determinado sistema asses"urar a entre"a de #ens e servios para determinados #eneficrios e a populao. E # - Efici$ncia ..) 1usto efetividade& relao entre os insumos para prestao de um determinado servio ou ela#orao de um produto e a efetividade, ou seja, entender;se pelo "rau de contri#uio de um pro"rama ou ao na consecuo de metas e o#jetivos de impatco fi!ados para redu2ir as dimens$es de um pro#lema ou mel&orar uma dada situao. ..+ 4rodutividade& relao entre o nvel de produo (servios e produtos) e os recursos utili2ados, seja o capital &umnao, imo#ili2ado, 19 investimentos e o tempo. ... 5empo& tempo decorrido entre o incio e o fim de um determinado pro"rma, projeto ou processo. %!emplos. +empo de ciclo, frequ1ncia de entre"a, tempo de desenvlvimento de novos #ens e servios, desperdcio, etc. ..0 1usto unit%rio& conjunto de custos (fi!os, variveis, reais, atri#udos, especficos e no especficos aser imputados a uma atividade por cada uniade de prouto ou servio "erado. ..2 1usto6benefcio (qualidade do gasto"& relao entre os disp1ndios reali2ados por um determinado sistema e os retornos o#tidos por conta desses disp1ndios, apresenta a relao entre os insumos e os produtos "erados. E% - E&ecu'o 0.) /7ecuo *inanceira& relao entre o volume de recursos disponi#li2ados pelo oramento e o nvel de uitli2ao desses recursos visando atender = reali2ao de etapas e/ou atividades de um pro"rama, projeto ou processo (finalsticos ou de suporte). %!emplo' ta!a de e!ecuo financeira. 0.+ /7ecuo fsica& relao entre o volume de produtos previstos para serem ente"ues pelo oramento e o nvel de entre"a desses produtos, visando atender = reali2ao dos projetos e/ou atividades. %!emplo' ta!a de e!ecuo fsica. Continua... E( - E&cel$ncia 2.) 1onformidade em relao a padres de e7cel8ncia gerencial. ( 5)6 um e!celente pro!> para a medio da e!cel1ncia de or"an2ia$es p0#licas. ? um indicador composto qualitativo e quantitativo que a#ran"e cririos como *iderana, %strat"ia e 6lnaos. 8idados, @ociedade, 5nformao e 8on&ecimento, 6essoas e 6rocessos. 2.+ 1onformidade& representa a dquao dos pojetos, a$es e processos aos padr$es e requisitosA.B definidos. %!emplos' retra#al&os, erros, responsa#ilidade am#iental, infraestrutura (conforto, etc) medidas e especifica$es, se"urana (acidentes por &oras tra#al&adas), transpar1ncia, confidencialidade, acessi#ilidade, confia#ilidade, inovao, pra2o, etc 2.. 3iscos& avalia a apro#alidade de ocorre1ncia de fal&as ou a entre"a de produtos fora das especifica$es esta#elecidas nos processos ou nos pro"ramas, de modo que isso possa provovar a insatisfao das partes envolvidas. 2.0 1asualidade& a avaliao de ftores precedentes que impatam ou influenciam o comportamnto ou resultado su#sequente, sendo, deste modo, indicdores que avaliam a adequao = padr$es. E6 ! Economicidade 9.) ,uantidade de recursos& o nvel de ofertra e disponi#ildiade de um produto ou servio "erado por um determinado fornecedor ou sistema (or"ani2ao, pro"rama, poltica p0#lica, setor rede, etc). 9.+ qualdiade dos recursos& representa a adequao entre as caractersitcas dos produtos e servios adquiridos, e os requisitos e necessidades da or"ani2ao (ou "overno). %!plemplos' dura#ilidade tcnica, esttica, qualidade perce#ida (percepo. e!pectativa), confia#ilidade, tempestividade, inovao, etc. 9.. $cessiblidade& a capacidade de captar #ens e servios equitativamente e fornec1;los de forma equ<nime, atendendo i"ualmente a necessidades dos #eneficirios e a sociedade. 9.0 1obertura& a avaliao do nvel de a#ran"1ncia de um determinado insumo crtico para a e!ecuo de pro"ramas, projetos, processos, sendo desta forma um insumo que requer alta disponi#ilidade. %!emplo' quantidade de fornecedores de um determinado insumo. 9.2 3isco& avalia a possi#ilidade de ocorr1ncia de fal&as no fornecimento de recursos para prover pro"ramas, projetos e processos. %!emplo' "rau de propenso de no rece#imento de insumos crticos. 20 2.2. )plica'o do Modelo dos 6Es do Desempenho 8ada dimenso e su#dimenso do desempen&o foi desdo#rada em nveis com o intuito de direcionar a construo de indicadores de desempen&o de distintos o#jetos, sejam "overnos, polticas, conjunto de or"ani2a$es, or"ani2a$es ou unidades or"ani2acionais. ( quadro a se"uir, apresenta a relao entre os C%s do /esempen&o e os nveis macro ()overno), meso (poltica p0#lica ou setor de "overno),meso micro (redes de or"ani2a$es), micro (or"ani2a$es) e nano (unidade de or"ani2ao), no qual em cada clula (interseco da lin&a e coluna) so detal&adas as su#dimens$es e ilustrados por al"uns indicadores representativos se"undo as caractersticas do nvel de )overno esta#elecido. (s nveis so conce#idos pela necessidade de tratar das especificidades concernentes a cada conte!to de aplicao, criando apro!ima$es a fim de evitar um tratamento i"ual para realidades distintas. (s ane!os D e B deste )uia contemplam al"uns e!emplos de indicadores levantados em oficinas com r"os centrais do )overno Eederal e em pesquisas documentais representados se"undo as m0ltiplas dimens$es do desempen&o. Matri* s+ntese do modelo de Medi'o do desempenho se,undo as 6 dimens-es e n+eis de aplica'o 21 22 23 24 2.#. Desempenho .timo e Estrutura de /ondera'o @e"undo este modelo, a otimi2ao do desempen&o requer atuao ao lon"o de toda a 8adeia de Falor. %!iste o risco de modelos construdos focarem em al"uns %s do desempen&o (efici1ncia ou na economicidade, por e!emplo) em detrimento dos demais %s. 1nfase puramente no G%H da efici1ncia (desconsiderando se os G%sHda eficcia e da efetividade) tende a tornar precrio o atendimento e a qualidade dos servios prestados ao cidado. 6ara tanto, importante ressaltar o quanto ne"ativo privile"iar a economicidade, a e!ecuo, a e!cel1ncia e a efici1ncia, e no contemplar a eficcia e a afetividade em modelos de mensurao. 9esse sentido, necessrio pensar se no #alanceamento dos C%s do /esempen&o. ( desempen&o timo aquele que efetivo, efica2, eficiente, e!celente, econImico e cuja e!ecuo de a$es e atividades ocorre em conformidade com requisitos e pra2os definidos. %m#ora &aja preced1ncia da dimenso efetividade (e sucessivamente, eficcia e efici1ncia, e!cel1ncia, e!ecuo e economicidade, da direita para a esquerda da cadeia de valor), pro#lemas em qualquer uma das dimens$es imp$e padr$es su#timos de desempen&o. 6ortanto, o modelo de desempen&o timo representado por' 8onsiderando que' %fetividade (%D)' %D est presente , D, %D no est presente , J. 25 %ficcia (%B)' %B est presente , D, %B no est presente , J. %fici1ncia (%K)' %K est presente , D, %K no est presente , J. %!ecuo (%L)' %L est presente , D, %L no est presente , J. %!ecuo (%A)' %A est presente , D, %A no est presente , J. %conomicidade (%C)' %C est presente , D, %C no est presente , J. (u seja, /esempen&o Mtimo , %D-%B-%K-%L-%A-%C , C. /esempen&o @u#timo , %D-%B-%K-%L-%A-%C N C, isto , & aus1ncia de um ou mais %. lm de necessidade de possuir todos os %s no modelo, & uma ponderao entre eles para a "erao de uma medida final do desempen&o (uma nota "lo#al) e sua disposio em um 6ainel de 8ontrole (@corecard). 4 a preced1ncia de pesos entre os %s' 6rioridades' O%D P %B P %KQ R O%L R %A R %CQ. estrutura de ponderao proposta priori2a o resultado so#re o esforo. 6ara isso, duas alternativas so propostas' )lternatia 1 /ondera'o com ,rau de fle&ibilidade: Sesultado , O%D-%B-%KQR CJT / UJT. sendo que, 6%D R 6%B R 6%K. %sforo , O%L-%A-%CQV LJT / KJT, sendo que, 6%L R 6%A R 6%C. lternativa B W 6onderao fi!a' l"ica desta ponderao inicial relativamente simples e intuitiva' 3esultados valem mais que esforos. %ntre situa$es limite &ipotticas, or"ani2a$es que se esforam menos, mas alcanam mel&ores resultados devem ser mel&or pontuadas que or"ani2a$es que se esforam mais, mas fal&am em o#ter resultados satisfatrios. *o"o, a re"ra de ouro poderia ser pontuar os resultados acima dos AJT da nota. ( quo acimaX proporo CJ/LJ apenas um patamar possvel. ssim como e!iste pondera$es para as dimens$es, tam#m deve ser aplicada a l"ica de pesos para os indicadores dentro de cada dimenso. 6rop$e se que a ponderao do indicador seja reali2ada com #ase na GYatri2 de valiao :uantitativa de 5ndicadoresH para esta#elecer pesos (entre D a A) se"undo critrios de seleo de indicadores, propiciando o#ter 26 maior sensi#ilidade no processo de priori2ao. frmula de clculo para a formao do peso do indicador ser aprofundada no item GK.U. 6asso U 6onderao e Falidao final dos indicadores com as partes envolvidasH deste )uia. ( quadro A ilustra a sntese do modelo de pondera$es. ( modelo envolve al"umas inst<ncias de a"re"ao de valores que requer formulas de clculo especficas, apresentadas se"undo as refer1ncias a se"uir' ()0 1ota ponderada do indicador&= Peso do indicadorx* Nota do indicadorx; 230 1ota da Dimenso 4 (Nota ponderada do indicador1 + Nota ponderada do indicador2 +...+ Nota ponderada do indicador n) / (Peso do indicador1 + Peso do indicador2 + ... + Peso do indicadorn); 2C0 1ota ponderada da Dimenso: Peso da Dimensox * Nota da Dimensox;; e 2D0 1ota do Desempenho ),re,ado: das Notas ponderadas das Dimenses 27 cerca do modelo de desempen&o e pondera$es, duas principais condi$es ideais so ressaltadas' a) que seja possvel a modela"em de indicadores si"nificativos e representativos nas seis dimens$es. #) que seja possvel "erar uma nota para cada indicador. %m condi$es reais, al"umas ve2es, possvel que nem todas as seis dimens$es do desempen&o possam ser contempladas (tendo em conta pro#lemas na disponi#ilidade de dados que invia#ili2em a "erao de indicadores) como tam#m possvel que no se consi"a "erar uma nota para cada indicador. ( mais importante diante das inevitveis dificuldades do mundo real a postura' preciso esforo, ima"inao e &onestidade intelectual para resolver ou atenuar as limita$es. se"uir, so comentadas al"umas possveis comuns limita$es e o que fa2er em relao a elas' Indicadores de efetiidade: i0 5 problema: a qesto ! menos "er#$os (%# mitos indicadores consa"rados de po$&ticas p'($icas) e mais assmi$os como inte"rantes do conceito de desempen%o ) pro($ema este maior nos n&*eis or"ani+a,o e nidade or"ani+aciona$. - qe est# em qesto ! o "ra de atri(i,o de responsa(i$idade (diretamente re$acionado . "o*erna(i$idade) em re$a,o a indicadores de e/eti*idade ) inerentemente s0eitos a /atores ri*ais e tempora$idade; ii0 ) solu'o1 ! tentar decomp2$os em impactos intermedi#rios e identi/icar aqe$es impactos onde %a0a ma re$a,o de atri(i,o de responsa(i$idade maior de acordo com a 3teoria do pro"rama4 em qesto; 6era'o de nota para cada indicador: i0 5 problema: ! (astante pro*#*e$ qe mitas medidas possam ser /eitas5 mas sem m correspondente par6metro de compara,o5 ta$ como ma meta o m (enc%mar7 em re$a,o ao qa$ se possa medir a dist6ncia re$ati*a e se esta(e$ecer ma nota (de $cance); ii0 ) solu'o1 ! o esta(e$ecimento de metas incrementais (3amentar 289 no per&odo se"inte) pe$o tempo necess#rio para qe se compreenda a cr*a de desempen%o do indicador em qesto5 permitindo ma /ixa,o rea$ista e desa/iadora de metas; Indicadores das demais dimens-es: i0 5 problema1 ainda qe %a0a di/ic$dades na identi/ica,o e na co$eta de dados para "era,o de indicadores em "era$ (principa$mente na dimenso e/ici:ncia)5 ii0 ) solu'o1 a postra correta ! ti$i+ar aproxima,es e5 so(retdo5 come,ar a medir para incorporar ao mode$o no momento se"inte. 28 ;m sma5 ! pre/er&*e$ qe %a0a aproxima,es a $acnas. <as o /ndamenta$ ! aprimorar o mode$o de mensra,o ao $on"o do tempo5 tendose em conta qe se trata de m processo qe di/ici$mente se inicia com o p$eno atendimento de todos os reqisitos. #. Construindo Indicadores de desempenho ( processo de construo de indicadores de desempen&o no possui um procedimento 0nico ou uma metodolo"ia padro. 9o entanto, a partir da reviso das principais e!peri1ncias de construo de indicadores para o setor p0#lico e privado, su"ere se um conjunto de etapas (Ei"ura L) que asse"uram a coer1ncia da formulao e implementao do conjunto de indicadores que se planeja construir. %m sequ1ncia, a fi"ura apresenta o desdo#ramento das etapas nos passos correspondentes. 29 #.1. /asso 1 - Identifica'o do 1+el7 Dimenso78ubdimenso e 5b9etos de Mensura'o /efinir o que ser mensurado constitui a refle!o inicial do processo de criao de indicadores de desempen&o. %ntretanto, ca#e responder, primeiramente, em qual nvel da dministrao 60#lica se deseja criar medidas, ou seja, para que or"ani2ao, poltica p0#lica ou )overnos ser modelado indicadores. 6ode ser apenas uma unidade de uma or"ani2ao, um nvel de poltica p0#lica ou mesmo o )overno como um todo. (s nveis principais propostos so' macro ()overno), meso (poltica p0#lica ou setor de "overno), meso micro (redes de or"ani2a$es), micro (or"ani2ao) e nano (unidade de or"ani2ao). Uma ve2 identificado qual o nvel a ser mensurado, requerido a definio precisa do que ser mensurado W qual , especificamente, o o#jeto de mensurao. identificao dos o#jetos de mensurao se d a partir do uso da cadeia de valor, por se tratar de um instrumento facilitador da representao do universo de anlise, contri#uindo para uma mel&or compreenso de seu am#iente interno e e!terno, #em como para e!plicitao dos resultados e impactos pretendidos pela or"ani2ao, pro"rama ou "overno. (s elementos da cadeia de valor, se"undo apresentados no item GB.D. %lementos da 8adeia de Falor e dimens$es do desempen&oH e ilustrado na fi"ura C a se"uir, so compreendidos em' entradas (insumos), a$es transformadoras (processos, projetos etc.), sadas (produtos/servios) e impactos. 30 %ste tipo de representao possi#ilita tam#m que se identifiquem as partes interessadas que atuam ao lon"o da cadeia de valor de uma poltica p0#lica ou or"ani2ao, permitindo e!plicitar os p0#licos interessados no desempen&o da unidade em anlise. (s #al$es na #ase da fi"ura C au!iliam no mapeamento de atores para cada elemento da cadeia de valor. ps a definio dos o#jetos de mensurao e partes interessadas, necessrio definir para cada dimenso dos C%s suas possveis su#dimens$es nas quais se deseja criar os indicadores. ( desen&o da cadeia de valor au!ilia na identificao dos elementos de mensura$es para as seis dimens$es e respectivas su#dimens$es. definio da su#dimenso procura e!plorar as medidas possveis e ca#veis de serem e!tradas a partir do o#jeto de mensurao escol&ido. (u seja, qual o tipo de medida mais importante ser mensurado para o o#jeto de mensuraoX 8onforme ressalta o captulo anterior, recomenda se #uscar a#arcar todas as dimens$es dos C%s do /esempen&o, devendo se questionar quais so as medidas desejveis para cada dimenso do metamodelo. %ste passo condu2ido com a ela#orao da cadeia de valor da unidade em anlise e com su#sdios da Yatri2 sntese do modelo de Yedio do desempen&o ( quadro C a se"uir ilustra o e!trato da /imenso %fetividade e o quadro U posterior re"istra seu desdo#ramento, apresentando e!emplos para os nveis macro e meso. 31 Fale destacar que o critrio recomendado para direcionar a identificao dos o#jetos de mensurao e seleo das su#dimens$es a estrat"ia de )overno, da poltica, da or"ani2ao ou da unidade, normalmente definidas em forma de o#jetivos e prioridades estrat"icas. ( entendimento desses o#jetivos estrat"icos so direcionadores para a criao de indicadores coerentes que reflitam de maneira clara e adequada o quanto da estrat"ia est sendo alcanada no nvel definido ()overno, poltica etc.). s or"ani2a$es ou )overnos que possuem uma a"enda estrat"ica detal&ada e le"tima disp$em de informa$es relevantes para su#sidiar a escol&a dos o#jetos de mensurao e su#dimens$es para cada um dos C%s do desempen&o. 32 #.2. /asso 2 - Estabelecimento de Indicadores ps reali2ar o passo D, os su#sdios principais para a ela#orao do indicador (como medir) j esto definidos. (s indicadores devem ser especificados por meio de mtricas estatsticas, comumente formados por porcenta"em, mdia, n0mero #ruto, proporo e ndice. 5s componentes b"sicos de um indicador so: Medida1 "rande+a qa$itati*a o qantitati*a qe permite c$assi/icar as caracter&sticas5 res$tados e conseq:ncias dos prodtos5 processos o sistemas; :;rmula1 padro matem#tico qe expressa . /orma de rea$i+a,o do c#$c$o; <ndice (n'mero)1 *a$or de m indicador em determinado momento; /adro de compara,o1 &ndice ar(itr#rio e aceit#*e$ para ma a*a$ia,o comparati*a de padro de cmprimento; e Meta1 &ndice (n'mero) orientado por m indicador em re$a,o a m padro de compara,o a ser a$can,ado drante certo per&odo. Na identi/ica,o e se$e,o de m indicador ! importante considerar m con0nto de crit!rios (#sicos5 para "arantir a sa posterior operaciona$i+a,o. -s crit!rios centrais para m indicador so1 8eletiidade o import6ncia1 /ornece in/orma,es so(re as principais *ari#*eis estrat!"icas e prioridades de/inidas de a,es5 prodtos o impactos esperados; 8implicidade5 c$are+a5 inte$i"i(i$idade e comnica(i$idade1 os indicadores de*em de*em ser simp$es e compreens&*eis5 capa+es de $e*ar a mensa"em e o si"ni/icado. -s nomes e expresses de*em ser /aci$mente compreendidos e con%ecidos por todos os p'($icos interessados; Representatiidade5 con/ia(i$idade e sensi(i$idade1capacidade de demonstrar a mais importante e cr&tica etapa de m processo5 pro0eto etc. -s dados de*em ser precisos5 capa+es de responder aos o(0eti*os e co$etados na /onte de dados correta e de*em re/$etir tempesti*amente os e/eitos decorrentes das inter*en,es; Inesti,atios1 os dados de*em ser /#ceis de ana$isar5 se0am estes para re"istro o para reter in/orma,es e permitir 0&+os de *a$or; Comparabilidade: os indicadores de*em ser /aci$mente compar#*eis com as re/er:ncias internas o externas5 (em como s!ries %ist=ricas de acontecimentos; Estabilidade1 procedimentos "erados de /orma sistem#tica e constante5 sem mitas a$tera,es e comp$exidades5 ma *e+ qe ! re$e*ante manter o padro e permitir a s!rie%ist=rica; Custoefetiidade1 pro0etado para ser /act&*e$ e economicamente *i#*e$. -s (ene/&cios em re$a,o aos cstos de*em satis/a+er todos os otros demais n&*eis. Nem todas as in/orma,es de*em ser mensradas5 ! preciso a*a$iar os (ene/&cios "erados em detrimento do 2ns despendido. lm disso, necessrio identificar se a escol&a do indicador atende =s e!pectativas de seus p0#licos de interesse, como os r"os setoriais, r"os centrais, r"os de controle e outros possveis interessados, de modo a asse"urar a relev<ncia do indicador proposto. ( quadro Z, a#ai!o, apresenta o desdo#ramento da dimenso dos C%s em indicadores, perpassando pela definio da cate"oria da su#dimenso. 33 #.#. /asso # - =alida'o /reliminar dos Indicadores com as /artes Interessadas @elecionar e validar os indicadores com as partes interessadas fundamental para a o#teno de um conjunto si"nificativo de indicadores que propicie uma viso "lo#al da or"ani2ao e represente o desempen&o da mesma. ( processo de validao condu2ido vis = vis com a anlise dos critrios de avaliao do indicador. /urante a validao so levados em conta diversos critrios apresentados (ver passo B W %sta#elecimento de indicadores), tais como' seletividade. simplicidade e clare2a. representatividade. rastrea#ilidade e acessi#ilidade.compara#ilidade. esta#ilidade. custo efetividade. %sses critrios serviro de #ase para a deciso de manter, modificar ou e!cluir os indicadores inicialmente propostos. #.%. /asso % - Constru'o de :;rmulas7estabelecimento de Metas e 1otas Uma ve2 definido o conjunto de indicadores e, por sua ve2, analisados a lu2 dos critrios (principalmente, seletividade e via#ilidade), o passo de construo de frmulas e esta#elecimento de metas e notas pode ser iniciado. #.%.1. Constru'o de f;rmulas frmula descreve como deve ser calculado o indicador, possi#ilitando clare2a com as dimens$es a serem avaliadas. frmula permite que o indicador seja' inteli"vel. interpretado uniformemente. compati#ili2ado com o processo de coleta de dados. especfico quanto = interpretao dos resultados e apto em fornecer su#sdios para o processo de tomada de deciso. 9esse sentido, recomenda se evitar frmulas de alta comple!idade ou 34 que no respondam as quest$es necessrias. frmula do indicador deve, so#retudo, ser de fcil compreenso e no envolver dificuldades de clculo ou de uso, proporcionando a o#teno de um resultado, numrico ou sim#lico, facilmente comparvel com valores predeterminados, posteriores ou anteriores, para apoiar o processo decisrio. 8ada frmula possui uma unidade de medida que confere um si"nificado ao resultado. s unidades de medida podem ser diversas, contudo, sua composio deve se"uir uma lin&a de raciocnio, possi#ilitando a anlise do resultado o#tido e a comparao com uma serie &istrica. s unidades de medida mais comuns so' Indicadores 8imples: >epresentam m *a$or nm!rico (ma nidade de medida) atri(&*e$ a ma *ari#*e$. Norma$mente5 so ti$i+ados para medir e/ic#cia5 o se0a5 a qantidade de determinado prodto o ser*i,os entre"e ao (ene/ici#rio. No expressa a re$a,o entre das o mais *ari#*eis. ;xemp$os1 N'meros de a$nos matric$ados no ensino m!dio; N'mero de a$nos apro*ados no ensino /ndamenta$; N'mero de no*os postos de tra(a$%os criados. Indicadores Compostos: -s indicadores compostos expressam a re$a,o entre das o mais *ari#*eis. De acordo com as re$a,es entre as *ari#*eis qe os constitem e a /orma como so ca$c$adas5 so denominados de maneiras espec&/icas. ?ssim t:m@se qatro tipos de indicadores compostos1 i) /ropor'o ou Coeficiente: A o qociente entre o n'mero de casos pertencentes a ma cate"oria e o tota$ de casos considerados.;sse qociente ! tam(!m c%amado de coe/iciente5 representando a ra+o entre o n'mero de ocorr:ncias e o n'mero tota$ (n'mero de ocorr:ncias mais o n'mero de no ocorr:ncias). E&emplos: 8oeficiente de natalidade , n0mero de nascidos / populao total. 8oeficiente de mortalidade , n0mero de #itos / populao total ; 8oeficiente de evaso escolar , n0mero de alunos evadidos / n0mero inicial de matrculas reali2adas. ii) /orcenta,em: -(tida a partir do c#$c$o das propor,es5 simp$esmente m$tip$icando o qociente o(tido por 188. ?s porcenta"ens e propor,es t:m por o(0eti*o principa$ criar compara,es re$ati*as destacando a participa,o de determinada parte no todo. E&emplo: Porcentagem de alunos matriculados na 1 srie do ensino mdio !n" de alunos matriculados na #rimeira srie do ensino mdio $ n" total de alunos matriculados no ensino mdio% & 100. iii) Ra*o ou <ndice: ? ra+o de m n'mero ? em re$a,o a otro n'mero B se de/ine como ? di*idido por B. ?s propor,es representam m tipo partic$ar de ra+o. 'ntretanto( o termo ra)*o usado normalmente +uando , e - re#resentam categorias se#aradas e distintas. 'ste+uociente tam.m c/amado de 0ndice( indicando tratarse de ra)*o entre duas grande)as tais +ue uma n*o inclui a outra. E&emplos: 1ensidade demogr23ca Po#ula4*o $su#er50cie6 e 7enda #er ca#ta 7enda $ #o#ula4*o. i*) >a&a: Co coe/icientes m$tip$icados por ma pot:ncia de 18 e ses m'$tip$os para me$%orar a compreenso do indicador. 35 E&emplos: 8a&a de mortalidade Coe3ciente de mortalidade & 1.0006 8a&a de natalidade Coe3ciente de natalidade & 1.0006 e 8a&a de e9as*o escolar Coe3ciente de e9as*o escolar & 100. frmula de clculo e a unidade de medida fornecem su#sdios para identificar o comportamento esperado do indicador, ou seja, se o indicador maior mel&or, menor mel&or ou i"ual mel&or. /essa forma, a interpretao do indicador informa se o #om desempen&o alcanado quando o resultado do indicador est aumentando, diminuindo ou permanecendo o mesmo. +rata;se de uma informao inte"rante que orienta a anlise crtica do desempen&o do indicador. /or e&emplo7 o DDE representa m (om desempen%o qanto mais pr=ximo de 15 a/erindo ma me$%or qa$idade de *ida da pop$a,o da re"io. Foncomitantemente . constr,o da /=rm$a do indicador5 ! necess#rio de/inir a ori"em de onde os dados so extra&dos5 o se0a5 a /onte de dados5 podendo ser de m setoria$5 or"ani+a,o5 nidade or"ani+aciona$5 sistema in/ormati+ado o otra /onte como re$at=rios o pesqisas de ori"em externa. E&emplos de a$"mas /ontes so as (ases estat&sticas de indicadores sociais5 econ2micos5 entre otros1DP;?5 DN;P5 Banco <ndia$5 PNGD5 -FD;. Ha$e destacar qe a identi/ica,o da /onte dos dados ! m importe direcionador para a de/ini,o de metas. #.%.2. Estabelecimento de metas Uma ve2 esta#elecidas as frmulas e as fontes dos dados, se"ue se o esta#elecimento de metas. meta uma e!presso numrica que representa o estado futuro de desempen&o desejado. +odos os indicadores de desempen&o devem ter metas, podendo ser definida mais de uma meta por indicador. s metas t1m como o#jetivo serem suficientes para asse"urar a efetiva implementao da estrat"ia, por e!emplo, de )overno (nvel macro), de poltica (nvel meso) ou de or"ani2ao (nvel micro). s metas cont1m uma finalidade, um valor e um pra2o. finalidade de cada meta enunciada no detal&amento do indicador e e!pressa um propsito da or"ani2ao. Um estado de futuro esperado em um determinado perodo. 6ara isso, as metas devem ser' alcanveis. desafiadoras. diretas. ne"ociveis. fundamentadas em sries &istricas, tend1ncias e #enc&mar[. Secomenda;se #uscar referenciais comparativos (#enc&mar[s) pertinentes quando tratar de indicadores consa"rados e de ampla utili2ao. (s o#jetivos do uso de informa$es comparativas so' Iornecer o entendimento da posi,o re$ati*a da nidade de an#$ise em re$a,o experi:ncias re/erenciais existentes; <e$%orar o entendimento de ses desempen%os; e Iornecer s(s&dios para o preciso esta(e$ecimento de metas5 36 s informa$es de #enc&mar[s podem ser o#tidas internamente ou e!ternamente = unidade de anlise a partir de referenciais como outra or"ani2ao, processo, servios, produtos ou resultado considerados de notrio destaque. envolve o levantamento de mdias setoriais, or"ani2a$es similares na mesma re"io "eo"rfica ou que fornecem tipos semel&antes de servios e produtos em distintas re"i$es. %m sntese, o #enc&mar[ visa su"erir valores referenciais para comparao do desempen&o da or"ani2ao (ou )overno) em relao a cada indicador esta#elecido. 9o caso de indicadores especficos, como o caso de indicadores concernentes a um conte!to sin"ular, em "eral, devem ser construdas as metas com #ase, principalmente, em sries &istricas de desempen&o, e que estejam alin&ados com os o#jetivos estrat"icos pretendidos. )l,uns cuidados deem ser tomados ao estabelecer metas7 a saber1 considerar os desempen%os anteriores; descre*er o cen#rio em qe se insere o o(0eto do indicador; possir ma compreenso c$ara do est#"io de re/er:ncia inicia$5 o se0a5 da $in%a de (ase (Ho). ;xemp$o1 '$timo ano5*a$or da '$tima a/eri,o /eita5 m!dia da tend:ncia etc.; de/inir metas /act&*eis5 $e*andose em considera,o a disponi(i$idade dos recrsos reqeridos; considerar os /atores1 o *o$me de recrsos dispon&*eis para o pro0eto5 as condicionantes do am(iente (po$&ticas5econ2micas5 capacidade or"ani+aciona$) etc.; tratandose de m indicador no*o (nnca ti$i+ado anteriormente)5 ser cate$oso para no esta(e$ecer metas adaciosas. Neste caso5 recomendase ti$i+ar ma s!rie de metas esta(e$ecidas con/orme cen#rios pre*istos. ( quadro \ a se"uir apresenta a sntese das etapas da construo do indicador at esta etapa. 37 #.%.#. Defini'o de notas nota deve refletir o esforo no alcance da meta acordada, por indicador em particular, o que implicar na determinao de valores de J (2ero) a DJ (de2) para cada um, conforme a relao entre o resultado o#servado e a meta acordada. @u"ere se o uso de uma escala padro ou escalas especificas para cada indicador. Fale destacar que escalas especficas para cada indicador devem ser fi!adas em funo dos valores correspondentes = "rande2a da medida, de maneira que o instrumento de medio ten&a preciso adequada a sua utili2ao, primando por captar a variao do estmulo correspondente. 6or e!emplo, um indicador anual de disponi#ilidade de ener"ia eltrica deve possuir escala delineada entre \JT e DJJT. 6or outro lado, um indicador de ta!a de e!ecuo fsica de pro"rama deve apresentar escala com variao entre JT eDJJT, e sua respectiva interpolao de notas. adequao da sensi#ilidade da escala ao indicador fundamental para evitar interpreta$es enviesadas na anlise de valores aferidos pela mensurao. ( quadro DJ ilustra um e!emplo de escala de notas. 38 ( resultado da multiplicao do peso pela nota corresponder ao total de pontos atri#udos a cada indicador dentro de cada dimenso. ( quadro DD a se"uir apresenta o esta#elecimento da escala de notas por indicador #.(. /asso ( - Defini'o de Respons"eis 39 (s indicadores de desempen&o se desdo#ram para toda or"ani2ao e possuem como o#jetivo central entre"ar informa$es so#re o "rau de cumprimento das metas. 6ortanto, o passo se"uinte aps a construo das frmulas e esta#elecimento das metas esta#elecer os responsveis pela apurao do indicador. 9esta fase necessria a indicao do responsvel pela "erao e divul"ao dos resultados o#tidos de cada indicador. %m al"uns casos, o responsvel de pela apurao e pelo desempen&o do indicador podem ser os mesmos. 5ndicadores sem responsveis por sua coleta e acompan&amento no so avaliados, tornando se sem sentido para a or"ani2ao. Uma ve2 identificado o responsvel pela coleta, definida a periodicidade de coleta do indicador, ou seja, descrita a periodicidade temporal em que os resultados cone!os ao indicador devem estar disponveis para serem apurados. %!emplos, semanal,mensal, semestral, anual. ( quadro DB a se"uir apresenta o esta#elecimento de responsveis e periodicidade por indicador. #.6. /asso 6 - 6era'o de 8istema de Coleta de Dados 40 sistemtica de coleta de dados determina os requisitos para o levantamento de informa$es so#re os indicadores. %ssa etapa comple!a, uma ve2 que & necessidade de se coletar dados acessveis, confiveis e de qualidade. identificao dos dados varia de acordo com o tempo e os recursos disponveis, assim como o tipo de informao necessria. /e modo "eral as principais tcnicas de coleta de dados so' >radicionais1 ap$ica,o de qestion#rios5 rea$i+a,o de entre*istas5 o(ser*a,o direta5 an#$ise docmenta$ (/&sicos e *irtais); Em ,rupo: o/icinas5 brainstorm5 renies em eqipe (por exemp$o5 Joint Application Design J?DK); De prototipa'o1 sim$a,o e experimenta,o; Co,nitias1 an#$ise menta$5 ded,o e in/er:ncias; e Conte&tuais1 an#$ise socia$5 an#$ise do am(iente interno e an#$ise do am(iente externo. ps definidos os mtodos de coleta das informa$es necessrio se"uir para o pr!imo passo, de validao dos indicadores pelas partes interessadas. #.?. /asso ? - /ondera'o e =alida'o :inal dos Indicadores com as /artes Interessadas ponderao e validao final dos indicadores com as partes interessadas so fundamentais para a o#teno de uma cesta de indicadores relevante e le"tima que asse"ure a viso "lo#al da or"ani2ao e, assim, possa representar o desempen&o da mesma. ( processo de validao condu2ido vis = vis uma sistemtica de pondera$es em que so definidos pesos para as dimens$es do U ]/ um mtodo ori"inrio em D\UU destinado a e!trair informa$es de alta qualidade dos usurios em curto espao de tempo, atravs de reuni$es estruturadas que #uscam decis$es por consenso (U)U@+, D\\K). para cada critrio de seleo do indicador, avaliando o "rau de relev<ncia de dimens$es e de indicadores para a mensurao do desempen&o da or"ani2ao (ou )overno). ponderao da dimenso do desempen&o reali2ada se"undo recomenda$es apresentadas no item GB.K. /esempen&o Mtimo e %strutura de 6onderaoH. Uma ve2 definidos os pesos das dimens$es, necessrio ponderar os critrios de seleo do indicador para se o#ter um conjunto seleto de indicadores por dimenso. Secomenda se que a definio do conjunto final de indicadores validada no possua mais que quatro ou cinco indicadores por dimenso dos C%s do /esempen&o. seleo dos indicadores feita com #ase na metodolo"ia da Yatri2 de valiao :uantitativaZ, ela#orada pela @65 e adaptada ao conte!to do )uia. (s critrios de seleo so fundamentados nos atri#utos dos indicadores (item K.B) e servem para esta#elecer um ranqueamento das medidas propostas, permitindo uma seleo coerente e se"ura. (s critrios de seleo so apresentados no quadro DK a se"uir. 41 /efinidos os critrios de seleo do indicador, necessrio o esta#elecimento de pesos (variando entre D e A para o#teno de uma maior sensi#ilidade) para cada indicador su"erido, se"undo seu "rau de import<ncia no conte!to. anlise dos indicadores reali2ada a partir da Yatri2 de valiao :uantitativa, ilustrada no quadro DL. ( indicador atendendo a um determinado critrio rece#e o n0mero GDG em sua respectiva clula e, caso contrrio, rece#e o n0mero GJG. ( quadro DL representa um e!emplo da Yatri2 em que a coluna G6eso ponderado totalH resulta da soma ponderada dos pesos assinalados para cada indicador. frmula de clculo para o peso ponderado total dos indicadores ' Peso ponderado tota$ = L(Frit!rio1 * Peso1) + (Frit!rio2 * Peso2) +M + (Frit!rion * Peson)N / 18; 8onsiderando que os pesos devem ser atri#udos entre D e A e o somatrio dos pesos seja i"ual a AJ. %ssa tcnica permite esta#elecer um ranqueamento dos indicadores,utili2ando ou no o recorte por dimenso e classificando os se"undo uma ordem de prioridade. 42 ps a ponderao das dimens$es e dos indicadores, su"ere se utili2ar conceitos da teoria do pro"rama para e!primir as interrela$es entre os indicadores.+rata se de uma avaliao qualitativa de pro#a#ilidade e impacto de condicionantes mapeadas.6ara isso,deve se identificar os principais padr$es causais e!istentes entre os indicadores. ssim, possvel verificar os indicadores contri#uidores para o alcance dos resultados desejados a partir de uma a#orda"em metodol"ica #aseada em &iptese. s &ipteses apiam as rela$es de influ1ncia entre as variveis que relacionam os indicadores. 9o o#stante, al"uns cuidados devem ser tomados quando se trata de modelos causais l"icos, visto que, na maioria dos casos, o indicador possui apenas uma parte na influ1ncia so#re o resultado de seu indicador su#sequente. (u seja, e!iste uma variedade de fatores e!ternos descon&ecidos e que so desconsiderados da anlise. ( principal o#jetivo compreender a din<mica da a#orda"em das cone!$es causais. 6or e!emplo, por um lado, o 5/4 diretamente influenciado pelos indicadores de %!pectativa de vida ao nascer, +a!a de alfa#eti2ao, +a!a de matrcula e 657 per capita. 6or outro lado, por tratar se de um indicador de impacto final, no influencia outros indicadores su#jacentes a ele. definio de rela$es qualitativas parece ser a mais apropriada, no entanto, & tam#m mtodos quantitativos. s rela$es causais identificadas por metodolo"ias quantitativas (estatsticas) so e!perimentos ou quase e!perimentos projetados que frequentemente so dispendiosos e/ou ine!equveis. 43 6or fim, vale ressaltar que modelos l"icos de causalidade so somente GmodelosG W e no a realidade. todavia, mesmo modelos simples so 0teis, pois ajudam a qualificar rela$es esperadas, direcionar ou testar princpios, proposi$es, e "erar ao e aprendi2ado. ( quadro DA apresenta o modelo de resultados consolidados das pondera$es de dimens$es e indicadores e rela$es de causalidade correspondentes. @uadro 1(. /ondera'o de Dimens-es e Indicadores e rela'-es de causalidade 1+el Uma ve2 selecionados e validados os indicadores prioritrios, os atri#utos descritivos de cada indicador devem ser corretamente formali2ados, de forma a asse"urar a uniformi2ao do entendimento pela or"ani2ao, #em como sua esta#ilidade e confia#ilidade ao lon"o do tempo. 44 - qadro 1O exemp$i/ica m mode$o de deta$%amento do indicador. #.A. /asso A - Mensura'o do Desempenho ps a e!ecuo de todos os passos #sicos para a criao do indicador e sua sistemtica, torna se necessrio medir o que se deseja. %sse passo iniciado com a coleta de dados e o clculo do indicador, e finali2ado com a converso do valor o#tido na nota correspondente. /e forma a facilitar a mensurao e a ponderao relativas a cada indicador, o quadro DU a se"uir e!emplifica o modelo de desempen&o consolidado da unidade de anlise com destaque para as notas atri#udas por indicador, por dimenso e o valor do desempen&o a"re"ado mensurados em um determinado ciclo de monitoramento e avaliao. 45 #.B /asso B - )n"lise e Interpreta'o dos Indicadores 6romover a anlise e a interpretao dos dados aspecto primordial para o processo decisrio, pois, caso contrrio, a e!ist1ncia de uma sistemtica de monitoramento e avaliao no proporciona "an&os e #enefcios para a or"ani2ao, &avendo apenas disp1ndio de tempo e de recursos. anlise e a interpretao de dados podem ocorrer de diversas formas, aps a prvia coleta e mensurao das informa$es. s principais formas de anlise e interpretao ocorrem por meio de' >enies "erenciais; >enies operacionais; Dnterc6m(io de in/orma,es e so$,es; e Na "esto do diaadia. 46 #.1C. /asso 1C - Comunica'o do Desempenho comunicao um fator preponderante para a inte"rao da or"ani2ao e o desdo#ramento dos resultados em todos os nveis, internamente e e!ternamente. Um mito com relao = comunicao e a tomada de deciso que, atualmente, no & tempo para repassar informa$es e reali2ar considera$es. interao entre as equipes e o alin&amento de con&ecimentos cria siner"ia e um senso comum de atuao. ( processo de comunicao move as a$es, estimula a mudana, "era a consci1ncia e o en"ajamento, e mantm o ritmo da or"ani2ao na #usca do mel&or desempen&o. 6ara reali2ar a comunicao do desempen&o as or"ani2a$es podem adotar as mais diversas ferramentas e!istentes, cujas mais comuns so' ?presenta,o institciona$ de res$tados para os co$a(oradores; Paine$ de indicadores com ses respecti*os res$tados (Fentra$ de res$tados); Banners com /aixas de desempen%o (*erme$%o5 amare$o5*erde e a+$); >enies de a*a$ia,o de desempen%o; >e$at=rios anais (/&sicos e *irtais); e ?*a$ia,o externa (pr:mios de exce$:ncia). #.11. /ainDis de Controle etapa de comunicar o desempen&o envolve esforo de transmitir o m!imo de informao no menor tempo. 6ara isso, so conce#idos painis de controle para a disponi#ili2ao de um conjunto relevante e necessrio de indicadores e!postos so# a forma de "rficos e ta#elas com sinali2adores de modo que as informa$es so#re o desempen&o possam ser repassadas =s partes interessadas, para serem consumidas e a#sorvidas nos processos decisrios. /essa forma, os principais requisitos crticos de um painel de controle so forma, disposio e acesso as informa$es. Um #om painel de controle pode ser ela#orado e disponi#ili2ado de m0ltiplas formas' ^e#pa"es, #anners, monitores, displa>s, carta2es e/ou sistemas informati2ados. o se tratar de modelos de painis timos que avaliam o relevante,al"uns atri#utos devem ser considerados' se$eti*idade1 esco$%a dos o(0etos se"ndo crit!rios de si"ni/ic6ncia; coer:ncia1 a$in%amento entre o(0eto e metodo$o"ia; simp$icidade1 esco$%a e desen*o$*imento de instrmentos se"ndo crit!rios de /nciona$idade; so e apropria,o1 apro*eitamento da in/orma,o no processo "erencia$ e *ia mecanismos de transpar:ncia con/ia(i$idade1 credi(i$idade das in/orma,es e exp$ica,es "eradas; $e"itimidade1 en*o$*imento dos p'($icos de interesse; e contesta(i$idade1 con/ronta,o de atoria de dados 47 Padro 1Q. ;strtra do Paine$ de Dndicadores N&*e$ <acro @ Ro*erno Padro 1S. ;strtra do Paine$ de Dndicadores N&*e$ <eso ) Po$&tica P'($ica o Cetor de Ro*erno 48 Padro 28. ;strtra do Paine$ de Dndicadores N&*e$ <eso@micro ) >ede de -r"ani+a,es Padro 21. ;strtra do Paine$ de Dndicadores ) N&*e$ <icro @ -r"ani+a,o 49 Padro 22. ;strtra do Paine$ de Dndicadores N&*e$ Nano ) Gnidade -r"ani+aciona$ RE:ERE1CI) 3I3IF56RG:IC): Material adaptado do manual & melhoria da gesto p:blica por meio da definio de um guia referencial para medio do desempenho da gesto, e controle para o ;erenciamento dos indicadores de efici8ncia, efic%cia e de resultados do programa nacional de gesto p:blica e desburocrati!ao - produto 0' )uia referencial para medio de desempen&o e manual para construo de indicadores. 6rodu2ido pelo ministrio do 6lanejamento/ @ecretaria de )esto. 50