35

METODOLOGIA PARA AVALIAO EX ANTE E EXPOST DA RELEVNCIA SOCIAL DE POLTICAS PBLICAS

Jos Afonso Ferreira Maia*

RESUMO Este artigo consiste em uma abordagem metodolgica para avaliar ex ante e ex post, polticas pblicas, sob o enfoque social de eficincia. Busca estabelecer o elo entre o princpio da eficincia econmica, axiologicamente demonstrado, e a eficincia social, coerente com o postulado de preferncia e seus axiomas de transitividade e indiferena, que fundamentam a teoria econmica da escolha tima, com base no mtodo matricial e na inferncia estatstica. O autor apresenta os principais indicadores de avaliao ex post no campo da implementao e gesto de programas, projetos, e aes finalsticas associados a macroobjetivos e objetivos especficos, utilizando, a ttulo de exemplo e no plano terico, aqueles formulados no Plano de Desenvolvimento Econmico do Estado Bahia: 2020, do ano de 2006, como critrios e subcritrios de avaliao e de hierarquizao da relevncia social ex ante e ex post dos programas e projetos e aes finalsticas a serem contemplados nesse Plano. PALAVRAS-CHAVE: Relevncia social. Eficcia. Indicadores de impacto.

APRESENTAO
O propsito deste texto o de apresentar uma abordagem metodolgica robusta e consistente com o princpio de transitividade, para hierarquizar programas e projetos, quanto a relevncia social, tomando a ttulo de exemplo, como critrios e subcritrios

*Prof. Titular (DCIS/UEFS). Doutor em Economia pela Clark University (USA). E-mail: jafonsomaia@svn.com.br
Universidade Estadual de Feira de Santana Dep. de CIS. Tel./ Fax (75) 3224-8049 - BR 116 KM 03, Campus - Feira de Santana/ BA CEP 44031-460. E-mail: cis@uefs.br

Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.

2008

36

de avaliao, o objetivo geral de cada programa e seus respectivos objetivos especficos, considerando que a avaliao de objetivos est sujeita a juzo de valor dos tomadores de deciso e/ou pelo pblico-alvo. Pelas especificidades das dimenses de cada objetivo geral e de cada objetivo especfico e sendo relativa a importncia de cada um deles, valorados subjetivamente pelos tomadores de deciso, torna-se necessrio encontrar os seus respectivos valores relativos ex ante, corrigidos pelos seus respectivos graus de alcance avaliados ex post. Trata-se, portanto, de dois tipos de abordagem: a primeira corresponde hierarquizao em escala cardinal do valor social dos objetivos gerais e especficos de cada projeto; a segunda relaciona-se com o grau de alcance desses objetivos, a partir do grau de alcance das metas avaliadas por um ou mais indicadores. Essa metodologia uma extenso daquela utilizada por Maia e outros (2004; 2005). Nesse caso, para a avaliao da relevncia social, utilizam-se como fatores de correo os respectivos graus de alcance dos objetivos gerais e especficos dos programas. No caso da viabilidade social, segundo o referido autor, utilizam-se os valores hierrquicos de bem-estar social, como fatores de correo, dos respectivos Valores Presentes Lquidos (VPL's) e/ou das Taxas Internas de Retorno (TIR's); e assim, a viabilidade dos projetos passa a ter a dimenso social dos valores subjetivos dos critrios e subcritrios de bemestar, atribudos pelo pblico-alvo e/ou pelos tomadores de deciso. Trata-se de uma metodologia para a avaliao econmica e social de projetos, robusta e consistente com o princpio da eficincia social de alocao de recursos e que, a juzo do autor, busca estabelecer o elo entre a eficincia econmica e a social ou entre a viabilidade econmica e a social de relevncia, coerente com o postulado de preferncia e seus axiomas de transitividade e indiferena da teoria econmica da escolha tima. A Seo 1 compreende uma introduo dos conceitos de avaliao ex ante e ex post, indicando os conflitos tericos e de poltica entre o princpio de eficincia econmica e social;

Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.

2008

37

na Seo 2, o autor resume alguns modelos de indicadores de critrios de avaliao ex-post; na Seo 3, aborda a metodologia para avaliar e hierarquizar a relevncia social de projetos sociais e detalha as etapas da metodologia para a avaliao ex ante e ex post; finalmente, na Seo 4, conclui o texto com as implicaes de polticas e robustez da metodologia.

1 INTRODUO
As polticas pblicas, aqui definidas por programas, projetos e aes finalsticas 1 , para a produo e prestao de bens e servios quase-pblicos 2 e pblicos 3 so, em geral, desprovidas de avaliaes ex-ante de viabilidade econmica 4 e de avaliaes ex-post, quanto eficcia, efetividade e impacto, custo-efetividade, dentre outros critrios de avaliao, fundamentados no princpio da eficincia tcnica, na implementao e gesto de programas 5 . As avaliaes ex ante de viabilidade econmica estudam a alocao eficiente dos recursos, sob os enfoques privado e econmico, condicionadas eficincia tecnolgica 6 , alocativa 7 e de escala 8 , sob o princpio da eficincia econmica, com base no timo de Pareto 9 , que axiologicamente deduzido, e utiliza indicadores quantificveis cardinalmente, para a hierarquizao e/ou escolha de programas, e de projeto alternativos. Todavia o princpio da eficincia social e dos mtodos de anlises para fundamentar a viabilidade social ou relevncia ex ante e, tecnicamente, a relevncia social ex post, transcendem, respectivamente, o campo dedutivo da Cincia Econmica e o campo tcnico da administrao e gesto. Os programas e projetos, especialmente aqueles de carter social, so elaborados a partir de macrobjetivos, de objetivos especficos e de metas a serem alcanadas, no axiologicamente definidas, sim, a partir de avaliaes subjetivas de valor, pelos tomadores de deciso 10 (governantes) e/ou pelo pblico-alvo, quando consultado. A avaliao ex ante feita antes de o projeto ser implementado e executado e situa-se no campo das anlises de custo-benefcio (ACB), compreendendo os estudos de demandas pelo
Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.
2008

38

mtodo contingente ou de preos hednicos para estimao dos benefcios econmicos e dos custos, a preos econmicos e/ou sociais (shadow prices). A avaliao ex post feita durante a implementao e a gesto dos projetos. A implementao diz respeito alocao dos recursos para a instalao fsica e funcional do empreendimento. Tratando-se de programas e projetos de carter social, especialmente daqueles cujas demandas so definidas por necessidades humanas universalmente aceitas, as avaliaes so feitas no campo das anlises de custo-efetividade (ACE). No que diz respeito avaliao ex ante de bem-estar social 11 , segundo Maia e outros, (2004, 2005) e/ou de relevncia social desses programas, os tomadores de decises tendem a suprimi-la, sob o argumento que o que importa o social em si, e no raras vezes utilizam a tautologia que se trata de uma deciso poltica. Consagra-se, ento, o ciclo vicioso: o econmico no importante e o social fica determinado historicamente, ad hoc, a depender de critrios avaliados subjetivamente, conforme o teor das catstrofes da natureza e/ou das epidemias mais recentes e/ou das presses sociais motivadas pelos problemas sociais de carter estrutural. Sob o emblema do social, recursos so alocados nesses programas, sem passarem pelo crivo de critrios avaliados, objetivamente, ex ante, alm de serem implementados e gerenciados sem as avaliaes ex post para a supresso de alguns ou reformulao e continuidade de outros. Criam-se, assim, redes de poder vinculadas a esses programas, e perpetua-se a ineficincia econmica, social e tcnica na administrao do Estado, comprometendo, significativamente, a sustentabilidade do desenvolvimento econmico e social. No campo da avaliao ex ante e ex post de programas sociais, o conceito de relevncia est relacionado ao grau de alcance dos objetivos gerais, especficos e do grau de alcance das metas. Tratando-se da avaliao simultnea de vrios programas alternativos, com vrios projetos e aes finalsticas, o princpio de relevncia aplica-se para cada programa; tratando-se de vrios projetos alternativos, esse conceito se aplica para cada projeto; idem para aes isoladas de carter finalstico. Em geral, as avaliaes do princpio de eficincia social (viabilidade e relevncia social) so feitas com a utilizao de
Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.
2008

39

metodologias corriqueiras (regras prticas), para calcular e comparar indicadores no-sujeitos s comparaes objetivas, a exemplo de ndices com pesos iguais e/ou ponderados. Esses ces aplcados em i cadores de equidade distributiva, dos ndi i ndi benefcios dos programas, com base em funes de bem-estar social definida pelos tomadores de deciso, a exemplo das f unes de bem -est soci rawlsiana 12 de minimax, sob o ar al princpio, segundo o qual a sociedade deve atender mais aos nascidos com menos dotes e aos nascidos em setores socialmente menos favorecidos; ou a funo bergsoniana 13 , definida, abstratamente, pela agregao das estruturas de preferncias individuais, que no garantem postulado de preferncia 14 ; e seus axiomas de transitividade 15 e indiferena 16 da escolha 17 , conforme demonstrado pelo Teorema da Impossibilidade, de Arrow, K 18 e, portanto, no permitem, objetivamente, hierarquizar a relevncia social de projetos. O princpio da eficincia social e de relevncia, embora no axiologicamente deduzido, pode ser avaliado com indicadores mensurveis cardinalmente. A relevncia pode ser avaliada a partir do grau de alcance dos objetivos gerais e especficos dos programas em curso e/ou concludos. Nesse caso, a avaliao e a hierarquizao da relevncia social de vrios programas alternativos so conseqncia da combinao da avaliao subjetiva ex ante que os tomadores de deciso atribuem aos objetivos gerais e especficos, ponderados pelos graus de alcance desses objetivos, a partir do grau de alcance das metas, avaliados ex post. Esse tipo de avaliao deve ser feito no processo iterativo e interativo da gesto dos programas e dos projetos.

2 CONCEITOS, CRITRIOS E MODELOS DE AVALIAO EX POST

Nesta seo apresenta-se um resumo de conceitos relativos aos principais modelos de indicadores de avaliao ex post, especialmente aqueles utilizados para quantificar o grau de alcance das metas, dos objetivos gerais e especficos.

Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.

2008

40

Os conceitos devem estar relacionados aos fatos observveis e mensurveis em dimenses qualitativas ou quantitativas. A mensurao de um conceito feita a partir de indicadores das principais dimenses que o integram. Por exemplo, o conceito marxista de mais valia entendvel no plano abstrato e literrio, mas no tem nenhuma representatividade no plano prtico, uma vez que no pode ser mensurado para fins de comparaes entre as atividades produtivas. A inteligncia tambm um conceito abstrato, mas que pode ser medida por um conjunto de testes que so os seus indicadores. Em geral, os indicadores so representados por ndices somatrios simples ou ponderados, cujos pesos so atribudos em funo de consideraes tericas ou de anlises empricas. Todavia, considerando que as diversas dimenses de um conceito so heterogneas, os ndices ponderados, ou no, trazem inconsistncia nas anlises comparativas, conforme ser discutido adiante. A eficcia definida, seguindo Hernandez Orozco 19 , pelo grau de alcance dos objetivos e das metas do programa ou projeto na populao beneficiria, em um determinado perodo de tempo, independentemente dos custos implicados. Um dos indicadores utilizados pode ser definido pela relao percentual de unidade de metas obtidas por unidade de metas programadas, ponderados pelo tempo real e planejado, respectivamente, ou seja: A = (M/T) r /(M/T) p onde: (M/T)r = (metas/tempo) real e; (Metas/Tempo) planejados. Sendo A maior, igual ou menor do que a unidade. Efetividade, segundo Lopez (1986 apud COHEN; ROLANDO, 2004), um termo que se usa freqentemente para expressar o resultado concreto ou as aes condizentes a esse resultado concreto dos fins, objetivo geral, objetivos especficos e metas desejadas 20 . Esse conceito tem duas dimenses, em funo dos fins perseguidos: como medida de impacto ou como medida do grau de alcance dos objetivos. Como medida de impacto, buscam-se estabelecer rela-

Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.

2008

41

es causais, qualitativa ou quantitativa, a partir de dois tipos de relaes de causa e efeito: i) direta, entre um programa, projeto ou ao e os seus objetivos; ii) indireta, entre programas, projetos ou aes. Em ambas, a validade e a significncia do impacto so imprescindveis na avaliao. A validade diz respeito pertinncia das variveis a serem medidas (aspectos ou caractersticas ou atributos da populao pblico-alvo que o programa ou projeto objetiva modificar) e, a metodologia operacional de sua medio. A significncia diz respeito ao mtodo de estimao; para comparaes, entre programas, utiliza-se o mtodo da anlise de varincia paramtrica e no-paramtrica; para medidas de impacto, utiliza-se o mtodo da anlise de regresso, definido por modelos com variveis quantitativas e/ou qualitativas - com variveis dummies, ou por modelos binrios (Probit e Logit e suas variantes), ou o mtodo da funo de preos hednica. 21 A medida de impacto, sobretudo, deve ter confiabilidade. A confiabilidade depende do desenho e do erro amostral, do mtodo da inferncia e dos parmetros que expressam o grau de confiana e o erro aleatrio ou estocstico. importante observar que no pode existir validade sem confiabilidade, embora se possa ter confiabilidade sem validade. O indicador de impacto pode ser obtido mediante diversos tipos de modelos, a depender das condies objetivas do que se est medindo. A especificao do modelo depende do tipo de projeto ou do(s) atributo(s) em que o projeto venha a ter impacto. Ademais, depende da base de informaes e dos recursos para a definio final da amostra ou universo da populao pblico alvo. guisa de exemplo, e tratando-se de projeto executado ou em andamento, apresentam-se, a seguir, os seguintes modelos de impacto e suas variantes: - Experimental clssico. A estrutura desse modelo definese por grupos de controle com e sem o projeto, cuja lgica de anlise a de comparar dois grupos: antes e depois do projeto, atemporalmente (cross section) ou intertemporalmente. Buscase estabelecer um contraste significativo para estimar o impacto do projeto. Em geral, utilizam-se amostras estratificadas para

Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.

2008

42

neutralizar os fatores exgenos que afetam, simultaneamente, tanto o grupo com o projeto quanto o grupo sem o projeto, ou grupo testemunha. A expresso formal para a quantificao desse modelo, em sua forma mais geral, dada por Im = (Gco Gcd) (Gso Gsd), onde Im representa a medida de impacto; Gco o grupo antes do projeto; Gcd refere-se ao grupo depois do projeto; Gso, ao grupo sem o projeto no tempo zero ou em outro espao; e, finalmente, Gsd o grupo sem o projeto e depois do projeto. Com esse modelo, pode-se estimar o impacto lquido da varivel em estudo (endgena) e de outras variveis exgenas. - Quase-experimentais, no-aleatrios, com base em sries temporais e grupos de controle. Nas sries temporais, medem-se as variveis ou atributos antes, durante e depois de executado o programa ou projeto. Para identificar a significncia do impacto, utilizam-se variveis dummies para o perodo durante e para o perodo depois. Assim, podem-se estimar dois tipos de impactos: durante e depois do projeto e, estatisticamente, saber se os impactos so ou no significantes. Nos modelos com grupos de controle, utilizam-se, em geral, as tabelas de contingncia para as anlises de varincia, definidas por variveis qualitativas (no-paramtricas) ou quantitativas (paramtricas). A lgica da diferena desse modelo, com relao ao modelo experimental, consiste em selecionar, de modo no totalmente aleatrio, os membros do grupo de controle. Esses so selecionados com base nas variveis de impactos, pelo que se supe que o projeto venha a incidir na populao pblico-alvo. - No-experimentais, para os casos em que a populaoobjeto no pode ser comparada com um grupo-testemunha. Nesses modelos, temos duas variantes: Modelos antes depois, que utilizam a populao pblicoalvo do programa ou projeto. Esse modelo expressa a diferena

Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.

2008

43

produzida naquelas variveis que o projeto pretende modificar no grupo beneficirio. O impacto estimado pelo mtodo da anlise de varincia que mede a diferena produzida naquelas variveis (atributos) que o projeto deve modificar. Entretanto, a medida de impacto pode incluir o efeito de outras variveis exgenas. Para mitigar tal problema, usam-se variveis de controle. Modelos somente depois com grupo de comparao. Concludo o projeto, as informaes dos atributos ou variveis obtidas com o grupo objeto do projeto so comparadas com as de outros grupos. No existindo as informaes dessas variveis, antes do projeto, torna-se menos precisa a avaliao do impacto do projeto sobre a populao pblico-alvo. Assim, utilizam-se variveis de controle, dentro do grupo experimental. O impacto depende da eficcia e da efetividade na execuo dos programas e projetos, bem como, da pertinncia do servio ou produto a ser produzido para a soluo do(s) problema(s) ou alcance do(s) objetivo(s). Custo efetividade, conforme j conceituado, definido em termos monetrios pela relao entre custo real e custo programado: B = A(Cr/Cp), onde, B = eficincia, Cr = custo real e Cp = Custo programado. O critrio de custo-efetividade geralmente utilizado para programas ou projetos, cujo valor ou benefcio tem suporte de carter universal, tal como a erradicao da malria, dengue, dentre outros. Nesse caso, busca-se maximizar o atendimento ao pblico-alvo, face a uma determinada dotao de recursos ou o seu dual de atender a um determinado pblico, com o mnimo custo possvel. Na existncia de vrios programas e projetos, por exemplo, Erradicao da Pobreza, pela sua complexidade multidimensional de causas e efeitos, torna-se necessria uma coerncia ou compatibilidade entre eles, desde os objetivos gerais e espe-

Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.

2008

44

cficos at as metas e, portanto, compatibilidade dos produtos e servios a serem gerados. Quando os programas so analisados em conjunto, em nvel governamental (federal, estadual ou municipal), a coerncia passa a ser analisada e avaliada em termos da compatibilidade de todas as metas e objetivos gerais e especficos, de modo que a eficcia, efetividade e impactos se correlacionem com uma sinergia positiva. Portanto, o maior ou menor impacto dos programas, em nvel governamental, depende da coerncia e de seus efeitos sinrgicos. De forma semelhante, quando a coerncia avaliada para um conjunto de projetos e de aes finalsticas, procura-se avaliar a compatibilizao dos objetivos especficos com as metas estabelecidas de cada projeto. A superposio de alocao de recursos na execuo de polticas sociais (programas, projetos e aes), nos diversos rgos governamentais e, no raras vezes, dentro do mesmo rgo, so causas de reduo de impactos significativos e de falta de coerncia dos programas e dos projetos e aes que compem um determinado programa.

3 ABORDAGEM METODOLGICA PARA AVALIAR E HIERARQUIZAR A RELEVNCIA SOCIAL

Conforme j observado, o princpio da eficincia social avaliado pelo critrio de relevncia social est sujeito a juzo de valor, quanto aos pesos a serem atribudos aos objetivos gerais e especficos. Conforme a metodologia proposta, a seguir, a relevncia social pode ser avaliada em uma escala cardinal de valores, portanto, sujeita s comparaes objetivas que permitem hierarquizar, orientar decises no sentido de dar continuidade, reformulao e/ou supresso de programas e projetos e contribuir para aumentar a eficincia administrativa do Estado e a otimizao do bem - estar social do pblico-alvo. Objetivando dar um sentido de finalidade, embora noexperimental, no que diz respeito avaliao ex ante e ex post de relevncia dos programas e projetos, sob o enfoque social, tomou-se a ttulo de exemplo, os macroobjetivos e seus respectivos
Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.
2008

45

objetivos especficos do Plano Plurianual do Estado da Bahia, 2004-2007 22 , como segue:

Trabalho e Ocupao: qualificao profissional; microcrdito; apoio aos direitos do trabalhador; apoio agricultura familiar; organizao fundiria; apoio implantao de projetos produtivos; infra-estrutura hdrica para atividades agropecurias. Assistncia Social e Combate Pobreza: assistncia s crianas e aos adolescentes em risco social, a idosos, a portadores de necessidades especiais; programas de transferncia de renda; programas de alimentao e nutrio. Direitos Incondicionais da Cidadania: sade; ensino fundamental. Infra-estrutura Social: saneamento bsico (gua e esgotamento sanitrio; habitao e infra-estrutura habitacional). Outras aes: educao infantil (creche, pr-escola); ensino mdio e superior; promoo e defesa da cidadania; proteo a minorias e grupos discriminados; previdncia estadual; outras aes.

Evidentemente, a relevncia social aqui em anlise tem sido apenas metodolgico e simplificador, uma vez que, por exemplo, o macrobjetivo Trabalho e Ocupao e seu respectivo objetivo especfico, qualificao profissional, dentre outros, poderiam ser considerados como um programa, um projeto e/ou uma ao de carter finalstico. Em termos prticos, a definio de um macrobjetivo, a exemplo de Trabalho e Ocupao, pode conter um ou vrios programas. Assim, pode-se admitir que, para alcanar os macrobjetivos e objetivos especficos, sero elaborados (n) projetos, embora no-elencados, mas que no invalidam a abordagem metodolgica exposta, a seguir. Portanto, a avaliao da relevncia social ser feita ex ante e ex post.

Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.

2008

46

3.1 ETAPAS DA AVALIAO SOCIAL EX ANTE E EX POST A primeira etapa da avaliao ex ante, realizada em trs fases: a primeira consiste na avaliao tcnica de impacto relativo de cada projeto sobre as metas; a segunda diz respeito avaliao subjetiva que os tomadores de deciso fazem sobre cada macrobjetivo, objetivos especficos e metas; e, finalmente, a terceira, que consiste na combinao dessas duas avaliaes, representadas pelo produto dos vetores caractersticos da matriz de impacto com o vetor caracterstico da matriz de metas que, por sua vez, interage com a matriz de objetivos especficos e macrobjetivos, conforme ser explicado em 3.2.1. O resultado desse produto define, em escala cardinal, a importncia relativa da relevncia ex ante de cada projeto. No caso desse Plano, os tomadores de deciso poderiam compreender uma populao amostral do Estado da Bahia, significativa e estratificada pelos representantes governamentais e no-governamentais dos diversos segmentos da populao de cada municpio. A segunda etapa, da avaliao ex post de relevncia social, passa pela avaliao objetiva feita a partir dos graus de alcance das metas, calculados pelos seus respectivos indicadores. Todavia, os indicadores de metas, embora quantificados, a partir de modelos de avaliao quantitativos e/ou qualitativos, conforme referidos no item 2, passam pela avaliao subjetiva dos tomadores de deciso, quanto importncia relativa de cada um deles com respeito meta. Um indicador de eficcia pode ser mais ou menos importante para uma determinada meta, em relao ao indicador de efetividade. Ou seja, para cada meta, a importncia relativa dos indicadores distinta e, portanto, os indicadores de metas passam tambm pelo crivo da avaliao subjetiva dos tomadores de deciso. Assim, torna-se necessrio utilizar um mtodo de quantificao do conjunto dos indicadores, para avaliar o grau de alcance de cada meta e, interativamente, o grau de alcance dos objetivos especficos, macrobjetivos, e finalmente, a relevncia social de cada projeto, conforme explicado em 3.3.1.

Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.

2008

47

importante frisar que a definio e o valor absoluto e ou relativo dos macrobjetivos, dos objetivos especficos, das metas atribudas ex ante pelos tomadores de deciso tm dimenso subjetiva e natureza poltica e, quando mensurados a partir dos indicadores de metas, tm dimenses heterogneas. Assim, tanto avaliados ex ante quanto ex post, mensurados atravs de ndices, no garantem o princpio de transitividade e, portanto, no garantem a hierarquizao em escala cardinal dos projetos. Um projeto pode ser de prioridade mxima, julgado ex ante, quando da elaborao do Plano, mas, na sua implementao e gesto, pode ter uma baixa prioridade pelo no-cumprimento das metas, devido ineficcia do processo de gesto e/ou a inafetividade da cobertura dos benefcios e do impacto junto ao pblico-alvo. O mtodo aqui utilizado integra, na terceira etapa, uma cadeia de vetores de pesos relativos representados por vetores caractersticos das matrizes formadas pelas avaliaes ex ante das metas com os vetores caractersticos das matrizes formadas pelos seus respectivos graus de alcance, avaliados na segunda etapa, e mensurados pelos seus respectivos indicadores. Para uma melhor compreenso do mtodo de avaliao social de relevncia, apresentam-se, a seguir, os procedimentos operacionais de cada etapa. 3.2 AVALIAO EX ANTE DA RELEVNCIA SOCIAL DOS PROGRAMAS, PROJETOS E AES DO PLANO A Figura 1 indica a interao do impacto dos projetos nas metas e, dessas, nos objetivos especficos e, desses, nos macrobjetivos. O processo interativo se faz a partir da matriz de vetores caractersticos dos impactos de cada projeto nos objetivos especficos e, desses, nos macrobjetivos, conforme explicado em 3.2.1.

Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.

2008

48

Fig. 1 - Estrutura de Impacto dos Projetos nos Objetivos Fonte: MAIA, J.A., 2008 (autor do texto).

3.2.1 PASSOS PARA A HIERARQUIZAO DA RELEVNCIA SOCIAL DOS PROJETOS AVALIADOS EX ANTE 1. Constroem-se as matrizes dos indicadores de metas (MIM i=1...i ) para cada meta, cujos elementos so os valores relativos, aos pares, atribudos pelos tomadores de deciso, tomando-se um desses indicadores como referncia. Trata-se, aqui, de construir um mercado artificial (surrogate market), para precificar, em termos relativos, cada indicador de meta. A mediana da amostra desses valores relativos define os elementos da respectiva matriz diagonal unitria, no-singular e recproca 23 . Esse mesmo procedimento aplica-se para a construo da matriz de metas (MMea m,m=1...m ); da matriz de objetivos especficos (MOEea k,k=1...k) ) e macrobjetivos (M-Oea j,j=1...j ). 2. A partir dessas matrizes, calculam-se os seus respectivos vetores e razes caractersticas associadas, ou sejam: (VCIMea i,1 ); (VCMMea m,1 ); (VCOEea k,1 ) e, finalmente, (VCM-Oea j,1 ). Esses vetores representam os pesos relativos, ou preos relativos, em dimenses puras que permitem comparaes coerentes com o postulado

Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.

2008

49

de preferncia e os axiomas de transitividade e indiferena. 3. Utilizando o mesmo procedimento do primeiro passo, quanto avaliao subjetiva da importncia relativa do impacto de cada projeto em cada objetivo especfico, constri-se a matriz diagonal de impactos definida pelo valor relativo do impacto de cada um dos projetos sobre cada objetivo especfico, MIOE (n,n) , sendo n = nmero de projetos. 4. Calcula-se o vetor caracterstico de cada matriz de impacto (VCMIOEea n,1 ). 5. Constri-se a matriz desses vetores caractersticos, (MVCMIOEea n,k ). 6. Multiplica-se MVCMIOEea n,k por VCMOEea k,1 = VRSPea n,1 = vetor hierrquico da relevncia social de cada projeto, avaliados ex ante. Os elementos do VRSPea n,1 indicam, em dimenso cardinal, o valor relativo da relevncia social de cada programa, projetos e/ou aes finalsticas. A dimenso social consiste em que as avaliaes dos valores relativos, aos pares dos indicadores de metas, das metas, dos objetivos especficos e dos macrobjetivos expressam as estruturas de preferncia de uma amostra significativa dos tomadores de deciso e/ou pelo pblicoalvo em um mercado artificial. Os procedimentos operacionais para a obteno desses valores so feitos atravs da aplicao de um questionrio, prvia e devidamente esclarecido. 3.3 AVALIAO EX POST DA RELEVNCIA SOCIAL DOS PROGRAMAS, PROJETOS E AES DO PLANO A Figura 2, a seguir, indica a interao dos indicadores de metas (IMep i=1...m ) para definir ex post, quantitativamente, o grau de alcance de metas (GAMep m = 1....m ), associadas a cada projeto. O grau de alcance conjunto das metas de cada projeto define o grau de alcance de cada um dos objetivos especficos (GAOEep k=1..k ) que, por sua vez, definem o grau de alcance de cada um dos macrobjetivos (GAM-Oep j=1...j ).
Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.
2008

50

Fig. 2 Interao dos Indicadores de Metas na Determinao da Relevncia Social de Projetos. Fonte: MAIA, J.A,, 2008 (autor do texto).

Nessa etapa, a avaliao inicia-se com o clculo dos ndices indicadores diretos e indiretos de avaliao do grau de alcance das metas, a exemplo do indicador de eficcia, efetividade, impacto, custo-efetividade, etc. Deve-se entender que, para cada projeto e metas, pode haver um ou mais indicadores e o critrio de escolha e o modelo de quantificao so de carter tcnico. Todavia, a importncia relativa de cada um, para avaliar o grau de alcance de cada meta, uma escolha de carter poltico (subjetivo), que deve ficar a cargo das preferncias dos tomadores de deciso. Nesse caso, a utilizao de ndices simples ou ponderados definidos pelos tomadores de deciso no passa de um mtodo simplrio, no resistente ao postulado de preferncia e aos seus axiomas de transitividade e indiferena. Assim, utilizam-se os mesmos procedimentos indicados em 1 de 3.2.1, para calcular o vetor caracterstico e a raiz caracterstica associada, para ento calcular o grau de alcance de cada meta.

Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.

2008

51

3.3.1 PASSOS PARA A HIERARQUIZAO DA RELEVNCIA SOCIAL DOS PROJETOS AVALIADOS EX-POST 1 Calculam-se os indicadores que medem as metas utilizando-se os critrios de eficcia, efetividade, impactos, etc., conforme o caso mais apropriado, IMep i . 2 Utilizam-se esses indicadores como fator de correo no vetor caracterstico dos indicadores de metas, calculado ex ante no passo 3 de 3.2.1, ou seja, (VCIMea i,1 ), transformando esse em um vetor caracterstico dos indicadores de meta ex post corrigido ou seja, (VCIMep i,1 ). 3 Calcula-se o vetor de alcance das metas VAMep a partir de (VCIMep i,1 ). 4 Calcula-se o vetor de alcance dos objetivos especficos corrigido, VAOEep, a partir dos respectivos VAMep. 5 Calcula-se o vetor de macrobjetivos corrigido VM-Oep a partir VAIEep. 6 Calcula-se a relevncia social de cada projeto, RSPep a partir de VM-Oep. Os elementos do VRSPep (n,1) indicam, em dimenso cardinal, o valor relativo da relevncia social de cada programa, projetos e/ou aes finalsticas, avaliado ex post. Uma outra forma de calcular o VRSPep (n,1) pelo produto do vetor caracterstico da matriz de vetores caractersticos de relevncia dos projetos calculados ex ante e ex post. O produto definido pelo vetor [VRSP ea(n,1)] pelo vetor transposto [VRSP ep(n,1)]T. Ou seja, {[ VRSP ea(n,1) ] }x{[VRSP ep(n,1) ]} T = [ MVCRSPep (n,n) ]. O vetor caracterstico de [MVCRSPep (n,n) ] definido por [VCMVCRSPea.ep (n,1) ] = VRSPep, com dimensionalidade nica e cardinal, portanto, sujeita a comparaes objetivas e conseqentes com o princpio de transitividade e indiferena. Esse mesmo procedimento, para calcular o vetor caracterstico ex post pode ser aplicado para todos os passos, desde as matrizes de pesos relativos dos indicadores de alcance de metas definidas ex ante em 1 de 3.2.1.

Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.

2008

52

4 CONCLUSES E IMPLICAES DE POLTICAS

Neste artigo, procurou-se ampliar o enfoque de avaliaes de projeto, combinando as avaliaes subjetivas que os tomadores de deciso fazem sobre os macrobjetivos, objetivos especficos e metas ex ante, com as avaliaes ex post, resultantes dos indicadores de metas, e os respectivos graus de alcance dessas, interagindo com os objetivos especficos e os macrobjetivos. A abordagem metodolgica robusta porque transforma elementos de valor subjetivo de avaliao em valores objetivos, mensurados cardinalmente. Portanto, hierarquiza os projetos em escala cardinal resistente ao crivo do princpio de transitividade da escolha nas decises de poltica de alocao dos recursos, objetivando o mximo de relevncia social. A diferena entre o vetor dos pesos relativos da relevncia social dos projetos avaliados ex ante, [VRSP ea(n,1) ] com o vetor correspondente, avaliado ex post, [VRSP ep(n,1) ], consiste em que o primeiro corrigido pelo segundo, porquanto o grau de alcance de cada meta avaliada ex post difere do grau de alcance projetado. Portanto, um projeto pode estar altamente hierarquizado em termos de sua relevncia social, mas, na avaliao ex post, pode estar muito aqum da avaliao ex ante, pela ineficcia e inefetividade de sua implementao e gesto. Essas divergncias entre a avaliao da relevncia social de projetos tm implicaes de polticas importantes, uma vez que podem conduzir a decises objetivamente fundamentadas quanto reformulao, suspenso e continuidade dos programas, projetos e/ou aes finalsticas.

A METHODOLOGY FOR EVALUATING THE EX ANTE AND EX POST SOCIAL RELEVANCE OF PUBLIC POLICIES
ABSTRACT This article consists of a methodological approach for assessing the ex ante and ex post public policies taking into account the social aspect of efficiency. It aims at linking the principles of the economic efficiency, axiomatically demonstrated, and the social efficiency, coherent with the postulate of preference and its transitivity and indifference axioms, that are the foundation of the economic theory of the optimal

Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.

2008

53

choice, based on the matrix method and the statistics inference. The author presents the main indicators of the ex post evaluation of implementation and management of programs, projects and finalistic actions associated with macro objectives and specific objectives, taking those ones formulated by the Economic Development Plan of Bahia State: 2020, in 2006, as examples of evaluation and hierarchization criteria and sub-criteria of the ex ante and ex post social relevance of programs, projects and finalistic actions, which are expected to be accomplished. KEY WORDS: Social relevance. Efficacy. Impact indicators.

NOTAS
1

Define-se, neste texto, um programa, como um conjunto de projetos e/ou aes finalsticas para atender a objetivos gerais e especficos emanados dos tomadores de deciso e/ou do pblico-alvo. Aqueles que passam por mercados regulados por tarifas e/ou cotas, a exemplo dos servios de abastecimento de gua, esgotamento sanitrio, limpeza urbana, etc. Aqueles que no passam por mercados, a exemplo de segurana pblica e nacional, externalidades tcnicas de poluio, crime, programas sociais em geral, etc. Ver, Maia, J.A.F. et ali em Metodologia para avaliao de polticas pblicas, SITIENTIBUS, n. 32, p.144-167, jan./jun. 2005. Para simplificar e reduzir a espao, usar-se-, apenas, o conceito de programas ou projetos. A eficincia tecnolgica aplica-se ao processo de produo e ao de gesto. Ambos dizem respeito ao mximo de produto com o mnimo de uso de fatores. A eficincia alocativa diz respeito combinao dos fatores que minimizam o custo para um dado nvel de produto. A eficincia de escala corresponde ao nvel de produo com o menor custo mdio. Vilfredo Pareto, economista e socilogo italiano (1848- 1923). Para simplifica rereduzir espao, sero denominados, apenas, como tomadores de deciso. 2008

9 10

Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.

54

11

O conceito de bem-estar social difere do conceito de relevncia social, quanto aos critrios e subcritrios de avaliao e quanto aos seus indicadores de medio ex ante e ex post dos programas e projetos. Defendida por John Rawls, filsofo moral contemporneo de Harvard (Ver, Varian, Hall p.603). Definida por Samuelson, P. A e Bergson Abram, formularam a funo de bem-estar social , como agregao das funes de bemestar individuais. Se a escolha de A conduz mais bem-estar que a escolha de B, ento, se escolhe A em vez de B. Se a escolha de A conduz mais bem-estar que a escolha de B, e a de B mais bem-estar que a escolha de C, ento, A prefervel a B e B prefervel a C. Se a escolha de A produz o mesmo bem-estar que a escolha de B, ento, o bem-estar de A igual ao bem-estar de B, e vice-versa.

12

13

14

15

16

17

Ver Kenneth Arrow, Prmio Nobel de Economia, Teorema da Impossibilidade, Social Choices and Idividual Values (Nova York, 1963). Kenneth Arrow, ganhador do Prmio Nobel de Economia. Hernandez Orozco, C. Planificacin y Programacin. San Jos, Editorial Universidad Estadual a Distancia, 1986. Em Cohen, E. ; Rolando F. Avaliao de Projetos Sociais, 6 ed. Rio de Janeiro; Vozes, 2004, p. 107. Ver, Maia, J.A.F et all, A avaliao econmica de programas sociais atravs da funo de preos hednicos: o caso do programa Viver Melhor II, na Bahia, Bahia Anlises & Dados: Retrospectiva 2005, Salvador, SEI, v.15. n.4, no prelo. A abordagem metodolgica proposta pode ser aplicada aos programas e projetos de qualquer rgo governamental e/ou nogovernamental pblico ou privado. Ver Maia et al (op.cit) para conhecer os procedimentos metodolgicos operacionais para calcular as medianas da amostra dos valores relativos dos objetivos especficos atribudos pelos tomadores de deciso e/ou pelo pblico-alvo.

18 19

20

21

22

23

Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.

2008

55

REFERNCIAS
BRASIL. Ministrio do Oramento e Gesto. PPA - Procedimento para Elaborao de Programas 2000-2003 . Braslia, Governo Federal, 1999. ______. PPA - Orientao Estratgica do Presidente da Repblica 2000-2003. Braslia, DF: Governo Federal, 1999. BROSE, M. Avaliao em Projetos Pblicos de Desenvolvimento Local: o caso do Projeto Pr-renda no Rio Grande do Sul. In: FISCHER, Tnia. Gesto do desenvolvimento e poderes locais, marcos tericos e avaliao. Pdgs. Salvador: Casa da Qualidade, 2003. BUARQUE, S. C. Metodologia de planejamento do desenvolvimento local e municipal sustentvel. IICA, 2. Ed. revisada e ampliada, 1999. COHEN, E.; FRANCO, R. Petrpolis: Vozes, 2004. Avaliao de Projetos Sociais, 6. ed.

LANCASTER, K. A new approach to consumers theory. Journal of Political Economy, p. 132-157, 1966. LITTLE, I.M.D.; MIRRLEES, J.. Project Appraisal and Planning for Developing Countries. New York: Basic Books, Inc., Publishers, 1974. MAIA, J.A.F.; SILVA, S.A.; SILVA, C.A. Taxonomia para o planejamento do desenvolvimento regional sustentvel. Bahia Anlise & Dados. Salvador: SEI, v. 15, n. 2-3, p. 385-403, set./dez., 2005. MAIA, J. A. F. O Conceito, Linguagens, Fundamentos e Mtodo da Cincia Positiva e Normativa. In: Reflexes de economistas baianos. Salvador: Corecon, 2005. p. 233-266. ______. Metodologia para avaliao econmica e social de polticas pblicas. SITIENTIBUS Revista da Universidade Estadual de Feira de Santana, n. 32, p.167-192, jan./jun., 2005. MAIA, J. A. F. Avaliao a polticas pblicas: introduo demanda contingente. Conjuntura e Planejamento. Salvador: SEI, n.124, p. 36-45, set., 2004.

Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.

2008

56

MAIA, J.A.F.; SILVA, S. A. Abordagem metodolgica para o planejamento do desenvolvimento econmico e social: um estudo de caso. Bahia Anlise e Dados. Retrospectiva 2004 e Perspectivas, Salvador, p. 645-673, dez., 2004. ______. Metodologia para avaliao de polticas pblicas: um estudo de caso. In: Frum de Desenvolvimento do BNB; Encontro Regional de Economia. Fortaleza, 9. 2004, Fortaleza. MAIA, J. A. F; CARRERA-FERNANDES, J.; SILVA, S.A. A avaliao econmica de programas sociais atravs da funo de preos hednicos: o caso do programa Viver Melhor II na Bahia. In: Frum BNB de Desenvolvimento do BNB; Encontro Regional da ANPEC, 10. 2005, Fortaleza. MATTHUS, H. Oficina do Futuro como Metodologia de Planejamento e Avaliao de Projetos de Desenvolvimento Local. In: FISCHER, Tnia. Gesto do Desenvolvimento e Poderes Locais, marcos tericos e avaliao. PDGS, Salvador: Casa da Qualidade, 2003. McFADDEN, D; MISHAN, E. J. Criteria for public investment: some simplifying suggestions. Journal of Political Economy, p. 139-46, 1967. ROSEN, S. Hedonic prices and implicit markets: product differentiations in pure competition. Journal of Political Economy, v. 82, p. 34-55, 1974. SAATY, T. L.; FORMAN, E. H. The Analytic Hierarchy Pocess. The Hierarcon: A Dictionary of Hierarchies. Expert Choice. Inc. Volume, Pittsburgh, Pennsylvania, Estados Unidos, 1992. SILVA, S.A.; OLIVEIRA, A.L.S. de. Viabilidade econmica atravs da funo de preos hednicos: o caso do Programa Viver Melhor, na Bahia. Bahia Anlise & Dados, Salvador: SEI, v. 15, n. 2-3, p. 365-383, set./dez., 2005. UNIDO - United Nations Industrial Development Organisation . Guidelines for Project Evaluation, United Nations. P. Dasgupta, S. A. Marglin and A.K.Sem,1972. VARIAN, HAL R. Microeconomia: Princpios bsicos, uma abordagem moderna. 5. ed. So Paulo: Campus, 2000.

Recebido em: 5/05/2008 Aprovado em: 20/05/2008 Sitientibus, Feira de Santana, n. 38, p.35-56, jan./jun.
2008