Avaliao Participativa1

Juarez Pereira Furtado2

Resumo Este captulo aborda a insero de diferentes pessoas ou grupos de interesses no processo avaliativo. Ressaltamos a fundamental importncia dessa insero sem deixar de apontar que trata-se de opo necessria mas inevitavelmente complexa e delicada. Por isso, argumentaremos em favor da superao de algumas posturas ingnuas frequentemente presentes quando o tema avaliao e participao. Consideramos que por detrs da idia de participao existem muitas e diferentes posturas e caminhos e que nem sempre levam ao mesmo lugar. Assim, usaremos algumas tipologias ao longo do texto de modo a dotar o leitor de uma espcie de bssola para se localizar melhor nos meandros das chamadas avaliaes participativas. Partiremos de um ponto de vista subjetivo de participao at chegarmos nas questes poltico-institucionais envolvidas, finalizando com a proposio de alguns passos para a realizao de processos participativos na avaliao de programas e servios. I - Questes inter-subjetivas A demanda foi sucinta: que cada aluno trouxesse um objeto pelo qual tivesse especial apreo para o prximo encontro da disciplina. No dia seguinte, os vrios alunos do curso de ps-graduao levaram suas distintas contribuies e o professor encontrou sobre a mesa da sala de aula um crucifixo dourado, sapatilha de bal, um furgozinho vermelho, uma foto de um garoto de mais ou menos dez anos na praia, uma lista de nomes, um grande trofu, uma pequena esttua, uma boneca japonesa, dentre outros. Em p, circundando a mesa, olhvamos com curiosidade aqueles objetos, indagando sobre suas procedncias e as motivaes que os teriam levado a ocuparem um lugar naquela mesa. Espontaneamente os donos dos mimos comearam a tecer delicadas consideraes sobre suas escolhas ali compartilhadas. Vieram tona diferentes histrias e recordaes. Descobramos a que tinha servido recentemente um aparelho de celular; o quanto de afeto comportava o vermelho daquele carrinho de brinquedo; um gosto ainda no conhecido por detrs daquelas sapatilhas de dana; uma viagem ao Japo; a perda de entes muito queridos; o sucesso da banda de outrora. Uma atmosfera de grande densidade afetiva acompanhava os relatos com um sorriso ou com a comoo que alguns deles despertavam. Semelhante ao que acontece nas histrias infantis, aquelas
1

Texto aprovado para publicao - Referncia: Furtado, J.P. Avaliao e Participao in Brando, D. e Martina, R.O. (orgs) Avaliao de Programas e Projetos: temas brasileiros, So Paulo: Instituto Fonte e Fundao Ita Social, 2011. No prelo.
2

Professor Adjunto II - Universidade Federal de So Paulo - juarezpfurtado@hotmail.com

palavras como que encantavam os objetos sobre os quais se derramavam, desvelando-os nossa frente e fazendo com que jamais os enxergssemos do mesmo jeito de antes. O tema da aula: as conexes possveis entre avaliao e participao. Os alunos, agora sentados em roda, ainda seguiam co-movidos pela vivncia recm-concluda e, tacitamente, pareciam indagar sobre o sentido daquilo tudo e sua relao com o tema proposto para a aula do dia. Afinal, haviam lido um artigo cientfico, cursam mestrado em uma importante universidade federal e tudo aquilo parecia um tanto quanto inslito nesse contexto. De fato, seriam muitas as maneiras de introduzir e abordar um assunto como o da participao nos processos avaliativos e aqueles primeiros minutos de aula no eram o que se podia comumente esperar. Realmente, poderamos iniciar a aula de modo mais convencional, at porque a temtica da participao no mais se constitui como algo inusitado ou desconhecido, ao menos no campo da avaliao: h razovel consenso em torno da importncia da mesma e dificilmente algum se coloca objetivamente contrrio. Parece que a idia de participao foi incorporada ao chamado politicamente correto sendo possvel encontr-la recomendada nos textos de avaliao, por mais diferentes que sejam seus autores e suas respectivas filiaes tericas e ticas. Talvez, seja a mesmo que mora o perigo: de to correta, consensual e prescrita, a insero de diferentes pontos de vista em uma avaliao parece coisa dada a priori, automtica, constituindo quase e to somente mais um componente do processo - quando, de fato, no bem assim. Primeiramente porque participao significa inexoravelmente trazer para bem de perto a presena do outro. Se sabemos, por experincia prpria, ser impossvel ser feliz sozinho, por outro lado, nossa experincia nos mostra tambm quo difcil conviver, confrontar nossos anseios e projetos com terceiros, por mais amados que sejam. Lembre-se, ento, como j deve ter sido difcil em algum momento, para voc, conciliar projetos, idias ou aes com pessoas mais distantes e at desconhecidas. inevitvel, aqui, a lembrana da frase antolgica do filsofo francs Jean Paul Sartre: O inferno so os outros. As muitas teorias e mtodos de dinmicas de grupo esto a para analisar algumas dessas dificuldades e sugerir meios de super-las... Nesse texto, destinado a discutir o tema da participao na avaliao de programas e servios, queremos logo de incio lembr-lo de que participar estabelecer pontes para a interlocuo, a circulao de palavras e afetos por mais distintos que sejam suas formas e contedos. No precisamos ir muito longe para buscar as fontes dos valores ticos que justificam e sustentam essa noo de participao como convvio das diferenas, bastando dentre vrias referncias possveis, citar a declarao universal dos

direitos do homem, nascida dos horrores vividos pela humanidade durante o holocausto, em perodo de especial intolerncia. Assim sendo, a participao se firma nas idias de liberdade, de deteno de direitos independentemente das muitas nuanas que possa apresentar um ser humano em particular com relao a todos os demais. Poderamos afirmar que a participao nasce da constatao de que h diferenas e da esperana de que estas possam interagir, se influenciarem e conviverem em certa harmonia. O que pode nos ajudar a superar uma primeira ingenuidade frequentemente presente nas discusses sobre o tema: a de que participao seja equivalente a estabelecer a igualdade no sentido de homogeneidade. Como cidados, iguais so os nossos direitos, mas no se trata, nesse caso, de tornar iguais (homogneos) grupos ou pessoas essencialmente diferentes, at porque isso normalmente se consegue s custas de ignorar divergncias, recalcando os dissensos. Se concordamos que o processo participativo no deve levar uniformizao, uma outra idia tambm muito veiculada, ainda que tacitamente, dever ser superada por originar uma segunda ingenuidade: a de que as pessoas, grupos ou atores sociais estejam vidos por participarem, bastando para isso serem convocados por avaliadores bem intencionados. Ao contrrio, o chamado a participar no visto com bons olhos ou ouvido com bons ouvidos, no incio. Claro que essa afirmao no se aplica aos mais diretamente interessados na avaliao, que por alguma razo aceitaram ou mesmo contrataram a avaliao. Mas estamos falando de uma participao ampliada e, nesse caso, convocar atores no ainda interessados no processo ou que nem tm cincia do mesmo, motivando-os, um das primeiras tarefas requeridas. Se o convvio com as diferenas no fcil, seja no plano pessoal ou poltico, e se eventuais grupos de interesses precisam ser convencidos e motivados a participarem, chegamos finalmente a uma terceira e ltima concepo que, superada, pode contribuir para o estabelecimento de posturas menos ingnuas por parte de futuros avaliadores: a de que realizar processos avaliativos inclusivos e participativos seja fcil ou simples. Agiramos como mercadores da felicidade se vendssemos essa iluso. Afinal, podemos intuir que favorecer a explicitao de diferenas, administrar os efeitos desse afloramento sem coibi-lo ou minimiz-lo, mantendo acesa a chama do interesse e efetiva participao de grupos distintos (em intensidade e qualidade) demandar grande esforo. Sendo assim, pacincia, tempo e recursos podero ser requeridos em quantidades extras, certamente maiores do que nas avaliaes convencionais para que uma avaliao participativa possa ser levada a bom termo.

O que vimos afirmando cumpre um papel importante: alertar para o fato de que, se queremos implementar processos avaliativos participativos de fato, devemos nos despir de ingenuidades e iluses ainda presentes e que, uma vez no campo, acabam por minar os nimos e capacidades daqueles que se dispem a conduzir processos dessa natureza. Obviamente tais concepes se podem gerar posturas ingnuas em alguns bem intencionados pode, por outro lado, prestarem servios a outros no to bem intencionados assim, vindo a servir de verniz para aqueles que, no fundo, planejam qualificar de participativos processos que limitaram os distintos grupos ao papel de geradores de dados e informaes. Porm, para quem possui firme propsito de criar condies para a efetiva participao, a superao de posturas ingnuas ou desavisadas constituem o primeiro passo para o estabelecimento da processos verdadeiros e efetivos. Voltemos nossa sala de aula. A que serviu a vivncia proposta? Certamente para muitas e distintas coisas, dada a sua intensidade. Felizmente, coerente com o que vimos expondo, coisas no previstas ocorreram e serviram para distintas aprendizagens ao grupo para alm do que se pudesse prever ou planejar. Estreitando o foco, no que concernia especificamente ao tema proposto, a partilha de objetos estimados possibilitou a experimentao e elaborao de ao menos trs questes essenciais no que tange noo de avaliao e participao: - primeiramente romper com a idealizao e certa soberba mais comumente encontradas na academia, afeita a prescrever e estabelecer posicionamentos... para os outros! Seria um equvoco falar de participao para grupos l, distantes, em situaes idealizadas. Ao pensarmos em participao, faz-se imperioso literalmente olhar para o lado: - a vivncia proporcionou, por intermdio desses objetos, um contato mais profcuo com os colegas que constituem em si oportunidade potencial ou manifesta de vrias colaboraes bem ali, no cotidiano; - outra contribuio da dinmica inicial foi permitir uma compreenso experenciada de que um mesmo objeto pode ser percebido de maneira profundamente distinta por diferentes pessoas, sobretudo para aquele que detm com ele algum tipo especial de vnculo; - e finalmente foi possvel perceber que, a despeito de uma viso profundamente distinta em relao ao mesmo objeto, possvel compartilhar impresses e concepes ao ponto de facultar ao ouvinte passar a perceber o objeto definitivamente de novas formas, sob novos olhares.

Que a participao e incluso no seja idealizada, mas constitua pano de fundo para muitas das aes cotidianas, que participar estabelecer contato o mais ntimo possvel com a alteridade, convivendo com as diferenas e que, ao final, podemos sair enriquecidos da experincia, incorporando vises antes ausentes era a inteno daquele primeiro encontro com os alunos. Em se tratando de avaliar um programa ou servio, essas premissas podem iluminar o nosso caminho, atenuando as sombras de certas ingenuidades (bem ou mal intencionadas) e ainda assim constituindo esperanas. Conforme explicitado por um aluno no blog da disciplina:
Com a aula de hoje pude ver que participar, mais do que simplesmente poder falar, sentir-se apto a falar, ser ouvido, ser considerado, sentir-se motivado a revelar algo - isso tem haver com envolvimento, vnculo, significado. Fiquei pensando na questo do quanto a metodologia pode ser usada como facilitadora do processo participativo. (Fabrcio Leonardi)

II - Mas do que se trata mesmo? Aproveitamos para explicitar que a avaliao, de que estamos tratando aqui, aquela voltada para programas e servios na rea social e da sade implementados a partir de polticas pblicas do Estado ou pela iniciativa do terceiro setor, por meio de organizaes no governamentais (ONGs). Avaliao entendida como o esforo de emitir um julgamento o mais adequado possvel sobre o valor ou mrito desses programas e servios, com base em critrios estabelecidos, sendo a coleta de dados e informaes dotada do maior rigor possvel e tendo como objetivo final subsidiar tomadas de decises por parte dos envolvidos na conduo desses mesmos programas ou servios. E o que entendemos por avaliao participativa? So muitas as definies e nenhuma pode ser considerada definitiva. No entanto, sua caracterstica central a entrada, no processo avaliativo, de outros atores sociais alm dos avaliadores, como gerentes dos servios, gestores, profissionais da ponta, usurios, familiares e grupos pouco ou mal atendidos pelo programa ou servio, dentre outros. Trata-se de uma participao que vai muito alm do fornecimento de informaes, podendo envolver diferentes atores em algumas ou todas as etapas da avaliao (como a definio das questes, coleta, anlise de dados, julgamento e formulao de recomendaes). O envolvimento dos participantes deve ser constante e ativo e o avaliador deve cumprir um papel de facilitador e parceiro e no exatamente de coordenador. Espera-se tambm que o processo propicie a assimilao, pelos participantes, de habilidades para compreenderem e utilizarem melhor os futuros resultados, bem como se envolver ou conduzir novas avaliaes.

No entanto, a tentativa de delimitao ou definio apresentada acima faz reaparecer o que tentamos analisar no tpico anterior: a simplificao homogeneizante da proposta de participao. Ainda que efetivamente possam ser consideradas participativas, algumas avaliaes guardam entre si significativas diferenas, conforme privilegiem aspectos voltados para uma cidadania bem informada, pelo reforo das capacidades de grupos marginalizados e que levem realmente em conta as preocupaes e inquietaes dos grupos envolvidos. Por outro lado, existe uma outra vertente que privilegia atores que detm o poder sobre a gesto e o financiamento do servio avaliado, de modo a garantir a utilizao dos resultados. Finalmente, temos um terceiro plo, composto de avaliaes centradas nos grupos de interesse e em seus eventuais conflitos. Teramos, ento, trs extremos ou tipos ideais, que poderiam ser nomeados e melhor caracterizados conforme discorremos abaixo. Poltico-emancipadora: avaliaes participativas centradas nos atores envolvidos, voltada para a emancipao, autodeterminao e reforo de suas capacidades. Em geral, avaliaes dessa natureza se caracterizam por grande nmero e diversidade de atores envolvidos e controle partilhado do processo com o avaliador. Focaliza mais as aspiraes dos atores do que os objetivos explcitos no programa. Como exemplos de avaliaes participativas dessa natureza temos a avaliao emancipadora, avaliao democrtica e avaliao inclusiva. Pragmtica: avaliaes nas quais a participao est a servio de garantir ou expandir o grau de utilizao dos resultados de modo a melhorar a eficcia de um programa. Os atores envolvidos so em menor nmero, privilegiando aqueles considerados com maiores chances de efetivamente usarem os resultados. A chamada avaliao centrada na utilizao um dos exemplos desse tipo de avaliao participativa. Pluralista: utilizada quando os conflitos em torno dos objetivos e processos do programa so evidentes. Nesse caso, assegurando sempre o controle do processo, os avaliadores devero garantir a compreenso e a considerao das diferentes perspectivas e concepes em jogo. A categorizao acima apenas uma dentre as muitas possveis e tem o valor de nos alertar sobre o fato de que sob a chancela participativa podemos encontrar avaliaes com perspectivas muito diferentes. Assim, o processo pode incluir atores justamente para dot-los de mais poder e habilidades, compartilhando decises, superar

conflitos ou, por outro lado, utilizar a participao tendo como principal foco o fomento da utilizao dos resultados. Seria difcil encontrar tipos puros, totalmente fiis a classificao acima, mas necessrio que tenhamos em mente o tipo de perspectiva a ser privilegiada quando nos propomos a deflagrar um processo avaliativo participativo. Dois avaliadores franceses, Galle Baron e Eric Monnier propuseram um interessante recurso visual que pode nos ajudar a sintetizar o que vimos discorrendo sobre gradientes de participao. Para os autores3, os processos participativos podem ser diferenciados segundo duas dimenses: sua amplitude e profundidade. Por amplitude, entenda-se a diversidade de atores sociais envolvidos, que pode ir desde um mnimo esperado (gestores e trabalhadores diretos) at representantes da sociedade civil mais geral (veja a figura abaixo). Figura 1 - A amplitude da participao em processos avaliativos
A amplitude da participao
Financiadores e avaliadores +Trabalhadores da ponta + Outros atores da + Beneficirios concepo e diretos implementao do programa + Beneficirios indiretos potenciais + Cidados e seus representantes

(adaptado de Baron & Monnier, 2003)

O outro modo de diferenciar e caracterizar a participao se faria identificando a profundidade da mesma o que corresponde efetiva insero e ao grau de implicao dos grupos de interesse nas diferentes fases do processo, que vai da definio das questes ao julgamento, passando pela coleta e anlise dos dados. A figura abaixo procura articular as dimenses de profundidade e amplitude.

Baron, G. & Monnier, E. Une approche pluraliste et participative: coproduire l valuation avec la socit civil. Informations socials, n.110, septembre 2003.

Figura 2 - diferentes avaliaes, amplitude e profundidade da participao

Profundidade
forte

Avaliao A Avaliao B

Avaliao C

Avaliao D
fraca

Amplitude

(adaptado de Baron & Monnier, 2003)

Observe que a figura acima possibilita analisar distintos tipos de avaliao, situando-as em relao a amplitude e profundidade da participao dos grupos de interesse, nos permitindo maior clareza sobre a qualidade e intensidade do envolvimento dos participantes. No caso da profundidade da participao, lembremos de que ela se torna mais forte medida que os envolvidos possam opinar e interferir em fases tradicionalmente refratrias incluso de no especialistas, como a anlise de dados e a elaborao de recomendaes. Atualmente, nos parece ser essa a direo a ser tomada para o avano dos processos participativos em avaliao. III - Polticas sociais, avaliao e participao Centralmente, discutiremos nesse tpico o fato de que as polticas pblicas so constituda de trs componentes, sendo o da participao o mais frequentemente negligenciado. Argumentaremos em favor da garantia da participao na formulao dessas polticas e, por coerncia, tambm na avaliao das mesmas. Se no primeiro tpico desse captulo discorremos sobre implicaes intersubjetivas de diversas ordens que afetam e justificam o estabelecimento da participao no processo avaliativo, nesse terceiro tpico abordaremos questes ligadas s polticas

sociais que apresentam aspectos que exigem a noo de participao. Para isso, centralmente utilizaremos as idias de Pedro Demo (19994) em torno das quais produzimos consideraes em outro estudo (Furtado & Onocko Campos, 20085). Partimos de dois presssupostos: 1) as polticas sociais negligenciam seu componente voltado para a promoo e empoderamento de suas clientelas que deveriam se dar por meio da participao dos mesmos no processo de gesto dessas polticas; 2) se a gesto deveria ser participativa e empoderadora, os processos de avaliao dessas polticas e/ou dos programas deveriam ser igualmente participativos e empoderadores. Assim, a participao faz sentido em todas as etapas das polticas sociais, no s no planejamento e gesto, mas tambm na avaliao das mesmas, nosso foco de interesse no presente captulo. Devemos nos lembrar que as polticas sociais constituem um esforo planejado, por parte do Estado na reduo das desigualdades sociais. A idia que parte da renda captada por meio de impostos e outras fontes possibilite ao Estado oferecer servios ou o acesso a instncias que respondam s necessidades fundamentais da populao, sobretudo da parcela mais carente, ligadas habitao, sade, transporte e educao, dentre outras. O carter redistributivista dessas polticas normalmente conta com relativa concordncia entre Estado e beneficirios. Porm, note que as polticas sociais so compostas de trs facetas distintas e que vale a pena analisar para compreendermos melhor a argumentao que vir a seguir. Seriam essas facetas: 1) assistencial, voltada para ao sustento e ao cuidado de grupos que no o fariam sozinhos ou sem apoio; 2) scio-econmica, voltada para permitir ou ampliar a capacidade do sistema em ofertar empregos e/ou gerar renda e 3) poltica, ligada aos modos de conceber, focalizar e conduzir essas polticas. Essa ltima faceta responsvel pela definio da maior ou menor participao dos atores envolvidos e da maior ou menor autonomia da clientela frente s polticas sociais. Normalmente, prevalece a faceta assistencial, degenerada em assistencialismo ou a faceta scio-econmica, degenerada em tecnocracia (esta ltima caracterizada como poder pretensamente legitimado por saberes tecnocientficos). justamente na vertente menos explcita dessas trs facetas - a poltica - que se define o teor e qualidade das polticas sociais. Somente com uma vertente poltica forte, compromissada com a efetiva participao e co-gesto das clientelas interessadas, que se pode garantir mudanas sociais verdadeiras, evitando a degenerao de polticas sociais em
4 5

Demo, P. Participao conquista, So Paulo: Cortez, 1999. Furtado, J. P. ; Onocko Campos, R. Participao, produo de conhecimento e pesquisa avaliativa: a insero de diferentes atores em uma investigao em sade mental. Cadernos de Sade Pblica (FIOCRUZ), v. 24, p. 2671-2680, 2008.

assistencialismo e tecnocracia. Ou seja, poltica social aquela que efetivamente promove a redistribuio de bens e poder, por meio da efetiva participao dos vrios grupos de interesse em sua conduo, sobretudo a clientela-alvo, tendo como eixo de sustentao a noo do que mais recentemente se convencionou chamar de empoderamento ou autonomia. Mas o que a participao na gesto das polticas sociais teria a ver com a participao em processos avaliativos? Para responder, recorremos a afirmao feita em outro momento:
(...) se a participao popular elemento vital e constituinte das polticas pblicas - sobretudo se quisermos que estas superem seus riscos de degradao e manipulao e efetivamente cumpram sua misso de assistir e empoderar - podemos afirmar ento que a participao da comunidade e de grupos de interesse na produo de conhecimentos em torno destas polticas pblicas seriam igualmente desejvel (Furtado & Onocko Campos, 2008, p.2.6726)

Notemos a uma dos papis por excelncia de uma avaliao participativa: produo de conhecimento para uso dos prprios grupos de interesses participantes, de modo a compreenderem e com isso intervirem melhor sobre o processo de redistribuio de renda e poder a que, de alguma forma, esto vinculados. Perceba tambm que se por um lado a participao, em sentido amplo, deve se fazer em todas as etapas das polticas sociais (da concepo avaliao), qualificando-as, o mesmo efeito pode ser transposto para as avaliaes em geral. Assim que, tal como nas poltica pblicas, o processo participativo em avaliao pode minimizar os riscos de que essa se torne pretensa e falsamente tcnica e neutra (semelhante tecnocracia citada). IV- De onde vem? No primeiro tpico, afirmamos que a incluso dos diversos atores frequentemente recomendada por autores das mais diferentes linhas em avaliao. Porm, h significativa distncia entre a freqncia dessas recomendaes e a existncia de trabalhos efetivamente participativos e, menos ainda, daqueles que explicitam criteriosamente o caminho seguido, discutindo suas potencialidades e limitaes. Nesse tpico destinado a refletir sobre mtodos possveis para efetivar a participao, apresentaremos alguns caminhos passveis de serem utilizados pelos interessados nesse
6

Idem, ibidem.

tipo de avaliao. No entanto, evitaremos, apresentar logo de incio um roteiro que garanta a participao. E por algumas razes que discutiremos a seguir. Primeiro porque no h um roteiro capaz de garantir algo como a participao. Se voc pretende realizar uma avaliao participativa, analise atentamente o contexto institucional na qual pretende desenvolv-la de modo a dimensionar adequadamente suas expectativas e aquelas que voc venha a suscitar entre os grupos de interesse. Dificilmente uma avaliao ser plenamente participativa em um programa ou servio cuja gesto imediata ou alta-gesto caracterizam-se pela centralidade administrativa. Isso no quer dizer que uma iniciativa dessa natureza no possa contribuir para aumentar os coeficientes de democracia intra-institucional. certo que sim, mas fique atento ao fato de que significa justamente aumentar gradientes e no estabelecer completa democracia. Nesse sentido, devemos ser honestos, reconhecendo nossas limitaes: dispositivos como a avaliao participante opera entre brechas e frestas do institudo, buscando gerar processos novos, agindo como um dispositivo, no tendo potncia para reinventar instituies e, menos ainda, reinventar a sociedade. Segundo ponto, de que fazemos questo de advert-lo antes de esboar qualquer roteiro: nossas opes metodolgicas no so neutras nem objetivas, mas tributrias de nossas concepes de mundo e posicionamentos polticos (em senso amplo). Aprofundemos um pouco mais nessa importante questo. O que queremos dizer que o mtodo (que significa caminho para) utilizado para obter dados e informaes - que por sua vez permitam compreender um determinado programa ou servio - ainda que parea uma caixa de ferramentas em si ou um conjunto de regras a ser seguido, de fato no to autnomo. O que equivale a afirmar que um mtodo, qualquer que seja, est enraizado nos modos como concebemos a realidade e as relaes que podem ser estabelecidas entre um indivduo e o objeto que ele quer conhecer melhor. Na linguagem acadmica se diz que as questes ontolgicas (que dizem respeito nossa compreenso sobre a realidade das coisas) e epistemolgicas (que dizem respeito aos modos como definimos que um objeto pode ser conhecido) so interligadas e determinaro, por sua vez, nossas opes metodolgicas. Afirmao plena de sentido, afinal os modos como compreendemos o que vem a ser real e como concebemos nossa relao com o objeto de nosso conhecimento (se vamos, por exemplo, interagir com ele ou se buscaremos distanciamento e neutralidade) inevitavelmente influenciaro as ferramentas que utilizaremos no campo. Faamos um exerccio: ao falarmos de participao, perceba que por detrs desse posicionamento favorvel a incluso da pluralidade de agentes existe uma

concepo ontolgica implcita. E qual seria? Veja que se partssemos da premissa que a realidade uma s (realidade aqui pode ser o programa, por exemplo), talvez no precisssemos incluir muitos e diferentes pontos de vistas. Bastaria que um observador pretensamente neutro e externo viesse dizer do que se trata essa realidade ou programa nos trazendo ou revelando a verdade. Uma das razes pelas quais defendemos a incluso de diversos atores em um processo avaliativo nossa concepo de realidade como algo socialmente construdo e, portanto, no objetivvel. Assim, podemos afirmar que nos baseamos em uma perspectiva ontolgica relativista (que relativiza), que considera a existncia de mltiplas realidades social subjetivamente construdas e que no so governadas por leis naturais. Lembra-se da dinmica realizada com os alunos, descrita no incio do texto? Pois : como objetivar aqueles bens to preciosos, eivados de histria e significaes? Na verdade eles s podem ser bem conhecidos e compreendidos a partir da construo que cada um de seus donos realiza em torno deles. Nesse caso, a verdade definida como construes pessoais ou coletivas e no pode ser obtida por meio de objetivao, neutralidade ou distanciamentos. Veja que no d para pensar em um mtodo descolado de tudo o que vimos afirmando nos dois ltimos pargrafos. Nossas concepes epistemolgicas tambm influenciaro os mtodos a serem utilizados. Se concebemos interaes e influncias possveis entre investigador/avaliador e objeto (epistemologia subjetivista) podemos lanar mo de mtodos que permitam maior interao entre pesquisadores de campo e eventuais integrantes de um dado programa ou servio. Estratgias como a observao participante e outros mtodos etnogrficos se prestam ao desenvolvimento de interaes dessa natureza. Se, por outro lado, concebemos uma interao dualista, buscando a no influncia entre sujeito e objeto, lanaremos mo de mtodos que procuram a mais completa objetividade, como o caso de questionrios estruturados, por exemplo. Os chamados mtodos qualitativos, justamente por considerarem uma concepo construtivista da realidade e uma interao inevitvel e necessria entre pesquisador, objeto e contexto se prestam de especial maneira ao desenvolvimento de avaliaes participativas.
A avaliao qualitativa pode contribuir, identificando esses atores e interesses e certificando-se de que o projeto avaliado e a avaliao no desconsiderem ou esqueam o que puder explicar os resultados especficos de uma ao. (Laperrire & Ziga, 20067)
7

Laperrire, H. & Ziga, R. Avaliao comunitria: conflitos verticais e ambigidades metodolgicas in Bosi, M.L. & Mercado, F. Avaliao qualitativa de programas de sade: enfoques emergentes, Rio de Janeiro: Vozes, 2006.

O que no necessariamente exclui eventuais coletas de dados tidos como objetivos ou numricos, que podem subsidiar um processo predominantemente voltado para a compreenso de significados, como o caso da estratgia qualitativa, sem descaracteriz-la. Uma vez cientes de que os mtodos a serem utilizados so sempre determinados pelo ambiente institucional e por nossas concepes de realidade e modos de conhece-la (nossos paradigmas), vejamos alguns estratgias possveis para viabilizar um processo participativo. V - Dimenses orientadoras quase um equvoco afirmar que somente agora vamos apresentar o caminho para o estabelecimento de um processo participativo. De fato, desde a primeira linha do texto estamos trabalhando nesse sentido e, conforme discutimos no tpico anterior, tudo o que foi apresentado at aqui determina fortemente as ferramentas e os modos como estas sero utilizadas para efetivar uma proposta avaliativa participativa. Digamos que agora tentaremos delinear caminhos que, no devemos esquecer, s tm sentido porque articulados com diversas concepes, teorias e posicionamentos que os antecedem e sustentam. Uma vez cientes dos fatores institucionais e polticos que favorecero ou vo impor limites ao processo avaliativo participativo, utilizaremos cinco dimenses norteadoras de um eventual trabalho de campo, que serviro como balizas a nos apontar pontos cruciais na trajetria de uma avaliao participativa. Esse conjunto de balizas (dimenses e respectivas questes) constitui uma ferramenta elaborada a partir da releitura dos trabalhos de dois colegas avaliadores, Weaver & Cousins (20038), retomado mais frente por Ridde (20069) (vide tabela 1). Porm, no deixe de pensar sobre que outras dimenses que voc venha a considerar fundamentais e que podem ser incorporadas no conjunto, enriquecendo-o.
Tabela 1 Escala de valores das cinco dimenses do processo de avaliao participativa Dimenso Questo

Weaver L, Cousins JB. Unpacking the participatory process. Journal of Multidisciplinariy Evaluation,1:19-40, 2004. 9 Ridde V. Suggestion dameliorations dun cadreconceptual de lvaluation participative. La RevueCannadienne dvaluation de Programme; 21:1-24, 2006.

1.Controle de decises tcnicas 2.Grupos de interesse participantes 3.Relao de poder entre os grupos de
interesse

Como se compartilha decises tcnicas ligadas ao processo avaliativo? Qual a diversidade dos grupos de interesse entre os participantes? Como se deu a participao dos diferentes grupos de interesse? Como se caracteriza a permeabilidade do processo avaliativo ao meio na qual transcorreu? Qual a profundidade de participao dos no-avaliadores no processo?

4.Plasticidade do processo de gesto da

pesquisa

5.Nvel de participao
(Adaptado de Ridde, 2006 1 )

Controle das decises tcnicas: por decises tcnicas podemos entender o plano global da avaliao, composto por seu desenho geral, mtodo para a coleta de dados, critrios a serem utilizados para o julgamento, dentre outros. Tradicionalmente, o controle dessas decises privativo dos pesquisadores e avaliadores. Com o desenvolvimento da participao, j existem relatos de experincias de co-participao tanto nas decises tcnicas quanto em outro ponto nevrlgico - o da anlise dos dados. No entanto, tais experincias esto longe de compor a maioria. Infelizmente, para se chegar ao ponto de propor uma avaliao, muitas decises tiveram que ser tomadas antes. Por exemplo, um pesquisador vinculado a uma universidade dever formalizar um projeto de maneira detalhada para conseguir financiamento para sua pesquisa avaliativa. Ao ir a campo, algumas decises tcnicas importantes do projeto j tero sido tomadas e formalizadas junto ao Cnpq, Fapesp ou congneres. Nesse contexto, alguns desafios se colocam: obter recursos e fazer constar no cronograma a etapa de desenvolvimento do projeto de avaliao junto aos distintos atores sociais, garantindo interferncia na fase embrionria. Devemos ressaltar que a participao em decises tcnicas deve ser antecedida de subsdios para que os participantes possam efetivamente compreender e intervir nas questes colocadas. H que se cuidar sempre para que o convite participao seja acompanhado do apoio necessrio para que as pessoas se sintam realmente aptas a contribuirem e manifestarem suas questes. Grupos de interesse participantes: aps uma tempestade de idias todos os atores potencialmente importantes devem ser listados. Porm, em um segundo momento, com base nos recursos, tempo disponvel e viabilidade de agregao, devero ser priorizados os grupos mais importantes para o desenvolvimento da tarefa. Abaixo (vide figura 3) apresentamos alguns critrios que podem ser utilizados para a definio do conjunto final de atores. O cruzamento de alguns

critrios podem nos ajudar a definir os grupos. Nesse caso, sugerimos a ttulo de exemplo o cruzamento dos critrios atitude inicial face ao programa ou servio com a representatividade das questes. Figura 3 - Cartografia dos atores envolvidos

Atitude inicial frente ao programa

antagonista alta mod. fraca import. das questes favorvel desc. ou neutra

(adaptado de Patton, 199710)

Naturalmente, podemos fazer outros cruzamentos que facilitem a definio dos grupos participantes. No devemos nos esquecer que os participantes iniciais so fonte importante de mapeamento e definio de novos participantes. Relao de poder entre os grupos participantes: como j dissemos, constituiria ingenuidade negligenciar os desnveis inevitavelmente existentes entre os vrios integrantes do processo. Nesse aspecto, a funo mediadora do avaliador especialmente requerida. Sem minimizar as diferenas e desigualdades eventualmente presentes, o avaliador dever garantir algo essencial ao processo: a manifestao,
10

Patton, M.Q. Utilization-focused evaluation. Thousand Oaks, CA :Sage, 1997.

circulao e legitimidade das questes, reivindicaes e problemas levantados pelos participantes. Em experincia recente, o desnvel entre os participantes era de tal ordem (no caso, entre profissionais universitrios e tcnicos de enfermagem) que optamos por realizar grupos de discusso compostos somente por essa ltima categoria, de modo a garantir um ambiente no qual esses se sentissem vontade para se manifestarem. Porm, resta a questo: que peso ter cada grupo no julgamento e na formulao de recomendaes? Como considerado em outro ponto desse texto, a avaliao participativa age conquistando espao ou ampliando os j existentes, mas no tem potncia para uma reforma estrutural. Nessa luta contra-hegemnica, tarefa dos avaliadores garantir a efetiva participao, o que equivale a dizer que constitui nossa tarefa ser o fiel da balana em favor dos grupos menos favorecidos. No s por uma questo de justia, mas tambm porque ali podem estar contidas questes cuja vinda tona trar novos elementos para a avaliao, em mais profundidade, do programa ou servio em foco. Plasticidade do processo de gesto: trazer diferentes atores para o interior do processo lidar com o imprevisto e o inusitado. Um processo completamente formatado e fechado incompatvel com o turbilho de trocas e embates que podem advir do encontro (e s vezes confronto) de diferentes atores. Nesse sentido a gesto do processo deve ter plasticidade suficiente para acomodar esse movimento e firmeza necessria para impedir a paralisao do processo ou a disperso em mincias. Do ponto de vista do mtodo, a plasticidade requerida aponta em favor de mtodos qualitativos para a coleta de dados e informaes. Aberto e permevel ao contexto, o referencial qualitativo permite correes de rota, acrscimos e supresses com base no desenvolvimento dos trabalhos. A incluso de atores at ento no considerados, a coleta de dados no previstos e outras modificaes so possveis e mesmo recomendadas no interior desse referencial. Profundidade da participao: remetemos novamente o leitor figura 2, na qual os autores confrontam as dimenses amplitude e profundidade da participao. O grande desafio aqui posto como ter

os atores inseridos nas diferentes fases da avaliao (elaborao do plano, das perguntas, coleta, anlise, julgamento e recomendaes). Quanto maior o nmero de fases permeveis aos diferentes atores, to mais profunda ser a participao. inevitvel que algumas etapas exijam conhecimento tcnico especfico - o que no se espera seja prerrogativa de todos os participantes. No entanto, devemos considerar ser a participao um movimento essencialmente poltico e no exatamente tcnico. Com isso, queremos chamar a ateno de que no se trata de banalizar a tcnica nem de restringir a participao a algumas etapas. No inconcilivel o saber especfico, necessrio para a conduo de algumas tarefas com qualidade e rigor e o compartilhamento dos achados e seu processamento: afinal, estamos tratando de um objeto (programa ou servio) que no distante ou estranho para nenhum dos envolvidos em sua avaliao. Nesse ponto, nos ocorre a metfora da clnica mdica: no se trata de abrir mo do conhecimento mdico na deteco do mal de um doente, mas isso no dever impedir que tanto diagnstico quanto tratamento sejam discutidos com o paciente, ator intimamente envolvido e interessado no processo e seus resultados. Alm dessas dimenses norteadoras, queremos chamar sua ateno para dois pontos importantes. Primeiramente, todas essas dimenses requerem um espao fsico e social para ocorrerem. Ou seja, necessria a criao de um espao de acompanhamento e deliberao em torno da avaliao empreendida pelos atores que decidiram participar. Composto por avaliadores profissionais e por representantes dos grupos de interesse, esse coletivo dever se reunir sistematicamente durante os trabalhos, de modo a fazer correes de rota, aprender com o processo, inserir aes no previstas, compartilhar anlises do que vai sendo coletado, dentre outras coisas. Esse espao um local por excelncia do processo participativo, embora no se deva negligenciar outras instncias menos formais que, igualmente ou at em maior proporo, tm o poder de facilitar ou dificultar enormemente o processo. A outra questo diz respeito ao julgamento propriamente dito. Afinal, todo o processo avaliativo se faz em torno do anseio de identificar mritos, valores e limitaes do programa ou servio, a partir do qual se pode fazer recomendaes, potencialmente trazendo conseqncias importantes para alguns dos envolvidos. Imagine se o resultado

da avaliao prope o fechamento ou a reduo de alguma parte do programa ou sua mudana de endereo, por exemplo. O julgamento o momento de grande confluncia: das evidncias provenientes da coleta sistemtica de dados, dos desejos e intenes expressos nos objetivos iniciais do programa, das normas existentes, das vivncias e valores dos diversos atores, dos preceitos ticos, dentre outras coisas. Dada essa complexidade, o julgamento e formulao de recomendaes dever se dar no espao deliberativo, devendo-se garantir que haja representatividade de todos os atores; distribuio equilibrada de oportunidade de interferir nessa etapa; considerao dos pontos de vista sem discriminar origem e posio social ou institucional; e competncia necessria para selecionar e interpretar adequadamente as informaes11. VI - Concluso Empreendemos aqui um percurso em torno da idia de avaliao e participao. Questes inter-subjetivas, polticas, epistemolgicas e operacionais foram consideradas em um esforo de primeira aproximao com o tema. A questo da participao permeia muitas outras iniciativas e no caso da avaliao assume especial relevncia por conta da essncia mesma dessa ltima: seu compromisso com a mudana, com a tomada de deciso, o que no pouca coisa. Afinal, conseqncias prticas podem ser extradas do percurso avaliativo, afetando direta ou indiretamente, para o bem ou para o mal, diversas pessoas. Por essa razo, a entrada em cena de grupos que potencialmente podem ser afetados com as decises tomadas torna-se fundamental para evitar ou ao menos minorar eventuais prejuzos. Esperamos tambm ter contribudo para a superao de alguns lugares comuns presentes na discusso sobre participao que procuram encobrir seus aspectos vitais, colocando-a na mesma prateleira de benemerncias sociais to recorrentes em nosso pas. Participao conquista, como nos alerta Pedro Demo. Ns avaliadores j temos o nosso espao assegurado e podemos trabalhar intensamente para que outros interessados tambm adentrem o processo. Podemos abrir brechas, cavar espaos, instigar movimentos. Mas a participao ter atingido especial patamar quando a demanda por interferir nos processos partir dos prprios grupos de interesse, sobretudo aqueles tradicionalmente menos favorecidos.
11

Conforme recomendado por Bilodeau, A., Allard, D., Gendron, S., Potvin, L. Ls dispositifs de la participation aux tapes stratguiques de levaluation, The Canadian Journal of Program Evaluation, 21(3): 257-282, 2006.

Enquanto isso, devemos seguir animados em promover a interao entre a diversidade e, tanto quanto possvel, usar todos os meios para que as pessoas sintam-se aptas a falar e, quando o fizerem, possam revelar algo, com a certeza de terem sido ouvidas. E que essa experincia as motive a ingressar em outros e novos processos semelhantes. Como afirmado por Laperrire & Ziga,
Ainda que parea exagerado, um grupo comunitrio pode ter sentido proftico, um dom de visualizar um mundo diferente, mais prximo de seus valores, e o avaliador deve colocar-se existencialmente diante dessa profecia. mais provvel o silncio favorecer o avaliador que o usurio que vivencia o custo de sua afonia e sua invisibilidade. E a pesquisa pode incorporar no discurso pblico os elementos que ficaram invisveis nas generalizaes abstratas e estatsticas que as sustentam. (2006, p. 140-112)

12

Idem, ibidem.