Sie sind auf Seite 1von 21

Pesquisa qualitativa em educao: pertinncia, validez e generalizao

Agns Van Zanten

Resumo Este artigo apresenta uma viso global da investigao qualitativa em educao na atualidade. A primeira parte analisa as mudanas sociais e polticas que devem conduzir a uma adaptao dos mtodos qualitativos de investigao. A segunda estuda as mudanas necessrias nas categorias de anlises. A terceira apresenta os critrios de validez dos trabalhos qualitativos neste novo contexto social e poltico. A quarta indica os limites e as possibilidades de generalizao. Na ltima parte evoca-se alguns problemas que apresentam a restituio e a publicao dos resultados. Palavras-chave Mtodos e tcnicas de pesquisa educacional. Sociologia educacional.

Pesquisadora do CNRS (Centro Nacional de Pesquisa Cientfica). Paris Frana Doutora em Cincias da Educao pela Universit Ren Descartes - Frana.

PERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

26

Agns Van Zanten

Introduo
O presente texto focaliza os problemas dos mtodos e, sobretudo, a utilizao dos mtodos qualitativos no marco da Sociologia da Educao. Isto me interessa porque trabalho com mtodo qualitativo em meus estudos de campo, mas parece-me que h certos problemas com os mtodos qualitativos que tm muito a ver com o fato de que as pesquisas qualitativas so utilizadas, muitas vezes, pelas idias que produzem sem levarem em conta os modos de produo das idias. Outra preocupao refere-se ao fato de que os mtodos qualitativos foram desenvolvidos em um dado momento da histria da Sociologia, da Antropologia e a minha preocupao , tambm, adaptar os mtodos a uma realidade que tem mudado, uma realidade social, poltica, educacional que so diferentes.

As investigaes qualitativas frente s mudanas sociais e polticos


Os mtodos qualitativos que utilizamos no campo da Sociologia da Educao so, em geral, herdeiros de duas grandes tradies: uma tradio que vem da Antropologia, da Etnologia do que chamamos mtodos etnogrficos, e uma tradio da sociologia qualitativa que se desenvolveu muito mais no mundo anglo-saxnico, sobretudo nos Estados Unidos, com a Escola de Chicago e as pesquisas que desenvolveu. Minha inteno no , em absoluto, fazer uma histria dos mtodos qualitativos mas importante observar que foi no final do sculo XIX e princpio do sculo XX que eles se desenvolveram. Podemos pensar que o momento em que estavam atuando na sociedade no corresponde exatamente quele em que foram desenvolvidos. Outro aspecto comum e importante da tradio dos mtodos qualitativos que foram desenvolvidos para trabalhar com grupos sem cultura escrita, com sociedades alijadas do mundo desenvolvido ou com grupos marginalizados na sociedade. A maioria dos estudos da Escola de Chicago era sobre delinqentes, prostitutas, ladres, isto , todos os setores marginais da sociedade. A Sociologia conserva uma grande tradio de trabalhar com os grupos marginalizados, mas esse no geralmente o caso da Sociologia da Educao e da Sociologia em geral, e eu creio que se deva levar isso em conta. H dois fatores que quero enfatizar, que me parecem importantes pelo impacto que tm sobre mtodos de investigao.
PERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

Pesquisa qualitativa em educao: pertinncia, validez e generalizao

27

O primeiro aspecto trata do desenvolvimento do conhecimento, ou seja, cada vez mais encontramos sujeitos, atores sociais, que tm um nvel de instruo mais elevado, que participam de uma sociedade na qual a margem de discusso do conhecimento, por meio da escola certamente, mas tambm dos meios de comunicao, grande. Podemos dizer de maneira sinttica e citando alguns trabalhos recentes, que a sociedade tem se convertido em uma sociedade mais reflexiva, na qual os atores, alguns sujeitos em posio dominada, alguns sujeitos em formao, como os alunos, adotam posturas mais crticas a seu prprio comportamento, mais reflexivas, em grande parte graas discusso do conhecimento pela escola e por outros canais sociais. Este fator me parece muito importante uma vez que grande parte dos estudos focaliza os discursos dos atores, e temos que levar a srio este discurso e suas evolues internas. Outro aspecto que , para mim, fundamental o papel que tem, atualmente, o conhecimento cientfico como base de controle social, de poder e de avaliao de nossa sociedade. Desde o incio da Sociologia, os mtodos de investigaes serviram para o controle social. No podemos ignorar que os trabalhos dos antroplogos foram muitas vezes utilizados para controlar as populaes indgenas, como os trabalhos dos socilogos da Escola de Chicago foram utilizados pela polcia e instituies como mtodos de controle social. No era, certamente, um desejo da maioria dos investigadores, mas no podemos ignorar que a cincia esteve, desde o sculo XIX, de maneira evidente nas Cincias Sociais, a servio do controle social. Este um mecanismo que tem se acentuado e se sofisticado, se tornado mais sutil, porque estamos em sociedades menos autoritrias nas quais os mtodos de controle social so menos autoritrios que ao final do sculo XIX e princpio do XX, por exemplo, mas nas quais o conhecimento tem um papel central na reconstituio de posies de dominao. Creio que esses dois fatores so importantes para nos ajudar a refletir sobre os mtodos de investigao, sobre a maneira como levantamos e interpretamos os dados coligidos, como utilizamos e restitumos os resultados. Queria, em um primeiro momento, discutir a situao da pesquisa, logo invocar o problema da interpretao, da validade, da generalizao e fazer uma pequena discusso, ao final, sobre as restituies dos resultados. Na tradio antropolgica, na tradio da Escola de Chicago, muitas das reflexes trazidas nos manuais de metodologia, nos livros ou na introduo dos trabalhos, diz respeito relao de poder na situao da pesquisa. TomaPERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

28

Agns Van Zanten

mos conscincia de que uma relao de poder. Tal relao se mantm, mas temos que estar conscientes de que os atores tm, em grande parte, se apropriado de categorias e instrumentos de investigao teis. Sou muito sensvel a estes aspectos porque, ultimamente, tenho deslocado meu centro de investigao. Durante muito tempo trabalhei nos bairros pobres e com populaes marginais de pais, de alunos, de professores, em situao de grandes dificuldades escolares. Nos ltimos trs anos tenho trabalhado mais com pais de classe mdia alta e, muito mais, com administradores e polticos. Fazendo este tipo de trabalho, tenho me perguntado at que ponto a reflexo sobre os mtodos qualitativos me so teis. Encontro-me em uma situao de pesquisa na qual, em geral, pressupe-se que o investigador esteja em situao de dominao sobre os sujeitos. Muitas das reflexes presentes em manuais de metodologia dizem como fazer para diminuir a situao vertical na qual o investigador tem uma posio de superioridade intelectual e social frente aos sujeitos. Ademais, versam acerca de como criar situaes mais horizontais numa investigao aplicada, pela participao dos sujeitos, mas tambm no que se refere ao trabalho dos investigadores, a maneira como vo falar, como vo se vestir, como vo se sentar e se comportar. Tudo isso muito importante em muitas situaes. Sem dvida, estou sendo guiada a refletir mais sobre o que acontece nessas situaes em que o investigador no est em situao dominante, o que tem acontecido recentemente com os pais da classe mdia alta, bem como com administradores e polticos. Nestes casos, a maioria dos conselhos dos manuais intil porque, ao contrrio, os investigadores tm que reafirmar uma posio de relativa superioridade se no quiserem que os sujeitos lhe imponham os temas de investigao. Em muitos trabalhos sobre administrao da educao, ao se comentar os temas de investigao, deparamo-nos com administrador que diz: eu penso que sei o que voc quer saber. O que interessante para voc este aspecto. Eu j preparei um pequeno dossi no qual esto todas as informaes de que voc necessita. Assim tambm com pais de classe mdia alta que dizem: eu penso que voc tem interesse nisto. Tudo isso pode parecer anedtico, mas nos convida a pensar que as situaes so diferentes e quando temos que lidar com grupos mais dominados, estes j esto familiarizados com a pesquisa. Em alguns casos, alunos de bairros pobres dizem: voc trabalha para qual canal de televiso?, que estudo est fazendo?, voc vem porque lhe interessam os problemas de violncia nesta escola. Esta uma discusso mais geral que tem relao com todas as categorias.
PERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

Pesquisa qualitativa em educao: pertinncia, validez e generalizao

29

H uma maioria dos atores que entrevistamos hoje em dia que tem uma certa idia do que investigao e no discurso que dirigem ao investigador h um modelo do que a investigao. Em graus diferentes, segundo a vivncia, o conhecimento, a posio social, a posio institucional, mas no podemos ignorar que o discurso que nos dirigem mais reflexivo, que est integrado, de certa maneira, a uma vulgarizao do que o trabalho cientfico, do que buscam os investigadores. Isto importante. importante, ademais, porque tem uma dimenso social e poltica mais ampla. O que acontece, atualmente, em meu estudo no campo escolar que a maioria dos atores, sobretudo os professores, mas no somente, compara a situao da pesquisa a uma situao de avaliao. Este no um fenmeno totalmente novo, mas um fenmeno que se converte em algo mais importante em razo do desenvolvimento da avaliao e da associao dos investigadores administrao e ao desenvolvimento das polticas pblicas no campo da educao. Tudo isso contribui para que certas categorias de perguntas se convertam em elementos de avaliao. Em meus ltimos trabalhos evito fazer perguntas do tipo seu centro escolar tem um projeto? pois como uma obrigao nacional que todo centro escolar tenha um projeto, todo diretor dir sim, temos um projeto. Aqui est o projeto, vamos apresent-lo. Assim como nunca pergunto aos professores trabalha em equipe?, pois como obrigao do professor trabalhar em equipe ele dir: sim, sem dvida, trabalho com equipes. Isso tambm parece anedtico, mas no podemos ignorar que na pesquisa os atores se posicionam com respeito a uma situao que do campo escolar, no qual a avaliao tem um papel extremamente importante na formao da escola. No estou afirmando que para abandonar a pesquisa ou que ela no ser vlida, mas, sim, que no podemos ignorar que os atores a vem como uma forma de avaliao. Uma terceira dimenso a da mediatizao, qual acabo de fazer referncia quando digo que os alunos pobres me perguntam para qual canal de televiso trabalho. Os alunos pobres do pas esto muito acostumados ao fato de que os meios de comunicao tm sido atrados pela situao catastrfica, terrvel, violenta das escolas dos bairros pobres. Mas tambm quero dizer que os atores se posicionam com respeito a uma grande visibilidade da ao escolar, muito mais importante do que no passado. Isto tem relao com as situaes que mudam a situao da escola. Em meu trabalho trato de respeitar muito o anonimato das pessoas.
PERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

30

Agns Van Zanten

Na primeira parte da apresentao, assinalo que se trata de um trabalho cientifico, que seus resultados sero utilizados unicamente para fins de investigao, no sero utilizados pela administrao nem para qualquer tipo de uso comercial. O que ocorre no encontro com algumas categorias de atores que dizem: mas no, eu no quero ser annimo, por favor cite meu nome, porque nossa escola a que melhor funciona neste campo. outro tipo de relao porque o investigador est sendo visto como um agente de mediao entre o sistema escolar e uma visibilizao pela administrao, pelos pais, pela opinio pblica e, ento, certamente, ter este papel tambm para o investigador, porque o investigador no pode ignorar que isso o ajudou no passado. Os trabalhos dos antroplogos contriburam muito, pois alguns grupos que no eram conhecidos foram conhecidos, e obviamente sempre houve este papel. Atualmente muito mais difundido este papel de mediatizao que por sua vez complica muito a relao no trabalho de campo, porque os atores no querem ser annimos, no querem ser um nmero, querem aparecer e querem que a pesquisa seja uma maneira de mediatizao, como um canal de televiso, um meio de comunicao. Estes so aspectos que podem parecer anedticos, mas servem, principalmente, para dar uma idia de como importante refletir sobre como as mudanas sociais e polticas, ainda que nas menores situaes do estudo, tm impacto e nos convidam a mudar nossa maneira de trabalhar.

As categorias de anlises
Essa problemtica importante dado que nos convida a trabalhar de maneira diferente, especialmente no que toca interpretao dos resultados. Creio, todavia, que importante conservar de maneira analtica uma diviso, quando vamos analisar um discurso, entre o que chamamos conhecimento indgena, no sentido geral da palavra indgena, e o que chamamos conhecimento cientfico para, em um primeiro momento, centralizarmo-nos no conhecimento indgena, suspendendo todo tipo de juzo que possamos ter, para realmente penetrar na realidade, no material emprico. Creio que esta diviso pertinente para analisar o material coletado. Sobretudo para aplicar um ponto de vista relativista a este material, para entender sua lgica interna, suspensa do vcio que produz um discurso racista. Eu posso me pr em uma posio de compreend-lo, no de entend-lo no sentido de que vou compartilh-lo, no de uma compreenPERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

Pesquisa qualitativa em educao: pertinncia, validez e generalizao

31

so afetiva, mas de uma compreenso intelectual. O trabalho de investigao qualitativa entender globalmente as categorias que mobilizam os atores para compreender a realidade e para atuar sobre a realidade. Assim, o trabalho de anlise do material me parece, essencialmente, o de isolar o conhecimento indgena e analis-lo em sua lgica interna. H de se aplicar nos materiais os elementos que venho mencionando sobre o aumento do nvel de conhecimento sobre as categorias polticas e administrativas. O que quero dizer, simplesmente, que difcil, atualmente, manter uma postura ante o material discursivo, mas tambm ante o material de observao. difcil manter uma postura como se o investigador estivesse desvelando uma realidade que era totalmente ignorada pelos atores. De meu ponto de vista, os atores esto cada vez mais reflexivos. E a postura, seja marxista clssica, seja psicanaltica, no campo da Sociologia ou no de diferentes disciplinas, considera que os atores no esto conscientes sobre por que atuam desta maneira e que, em parte est certo, os investigadores no esto perfeitamente conscientes das motivaes de sua ao. Mas se temos atores cada vez mais reflexivos, que tomam distncia das categorias e analisam de maneira crtica o discurso de produo de sua ao, temos atores em situao de maior dominao. Quando entrevistei os alunos de um dos ltimos ciclos de uma escola de periferia, uma das preocupaes era saber se existiam gangues de alunos e se essas gangues existiam no bairro e na escola. Uma das primeiras perguntas que fizemos foi: voc faz parte de alguma gangue?, est em algum grupo?. Parece uma pergunta bastante simples, bastante descritiva. Sem dvida, as respostas dos alunos so significativas. Recordo-me de um aluno que, ao fazermos esta pergunta, respondeu sorrindo: no, senhora, no estamos nos Estados Unidos. Esta uma reflexo muito simples, mas revela que sua resposta no em primeiro grau. O que ele est dizendo : voc nos fez esta pergunta porque compara nossa organizao social a uma organizao social com a qual estou familiarizado, sobretudo, pelos meios de comunicao e que constitui um modelo do que a organizao social nos bairros pobres. Sou um aluno, mas sou capaz de me posicionar sobre a organizao social de meu bairro e voc investigador que est incorreto em pensar que nossa organizao social corresponde aos modelos das gangues americanas. Fatos assim, muito simples, mostram que alguns atores sociais esto em situao de grande dominao e outros em uma posio reflexiva a respeito de seu grupo. Isto certo para os grupos indgenas, isto certo nos estudos do incio do sculo XX da Escola de Chicago, mas est
PERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

32

Agns Van Zanten

cada vez mais certo porque h um aumento do grau de reflexividade na discusso do conhecimento, de uma certa vulgarizao da cincia. No podemos analisar o discurso dos atores em primeiro grau sem levar em conta tudo o que eles tm assimilado da investigao e da leitura que a sociedade produz sobre ele. Da mesma maneira, no podemos analisar o material qualitativo sem considerar como se posicionaram os atores a respeito da avaliao, da mediatizao. O trabalho de desconstruo do discurso, sem dvida, me parece importante, pois tem que ser mais pensado, mais completo, posto que temos atores mais sofisticados, com mais discusso, com mais conhecimento, que se posicionam mais a respeito da avaliao, que querem dar uma imagem, ter uma visibilidade maior de seu grupo social. Isto porque so, na maioria, grupos dominados que, como objetos de pesquisas, usam-na como maneira de dar visibilidade a seu problema. Fazer uma investigao sobre um tema faz com que ele seja discutido publicamente, que haja artigos na imprensa, mas esta uma maneira de apresentar que implica, da parte do investigador, uma capacidade de desconstruo do discurso que no aprendemos, geralmente, nos manuais de mtodos qualitativos, dado que no ensinam este tipo de trabalho. Tal importncia liga-se aos problemas existentes neste tipo de sociedade, e de como se pode discutir o problema da validade da pesquisa qualitativa e sua capacidade de generalizao. Isto importante porque, apesar dos atores terem um conhecimento maior, uma discusso dos mtodos de investigao, h, todavia, uma distncia, uma diferena entre o saber cientfico e o saber indgena. Seno, no seriam necessrias investigaes, pois se cada um seu prprio investigador a investigao no teria razo de existir. A discusso sobre a validade e a generalizao trabalha sobre a contribuio dos atores, sobre o conhecimento dos atores. Sem pensar, entretanto, que os atores podem oferecer a frmula do mtodo, sem pensar que os atores so idiotas culturais, que o investigador superior compreenso dos problemas sociais que j tem os atores, em maior ou menor medida.

A validade das investigaes qualitativas


Parece-me importante refletir, primeiro, sobre as questes da validade. preciso observar, na avaliao, que os resultados das pesquisas qualitativas parecem, geralmente, mais abertos do que no caso das quantitativas. Ou seja, haveria maior propenso dos atores a discutir os resultados dos estudos
PERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

Pesquisa qualitativa em educao: pertinncia, validez e generalizao

33

qualitativos. No campo da educao, eles esto mais presentes e so mais difceis de se trabalhar j que as pessoas se consideram experts em educao. Eu pego um txi e vou para um trabalho de campo em educao; a pessoa que conduz o txi tem um ponto de vista sobre por que seu filho fracassou na escola, por que ela no funciona e o que o governo deve fazer para melhor-la. um campo no qual h muitos mais pontos de vista do que no campo da Medicina ou da Fsica Nuclear. Nos estudos em educao, o carter quantitativo no to grande e muitos no dominam o campo estatstico, os instrumentos quantitativos. Ao contrrio, as pesquisas qualitativas lhe parecem to familiares, to prximas de sua prpria maneira de pensar que a interpretao sempre est muito mais aberta. Em geral, quando apresento meu trabalho para um tipo diferente de pblico, sempre tenho pessoas na sala que dizem: no estou de acordo com esta interpretao, eu penso que no este o ponto de vista, entre outras observaes semelhantes. Isto uma grande riqueza da investigao porque me ajuda muito a enriquecer e aprofundar minha investigao. Os atores podem contribuir com pontos de vista complementares. Por mais profundo que um trabalho possa ser, pode haver aportes dos atores para uma outra compreenso do tema. Sem dvida, no me parece que possamos dizer que todas as interpretaes so vlidas, pois, do meu ponto de vista, todas as interpretaes no so vlidas. Isto tem a ver com o que se delineia no desenvolvimento do conhecimento. Chegamos, por exemplo, a um ponto de vista segundo o qual a escola no tem nenhuma funo. Se todos os pontos de vista so vlidos, no pode haver uma transformao dos pontos de vista, posto que os alunos j sabem onde aprenderam. Se todos os pontos de vista fossem vlidos quero dizer, que no se pode apresentar uma obra j que cada grupo tem um ponto de vista , no se consideraria a hiptese de haver um ponto de vista que tivesse se desenvolvido com muito mais tempo, muito mais leitura, muito mais profundidade. Parece-me importante para ns, investigadores, refletir, argumentar por que o ponto de vista do investigador pode ser um pouco mais vlido do ponto de vista cientfico. No estou dizendo que necessariamente mais vlido do ponto de vista social ou do poltico dos atores. Isto tem relao com a investigao, com o rigor do trabalho de investigao. Todos os atores aplicam, de certa maneira, mtodos de investigao para interpretar seu mundo. O que distingue o trabalho de investigao que muito mais rigoroso, um trabalho no qual se aplica tcnicas que
PERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

34

Agns Van Zanten

permitiro o aprofundamento sobre um dia de observao ou um ano de observao. No o mesmo um dia de observao e um ano de observao. Podemos nos aprofundar sobre um intercmbio, dois intercmbios com pessoas, mas vamos nos aprofundar, sobretudo, sobre um trabalho de entrevista realizada de maneira racional para ter uma certa representao de todo o grupo que vive ali. Discuto muito, na Frana, com os representantes da administrao que, em parte, apreciam meu trabalho. Mas, alguns inspetores gerais dizem, simplesmente: seu trabalho muito interessante, mas no h nenhuma diferena daquilo que ns fazemos, ns tambm vamos ao colgio, os visitamos um dia. O que voc escreve em seu livro, tambm vi no dia que passei nesta instituio escolar. Em meu trabalho, tenho tomado muitas precaues, porque esta uma discusso complexa. Procuro mostrar que no a mesma coisa visitar um colgio um dia e passar trs anos em um centro. Defendo que esta a contribuio possibilitada, nos trs anos, a respeito dos atores. Os administradores pensam que um mesmo trabalho; dizem que, como tenho uma grande experincia no sistema escolar, um dia me basta para entender se este centro escolar est funcionando ou no, se tem problemas com respeito s normas do sistema escolar ou no. muito importante defendermos o rigor da investigao cientfica, rigor que no depende da sofisticao tcnica dos meios e mtodos necessariamente. claro que melhor que se tenha um ponto de vista tcnico, que possamos fazer todo o trabalho com o auxlio do computador e no manualmente. Obviamente isto contribui para o sistema de anlise e, conseqentemente, pode apontar coisas novas. Mas o mais importante que se tenha trabalhos, artesanais ou mais complexos, com mtodos de investigao mais sofisticados, com rigor de anlise. Dou importncia a um mtodo com o qual trabalho: a entrevista e o trabalho de utilizao de entrevista. Penso que o trabalho de anlise tambm um trabalho importante para a restituio dos resultados. Neste sentido, temos que ver a utilizao da entrevista como se fosse um quadro estatstico e trat-la com o idntico respeito. Dou muita importncia ao trabalho de seleo dos extratos de entrevista que vou utilizar e do trabalho de montagem das entrevistas. Esta me parece uma metfora, como dizem alguns autores sobre o mtodo qualitativo, que me parece muito interessante. como se fosse um filme no qual no se pode mostrar tudo, porque nunca se mostra tudo o que se filmou, mas h de se mostrar aquilo que realmente representativo, imPERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

Pesquisa qualitativa em educao: pertinncia, validez e generalizao

35

portante. Para isso h um trabalho de montagem, complexo, que tampouco est nos manuais de investigao. Como selecionar o material emprico, j que no se pode dar conta totalmente de todo o material? sempre uma tentao quando se comea a trabalhar. Pensa-se em como difcil selecionar e que se vai explorar o mximo de material. Para a maioria dos estudantes e investigadores iniciantes, a dificuldade est em cortar o material, aceitar a renunciar a uma parte dele. sempre difcil porque sabemos o que foi cortado, como entrevistas que nos tomaram um ms de realizao ou a entrevista que era pobre, de tal maneira que no serve para a argumentao. Assim, independente do que tenha sido mais difcil de realizar, como no filme, nem sempre a cena mais difcil deve estar no resultado final. Acerca destas questes como vamos selecionar, montar e mostrar o material levantado devemos estar conscientes. importante sermos rigorosos porque nossas provas empricas no constituem nunca totalmente uma prova, mas permitem, pelo menos, uma transparncia na discusso. Se um pesquisador nos mostra o material que dispe, o que selecionou, o que montou, h um debate possvel entre os atores e possvel que digamos que interpretamos diferentemente dele. Isto permite a transparncia e um tipo de discusso que me parece essencial. Creio que a validade da pesquisa repousa, em grande parte, sobre a maneira rigorosa como vamos tratar o material levantado. Poderia discutir mais isto, certamente, por haverem diferentes tcnicas que podem ser mais rigorosas no tratamento do material. Mas isto depende muito do olhar que se vai adotar. Se a tica adotada for a de estabelecer a veracidade de um fato, temos uma grande tradio jurdica, antropolgica, poltica, sociolgica. Como vamos estabelecer a veracidade do fato quando no existe um elemento concreto? Simplesmente confrontando testemunhos? No podemos nos inspirar no estudo jurdico, na pesquisa sociolgica se quisermos saber se h veracidade no fato. J que estamos fazendo um estudo histrico, estamos tratando de saber quais foram os atores que exerceram maior influncia nesta deciso poltica. O que vamos fazer entrevistar vrias categorias de atores e utilizar todos os documentos escritos sobre as reunies, entre outros procedimentos, e vamos tratar de confrontar os testemunhos dos atores. Como no se pode conseguir a verdade absoluta, mesmo nos testemunhos mais concordantes, encontramos, ento, a probabilidade de que este ator tenha sido mais influente pois h uma concordncia muito grande entre todos os dados.
PERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

36

Agns Van Zanten

Mas, em outros casos, no temos uma lgica de estabelecer a veracidade dos fatos, trata-se menos de buscar a veracidade dos fatos e mais de buscar a lgica interna dos atores. O que nos importa no tanto se o que os atores esto dizendo verdadeiro ou falso, mas saber que tm atitudes diferentes. Pouco importa se em sala de aula a interpretao do professor mais verdadeira que a dos alunos, porque sabemos que os alunos, mesmo que sua interpretao seja falsa, vo atuar segundo esta interpretao. Ento, importante entender as categorias de interpretao que acionam os atores. Muito deste trabalho, que pode ser literrio, lingstico ou sociolgico, sobre as categorias que mobilizam os atores, sobretudo as categorias de pensamento, as categorias de ao, complexo. As categorias de ao so as mais difceis de analisar que as categorias discursivas. Mas, a validade do conhecimento cientfico tem tambm relao com, nunca devemos esquecer, o fato desta produo ser cumulativa. Nossa produo cientfica porque se inscreve em um campo de produo cientfica. Mesmo quando se trata de um estudo pequeno, microsociolgico, localizado, ele se inscreve em um campo muito mais amplo e a sua validade diz respeito contribuio que oferece a um conhecimento j existente. Sua validade no repousa unicamente sobre um estudo em particular, mas sobre a existncia de uma grande quantidade de trabalhos que permitem mobilizar todo esse conhecimento. Deve-se levar em conta que se a investigao no faz seno demonstrar o que j existe, no interessa faz-la. Toda investigao verdadeira aponta algo novo ao campo total de conhecimento. Aquelas que no apontam algo novo, no so investigaes. H uma tenso entre apontar algo novo e, ao mesmo tempo, se inscrever em uma tradio e em um campo de conhecimento. Creio que devemos estar conscientes destes dois aspectos. Se totalmente novo ou se no aponta nada, estamos inseridos na lgica da autenticidade, mediatizao e generalizao. Uma certa parte dos investigadores acredita que far uma investigao que vai ser nica, que ir apontar um modelo totalmente diferente dos modelos que existem. Isto tem relao com certa maneira de tratar os dados, que a mim incomoda muito. Cada pesquisa qualitativa que analiso produz sua prpria tipologia, descritiva, e muitos trabalhos de sntese em Sociologia da Educao esto, muitas vezes, confrontando problemas. Afirmam: "vou retomar todos os trabalhos de sntese para poder generalizar a partir deles". Isto serve para compreender que cada pesquisador tem feito sua tipologia local. Este trabalho serve a trs tipos de mundos: os ordenados, os desordenados e os do meio. Elaboram
PERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

Pesquisa qualitativa em educao: pertinncia, validez e generalizao

37

a tipologia do aluno: os que mantm uma boa relao com o professor, m relao e os que no tm relao. Isso no produz um trabalho cumulativo. Primeiro, porque um trabalho totalmente descritivo e, portanto, no pode fazer generalizao; a pura descrio e, ademais, no toma em conta todas as outras descries j existentes sobre o tema. Se queremos produzir um trabalho vlido que repouse sobre a cincia, teremos que inscrev-lo numa tradio cientfica o que, por sua vez, tem relao com tudo o que existe mas tem que indicar algo novo. O ltimo elemento que me parece importante o fato da validade do estudo com respeito s interpretaes dos entrevistados, relacionadas com a capacidade compreensiva do trabalho do investigador. Quero dizer, com isso, que a maioria das interpretaes dos atores no totalmente falsa. O problema essencial que repousa sobre um nmero limitado de elementos que so mobilizados na interpretao. O que importa, fundamentalmente, no investigador um ponto de vista global que no total. No se trata de um investigador que um Deus, onisciente, que v tudo, porque isso, naturalmente, no existe. Mas o ponto de vista do investigador um ponto de vista muito mais global. Primeiro, por todo o conhecimento cientfico que assimilou, mas tambm porque uma boa pesquisa qualitativa, uma boa monografia, por exemplo, um bom trabalho de campo, aquele que consegue pr em relao o maior nmero de elementos de maneira inteligente, dar uma inteligibilidade global a um grande nmero de fenmenos. Os atores produzem uma inteligibilidade parcial, sobre uma parte da realidade, extraindo certos fenmenos. Um aluno da classe, por exemplo, vai dizer: o professor teve em relao a mim uma atitude racista. Pode ser que tenha razo, pode ser que no a tenha, mas se no tem razo porque extraiu um fragmento do discurso e focalizou este elemento do discurso. O investigador que est observando a classe, durante todo o ano, sabe que este elemento um entre os que se passam nas atividades da classe. Por isso, muito importante pr em relao todos os elementos do nosso trabalho e produzir esta inteligncia global de todos eles. Uma interpretao local to vlida quanto sua capacidade de gerar novos lados para produzir um modelo desta realidade, que seja capaz de levar em conta muitos elementos, extrair esses elementos e construir um modelo global de interpretao. Quando escrevi A escola da periferia2 , minha idia era, por meio do conceito de escola de periferia, mostrar que havia um funcionamento especfico nas escolas em situao de marginalidade e que isso poderia ser
PERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

38

Agns Van Zanten

significado como modelo de escola de periferia. Neste modelo, queria mostrar como era a contribuio das autoridades polticas, dos diretores das escolas, dos professores, dos alunos, enfim, dos diferentes grupos histricos, para configurar o que chamo de modelo da escola de periferia. O interesse do trabalho era a sua capacidade de gerar uma interpretao global para as interpretaes locais dos atores que esto, em parte, conscientes disto, mas no esto conscientes da globalidade deste fenmeno e no esto tampouco conscientes do efeito que produzem, geralmente cumulativos. Assim, o professor pode estar consciente da situao individual da classe, mas no est claro que os professores da escola, da mesma maneira, produzem um aspecto global que eles no podem controlar e do qual no tm suficiente conhecimento. Devemos argumentar com os atores para mostrar que as aes polticas e sociais da base se apiam sobre um nmero limitado de elementos. O investigador pode contribuir para uma compreenso mais global, relacionada ao ciclo passado de investigao, como a caracterstica da coleta de material, como o fato de ter coletado este material suspendendo o vcio, e com uma orientao normativa, e todos os aspectos que j comentamos.

A generalizao dos resultados


No que toca generalizao, h uma dupla tentao nas investigaes qualitativas. H uma tentao que a de no generalizar, cada caso nico, cada caso especfico. A produo de tipologias descritivas vo neste sentido. Cada estudo produz uma teoria local. Penso que demasiado vicioso, atualmente, desenvolver uma teoria global dos sistemas educativos, mas podemos desenvolver uma teoria de mdio alcance. Modestamente, penso que meu esforo na escola da periferia foi produzir uma teoria de mdio alcance sobre a situao nas escolas marginalizadas que, espero, possa aplicar-se fora do mbito que estudei, uma pequena escola na periferia de Paris, isto , que possa ser aplicado em contexto nacional francs e deste a um modelo de escola em situao de marginalizao social. Isto o que chamamos de teoria de mdio alcance. Penso que este o nosso papel fundamental: produzir teorias de mdio alcance. Parece-me que, muitas vezes, adotamos uma posio mais modesta e camos na produo de teorias locais, ou seja, de trabalhos que so bons trabalhos de investigao, mas que se contentam com snteses interPERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

Pesquisa qualitativa em educao: pertinncia, validez e generalizao

39

nas de anlise, sem pr todas em interao, sem ir alm do universo local estudado. Cai-se na tica descritiva, ainda que seja uma boa descrio. No utilizo de maneira depreciativa o termo descrio, porque penso que a descrio um modo de interpretao, na lgica do antroplogo americano Clifford Geertz, quando sugere que faamos uma descrio densa. Una descripcion densa es la que permite distinguir un tic nervioso y una picada de ojo que puede tener varios significados sociales en funcion de la situacion y de los interlocutores. A descrio densa permite ver que todo comportamento pode ter sentidos diferentes, um modo de produzir formas de interpretaes de nvel superior. Para isso, h duas vias principais, muito clssicas, essenciais. Um primeiro elemento importante , como assinalei a respeito da acumulao de conhecimento, a dimenso de comparao. Toda sociologia uma cincia comparativa e a produo de conhecimento de um nvel superior de interpretao passa, em grande parte, pela comparao. Se temos uma situao local e outras situaes locais que j foram estudadas, podemos recorrer s comparaes para mostrar que h um processo que possvel, ou no, de se generalizar, bem como de marcar os limites da generalizao. Quando apresentei meu trabalho na escola de periferia, quando constru um modelo de escola de periferia, primeiro analiticamente falando constru um modelo local do que havia observado. Paralelamente ao momento em que estava construindo meu modelo local, revi os trabalhos que havia lido, os trabalhos que existiam, ou fui l-los porque me chamaram a ateno dados que no conhecia, sobre modelos similares que me permitiam ter um ponto de vista, para considerar a margem de erro do debate. Ou seja, h processos que podem ser generalizados a um conjunto de escolas da periferia. Utilizei, at certo ponto, alguns estudos da Amrica Latina, onde h muitos trabalhos sobre escolas de bairros marginalizados para mostrar que no , qui, um fenmeno nada tpico da sociedade francesa ou da sociedade mais desenvolvida, mas que pode haver em outro universo social. A dimenso comparativa me parece essencial. O trabalho comparativo pode ser dentro da pesquisa e h trabalhos comparativos fora desta. Para generalizar, devemos efetuar comparaes entre escolas diferentes. Faz-se um trabalho mais detalhado comparando duas escolas. Teremos um trabalho muito mais detalhado comparando duas classes na mesma escola. Utilizando o mtodo comparativo, pode-se generalizar e mostrar os limites da generalizao. Ou seja, comparando duas classes pode-se
PERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

40

Agns Van Zanten

dizer que h fenmenos que so tpicos das classes da periferia. Mas, comparando duas classes diferentes pode-se dizer que, segundo a composio das classes, apresentam-se certas variaes que podem ser significativas segundo a composio acadmica, social, tica, de sexo, de classes. Da mesma maneira, comparando duas escolas, posso dizer que h certos processos gerais da escola de periferia, mas, em razo do fato de os professores serem estveis ou de haver muita mobilidade do quadro docente fato que ocorre muito , h diferenas no funcionamento da escola. A comparao permite construir a generalizao dos processos internos e estabelecer comparaes em relao aos externos. Em nosso trabalho de investigadores vamos recorrer constantemente ao mtodo comparativo. A outra dimenso da generalizao o trabalho de transio permanente entre o que revela de propriedades relacionais, conceituais e de propriedades estruturais. Isto tem relao com uma certa maneira de trabalhar com o material. No parece pertinente opor a pesquisa macrossociolgica microssociolgica. Neste sentido, o que me parece importante o status que se d ao estudo microssociolgica e a maneira como se trabalha com o material microssociolgico. De meu ponto de vista, como do de muitos investigadores, os fenmenos mais globais se encontram localizados em situaes especficas. Quando vamos trabalhar, por exemplo, com fenmenos de globalizao, vamos trabalh-lo de maneira localizada. Quando trabalhamos em uma pequena escola verificamos que est havendo um fenmeno de globalizao das polticas educativas. Numa pequena escola rural no Brasil vai haver certo tipo de poltica educativa porque o Banco Mundial decidiu esta poltica, um fenmeno de globalizao. Assim, podemos observar a globalizao nesta escola rural isolada, como nela se aplica a poltica do Banco Mundial. A questo no , ento, o tamanho do grupo que vamos estudar; muito mais o enfoque que vamos dar. E h um certo tipo de enfoque que propriamente microssociolgico, que vai interessar, sobretudo do ponto de vista discursivo, s interaes e cadeia de interao. Muitos socilogos interacionistas estudaram em detalhes as interaes em sala de aula. Podemos estudar como alguns socilogos ingleses fizeram seus trabalhos sobre os cinco primeiros minutos de aula, e podemos decomplos em detalhes menores. Mas esta anlise vai ser totalmente microssociolgica se no tratarmos de reconstruir os fatores estruturais
PERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

Pesquisa qualitativa em educao: pertinncia, validez e generalizao

41

includos neste contexto educativo especfico. possvel estudar estes cinco minutos de aula para mostrar, de maneira microsociolgica, o que o professor tem feito, o que o aluno tem feito. Podemos cair neste tipo de interpretao, como podemos perceber que os cinco minutos de uma aula no Brasil so muito diferentes de cinco minutos de aula na Alemanha, j que estes cinco minutos expressam um modelo cultural que est neles condensado. O tipo de relao entre o professor e o aluno, a maneira de falar, o que considerado importante, o que vai ser ensinado, tudo isso reflete um modelo cultural e esta pode ser uma entrada possvel. Obviamente, h mil maneiras de estudar os cinco minutos de uma aula, mas muito diferente focalizar-se nos detalhes das interaes em si, do que pensar que as interaes se inscrevem em um modelo global. Aqui temos uma tenso, sempre a investigao uma tenso. Se consideramos que as situaes microsociais so nada mais que o reflexo absoluto dos fenmenos estruturais, no necessrio fazer a investigao, porque vamos com uma hiptese de trabalho bem construda que nos levar a deduzir totalmente o que vamos encontrar no campo. Deve haver ateno ao fato de que, mesmo sendo reflexo das situaes estruturais, os atores tm uma margem de ao possvel, o que provocar reaes variadas no universo social. preciso ateno entre uma anlise do que puramente situacional e contextual este fenmeno singular e totalmente especfico deste contexto e do que nada mais que o reflexo da realidade estrutural. Entre os dois h um espao para uma interpretao local que deve ser construda em relao ao fenmeno estrutural. Ou seja, o que observo apresenta certa singularidade, certa especificidade que tem relao com os atores, com as situaes, com o meio social e, ao mesmo tempo, se situa no quadro deste pas, desta dimenso mundial, deste modelo educativo, sobre os quais podemos fazer uma interpretao de tipo social. Uma generalizao reflete a tenso entre fenmenos estruturais e fenmenos locais e o vaivm entre os dois nveis de interpretao. Um bom trabalho de pesquisa, requer a capacidade de mover-se com facilidade entre estes dois nveis e de mostrar que h uma margem de ao entre os atores mas, ao mesmo tempo, que o comportamento dos atores refletem mecanismos, processos estruturais e, portanto, so suscetveis de generalizao. Estamos aqui, realmente, no campo da produo de conhecimento.
PERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

42

Agns Van Zanten

A restituio e a publicao dos resultados


Para terminar, queria dizer algumas palavras sobre a restituio dos resultados. No podemos ignorar que a maneira como restitumos os resultados tambm fazem efeitos nas idias, em sua generalizao. Tenho refletido muito sobre isso em minhas mltiplas discusses com os editores, por exemplo, dos livros que poderiam publicar. Na Frana, mais que em outros pases, a pesquisa qualitativa est concebida como produo de idias. Muitas so publicadas em colees de livros, do tipo ensaio. E, quando se discute com os editores, fazem dois pedidos aos investigadores contrrios ao trabalho cientfica: que tenha o menor nmero de citaes possveis e que a bibliografia no tenha mais que 15 referncias. Obviamente, sou capaz de entrar na lgica do editor e entender, em parte, os argumentos, mas nunca me pareceu que tais argumentos sejam totalmente decisivos. Temos que defender uma posio de que no possvel realizar um estudo qualitativo no qual no haja material emprico. No certo apresentar um trabalho, a no ser um trabalho de sntese, no qual o editor no permita expor o material emprico pois uma contradio com o rigor do trabalho qualitativo. No posso apresentar toda o material, h uma seleo, um extrato de entrevistas, um resumo das observaes, mas me parece que precisa haver uma apresentao dos dados empricos. Da mesma maneira que o editor obriga que no haja uma bibliografia de mais de 15 ttulos, no ter todas as notas necessrias prejudica o status cientfico da produo dado que toda produo se inscreve em um campo no qual estamos fazendo referncia a outros autores e nossa autoridade remonta autoridade daqueles que nos precederam e que publicaram neste campo. O trabalho pode ser uma vulgarizao, uma sntese, mas um trabalho cientfico e tem que dar conta de tudo o que esta produo cientfica tenha produzido. A lgica comercial e a lgica cientfica no concordam necessariamente. Mas se h muitas produes cientficas que se adaptam demasiadamente a este tipo de publicao, mais difcil argumentar em favor do carter cientfico da pesquisa qualitativa. Assim, temos que estar conscientes de que se queremos argumentar, devemos faz-lo. No podemos, adotar, tampouco, a posio oposta que seria eu no publico se este no um aporte totalmente cientfico. Esta uma opo possvel, mas penso que meu trabalho de investigadora serve para contribuir para a mudana social e poltica, a transformao da realidade e quero que meu trabalho seja
PERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

Pesquisa qualitativa em educao: pertinncia, validez e generalizao

43

lido alm do campo dos investigadores. Ento tem que haver uma discusso, uma negociao com os editores que fazem a mediao entre a investigao e o pblico. Quando me refiro pesquisa, parece-me que no devemos transigir. Se queremos manter um certo nvel de qualidade temos que defender um certo ponto de vista sobre o que a pesquisa qualitativa Outro aspecto que me parece importante trata da restituio oral dos resultados. uma questo difcil e eu entendo que h sobre isso pontos de vista muito diferentes. Sempre muito difcil restituir os resultados na escola. muito complicado e cada vez h uma demanda maior porque os atores exigem: eu te dou tal informao, mas quero que voc me devolva algo, e normal e lgico. Nestes dois ltimos anos tenho tratado de inventar um modo de restituio, mas nunca me parecem perfeitamente adaptados por duas razes. Uma razo, pelo tempo de investigao, que diferente do tempo dos atores. Geralmente, quando os diretores me perguntam: quando voc vai trazer os resultados na escola? eu respondo: provavelmente dentro de trs anos. Eles me dizem: dentro de trs anos provavelmente no estarei aqui, portanto, o resultado deste estudo no me interessa e no me vai ser til. O problema do tempo real. O trabalho na pesquisa qualitativa, em geral, toma tempo, pode, ento, haver esta dificuldade temporal. Algo que me preocupa um pouco mais que, quando se restitui diretamente aos atores, muito difcil fazer com que aceitem a generalizao dos resultados. Quando se apresenta um trabalho feito na mesma escola todo mundo se sente atacado ou valorizado individualmente. E as interpretaes do investigador so sempre convertidas em uma avaliao de cada pessoa, de cada indivduo, do diretor, dos professores. bastante problemtica a questo desta interveno. Quando falo algo, o fao com muita prudncia, sempre me referindo a trabalhos anteriores, tratando de despersonalizar, o mximo possvel. Acredito ser muito mais satisfatrio restituir os resultados da pesquisa de maneira geral, no aos atores com os quais trabalhei, mas mesma categoria de atores. Ou seja, quando me convidam uma seo para formao de professores, falo o mnimo do que observo nas escolas e o mnimo dos processos que posso generalizar. Ao trabalhar com a associao dos diretores de escola, posso dizer que em meu estudo pude observar tal questo, qui a situao desta escola pode ser diferente, mas provavelmente existir alguma semelhana com a situao que estou descrevendo. As pessoas no se sentido atacadas, concernidas pessoalmente, estaro
PERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

44

Agns Van Zanten

muito mais abertas esta capacidade de generalizao. Por isso, me parece que h realmente uma contradio nas demandas dos atores, que me parece legtima, que devemos restituir os resultados, mas o fato de dar diretamente os resultados no sempre o modo mais produtivo para que os atores consigam modificar suas maneiras de pensar.

Concluso
Estas so algumas consideraes que no tm relao com o fato de eu considerar-me uma expert em metodologia, mas com o fato de que meu trabalho permitiu refletir de diferentes maneiras sobre os problemas das pesquisas em educao, sobretudo, de tipo qualitativo. Compartilho algumas dessas preocupaes pensando que refletem, em parte, algumas das preocupaes de outros investigadores, ainda que outras possam ser diferentes das que estejam vivendo na realidade local.

Referncias
VAN ZANTEN, Agns. Lcole de la priphrie: scolarit et sgrtation en banlieue. Paris: PUF, 2001.

PERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

Pesquisa qualitativa em educao: pertinncia, validez e generalizao

45

Qualitative Educational research: relevance, validity and generalization


Abstract This article presents a global view of current qualitative research in education. The first portion analyses social and political changes that should lead to the adaptation of qualitative methods of investigation. The second portion examines changes needed in analytical categories. The third presents criteria for validating qualitative research in the new social and political context. The fourth indicates the limits and possibilities for generalization. The final section points out some of the problems involved in the restitution and publication of results. Key word Method and technic for search educacional. Educational Sociology

La investigacion cualitativa en educacin: pertinencia, validez y generalizacin


Resumen Este articulo presenta una visin global de la actualidad de la investigacin cualitativa en educacin. Se analiza, en la primera parte, los cambios sociales y polticos que deben conducir a una adaptacin de los mtodos cualitativos de investigacin. En un segundo momento se estudian los cambios necesarios en las categoras de anlisis, y posteriormente, se presentan los criterios de validez de los trabajos cualitativos en este nuevo contexto social y poltico. La cuarta parte indica los limites y las posibilidades de generalizacin. Por fin, se exponen algunos de los problemas que presenta la restitucin y la publicacin de los resultados. Palabras claves Mtodos y Tcnicas de la investigacin Educacional - La Sociologia de la Educacin.

Fondation Nationale des Sciences Politiques 11, rue de Grenelle 75 007 - Paris - France E-mail: agnes.vanzanten@sciences-po.fr

Recebido em:15/01/2004 Aprovado em:18/03/2004

PERSPECTIVA, Florianpolis, v. 22, n. 01, p. 25-45, jan./jun. 2004 http://ced.ufsc.br/nucleos/nup/perspectiva.html

Das könnte Ihnen auch gefallen