ABMES Cadernos 22

Associao Brasileira de Mantenedoras de Ensino Superior
Avaliao no ensino superior: acertos e derrapagens
ABMESCADERNOS
22
Presidncia Presidente Gabriel Mario Rodrigues 1 Vice-Presidente Carmen Luiza da Silva 2 Vice-Presidente Getlio Amrico Moreira Lopes 3 Vice-Presidente Jos Jangui Bezerra Diniz Conselho da Presidncia Candido Mendes de Almeida dson Raymundo Pinheiro de Souza Franco Vera Costa Gissoni Terezinha Cunha Paulo Antonio Gomes Cardim Andr Mendes de Almeida Jos Eugnio Barreto da Silva Eduardo Soares Oliveira Valdir Lanza Wilson de Mattos Silva Manoel Joaquim Fernandes de Barros Sobrinho Suplentes Fbio Ferreira de Figueiredo Eda Coutinho Barbosa Machado de Souza Jos Antonio Karam Fernando Leme do Prado Daniel Castanho Conselho Fiscal Titulares Julio Cesar da Silva Jos Loureiro Lopes Luiz Eduardo Possidente Tostes Marco Antonio Laffranchi Cludio Galdiano Cury
Suplentes Elizirio Pereira Rezende Jorge de Jesus Bernardo Diretoria Executiva Diretor-Geral Fabrcio Vasconcellos Soares Vice-Diretor-Geral Srgio Fiuza de Mello Mendes Diretor Administrativo Dcio Batista Teixeira Diretor Tcnico Antonio Carbonari Netto Diretor Executivo Slon Hormidas Calas Diretora Acadmica Ceclia Eugenia Rocha Horta Organizao e coordenao editorial Ceclia Eugenia Rocha Horta Capa G+ Reviso Luciana Pereira de Arruda Silva Editorao Eletrnica Valdirene Alves dos Santos
Associao Brasileira de Mantenedoras de Ensino Superior (ABMES) SCS Quadra 7 Bloco A Sala 526 Edifcio Torre do Ptio Brasil Shopping 70 330 -911 Braslia DF Tel. 61-3322-3252 Fax 3224-4933 www.abmes.org.br abmes@abmes.org.br
A945 Avaliao no ensino superior : acertos e derrapagens / Ceclia Eugenia Rocha Horta, organizadora e coordenadora. Braslia : Associao Brasileira de Mantenedoras de Ensino Superior, 2011. 72 p. ; 21 cm. (Cadernos ABMES ; 22) Inclui bibliograa ISSN 1516-618X 1. Ensino superior. 2. Ensino superior avaliao. I. Associao Brasileira de Mantenedoras de Ensino Superior. II. Horta, Ceclia Eugenia Rocha. CDU 378.06.067
Sumrio
Apresentao................................................................ 05 Avaliao no ensino superior: acertos e derrapagens .. 07
Claudio de Moura Castro Luciana Lima

Normas para a apresentao dos originais .................. 65
Avaliao no ensino superior: acertos e derrapagens 5
Apresentao
Gabriel Mario Rodrigues *
O trabalho realizado por Claudio de Moura Castro, Aldo Giuntini e Luciana Lima aborda trs categorias de assuntos. Em primeiro lugar, compara a qualidade do ensino superior entre as instituies pblicas e as diversas modalidades de instituies privadas por meio da anlise de dados do Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (Inep/MEC). Em segundo, questiona os procedimentos estatsticos usados pelo Ministrio da Educao (MEC) para proceder a tais avaliaes. E, em terceiro, com base em indicadores robustos e verazes, explora a riqussima mina de informaes que reside nos dados do Inep sobre ensino superior. O exame mais detido permite, segundo os autores, melhor entender algumas questes relevantes nessa rea. Por exemplo: quem oferece o melhor ensino oferece tambm um ganho de conhecimento mais acentuado para seus alunos?
* Presidente da Associao Brasileira de Mantenedoras de Ensino Superior (ABMES). Secretrio Executivo do Frum das Entidades Representativas do Ensino Superior Particular. Reitor da Universidade Anhembi Morumbi.
Cadernos 22 6
Os autores observam, de um lado, que o uso de indicadores considerados mais apropriados, altera signicativamente as diferenas entre pblico e privado. Ou seja, as medidas estatsticas escolhidas pelo MEC mostram o setor privado sob luzes mais desfavorveis. De outro, reconhecem e destacam o papel importante do Inep/MEC na criao, manuteno e desenvolvimento de um sistema de avaliao nico no mundo, fato que coloca o Brasil em uma situao privilegiada para estimular e calibrar os seus cursos de graduao. No entanto, observam que um sistema como esse no nasce perfeito e leva muito tempo para eliminar as arestas existentes . Ao examinar os dados com cuidado tcnico e iseno, os autores identicaram muitas falhas que precisam ser eliminadas ou, pelo menos, melhor interpretadas. Para eles, o contedo e os resultados do ensaio realizado permitem um avano considervel no processo de escoimar da avaliao do ensino superior um bom nmero de ambiguidades e equvocos . Louvemos pois a iniciativa do Frum das Entidades Representativas das Instituies de Ensino Superior Particular, do qual a Associao Brasileira de Mantenedoras de Ensino Superior (ABMES) faz parte, de tornar pblico um trabalho indito, rigoroso e srio cujo contedo referncia para a denio de novos rumos para o processo de avaliao das instituies de ensino superior no pas.
Braslia, 4 de julho de 2011.
Avaliao no ensino superior: acertos e derrapagens
Claudio de Moura Castro 1

2
Luciana Lima 3
Segundo So Toms de Aquino, produzir com objetivo de lucro trai os princpios da Lei Natural... um pecado to grave quanto o homicdio Isso foi dito h muitos sculos. O mundo mudou. Todos . os pases bem-sucedidos adotaram o sistema de mercado em suas economias. No obstante, no reino da educao, ainda visto como pecaminoso, at mesmo nas naes que mais entusiasticamente defendem o capitalismo para as atividades tradicionais. Nesse reino, continuamos enrascados em controvrsias medievais.
Graduado em Economia pela Universidade Federal de Minas Gerais (UFMG). Mestre em Economia pela Universidade de Yale. Doutor em Economia pela Universidade de Vanderbilt. Assessor Especial da Presidncia do Grupo Positivo. claudiodemouracastro@inhotim.org.br Graduado em Engenharia. Doutor em Engenharia de Estruturas pela UFMG. Professor Adjunto do Departamento de Engenharia de Materiais e Construo da UFMG. aldom@ufmg.br Graduada em Estatstica pela UFMG. Atua h trs anos na rea de avaliao educacional no Instituto de Avaliao e Desenvolvimento Educacional (Inade). lublbh@gmail.com
Cadernos 22 8
Com sua robustez e mpeto criativo, o sistema de mercado saiu vitorioso em que pesem alguns defeitos congnitos. Mas na escola, a eroso dos preconceitos anda mais devagar. Convivemos com estridentes denncias de que o mercado conspurca os objetivos sagrados do ensino. Ainda presenciamos duelos encarniados entre privatistas de vrios matizes e defensores da iniciativa pblica. O presente ensaio lida com trs categorias de assuntos. Em primeiro lugar, compara a qualidade do ensino superior, entre instituies pblicas e diversas modalidades de instituies privadas, usando os dados do Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (Inep/MEC). Em segundo, questiona os procedimentos estatsticos usados pelo Ministrio da Educao (MEC) para proceder a tais avaliaes. De fato, quando usamos os indicadores que consideramos mais apropriados, as diferenas entre pblico e privado so bastante alteradas, ou seja, medidas estatsticas escolhidas pelo MEC mostram o setor privado sob luzes mais desfavorveis. Em terceiro lugar, de posse de indicadores que consideramos mais robustos e verazes, exploramos a riqussima mina de informaes que reside nos dados do Inep sobre ensino superior. Esse exame mais detido nos permite mais bem entender algumas questes relevantes nessa rea. Por exemplo: quem oferece o melhor ensino oferece tambm um ganho de conhecimento mais acentuado para seus alunos? Antes de prosseguir, enfrentemos algumas assombraes. Podemos usar nmeros para avaliar a qualidade da educao? As discusses metodolgicas, as tecnicalidades e a prpria epistemologia das avaliaes de qualidade so inndveis. O assunto permanece controvertido e, lamentavelmente, ideolgico. Esse no o tema do presente ensaio.
Para os propsitos das nossas indagaes consideramos que as instituies de ensino superior usam testes para aprovar os seus alunos e, ao m do curso, conceder um diploma. Portanto, se h dvidas quanto legitimidade dos testes, o que se faz nas faculdades compartilha com os testes do Inep os mesmos dilemas. De mais a mais, as provas escolares so confeccionadas de maneira bastante descuidada e amadorstica. Em contraste, os testes usados pelo MEC so mais prossionais e, portanto, amplamente superiores queles propostos pelos professores aos seus alunos. Diante disso, aceitamos que testes medem a qualidade da educao, em que pesem imperfeies e dilemas no solucionados. Por vezes somos particularmente cidos em nossas crticas ao MEC. Mas que que claro, o Brasil o nico pas do mundo com um sistema to robusto e transparente de avaliao do ensino superior. E isso obra do Inep. Portanto, estamos propondo melhorias no sistema e no tentando dinamit-lo ou subtrair a sua legitimidade.
So Toms de Aquino e o lucro

O motivo de lucro mata a qualidade? um aleijo incurvel? Quando as escolas se associam a bancos, o que acontece? O diabo ser to feio quanto se pinta? So Toms de Aquino mostrou, com todas as letras, seu desamor pelo mercado e por seus lucros. Mas por que no perguntar ingenuamente: o que haveria de errado com a entrada do capitalismo na sala de aula? Se to pernicioso assim, algum deveria ser capaz de demonstrar os seus vcios. Se fora da escola o mercado d mostras de oferecer qualidade amplamente superior s burocracias pblicas, por que a educao seria um caso oposto?
Cadernos 22 10
Por que no consultar o mundo real, para ver o que diz? Concretamente, o que os nmeros nos mostraro sobre o impacto da propriedade privada e do lucro sobre a qualidade da educao oferecida por aquelas escolas contaminadas pelo vrus do mercado? Segue uma pergunta: que indicador nos diria se h ou no contaminao pelos miasmas capitalistas? Alguns gostariam de encetar diatribes loscas sobre o assunto. No que nos diz respeito, em educao, a principal meta hoje obter qualidade. Assim sendo, a soluo simples comparar a qualidade do ensino oferecido pelo setor pblico e pelo privado. E dentro do privado, entre as suas diferentes categorias. Se a distncia grande, o mercado nocivo. Se pequena, muita vela para pouco defunto. Na primeira parte do ensaio, usaremos os indicadores escolhidos pelo prprio MEC para avaliar a qualidade. Na segunda, como temos crticas aos mtodos usados, reformularemos alguns indicadores, para ver como mudam as concluses. De fato, no se trata de uma mera conjectura. Julgamos que alguns critrios adotados pelo MEC prejudicam injustamente o setor privado. Uma pista inicial nos foi dada pela transio entre o Exame Nacional de Cursos (ENC, o Provo) e o Exame Nacional de Desempenho de Estudantes (Enade). O Provo era um indicador simples: os escores na prova apresentada aos formandos. No novo sistema, usa-se um indicador composto de vrios elementos. No tempo do Provo, os escores do setor privado eram mais prximos daqueles do setor pblico. Como foi justicada a adoo de um indicador composto e que mostra uma distncia maior? Alguns estatsticos gostam de somar em um indicador nico uma coleo de variveis explicativas.
No h erro de essncia nessa escola de pensamento. Contudo no podemos excluir a hiptese de que os funcionrios do MEC no foram to neutros assim, por estarem muito prximos da rede pblica e de sua defesa ideolgica hajam vista os ataques pblicos iniciativa privada.
Avaliao: o que dizem os nmeros do MEC?

Na presente seo, examinamos as diferenas entre setores privados e pblicos, usando as mesmas ferramentas do MEC. Embora optemos mais adiante por modicar os indicadores, ganham fora aquelas concluses que se mantm, quaisquer que sejam as formas de construir as medidas. Para xar ideias, comeamos com uma breve descrio do ensino superior brasileiro.
O perl do ensino superior A Tabela 1 mostra o nmero de instituies de ensino superior, de acordo com sua natureza jurdica. Tabela 1 Frequncia de IES por Natureza Jurdica
Natureza Jurdica Privada Com ns lucrativos Privada IPO Privada Sem ns lucrativos Pblica Total Frequncia 1008 36 1189 263 2496 Percentual 40% 1% 48% 11% 100%
Nota: podem haver pequenas discrepncias na classicao entre IES com e sem ns de lucro.
Cadernos 22 12
Pelas estatsticas, 12% das instituies de educao superior so pblicas (Federais, 4,9%; Estaduais, 3,3%; e Municipais, 3,6%). Das privadas, 50% no tm ns lucrativos e 34% declaram ter tais ns. Quando examinamos as estatsticas de matrcula, os mesmos 12% esto em instituies pblicas e 88% em instituies privadas. Repetindo, 34% declaram ns lucrativos. A se notar que esse nmero est aumentando rapidamente. Ao que parece, isso reete controles burocrticos mais severos para as instituies de ensino superior (IES) sem ns lucrativos, visando assegurar que no esto nessa categoria apenas para se evadir de impostos. Algumas instituies acham mais conveniente pagar os impostos para se verem livres dos controles governamentais. A partir do ano de 2003, algumas das maiores instituies privadas se associaram a bancos para abrir seu capital. No jargo dos banqueiros de investimento, para fazer um Initial Public Offering (IPO). At os dias de hoje, quatro j esto nessa categoria. Contudo, como essas mesmas instituies vm comprando agressivamente faculdades menores, a m de crescer mais rpido, o nmero de instituies com IPO atinge 23. Se o demnio do capitalismo erta com faculdades declarando m de lucro, o que diramos de escolas que oferecem seu capital na bolsa de valores e fazem sociedades com bancos? Vale mencionar que, mesmo nos Estados Unidos, instituies de ensino superior com ns de lucro so pouqussimas e, quase todas, em educao vocacional. Pouqussimas tm aes na bolsa. Curiosamente, mesmo l, ter m de lucro no bem visto pela academia. Abundam os artigos revelando suspeio e preconceito.
Os primeiros IPOs brasileiros foram feitos h menos de dez anos e pouca ateno foi dedicada a entender o seu funcionamento. Supusemos que executivos da educao tm pouca experincia em lidar com bancos. Por essa razo, sentem-se pressionados a prometer cortes de custos e a projetar crescimentos de matrcula mirabolantes. Tais ofertas mirabolantes de crescimento e lucro podem necessitar de cortes de pessoal. Professores mais caros so substitudos por outros mais em conta. Em alguns casos, isso cria mal-estar na instituio. Sofrer a qualidade com tais medidas de ecincia? Como mostram os relatrios trimestrais dos bancos, os analistas apenas olham para os lucros e as estatsticas de crescimento de matrcula. Considerando que os nmeros das avaliaes do MEC esto disponveis, surpreendente que no sejam considerados nos seus relatrios. Sob tais condies, tomamos como hiptese que instituies com IPOs no esto no mercado para oferecer educao de alta qualidade. Em outras palavras, iro oferecer algo que mais parece uma commodity. Portanto, tero que competir por preos das mensalidades. De fato, com a concorrncia cada vez mais acirrada, o valor das mensalidades no Brasil vem caindo. Nos cursos de Administrao, as mdias de mensalidades caram de R$ 532, em 1999, para R$ 367 em 20091. ,
1
Sindicato das Entidades Mantenedoras de Estabelecimentos de Ensino Superior no Estado de So Paulo (Semesp), 2010.
Cadernos 22 14
Base de dados do Enade Todos os clculos aqui apresentados foram feitos a partir da base de dados dos resultados do Sistema Sinaes, do prprio MEC, para o ano de 2008 . Esses dados esto imediatamente disponveis na internet. No obstante, faltava uma informao crtica na matriz do Inep. So ausentes ou incompletas as indicaes a respeito da natureza jurdica das instituies particulares. No caso, no indicado se so ou no com objetivo de lucro. Felizmente, Ryon Braga tinha essa informao, nos arquivos da Hoper, e graciosamente cedeu-a aos autores. Como a matriz das instituies com objetivo de lucro estava ligeiramente desatualizada, consultas individuais a alguns websites de instituies privadas permitiram corrigir desvios, ou seja, atualizar a sua real situao jurdica. possvel que uma ou outra instituio esteja ainda com informao equivocada. Mas o seu nmero baixo e no teria o poder de mudar a direo das concluses. Os dados mais importantes em nossa anlise so os do Enade. Considerando a periodicidade da prova (para cada rea do conhecimento, uma vez a cada quatro anos), os dados no esto disponveis para o universo das instituies (2.314 unidades at 2009). Portanto, nossa matriz inclui apenas 1.682. Do ponto de vista estatstico, ainda um nmero muito substancial e permite resultados bastante conveis.
Indicadores e denies: Enade, IGC, IDD O Sistema Nacional de Avaliao da Educao Superior (Sinaes) formado por trs componentes principais: a Avaliao das Instituies, dos Cursos e do Desempenho dos Estudantes. O Sinaes avalia todos os aspectos que giram em torno desses eixos: o ensino, a pesquisa, a extenso, a responsabilidade social, o desempenho dos alunos, a gesto da instituio, o corpo docente, as instalaes e vrios outros aspectos. O Enade um pedao do Sinaes. Os indicadores do Enade so baseados nas notas (percentual de acerto dos alunos no componente especco, na formao geral), nas respostas ao questionrio socioeconmico e nas informaes de cadastro da IES. O Conceito Enade fundamentado na nota dos alunos no componente especco (tratando concluinte e ingressante separadamente) e na formao geral. dado um peso de 0,6 para o componente especco do aluno concluinte, 0,15 para o componente especco do aluno ingressante e 0,25 para a formao geral do total de alunos (ingressantes e concluintes). Este indicador apresentado em uma escala de 0 a 5. O Indicador de Diferena entre os Desempenhos Observado e Esperado (IDD) tem o propsito de trazer s instituies informaes comparativas dos desempenhos de seus estudantes concluintes em relao aos resultados obtidos, em mdia, pelas demais instituies cujos pers de seus estudantes ingressantes so semelhantes.
Cadernos 22 16
Entende-se que esse indicador seja uma boa aproximao do que seria considerado o efeito do curso, ou de medida de sua eccia. Na literatura tcnica, trata-se do conceito de Valor Adicionado. O IDD a diferena entre o desempenho mdio do concluinte de um curso e o desempenho mdio que seria esperado para os concluintes desse mesmo curso. Representa, portanto, o quanto cada curso se destaca da mdia dos outros, podendo car acima ou abaixo do que seria esperado para ele, considerando o desempenho de seus estudantes. O IDD apresentado tambm em uma escala de 0 a 5. O ndice Geral de Cursos (IGC) uma mdia ponderada dos conceitos dos cursos de graduao e ps-graduao da instituio. Para ponderar os conceitos, utiliza-se a distribuio dos alunos da IES entre os diferentes nveis de ensino (graduao, mestrado e doutorado). O conceito da graduao calculado com base nos Conceitos Preliminares de Cursos (CPC) e o conceito da ps-graduao calculado a partir de uma converso dos conceitos xados pela Coordenao de Aperfeioamento de Pessoal de Nvel Superior (Capes). A escala do IGC varia entre 0 e 500. Temos graves dvidas quanto ao uso desses indicadores compostos usados pelo MEC. Na segunda parte do trabalho, repetiremos as anlises a partir de uma denio alternativa de qualidade do curso. Mas aqui exploramos os dados, com os indicadores do MEC. Os mtodos estatsticos utilizados no presente trabalho so muito simples. Desagregamos as instituies de acordo com a sua
natureza jurdica (pblicas, privadas com ou sem m de lucro e se abriram capital). Para cada grupo estimamos as mdias e a varincia. Em alguns casos, estimamos tambm correlaes simples entre variveis. Feito isso, podemos perguntar: Como se comparam os escores de cada categoria? E tambm, como isso se associa a ter ou no m de lucro?
Privado versus pblico Comparamos, inicialmente, os cursos pblicos com os privados. Como j se sabia, o IGC mostra uma considervel superioridade para os pblicos. A sua mdia de 266 pontos, comparado com 205, 216 e 227 para as diferentes categorias de cursos privados. No obstante, as duas distribuies tm uma considervel sobreposio. A diferena est, sobretudo, na cauda direita das pblicas, que mais gorda reetindo mais instituies de qualidade mais elevada. , Ou seja, comparado com o privado, h mais instituies com pontuaes melhores. Contudo, surpreende que o sistema pblico seja mais heterogneo que o privado em termos tcnicos, a sua varincia maior. De fato, as piores IES pblicas so to ruins quanto as piores instituies privadas. As universidades pblicas, em particular as da rede federal, operam com custos muito elevados (equivalentes s medias da Organizao
Cadernos 22 18
para a Cooperao e Desenvolvimento Econmico / OECD), oferecem condies de trabalho vantajosas para os professores e no cobram nada dos alunos. Como consequncia, h um consenso de que atraem os melhores alunos. No surpreendem, seus resultados no IGC so consideravelmente superiores aos das instituies privadas. No h novidades nessa constatao. Em contraste, as instituies privadas no recebem quaisquer subsdios diretos do Estado e devem ser totalmente nanciadas pelo que pagam os alunos. Contudo, h uma diferena entre as IES privadas. As que declaram objetivo de lucro devem pagar seus impostos como quaisquer outras empresas. As demais tm certas isenes. As duas curvas abaixo (Grco 1) mostram o perl de cada distribuio. Fica visualmente indicada a superioridade das pblicas, bem como sua maior varincia.
Privada
Pblica
IGC
500
Grco 1 Distribuio dos escores do IGC por categoria administrativa
Privados com lucro e sem lucro: surpresas para So Toms Se as diferenas entre pblicas e privadas no oferecem surpresas, temos novidades nas comparaes entre as diferentes categorias de instituies privadas. Nesse tema, sobrevivem os mitos da inferioridade daquelas instituies movidas pelo desejo de lucro. Ainda piores seriam aquelas que se juntaram aos bancos, para lanar as suas aes nas bolsas de valores. Arma-se que as instituies com m de lucro (34% do total) teriam pior qualidade do que as outras nas quais a lei exige que todo o excedente precisa ser reinvestido. Anal, o que os seus donos levam para casa poderia estar sendo usado para melhorar o ensino. Porm os nmeros tm vida prpria. As mais grandiosas teorias tm que se render ditadura do mundo real. Os resultados mostram que as trs categorias de instituies privadas tm praticamente a mesma qualidade. O grupo que inclui as confessionais, as comunitrias e as associaes sem ns de lucro obtm 215 pontos. Aquelas com ns de lucro obtm 205 pontos. J as de capital aberto obtm 227 pontos. So diferenas muito pequenas e que podem ser ignoradas ou consideradas como rudo estatstico. Esse um resultado de grande relevo. Em outras palavras, a presena de um objetivo de lucro no torna uma instituio melhor ou pior. A inteno de lucro no uma explicao relevante para as considerveis diferenas de desempenho observadas entre instituies.
Cadernos 22 20
Quando sobrepomos as duas distribuies, vemos que a similaridade no est apenas na mdia. Olhando as duas curvas superimpostas, h uma quase total coincidncia entre as duas, ou seja, no passam de farinha do mesmo saco, com mdia quase igual e varincia, tambm. Com isso, est desfeito o mito dos lucros corroendo a qualidade do ensino oferecido. Isso denitivamente no acontece. So Toms deve estar certo em outros assuntos, nesse no.
O elusivo caso dos IPOs O caso das 23 instituies associadas a grupos que zeram abertura de capital algo diferente e no menos curioso. Havamos pensado que os duros compromissos com os bancos resultariam em busca obsessiva de resultados a curto prazo e pouco compromisso com a qualidade. Consultando os dados, vemos que isso no ocorre, pois as instituies que abriram capital mostram mdias praticamente idnticas s demais privadas. De fato, h uma diferena a favor delas, mas, de to pequena, no merece maior ateno, o seja, novamente estamos vendo que qualidade no explicada por lucro, mesmo nos casos de instituies conspurcadas por bancos de investimento. Porm quando superimpomos a curva dessas instituies sobre a das outras instituies privadas, ca patente que so animais
distintos (Grcos 2 e 3). As de capital aberto tm uma curva com menos varincia uma curva mais em p ou mais estreita. H menos instituies boas e menos ruins. Todas se parecem, cando prximas mdia. Nesse grupo, no h uma s instituio no nvel de excelncia das melhores das outras categorias e nem uma s to fraca quanto as outras mais fracas. Ou seja, no h os extremos observados em todas as outras categorias. Em suma, na mdia, as instituies privadas pouco diferem entre si, por ter ou no objetivo de lucro. Na varincia, ter ou no ter lucro tambm nada importa. Porm ter IPO faz uma grande diferena, pois identica instituies muito parecidas umas com as outras; portanto, mais homogneas.
Pblica
265,7
Privada Sem ns lucrativos
215,9
Privada IPO
227,2
Privada Com ns lucrativos
205
100
200
300
Grco 2 IGC mdio por natureza jurdica
Cadernos 22 22
IPO
Com ns lucrativos
Sem ns lucrativos
IGC
Grco 3 Distribuio dos escores do IGC por Natureza Jurdica de IES privadas Podemos ver mais detalhes das diferenas examinando o diagrama de caixa (Grco 4). Mais uma vez, vemos as notveis semelhanas entre as categorias; embora as instituies que compem a distribuio sejam muito diferentes entre elas, quando as agrupamos pela sua ndole de ter ou no lucros, nada de novo camos sabendo. Tanto as mdias quanto as varincias so equivalentes. Lucro no uma explicao plausvel para as diferenas. Quando olhamos para as pblicas, como foi dito, elas tm mdias mais elevadas. Contudo, entre as privadas tambm h muitas com resultados excelentes. Isso se v pelos zeros acima das respectivas caixas. Das que zeram IPOs, vemos mais nitidamente a varincia bem estreita. De fato, as instituies mais fracas desse grupo so ainda melhores do que as pblicas mais fracas. Levando o raciocnio ao limite, se o MEC estiver preocupado em no permitir a operao de instituies muito fracas, pode tranquilamente se esquecer das de
capital aberto. Mas deveria prestar muito mais ateno nas pblicas. De fato, duas caractersticas das instituies com IPO chamam a ateno. Em primeiro lugar, so muito homogneas. Suas instituies mais fracas so menos fracas do que as de todas as outras categorias. Tudo indica que seus executivos so muito diligentes na tarefa diuturna de curar ou podar as mas podres. Em segundo lugar, embora todas as outras categorias tenham instituies de excepcional qualidade, isso no acontece com as de IPO. Mesmo as melhores so muito modestas. Poucas esto fora da caixa correspondente. Esses foram resultados que os autores no esperavam, contrariando suas hipteses iniciais.
500
400
300
IGC
200 100 0 Privada Com ns lucrativos Privada IPO Privada Sem ns lucrativos Pblica
Grco 4 Boxplot dos escores do IGC por Natureza Jurdica
Cadernos 22 24
Universidades, centros universitrios e faculdades At aqui, todas as anlise classicaram as instituies apenas como pblicas e privadas de diferentes categorias. Isso est correto e corresponde ideia central do trabalho. Contudo, vale a pena classicar tambm as instituies privadas pelo seu status de Faculdade, Centro Universitrio e Universidade. As distribuies (Grco 5) mostram as diferenas de qualidade entre as trs categorias. Claramente, Faculdades mostram resultados inferiores aos dos Centros Universitrios. J as diferenas entre esses ltimos e as Universidades muito pequena. Que concluses podemos tirar dessas diferenas? Em primeiro lugar, h um elemento importante de tautologia nessas classicaes. De fato, para passar de Faculdade para Centro Universitrio preciso demonstrar um avano na qualidade. O mesmo se d na passagem para Universidade. Portanto, muito da diferena exibida entre as categorias apenas o diferencial exigido para ser promovido, ou seja, por oferecer um ensino melhor que a instituio foi promovida. A diferena entre Centro Universitrio e Universidade mnima. Sugere que os gastos e processos requeridos para a promoo no se materializam em qualidade superior do graduado. Um comentrio talvez um pouco antiptico que a pesquisa que se supe caracterizar uma universidade no parece contribuir para melhorar a qualidade do ensino.
Centro Universitrio
Universidade
Outros
IGC Grfico 5 Distribuio do IGC de diferentes nveis organizacionais de instituies privadas
Estatsticas e misticaes
Nesta segunda parte, retomamos s nossas cogitaes iniciais. Ser que o IGC uma boa medida da qualidade da educao? Nossa hiptese de trabalho pela negativa. Vemos problemas metodolgicos substanciais nessa escolha. Diante dos problemas, a seguir descritos, desenvolvemos um novo conceito, que chamamos de Enade/Institucional. Tal como o IGC, refere-se a instituies e no apenas a cursos individuais. Usando esse novo indicador, repetimos as anlises apresentadas acima, buscando identicar diferenas de resultados. Como se ver mais adiante, o Enade/Institucional mostra um quadro particularmente distinto daquele obtido com o IGC.
Cadernos 22 26
Causas e efeitos podem ser somados? A tese aqui apresentada crucial para o nosso argumento. Estamos armando que o IGC , metodologicamente, um saco de gatos, misturando o que no pode ser misturado. Mescla cultura geral com o que os alunos sabiam antes de entrar, com caractersticas do corpo docente, com valor adicionado e outros indicadores. Achamos muito mais correto considerar como medida de qualidade o que os alunos mostraram saber na prova de competncias prossionais do Enade. Os outros indicadores usados pelo MEC mostram fatores que poderiam afetar a qualidade, mas no so a prpria. Uma instituio cheia de doutores s boa se isso se materializar em um aprendizado superior dos alunos. Contar doutores, em si, no mede qualidade do aluno. Somar o que o aluno sabe com o tamanho do prdio da escola ou com os diplomas dos professores no faz sentido. Ainda mais bizarra a introduo no ndice da nota de entrada no curso: o ndice premia o curso que recebe alunos melhores. Ora, a qualidade do aluno entrante mrito do curso mdio que frequentou. justamente o que no pode ser atribudo ao curso superior cursado. Nesse caso, a razo no ideolgica, mas resulta da necessidade de motivar alunos e cursos a fazer seriamente essa prova inicial. Mas na prtica, continua sendo uma distoro grotesca do conceito de qualidade do curso. Metodologicamente, estas variveis do IGC so candidatas a serem causas. Portanto, se misturadas com o efeito (quanto o aluno aprendeu), criam uma grande confuso epistemolgica. Somar variveis de processo com medidas de resultado logicamente
incompatvel. somar as causas aos efeitos que provocaram. Faz tanto sentido quanto criar um ndice somando o tempo da melhor volta s octanas da gasolina usada, para determinar quem sai em pole position na Frmula 1. Deixamos fora do Enade/Institucional a prova de Conhecimentos Gerais. A rigor, tambm uma medida de resultado. Mas como no sabemos bem o que est sendo medido, preferimos, nessa etapa, deix-la de fora. Insistindo, se aplicamos uma prova para medir o que aprenderam os graduados, como chegaram l se torna irrelevante. Como aprenderam o que e com quem aprenderam no importa em nada, pois, se deu certo, o ganho se materializa em um domnio superior do que est sendo pedido no Enade. Mas jamais sero os efeitos avaliados. E, ainda menos, podem mesclados aos reais efeitos que so medidos pelas provas. Como os diplomas dos professores poderiam ser, ao mesmo tempo, causa e efeito da qualidade? Naturalmente, se o MEC encontra um curso em que a nota dos graduados baixa demais, nesse caso, pode usar as variveis de processo para identicar onde estaria o problema. Pode ser que os professores sejam desqualicados. Pode ser que nem apaream por l. Nessa misso, os meios ou os processos so elementos valiosos para um diagnstico de disfunes. Repetindo, no faz sentido dar mais pontos a um curso que tem essa ou aquela caracterstica de funcionamento, se j est sendo medida a qualidade do produto nal. De fato, se tal caracterstica for ecaz, o seu efeito de melhorar as notas dos estudantes j est includo na pontuao obtida no Enade nesse caso, estaremos
Cadernos 22 28
contando duas vezes um fator. Se no for ecaz, estamos premiando um falso elemento de qualicao das escolas. Usando a metfora de restaurantes franceses, ao avaliador do Guide Michelin no interessa o diploma do chef nem os contratos de trabalho dos cozinheiros e ainda menos se a escola tem um programa social na favela. Apenas conta a qualidade da comida e do servio que observaram. Naturalmente, se os clientes tiverem casos de salmonela, a sade pblica vai vericar se os pratos e a cozinha foram rigorosamente esterilizados variveis de processo. Mas isso outro assunto. No se mescla com a avaliao dos resultados nais. O inspetor do Michelin no entra em problemas tossanitrios. Se o prato delicioso, de que importa a marca do fogo? Tampouco entraria no cmputo das estrelas a avaliao do curso frequentado pelos cozinheiros de um restaurante. Para que o MEC cumpra seus objetivos de coibir a operao de cursos que tm problemas, tampouco necessria uma anlise inicial com variveis de processo. Uma vez identicados os cursos abaixo de certo limiar no Enade, somentea entram em cena tais variveis. Na verdade, estamos longe de conhecer o real impacto delas. Tome-se o impacto sobre o aprendizado da relao aluno-professor. Trata-se de um tema exaustivamente pesquisado. E do que camos sabendo? Apenas que raramente se encontra alguma associao entre rendimento do aluno e essa varivel.
Em denitivo, sabemos que infraestrutura no altera a qualidade do ensino. Mal comparando, como disse C. N. Parkinson, os Estados Unidos ganharam a Segunda Guerra operando seu Estado Maior em cabanas de madeira improvisadas. Depois que construram o Pentgono, no ganharam mais guerra alguma. Diante dessas limitaes do IGC, criamos um novo indicador para a qualidade das instituies, tomando a mdia no Enade dos diferentes cursos que oferecem. A partir da, repetimos os clculos apresentados anteriormente.
Recalculando o Enade O IGC parte do ndice calculado para cada curso, baseado no Enade e nas outras variveis reunidas pelo Inep. Trata-se de uma mdia desses ndices por curso, ponderada pela matrcula em cada curso. O que estamos chamando de Enade/Institucional apenas a mdia da nota dos alunos concluintes na prova do Componente Especco de cada curso. Por simetria com o IGC, ponderamos pela matrcula correspondente. A transformao da pontuao original para a escala de 0 a 5 foi feita utilizando a mesma metodologia adotada pelo MEC.
Enade/Institucional versus IGC De posse desse indicador puro de nvel de aprendizado exibido pelos graduandos, podemos inicialmente perguntar como ele difere
Cadernos 22 30
do IGC adotado pelo MEC com o objetivo de avaliar a qualidade do curso. Se a correlao muito alta, mesma coisa. Se for muito baixa, obviamente, representam coisas diferentes. Como sabemos o que mede o teste aplicado (traduzido no Enade/Institucional), perguntaramos o que poderia estar medindo o ndice composto. Como nos indica o Grco 6, apresentado abaixo, praticamente no h associao entre o IGC e o Enade/Institucional. De fato o coeciente de determinao de apenas 0,156. Para todos os efeitos, uma correlao nma. E isso, considerando que o IGC contm os escores do Enade; ex constructio, correlacionamos uma varivel (IGC) com parte dela mesma (Enade/Institucional). Ainda assim, nem isso gera uma correlao substancial.
R2 Linear = 0,156
5,00
4,00
3,00
2,00
1,00 0 100
200
300
400
500
IGC
Grco 6 Distribuio do IGC e Enade/Institucional
Essa ausncia de associao talvez seja o resultado mais incendirio do presente estudo. um resultado de capital importncia. Se aceitamos que a qualidade dos alunos formados medida pelo escore no Enade, ou seja, quanto os alunos aprenderam, o IGC nada mais faz do que introduzir um rudo esprio, ou seja, falsicador dos resultados! De fato, ao introduzir a lista de medidas de processo usada no IGC (percepo dos estudantes relativa s condies de infraestrutura e recursos didtico-pedaggicos oferecidas no curso, quantidade de docentes doutores e quantidade de docentes que cumprem regime parcial ou integral), nada mais fazemos do que mascarar o real desempenho de cada instituio. Introduzimos uma srie de variveis de processo e as correlaes mostram que nada tm a ver com o desempenho na prova do Enade. No podemos subestimar a distoro introduzida pelo IGC, se pretende ser uma medida de qualidade. Por que, ento, a deciso do MEC de usar essa medida? Na falta de explicaes convincentes, no podemos evitar a conjectura de que tal deciso foi tomada por aumentar a distncia entre privadas e pblicas. So frequentes as declaraes de diferentes atores dentro do Ministrio, acusando as instituies privadas disso ou daquilo. Portanto, ser que sua m vontade, amplamente proclamada na imprensa, ter sido o o condutor para escolher o IGC e no alguma coisa parecida com o que aqui chamamos de Enade/Institucional? Diante desse resultado, o prximo passo refazer as tabulaes anteriormente apresentadas, para vericar o que acontece.
Cadernos 22 32
Abaixo (Grcos 7 e 8), mostramos como se modicam os resultados, quer tomemos o IGC ou o Enade/Institucional. Como se pode ver, h uma considervel reduo na diferena de qualidade entre instituies pblicas e privadas, ou seja, quando perguntamos o que aprenderam os alunos, vemos que as diferenas se tornam bem modestas.
Enade/Institucional
Pblica Privada Sem ns lucrativos Privada IPO Privada Com ns lucrativos Privada Total 0 1 2 3 3,5 3,2 3,3 3,1 3,2 4 5
Grco 7 Enade/Institucional mdio por Natureza Jurdica
IGC
Pblica Privada Sem ns lucrativos Privada IPO Privada Com ns lucrativos Privada Total 0 100 200 265,7 215,9 227 ,2 205,0 211,6 300 400 500
Grco 8 IGC mdio por Natureza Jurdica
Para o universo de instituies, o IGC fabrica uma distncia que a diferena de aprendizados no conrma. Mas podemos perguntar o que acontece dentro de cada grupo de instituies, dentro de subconjuntos mais homogneos de instituies. A Tabela 2 mostra os coecientes de determinao entre IGC e Enade/Institucional, mas, desta vez, examinando as distribuies dentro de cada categoria (pblicas, privadas com e sem lucro e IPOs). Os resultados so muito curiosos, alm de nada fceis de serem interpretados. Tabela 2 Correlao Enade/Institucional versus IGC por Natureza Jurdica
Natureza Jurdica
Privada Privada
Correlao
0,266 0,507
Com fins lucrativos IPO
Privada Sem fins lucrativos 0,250 TabelaPblica Correlao Enade/Institucional vs. IGC por 2 0,694 natureza jurdica
Note-se que todas as correlaes so signicativas a um nvel de signicncia de 5%. Dentro das pblicas, o IGC mostra uma razovel correlao com o Enade/Institucional. Isso signica que as instituies com muitos doutores, muito tempo integral mostram melhor qualidade (medida pelo Enade/Institucional) do que outras pblicas mais acanhadas nesses fatores. Pode ser que s pblicas mais rudimentares e de menor qualidade faltem esses fatores. Nesse caso, mesmo que no sejam causadores da qualidade
Cadernos 22 34
observada, ou da sua falta, associam-se nossa medida de qualidade. Contudo, nas instituies privadas a associao nma nelas as medidas de processo no se constituem em bons preditores de qualidade, por que razo seja. Usar o IGC poluir a medida com variveis que nada mais fazem do que introduzir rudo. O caso mais bizarro dos IPOs, em que h tambm uma associao entre IGC e o Enade/Institucional. verdade, com apenas 23 instituies, estamos lidando com resultados muito instveis. Pode no passar de um acidente aleatrio. Mas, mesmo assim, curioso ver que os indicadores do IGC se associam ao Enade/Institucional.
Como cam as instituies pblicas e privadas no Enade/Institucional? Na primeira parte do trabalho, mostramos as diferenas entre mdias das privadas e pblicas, notando uma diferena importante. Recalculando com o Enade/Institucional, podemos ver que as mdias se tornaram muito prximas (Tabela 3). Tabela 3 Mdias e varincias entre pblicas e privadas (Enade/Institucional)
Rede Enade/Institucional Privada Pblica Mdia 3,2 3,4 Desviopadro 0,6 0,6 Mnimo 1,3 1,5 Mximo 5,0 5,0
Havamos tambm comparado a distribuio das instituies pblicas sobre a das privadas atravs das distribuies de frequncia ajustadas em curvas. O Grco 9 tornava clara a superioridade das pblicas. Podemos fazer a mesma coisa, utilizando o Enade/Institucional. Para facilitar a comparao visual, repetimos o grco inicial e colocamos imediatamente abaixo as curvas com o Enade/Institucional. Como se pode ver, a distncia entre pblicas e privadas encolheu. Calculando as reas de sobreposio, vemos que 20% da IES privadas apresentaram Enade/Institucional acima da mdia da rede pblica. Veja-se o contraste com as comparaes usando o IGC, em que apenas 13% da IES privadas apresentaram IGC acima da mdia da rede pblica.
Privada
Densidade .5
Pblica
0 1
Enade/Institucional
Grco 9 Distribuio do Enade/Institucional por categoria administrativa
Cadernos 22 36
.01
Privada
Densidade
.005
Pblica
500
IGC Grco 10 Distribuio do IGC por categoria administrativa Ou seja, ca patente que a opo do MEC de usar o IGC penaliza duramente a imagem das instituies privadas. Diante da ausncia de justicativas tericas para somar causas e efeitos no mesmo indicador, difcil escapar da suspeita de que a deciso do Inep de usar o IGC foi menos tcnica e mais ideolgica. Podemos ver ainda melhor as novas distribuies no grco de caixas, apresentado abaixo (Grco 11). Conrmando o que havamos visto, as pblicas tm uma variabilidade muito maior. No outro extremo da variabilidade est a caixa das que tiveram IPOs, cujo perl muito mais estreito. Como vimos antes, nelas nenhuma muito boa e nenhuma muito ruim.
5,00
Enade/Institucional
4,00
3,00
2,00
1,00 Privada Com ns lucrativos Privada IPO Privada Sem ns lucrativos Pblica
Natureza Jurdica
Grco 11 Grco de Caixas do Enade/Institucional por Natureza Jurdica
1,5
Privada IPO
Densidade
Privada Com ns lucrativos
Privada Sem ns lucrativos
.5
Pblica
Enade/Institucional
Grco 12 Distribuio do Enade/Institucional por Natureza Jurdica
Cadernos 22 38
Esse exame de grupos de instituies revela um quadro geral, mas esconde o que acontece com instituies individuais. Podemos entender melhor o mundo do ensino superior ao examinar os extremos da distribuio de qualidade (agora medida pelo Enade/ Institucional). Essa vericao nos permite algumas constataes interessantes. Inicialmente, tomamos as 100 melhores e as 100 piores instituies, agrupando pblicas e privadas. Os resultados esto apresentados na Tabela 4. Tabela 4 Distribuio das IES pblicas e privadas dentre as 100 melhores e as 100 piores segundo o Enade/Institucional
Ranking 100 melhores 100 piores Privada Com ns lucrativos Privada Sem ns lucrativos Pblica 29,3% 45,5% 35,4% 44,4% Total
35,4% 100,0% 10,1% 100,0%
Em primeiro lugar, dentre as 100 melhores, vemos que desaparece a dominncia absoluta das pblicas, como acontecia quando a tabela era estimada pelo IGC. Com o Enade/Institucional, as pblicas apenas contribuem com 35,4% do total, mesmo percentual observado para as privadas sem m lucrativo e 28,3% para as privadas que declaram a inteno de ter lucros. Trata-se de um quadro muito mais favorvel para o setor privado. Do ponto de vista de um candidato ao ensino superior que queira estudar em uma das 100 melhores instituies, til saber que h mais opes privadas do que pblicas. Outro resultado surpreendente a presena abundante de instituies pequenas e desconhecidas entre as melhores. De fato, entre as dez
melhores, oito no so conhecidas fora dos seus estados de origem ou mesmo fora de suas cidades, ou seja, ter instituies de qualidade deixou de ser privilgio das grandes capitais ou dos estados mais ricos. Porm essas desconhecidas so todas pequenas. Portanto, parece ser muito mais fcil ser pequena e excelente do que ser grande e excelente. As grandes e excelentes tendem a ser aquelas universidades federais mais conhecidas e consagradas. O grco abaixo apresenta, alm da distribuio do Enade/ Institucional por categoria administrativa, a faixa da escala em que se localizam as 100 IES que apresentaram os menores e os maiores escores nesse indicador.
100 piores Privada
100 melhores
Pblica Densidade
,5 0
Enade/Institucional Grco 13 Distribuio do Enade/Institucional por categoria administrativa com a faixa das 100 IES com maiores e piores escores do Enade/Institucional
Cadernos 22 40
interessante registrar a presena dos dois institutos militares no topo Instituto Militar de Engenharia (IME) e Instituto Tecnolgico de Aeronutica(ITA). Esto acima de todas as federais. No limite, poderamos dizer que as Foras Armadas sabem mais de qualidade no ensino superior do que o Ministrio da Educao. Voltando aos dados, preciso considerar que o total das IES privadas muito maior do que o das pblicas. Olhando as percentagens que medem a proporo de pblicas (nas 100) entre o total dessas pblicas, vemos que so 18%. Comparadas com as privadas, cuja proporo no total das 100 melhores de 4% (para cada grupo), o resultado das pblicas amplamente superior. Do ponto de vista de entender a natureza do sistema, essas so as propores relevantes. Mostram a superioridade relativa das pblicas no topo da distribuio so menos numerosas do que as privadas, mas emergem de um universo muito mais reduzido. Examinando agora as 100 piores, vericamos novamente uma substancial presena de todas as modalidades. Ao contrrio das 100 melhores, em termos absolutos, nesta cauda de baixo predominam as privadas (44,4% e 45,5%, sem e com lucro, respectivamente). H apenas 10% de pblicas nessa categoria. No obstante, quando olhamos a presena relativa, pelo tamanho do universo de cada categoria, os resultados so equivalentes. Encontramos que 5% das pblicas, 5% das sem lucro e 8% das com objetivo de lucro esto entre as 100 piores, ou seja, a ruindade est democraticamente distribuda entre os diferentes tipos de
instituies, pois as diferenas entre 5%, 5% e 8% so irrelevantes. Para um aluno desavisado, a chance de cair em uma dessas piores equivalente para todos os tipos de instituies.
Que mais nos dizem os nmeros?

At agora, tentamos mostrar as discrepncias entre os critrios do MEC e os nossos, para explicar diferenas de qualidade. Nessa terceira parte, exploramos mais os dados, o que nos permitiu encontrar alguns resultados bem interessantes. pertinente salientar que a nfase do MEC em um indicador que soma vrias caractersticas das instituies resulta em um vcuo de entendimento da natureza dessas variveis. Um corolrio disso a ausncia de discusses na imprensa sobre tais assuntos.
Enade/Institucional versus Cultura Geral Com a transio do Provo para o Sinaes, na mudana de governo, foi incorporada uma prova de Conhecimentos Gerais. Essa deciso pode ter as suas razes de ser e no nosso propsito questionla. Cumpre apenas vericar em que medida essa nova dimenso introduzida mudaria a natureza dos resultados obtidos no nosso indicador o Enade/Institucional se somado a ele. Para isso, examinamos a associao entre os escores do Enade/ Institucional e os escores da prova de Conhecimentos Gerais.
Cadernos 22 42
O Grco 14 mostra o diagrama de disperso, uma reta ajustada e o coeciente de determinao.
R2 Linear = 0,562
Enade/Institucional
1 1 2
Conceito Enade Concluinte Formao Geral
Grco 14 Associao entre escores do Enade/Institucional e da prova de Conhecimentos Gerais O coeciente encontrado 0,562 um resultado eminentemente razovel. sucientemente grande para mostrar que no estamos medindo coisas totalmente diferentes. Mas no to grande que indique ser a prova redundante, por medir a mesma dimenso. Para xar ideias, um coeciente muito baixo, digamos 0,2, sugeriria que os alunos fortes nos contedos prossionais podem, com
quase igual probabilidade, ser analfabetos ou eminentemente competentes na cultura geral, ou seja, quem resolve equaes poderia ter qualquer resultado ao comentar um evento de poltica contempornea. Se fosse um coeciente muito alto, digamos 0,9, sugeriria o desperdcio de tempo e dinheiro em aplicar uma prova que mede quase a mesma coisa que a de conhecimento especco. A concluso mais razovel a ser tirada dessas correlaes que a prova de Conhecimentos Gerais introduziria uma nova dimenso na medida de qualidade. No temos razo para supor se isso enriqueceria ou empobreceria o fugaz conceito de qualidade que estamos buscando.
Quem recruta melhor, o ensino pblico ou o privado? Uma das crenas mais arraigadas no ensino superior a mais alta capacidade das universidades pblicas em atrair os melhores alunos. Para testar essa crena, tabulamos o Enade aplicado aos calouros. Curiosamente, os resultados no conrmam tal hiptese. Como se v no Grco 15, as notas dos alunos das instituies pblicas so melhores do que as das privadas. Contudo, ao contrrio do que ser esperaria, as diferenas so bem pequenas. De fato, a mdia das notas nas pblicas de 3,31, contra 3,1 para as privadas.
Cadernos 22 44
Ou seja, em ordem de grandezas, essa diferena inicial no diferente daquela encontrada para as diferenas medidas nos formandos pelo Enade/Institucional. Grosso modo, sugere que privadas e pblicas fazem os alunos avanarem mais ou menos o mesmo tanto.
1,5 1
Densidade
Privada
Pblica
0 0
Enade Ingressante Componente especco

Grco 15 Comparaes entre as notas dos ingressantes no componente especco por categoria administrativa
Tabela 5 Estatsticas descritivas das notas dos ingressantes no componente especco por categoria administrativa
Rede Conceito Enade Ingressante CE Privada Pblica Mdia 3,1 3,3 Mediana 3,1 3,3 DP ,5 ,5 Mnimo ,0 ,9 Mximo 4,8 4,7
Conceito Enade Ingressantes CE Privada Mdia Mediana Mnimo Mximo Percentil 10 20 30 40 50 60 70 80 90 3,1 3,1 ,0 4,8 2,4 2,8 2,9 3,0 3,1 3,2 3,3 3,4 3,6
Rede Pblica 3,3 3,3 ,9 4,7 2,7 2,9 3,1 3,3 3,3 3,4 3,5 3,7 3,9
Entre as IES pblicas com melhores notas (acima do percentil 90) dos ingressantes no componente especco esto o Instituto Militar de Engenharia (IME), o Instituto Tecnolgico de Aeronutica (ITA), a Universidade Federal de Minas Gerais (UFMG), a Universidade do Estado de Minas Gerais (UEMG) e a Universidade Federal de So Carlos (UFSCAR). Vamos ver tambm nas 100 instituies que recrutam melhor. Pode ser que nelas a vantagem das pblicas seja muito acentuada. Se for o caso, isso signica que estamos sempre pensando nas universidades pblicas de elite e nos esquecemos do resto.
Cadernos 22 46
Tabela 6 Distribuio das notas das pblicas e privadas dentre as 100 melhores e as 100 piores segundo o Conceito Enade de ingressantes no componente especco
Posio 100 melhores 100 piores Privada Com ns lucrativos 4,0 2,1 Privada IPO 3,9 Privada Sem ns lucrativos 4,1 2,1 Pblica 4,1 1,9 Total 4,1 2,1
Essas tabulaes indicam uma diferena muito pequena nas notas iniciais dos alunos, seja em instituies privadas ou pblicas. H que se reconhecer o pouco intuitivo que so. De fato, no podemos descartar o fato de que so provas totalmente inapropriadas para testar o que quer que seja, por pedirem antes do curso exatamente os conhecimentos que deveriam ser ensinados ao longo da graduao. at possvel que os escores mdios estejam em nveis to baixos que a conabilidade dos resultados seja totalmente inapropriada. O Enem seria um indicador muito mais seguro, mas no existem tabulaes equivalentes.
Enade/Institucional e o Valor Adicionado Faz sentido perguntar se as instituies que se destacam no Enade/ Institucional so as mesmas que aparecem como as mais capazes de fazerem crescer seus alunos. Intuitivamente, poderamos pensar que uma instituio capaz de produzir excelentes alunos deveria ser a mesma a levar seus alunos a crescer intelectualmente ao longo do curso. Mas no basta fazer conjecturas, preciso olhar o mundo real.
Exploremos inicialmente uma noo intuitiva de Valor Adicionado. Os calouros e os graduados fazem a mesma prova. Supe-se que aprendam alguma coisa ao longo do curso, ou seja, tornam-se capazes de responder mais questes da prova ao se formar do que quando calouros. Se compararmos a nota de entrada com a de sada (calouros versus formandos), essa diferena corresponde a uma noo intuitiva de valor adicionado, ou seja, o ganho de conhecimento ao longo do curso. Em princpio, um valor adicionado negativo no faz sentido, pois alguma coisa se aprende durante o curso o valor adicionado deve ser sempre positivo. O que interessa se em uma faculdade os alunos aprendem mais do que em outra semelhante. Nada nos vai afastar dessa noo intuitiva. S que na hora de calcular, a forma tcnica diferente. As pontuaes mdias diferem de uma rea para a outra. Por essa razo, as diferenas absolutas de pontuao introduzem distores que podem ser graves nos resultados. Da que os escores brutos so normalizados sofrendo operaes matemticas para que , passem a ter praticamente a mesma mdia. Assim sendo, depois de retrabalhados, para que se tornem comparveis os de uma rea do conhecimento com os de outra, no tem sentido subtrair os escores dos calouros dos formandos. Simplesmente, as transformaes de eixos eliminaram as diferenas. De fato, os escores so padronizados e medidos em unidades de desvio padro, como usual e correto nesses casos. Portanto, no
Cadernos 22 48
h como interpretar possveis diferenas entre as mdias das curvas publicadas pelo MEC. Portanto, preciso entender a nova variante do conceito de Valor Adicionado. No caso, calculado pelos desvios relativos. O Grco 16 mostra, em um eixo, os escores do Enade/Institucional aplicado aos formandos. No outro, os escores dos calouros. A curva mostrada a regresso de uma varivel sobre outra. a curva que reduz ao mnimo a soma das distncias entre cada instituio e o ponto correspondente na curva (no caso, toma-se o quadrado, para evitar nmeros negativos, mas isso no muda a interpretao). Outra noo intuitiva que na proximidade de cada instituio (com sua pontuao inicial) h uma mdia esperada para os escores dos graduandos. Nessa ptica, podemos pensar que o Valor Adicionado proporcional distncia entre o valor do escore dos graduados da instituio e a curva de regresso. Ou seja, quem ganhou X pontos quando calouro, em mdia, deveria ganhar um escore na graduao correspondente ao ponto determinado pela curva de regresso. Assim, os graduados da instituio IME que obtiveram 4,7 pontos como calouros, deveriam ganhar 4,4 pontos na graduao. Se esse no fosse o caso (o IME atingiu uma nota de 4,8 para o concluinte, cando 0,4 ponto acima do esperado), a distncia entre a curva e o escore obtido a medida do Valor Adicionado do indivduo (no caso, da instituio como um todo).
R2 Linear = 0,448
5,00
Valor adicionado
Enade/ Institucional
4,00
3,00
2,00
1,00 ,00
1,00
2,00
3,00
4,00
5,00
Conceito Enade Ingressante CE
Grfico 16 Associao entre Enade/Institucional e Conceito Enade do ingressante no componente especco Por esse raciocnio, algo como a metade das instituies devem ter um Valor Adicionado positivo e a outra metade teria valor negativo. Isso porque a curva de regresso deixa metade das observaes para cima e metade para baixo (aproximadamente). Em metade das instituies, o escore dos graduados est aqum do que prediz a curva. Na outra metade, est acima. Intuitivamente, essa interpretao correta. Mas como dito, em medidas estatsticas no se usam valores negativos. Da a transformao de todos os escores em valores positivos (ao tomar o seu quadrado). Ainda assim, persiste a mesma ideia de que umas tm Valor Adicionado alto e outras, baixo.
Cadernos 22 50
Como pairavam dvidas sobre a frmula de calcular o Valor Adicionado, estimamos uma variante para o seu clculo. Partimos do conceito de que a nota do ingressante no componente especco um proxy para a nota do concluinte no componente especco, que estamos chamando de Enade/Institucional. Dessa forma, um modelo de regresso linear simples utilizado para estimar qual a nota do Enade/Institucional esperada para uma IES, dada a nota de seu ingressante. Como os valores so muito parecidos, aceitamos os clculos do MEC. A Tabela 7 mostra os Valores Adicionados (IDD) para as diferentes categorias de instituies. O que vemos so valores muito semelhantes: 2,05; 1,96; 2,12; e 2,26. Portanto, a concluso que se impe que o Valor Adicionado no est associado ao fato de uma instituio ser pblica ou privada e, dentro dessas ltimas, de qualquer das categorias. Tabela 7 Valor Adicionado (IDD) mdio por Natureza Jurdica
Varivel Privada Com ns lucrativos IPO IDD 2,05 Privada 1,96 Privada Sem ns lucrativos 2,12 Pblica 2,26
O Grco 17 mostra a distribuio de frequncia e a correlao entre Enade/Institucional e Valor Adicionado. Aqui nos espera outra surpresa. O coeciente de determinao de 0,18, ou seja, muito fraca a correlao entre formar alunos aos pncaros das realizaes acadmicas e oferecer um grande salto em sua formao, no caso, um alto Valor Adicionado.
R2 Linear = 0,186
4 Enade/ Institucional
0 0 1 2 3 4 5
IDD
Grco 17 Correlao entre Enade/Institucional e IDD O que isso quer dizer que instituies que formam prossionais fracos podem ter Valores Adicionados elevados. E vice-versa, outras que formam prossionais bem preparados podem oferecer Valores Adicionados baixos. Em outras palavras, estamos diante de duas dimenses muito independentes. Tecnicamente, so dimenses quase ortogonais. Ambas so importantes. Mas conhecendo uma, nada camos sabendo da outra. Esse um argumento poderoso contra o uso de indicadores sintticos como o IGC.
Cadernos 22 52
Uma instituio com escores altos no Enade/Institucional oferece sinalizao favorvel para futuros empregadores. razovel supor que uma empresa queira recrutar os melhores graduados do mercado. Mas til tambm para futuros alunos com preparao excepcional, buscando a instituio que os levar aos nveis mximos de desempenho. Em contraste, um curso de alto Valor Adicionado oferece uma informao preciosa para alunos mdios e fracos: l que eles tm mais condies de crescer. Prosseguindo a anlise, de forma semelhante ao que zemos para os melhores e os piores do Enade/Institucional, podemos localizar as 100 melhores e as 100 piores instituies, do ponto de vista de seus resultados no Valor Adicionado (IDD). Os resultados surpreendem um pouco. Na verdade, ao falar de Valor Adicionado, entramos em um mundo desconhecido. O conceito no to novo, mas, no mundo inteiro, sua implementao prtica muito recente. Mesmo pesquisadores da rea no tm expectativas claras acerca do que esperar ou de como interpretar o resultado. Tomemos as 100 instituies com maior Valor Adicionado. Entre elas, apenas 20% so instituies pblicas. Quando pensamos nas universidades brasileiras mais conhecidas e famosas, poucas esto entre as 100 de maior Valor Adicionado. Destacam-se apenas o Instituto Tecnolgico de Aeronutica (ITA), o Instituto Militar de Engenharia (IME), a Pontifcia Universidade Catlica do Rio de
Janeiro (PUC-Rio), a Universidade Federal de Minas Gerais (UFMG) e a Universidade Federal do Rio de Janeiro (UFRGS). As demais ou so bem menos famosas ou so totalmente desconhecidas, como o caso da maioria (80%) das privadas do grupo que tendem a ser pequenas. Tomando agora as 100 de Valor Adicionado mais baixo, podemos ver que catorze so pblicas e as restantes, privadas. Ou seja, no so resultados mostrando tendncias fortes a favor de uma ou outra categoria. Podemos particularizar um pouco mais a anlise, tomando apenas as dez instituies com maior Valor Adicionado (Tabela 8). Oito so privadas (h duas IES com mesmo IDD) e desconhecidas do grande pblico. As duas conhecidas so IME e ITA, ambas governamentais. Curiosamente, essas duas instituies aparecem no topo da distribuio de qualidade e reaparecem entre as dez de maior Valor Adicionado. Por que ser? Francamente, no temos uma boa explicao. No podemos fazer mais do que louvar o seu desempenho. Examinemos agora as dez que obtm os menores Valores Adicionados. Somente uma delas pblica. Mas so todas desconhecidas, exceto em suas comunidades.
Cadernos 22 54
Tabela 8 As 10 melhores IES segundo o IDD

IES
FACULDADE JESUTA DE FILOSOFIA E TEOLOGIA INSTITUTO MILITAR DE ENGENHARIA FACULDADE VENDA NOVA DO IMIGRANTE FACULDADE DE EDUCAO SUPERIOR DE TIMBABA INSTITUTO TECNOLGICO DE AERONUTICA INSTITUTO DE ENSINO SUPERIOR SANTO ANTNIO FACULDADE DO MARANHO FACULDADE DO PAR FACULDADE ARQUIDIOCESANA DE MARIANA FACULDADE DOUTOR FRANCISCO MAEDA FACULDADE DE CAMPINA GRANDE DO SUL Natureza Jurdica Privada Sem ns lucrativos Pblica Privada Com ns lucrativos Privada Sem ns lucrativos Pblica Privada Com ns lucrativos Privada Com ns lucrativos Privada Com ns lucrativos Privada Sem ns lucrativos Privada Sem ns lucrativos Privada Com ns lucrativos IDD 5 4,99 4,81 4,78 4,76 4,76 4,68 4,65 4,58 4,46 4,46
Tabela 9 As 10 piores IES segundo o IDD

IIES FACULDADE DE CINCIAS JURDICAS E SOCIAIS APLICADAS DO ARAGUAIA FACULDADES DA FUNDAO DE ENSINO DE MOCOCA FACULDADE METROPOLITANA DE GUARAMIRIM FACULDADE DE TECNOLOGIA CARLOS DRUMMOND DE ANDRADE FACULDADE ZACARIAS DE GES INSTITUTO DE ENSINO SUPERIOR MLTIPLO FACULDADE DO SUL DA BAHIA INSTITUTO SALESIANO DE FILOSOFIA ESCOLA DE SOCIOLOGIA E POLTICA DE SO PAULO FACULDADE DE TECNOLOGIA DO NORDESTE Privada Com ns lucrativos Privada Sem ns lucrativos Privada Com ns lucrativos Privada Sem ns lucrativos Privada Com ns lucrativos Privada Sem ns lucrativos Privada Com ns lucrativos 0,13 0,09 0,04 0,01 0 0 0 Privada Com ns lucrativos Pblica Privada Com ns lucrativos 0,22 0,2 0,14 Natureza Jurdica IDD
foroso reconhecer que estamos engatinhando na interpretao dos resultados de Valor Adicionado , embora o conceito seja importante. Sabemos que mede a contribuio singular do curso, ou seja, como se descontasse dos resultados, aquilo que se deve aos conhecimentos prvios dos alunos entrantes.
Nenhum outro indicador to poderoso para atribuir mritos ao esforo (e ao sucesso) do curso em fazer com que seus alunos cresam nos seus conhecimentos. Para o aluno mdio, esse o indicador mais precioso. Se optar por uma instituio de alto Valor Adicionado, o aluno est maximizando a sua probabilidade de crescimento intelectual ao longo do curso. Mas a correlao entre Valor Adicionado e os escores no Enade/ Institucional no signicativa. Individualmente, ambas as informaes so valiosas para informar o pblico.
Ignorncia, preconceito e realidade: o que aprendemos olhando os nmeros

Quando iniciamos a presente pesquisa, tnhamos algumas suposies e expectativas quando relao entre instituies pblicas e privadas. O mesmo com relao presena de lucro ou abertura de capital. Usamos um tratamento estatstico bastante simples uma vantagem, diante das diculdades de interpretao e das cores ideolgicas que o tema assume. Modelos complexos e muito abstratos podem misticar os leitores. Mais adiante, poderemos vir a usar mtodos mais renados. De momento, o que temos j sacode muitas crenas existentes.
Cadernos 22 56
Recordemos os principais resultados, inicialmente cando apenas com o IGC, usado pelo MEC: 1. Comparando as mdias de desempenho, vemos que os graduados das instituies pblicas apresentam desempenho acadmico superior ao das privadas. Contudo h uma considervel superposio das curvas, mostrando que privadas e pblicas so mais parecidas do que diferentes. Ou seja, em uma distribuio agregada, esto bastante misturadas. 2. Ao contrrio das crenas usuais, as instituies pblicas so bem mais heterogneas que as privadas. A armativa de que h de tudo entre as privadas, de fato, se aplica melhor s pblicas. 3. Dentro do setor privado, havamos formulado a hiptese de que no haveria diferenas signicativas entre as com e as sem objetivo de lucro. De fato, essa hiptese cou solidamente conrmada. No um resultado que v agradar aos discpulos de So Toms de Aquino. Com isso, encontramos que ter ns de lucro no degrada a qualidade. 4. Convivendo promiscuamente com bancos, acreditvamos que as instituies de capital aberto (IPO) estariam abaixo da mdia. Essa hiptese se revelou equivocada. As mdias so praticamente as mesmas das outras privadas, com uma nma diferena a favor das que abriram capital. 5. As instituies de capital aberto so muito parecidas entre si. Tecnicamente, tm uma varincia muito menor. Jamais exibem
uma qualidade excepcional. Nesse sentido nossa hiptese inicial estava correta. Mas em contraste, entre elas no h instituies de qualidade desastrosa. H at muitas pblicas com qualidade inferior.
Estvamos descontentes com a forma do MEC de avaliar a qualidade atravs do IGC. Temos objees metodolgicas ao uso de indicadores sintticos que combinam causas e efeitos, ou seja, resultados com processos. Diante disso, criamos o Enade/ Institucional, um indicador unidimensional, utilizando apenas a prova de conhecimentos especcos (ponderado pela matrcula de cada curso operado pela instituio). Esse novo indicador muda substancialmente o quadro observado no ensino superior brasileiro.
Vejamos os principais resultados: 1. Quando comparamos os escores no IGC com os escores no Enade/Institucional que considera apenas o desempenho dos concluintes chegamos a uma primeira observao, que , talvez, a mais incendiria. Notamos que praticamente no h correlao entre os dois indicadores. O coeciente de determinao de 0,156. Se usarmos uma varivel para estimarmos o valor da outra, acertaremos em apenas 15,6% das vezes. Esse resultado abala a crena de que o IGC uma boa medida de qualidade, j que o IGC introduz elementos desassociados da medida do que sabem os alunos ao se formar.
Cadernos 22 58
2. Que razes teria o MEC para introduzir um conceito to bizarro metodologicamente e que distancia o IGC daquilo que sabem os graduados? difcil escapar de uma suspeita de m vontade e de ltros ideolgicos por parte de algumas pessoas do MEC. 3. Quando examinamos a nova distribuio, entre instituies pblicas e privadas, podemos ver um quadro bastante distinto. Embora as pblicas apaream ainda com mdias superiores, a diferena se reduz enormemente. As novas curvas se sobrepem de forma muito mais ntida. No se pode mais falar em vantagens considerveis para as instituies pblicas. So apenas um pouquinho melhores. Previsivelmente, persistem as diferenas de perl, com as pblicas mais heterogneas. Repetese tambm o que foi visto com o IGC, ou seja, a ausncia de diferena entre privadas com e sem inteno de lucro. O mesmo se d com as de capital aberto, muito prximas das mdias das privadas, contudo muito mais homogneas. 4. Para melhor entender quem quem nesse mundo do ensino superior, tomamos os 100 melhores escores e examinamos as instituies ali includas. Os resultados dramaticamente mudam o que observaramos com o IGC. Vemos que 65% das melhores instituies so privadas. Ou seja, um aluno que queira se matricular nas 100 melhores, tem mais opes no setor privado do que no pblico. Ainda assim, como as privadas so muito mais numerosas no universo de instituies, sua participao proporcional nas 100 melhores bem mais modesta.
5. Dentre essas 100, uma observao curiosa a presena macia de instituies pequenas, s conhecidas localmente e esparramadas por todo o territrio nacional. Observou-se que a qualidade no mais privilgio das grandes, pblicas e famosas. 6. O exame das 100 piores tambm ilustrativo. Nesse caso, a participao de instituies pblicas menor, mas ainda signicativa. Em contraste, h apenas duas de capital aberto no grupo, diante das dez pblicas. Isso signica que o MEC teria mais razes para se preocupar com o desempenho insuciente das pblicas do que com aquelas de capital aberto. Entre outras razes, nas pblicas, o dinheiro do contribuinte. Contudo, do ponto de vista da participao do setor pblico no universo das instituies, descobrimos que rigorosamente proporcional; a chance de uma pblica de estar nesse m de linha a mesma do que para as privadas. 7 . ilustrativo registrar a presena dos dois institutos militares IME e ITA no topo da distribuio das 100 melhores. Ou seja, as joias da coroa do ensino pblico pertencem s Foras Armadas (na graduao, pois nada ca dito ou implicado na presente pesquisa sobre mestrados e doutorados). As anlises iniciais e a construo do Enade/Institucional nos levaram a explorar mais o que nos mostra a base de dados. De fato, a prtica do MEC de criar um indicador sinttico, na prtica, deixa no abandono uma grande riqueza de informaes e concluses que podem ser garimpadas sem maiores diculdades. Vejamos o que descobrimos:
Cadernos 22 60
1.
Para ter uma anlise a mais depurada possvel, exclumos do Enade/Institucional os escores na prova de Conhecimentos Gerais. Contudo, ao analisar sua correlao com o Enade/ Institucional, podemos observar um coeciente de determinao de 0,56. Percebemos que essa segunda prova no mede o mesmo que a prova especca, mas sim dimenses que no esto desassociadas dela. Em retrospecto, se houvssemos criado um indicador incluindo os conhecimentos gerais, no estaramos cometendo algum pecado maior, embora as interpretaes dos resultados no fossem to claras.
2. crena usual de que as instituies pblicas cam com a parte do leo, nas selees de entrada para o superior. Os dados mostram que no bem assim. Tomando o Enade aplicado aos calouros e comparando pblicas e privadas, vemos que h certa superioridade das pblicas no recrutamento, mas bem pequena. Com mdias de 3,3 para as pblicas e 3,1 para as privadas, no podemos mais falar de vantagens to importantes no recrutamento das pblicas. De fato, grosso modo, as diferenas de mdias entre concluintes de pblicas e privadas no parecem diferentes das diferenas entre pblicas e privadas de calouros. Seja como for, h que ter cuidado nessa interpretao, pois a prova no um bom critrio para analisar competncias de entrada. Pedir a um calouro que responda sobre os assuntos que vai aprender ao longo do curso um tour de force metodolgico. 3. O Valor Adicionado um conceito precioso, pois revela o quanto a instituio contribuiu para o progresso do aluno j que
o resultado da prova para os graduandos revela a soma do que o aluno sabia com a contribuio do curso. Trata-se de um conceito novo, mal interpretado pela maioria e que cou submerso na confuso de nmeros criada pelo IGC. Ao analisar o Valor Adicionado, nos deparamos com um resultado to surpreendente quanto outros mencionados anteriormente. Correlacionando o Valor Adicionado com o Enade/Institucional, encontramos um coeciente de determinao de 0,186. Ou seja, praticamente no h associao entre o que o aluno sai sabendo e em que contribuiu a instituio que cursou. Em outras palavras, uma instituio que produz graduados excepcionais pode ou no contribuir signicativamente para a sua formao. Pode ser que o resultado seja devido a alunos melhores que recebe ou, igualmente, pode ser porque conseguiu fazer esse aluno crescer ao longo do curso, mais do que as outras. Vice-versa, em uma instituio cujos graduados so fracos, no quer dizer que os alunos no cresceram muito ao longo do curso. Pode apenas signicar que entraram muito fracos e que cresceram bastante, e ainda que no tenham atingido o nvel dos melhores. 4. No presente estgio da nossa anlise, no temos a menor ideia acerca dos fatores que explicam um bom Valor Adicionado. Para tentar entender o que estaria acontecendo, examinamos as 100 instituies de maior Valor Adicionado. A primeira constatao a presena menor das pblicas, com 20%, contra 35% na pontuao no Enade/Institucional. Ou seja, parece que as pblicas tm menos poder de fazer os alunos crescerem. Das instituies mais conhecidas, aparecem apenas
Cadernos 22 62
a Pontifcia Universidade Catlica do Rio de Janeiro (PUC-Rio), o Intituto Militar de Engenharia (IME), o Instituto Tecnolgico de Aeronutica (ITA), a Universidade Federal de Minas Gerais (UFMG) e a Universidade Federal do Rio Grande do Sul (UFRGS). A maioria das outras, pblicas e privadas, so bem menos conhecidas ou totalmente desconhecidas no cenrio nacional. Como explicao, a anlise acima ainda muito insatisfatria. 5. Um resultado totalmente excepcional nos dado pelo IME e pelo ITA. So as duas nicas instituies a aparecer no topo do desempenho de concluintes e, tambm, no Valor Adicionado (de fato, esto entre as dez melhores, nas duas dimenses). Se alguma coisa podemos vir a aprender sobre as causas de um alto Valor Adicionado, muito nos beneciaremos em entender como funcionam essas duas instituies militares. 6. Para complementar a anlise, podemos examinar agora as 100 piores em Valor Adicionado. Entre elas, 14 so pblicas, incluindo vrias federais, um resultado surpreendente, considerando o seu alto custo aluno. As demais so pouco conhecidas no cenrio nacional. guisa de concluso, voltemos ao quadro geral da avaliao no Brasil. Louvemos o Inep, novamente, por criar, manter e desenvolver um sistema de avaliao nico no mundo. Coloca o Brasil em uma situao privilegiada para estimular e calibrar os seus cursos de graduao. Mas como tudo nesse mundo, um sistema como esse no nasce perfeito e leva muito tempo para eliminar as arestas existentes. Para isso, preciso que os dados sejam examinados
com cuidado tcnico e iseno. Ao faz-lo, identicamos muitas falhas que precisam ser eliminadas ou, pelo menos, mais bem interpretadas. Acreditamos que o presente ensaio permite um avano considervel nesse processo de escoimar da avaliao do ensino superior um bom nmero de ambiguidades e equvocos.
Cadernos 22 64
Normas para apresentao dos originais

A Associao Brasileira de Mantenedoras de Ensino Superior (ABMES), por meio do ABMES Cadernos, publicar trabalhos sobre temas e questes de interesse especco das instituies de ensino superior associadas, os quais devero ser submetidos aprovao da Diretoria da ABMES.
Os trabalhos devem ser inditos e enviados para a publicao no ABMES Cadernos, observando as seguintes normas:
1.
Ttulo acompanhado do subttulo, quando for o caso, claro, objetivo e sem abreviaturas;
2.
Nome do autor e colaboradores por extenso, em itlico e negrito, com chamada (*) para rodap, onde sero indicadas credenciais escolhidas pelo autor;
3.
Dados sobre o autor nome completo, endereo para correspondncia, telefone, fax, e-mail, vinculao institucional, cargo, rea de interesse, ltimas publicaes.
4.
Resumo de dez linhas que sintetize os propsitos, mtodos e principais concluses.
5.
Texto digitado em espao duplo, fonte 12, verso Word 7 ou superior, .0 evitando tipos inclinados e de fantasia. Salvo casos absolutamente excepcionais e justicados, os originais no devem ultrapassar o limite de 15 a 20 pginas digitadas. O texto dever ser enviado por e-mail (abmes@abmes.org.br).
Cadernos 22 66
6.
Os ttulos e subttulos devem ser claramente identicados e hierarquizados por meio de recursos sucessivos de destaque, tais como: caixa alta (letra maiscula) com sublinha; caixa alta sem sublinha; caixa alta e baixa com sublinha; caixa alta e baixa sem sublinha.
7 .
As citaes a autores, no correr do texto, bem como nas referncias bibliogrcas, devem seguir as orientaes da NBR10520 (Citaes em documentos) e NBR6023 (Elaborao de referncias.
8.
As citaes, as chamadas pelo sobrenome do autor, pela instituio responsvel ou ttulo includo na sentena devem ser iniciadas em letra maiscula e as seguintes em minscula, mas quando no houver a chamada na sentena, devem ser apresentados entre parnteses e com todos os caracteres em letras maisculas. Exemplo: De acordo com Barbosa (2002, p.26), o protestantismo no Brasil foi encarado como intruso durante todo o sculo XIX, tanto pelos missionrios que lutaram para superar as difceis barreiras, mas principalmente pelos representantes da Igreja Romana Ou: O protestantismo no . Brasil foi encarado como intruso durante todo o sculo XIX, tanto pelos missionrios que lutaram para superar as difceis barreiras, mas principalmente pelos representantes da Igreja Romana (BARBOSA, . 2002, p.26) E, ainda na citao da citao: Analisando a marcha abolicionista no Brasil, perguntou-se poca: o que ns queremos que o Brasil se torne? Para que que trabalhamos todos ns, os que, com a opinio dirigimos seus destinos? (RODRIGUES, 1871 apud BARBOSA, 2002, p. 115).
9.
Obras do mesmo autor e do mesmo ano devem ser ordenadas em ordem alfabtica, seguidas de letras do alfabeto: 1997a, 1997b,1997c, discriminado-as, no corpo do texto, sempre que forem citadas.
10. Notas exclusivamente de natureza substantiva devem ser numeradas seqencialmente.
11. A primeira citao de nome ou ttulo que tenha siglas e abreviaes dever aparecer registrada por extenso, seguido da sigla colocada entre parnteses. Se a sigla tiver at trs letras ou se todas as letras forem pronunciadas devem-se gafar todas as letras da sigla em maisculas. Exemplo: CEF MEC, BNDES, INSS. E as siglas de mais de trs letras , formando palavras devem aparecer em caixa alta e baixa. Exemplo: Unesco, Semesp, Funadesp.
12. As citaes diretas, no texto, de mais de trs linhas devem ser colocadas com recuo de 4 cm da margem esquerda, na fonte 10, espao simples e sem aspas.
13. As palavras e/ou expresses em lngua estrangeira devem aparecer em itlico.
Exemplos de Referncias
1. Livros
DIAS, Gonalves. Gonalves Dias: poesia. Organizada por Manuel Bandeira. Reviso crtica por Maximiano de Carvalho e Silva. 11.ed. Rio de Janeiro: Agir, 1983. 175p.
BARBOSA, Jos Carlos. Negro no entra na igreja: espia na banda de fora. Protestantismo e escravido no Brasil Imprio. Piracicaba: Ed. Unimep, 2002. 221p.
Cadernos 22 68
COLASANTI, Marina. Esse amor de todos ns. Rio de Janeiro: Rocco, 2000. 231p. OLIVEIRA, Jos Palazzo et al. Linguagem APL. Porto Alegre: CPGCC da UFRGS, 1973. 15p.
2. Artigos em revistas
MOURA, Alexandrina Sobreira de. Direito de habitao s classes de baixa renda. Cincia & Trpico, Recife, v.11, n.1, p.71-78, jan./jun. 1983. METODOLOGIA do ndice Nacional de Preos ao Consumidor INPC. Revista Brasileira de Estatstica, Rio de Janeiro, v. 41, n. 162, p. 323-330, abr./jun. 1980.
3. Artigos em jornais
COUTINHO, Wilson. O Pao da Cidade retorna seu brilho barroco. Jornal do Brasil, Rio de Janeiro, 6 mar. 1985. Caderno B, p. 6. BIBLIOTECA climatiza seu acervo. O Globo, Rio de janeiro, 4 mar. 1985. p.11, c. 4.
4. Leis, decretos e portarias
BRASIL. Lei n. 9.887 de 7 de dezembro de 1999. Altera legislao tributria , federal. Dirio Ocial [da]Repblica Federativa do Brasil, Braslia, DF 8 dez. , 1999. Seo 1 p.13.
5. Parte de monograas
ABRANCHES, Srgio Henrique. Governo, empresa estatal e poltica siderrgica: 1930-1975. In: LIMA, O . B.; ABRANCHES, S. H. (Org.). As origens da crise. So Paulo: Vrtice, 1987 .
6. Teses, dissertaes e trabalhos acadmicos
MORGADO, M. L.C. Reimplante dentrio. 1990. 51 f. Trabalho de Concluso de Curso (Especializao) Faculdade de Odontologia, Universidade Camilo Castelo Branco, So Paulo, 1990.
O envio de trabalhos implica cesso de direitos autorais para o ABMES Cadernos.
Sero fornecidos ao autor principal de cada artigo 10 (dez) exemplares do nmero do ABMES Cadernos.
Os textos assinados so de responsabilidade de seus autores.
Cadernos 22 70
Cadernos 22 72
Esta obra foi composta em Univers 45 Light e impressa nas oficinas da Athalaia Grfica e Editora Ltda, no sistema off-set sobre papel poln soft 80g/m2 miolo, com capa em papel Couch Fosco 170g/m2 para a ABMES, em julho de 2011. Athalaia Grfica e Editora Ltda. Fone: 61 3343-4100 Fax: 61 33434101 e-mail (athalaia@athalaia.com.br).

ABMES Cadernos 22

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

ABMES Cadernos 22

Hochgeladen von

Copyright:

Verfügbare Formate

Associao Brasileira de Mantenedoras de Ensino Superior

Avaliao no ensino superior: acertos e derrapagens

Apresentao................................................................ 05 Avaliao no ensino superior: acertos e derrapagens .. 07

Claudio de Moura Castro Luciana Lima

Avaliao no ensino superior: acertos e derrapagens 5

Gabriel Mario Rodrigues *

Braslia, 4 de julho de 2011.

Avaliao no ensino superior: acertos e derrapagens 7

Avaliao no ensino superior: acertos e derrapagens

Claudio de Moura Castro 1

Avaliao no ensino superior: acertos e derrapagens 9

So Toms de Aquino e o lucro

Avaliao no ensino superior: acertos e derrapagens 11

Avaliao: o que dizem os nmeros do MEC?

Avaliao no ensino superior: acertos e derrapagens 13

Avaliao no ensino superior: acertos e derrapagens 15

Avaliao no ensino superior: acertos e derrapagens 17

Grco 1 Distribuio dos escores do IGC por categoria administrativa

Avaliao no ensino superior: acertos e derrapagens 19

Avaliao no ensino superior: acertos e derrapagens 21

Privada Sem ns lucrativos

Privada Com ns lucrativos

Grco 2 IGC mdio por natureza jurdica

Avaliao no ensino superior: acertos e derrapagens 23

Grco 4 Boxplot dos escores do IGC por Natureza Jurdica

Avaliao no ensino superior: acertos e derrapagens 25

IGC Grfico 5 Distribuio do IGC de diferentes nveis organizacionais de instituies privadas

Avaliao no ensino superior: acertos e derrapagens 27

Avaliao no ensino superior: acertos e derrapagens 29

Grco 6 Distribuio do IGC e Enade/Institucional

Avaliao no ensino superior: acertos e derrapagens 31

Grco 7 Enade/Institucional mdio por Natureza Jurdica

Grco 8 IGC mdio por Natureza Jurdica

Avaliao no ensino superior: acertos e derrapagens 33

Com fins lucrativos IPO

Avaliao no ensino superior: acertos e derrapagens 35

Grco 9 Distribuio do Enade/Institucional por categoria administrativa

Avaliao no ensino superior: acertos e derrapagens 37

Grco 11 Grco de Caixas do Enade/Institucional por Natureza Jurdica

Privada Com ns lucrativos

Privada Sem ns lucrativos

Grco 12 Distribuio do Enade/Institucional por Natureza Jurdica

35,4% 100,0% 10,1% 100,0%

Avaliao no ensino superior: acertos e derrapagens 39

100 piores Privada

Avaliao no ensino superior: acertos e derrapagens 41

Que mais nos dizem os nmeros?

O Grco 14 mostra o diagrama de disperso, uma reta ajustada e o coeciente de determinao.

Conceito Enade Concluinte Formao Geral

Avaliao no ensino superior: acertos e derrapagens 43

Enade Ingressante Componente especco

Avaliao no ensino superior: acertos e derrapagens 45

Avaliao no ensino superior: acertos e derrapagens 47

Avaliao no ensino superior: acertos e derrapagens 49

Conceito Enade Ingressante CE

Avaliao no ensino superior: acertos e derrapagens 51

Avaliao no ensino superior: acertos e derrapagens 53

Tabela 8 As 10 melhores IES segundo o IDD

Tabela 9 As 10 piores IES segundo o IDD

Avaliao no ensino superior: acertos e derrapagens 55

Ignorncia, preconceito e realidade: o que aprendemos olhando os nmeros

Avaliao no ensino superior: acertos e derrapagens 57

Avaliao no ensino superior: acertos e derrapagens 59