Beruflich Dokumente
Kultur Dokumente
CIMGAE
UFSC/EGC
FLORIANPOLIS
2015
Arte da Capa
Adriano H. Hedler Tcnico em Artes Grficas/UFSC
Edio e Diagramao
Silvia Maria Puentes Bentancourt
EGC
NDC
ARESENTAO
O Brasil, com suas dimenses territoriais continentais e populao aproximada
de 201.032.714 habitantes, sendo que mais da metade dessa populao est em
condies de frequentar algum nvel de educao (crianas e jovens), possui sistemas
educacionais em larga escala. O volume de recursos federais destinados educao quer
seja para oferta de ensino pblico ou como subsdios para viabilizar o acesso ao ensino
privado, de R$ 71,7 bilhes. Para acompanhar, avaliar, embasar a definio de
polticas e apoiar a gesto dos sistemas brasileiros de Ensino Fundamental, Mdio e
Superior existem bancos de dados e de indicadores nacionais, como os mantidos pelo
Instituto Nacional de Pesquisas Educacionais Ansio Teixeira (INEP), e iniciativas
internacionais, como o Programa Internacional de Avaliao de Estudantes (PISA),
desenvolvido e coordenado pela Organizao para Cooperao e Desenvolvimento
Econmico (OCDE).
Percebe-se, mais recentemente, a preocupao em tornar estes acervos de dados
e indicadores mais teis, no s pelo seu aprimoramento para apoiar a melhoria da
qualidade da educao em larga escala, mas principalmente na popularizao da sua real
utilizao pelos rgos responsveis pela conduo do setor nas trs esferas
governamentais, assim como pelas prprias instituies de ensino na ponta.
Os trabalhos cientficos a seguir foram apresentados no I Congresso
Internacional de Mtodos e Gesto em Avaliao Educacional, iniciativa do
Programa de Ps-graduao em Mtodos e Gesto em Avaliao (PPGMGA) da
Universidade Federal de Santa Catarina (UFSC), que na sua primeira edio abordou
questes relacionadas a modelos de avaliao educacional, construo de indicadores,
devoluo de resultados para a sociedade etc. congregando pesquisadores, professores e
alunos do Brasil e ibero-americanos.
Esperamos que a leitura dos textos possa resultar em avanos no conhecimento
sobre a educao no pas.
Prof. Fernando lvaro Ostuni Gauthier, Dr.
Coordenador Geral do I CIMGAE.
SUMRIO
21
35
47
61
73
87
103
115
125
Lista de Autores
...........................
137
...........................
151
Abstract
This article aims to present the strategies and success of a Course of action in the event, the
Technology in Information Technology Management (TI) in a Higher Education Institution (IES). It
should be stressed that for reasons of confidentiality will not be published the name of that IES,
however, it is possible to disclose that it is located in southern Brazil, as well as in his later
recognition processes by the Ministry of Education and Culture (MEC), obtained in all, at least
"Concept 4", which for its reality of acting is excellent. In this context and for that, it should be
mentioned that as a research methodology, defined a case study, because of having developed all
collection activities, analysis and presentation of data from a single course of that IES, identifying and
presenting the necessary information for the development of new knowledge, based on the
characteristics of this type of research. The main results of research, there is any evidence that it was
possible to present the most relevant strategies and actions that were used by the IES and the course
considered for the success of the recognition process with the MEC.
Keywords: Information Technology Management. Process. Recognition. Higher Education. Ministry
of Education.
1 INTRODUO
A preocupao em melhorar a qualidade do ensino brasileiro e a padronizar a criao
de novos cursos nas Instituies de Ensino leva o MEC juntamente com o Instituto Nacional
de Estudos e Pesquisas Educacionais Ansio Teixeira (INEP), e a Diretoria de Avaliao da
10
11
De acordo com Brasil (2014b), o Plano Nacional de Educao (PNE) estabeleceu, para
cada nvel educacional, um diagnstico, diretrizes, objetivos e metas. Nas diretrizes
especficas para a educao superior e para a regulao de seu sistema, destaca-se a nfase
dada aos processos de avaliao. Como princpio geral, afirma-se, no Plano, que nenhum pas
pode aspirar a ser desenvolvido e independente sem um forte sistema de educao superior. O
Plano que define diretrizes para a regulao do sistema, entende que necessrio planejar a
expanso com qualidade, evitando-se o fcil caminho da massificao. Nesse sentido,
reconhece a importante contribuio do setor privado, que j oferece a maior parte das vagas
na educao superior e tem um relevante papel a cumprir. Mas feita a ressalva de que o setor
privado tambm deve respeitar os parmetros de qualidade estabelecidos pelos sistemas de
ensino.
12
Credenciamento
Recredenciamento
Autorizao
Reconhecimento e Renovao
de Reconhecimento
13
14
acadmicos, e nos ltimos processos de reconhecimento pelo MEC, seus cursos avaliados
vem sendo conceituados com pelo menos Conceito 4. Alm disso, que a IES caracteriza-se
por ser uma Pessoa Jurdica de Direito Privado sem fins lucrativos, que apresenta o perfil de
uma instituio comunitria.
Mais especificamente no que se refere ao Curso pesquisado, de Tecnologia em Gesto
de TI, salienta-se que o mesmo teve sua autorizao por meio da Portaria publicada no DOU
em 24/06/2010. No momento da avaliao in loco, no ano de 2013, o curso ofertava 55 vagas
anuais no turno noturno. Acarga horria total do curso, de 2400 horas-aula (50 minutos,
correspondendo a 2000 horas relgio) mais um Estgio Supervisionado de 160 horas. O
tempo mnimo de integralizao do curso de 6 semestres. O perfil do egresso do curso , de
formar profissionais que devero apresentar, ao final do curso, habilidades relacionadas
aplicao da tecnologia da informao nas organizaes e habilidades de gerenciamento dos
recursos relacionados a projetos de informatizao.
4.2 Preparao do coordenador
O coordenador do curso do presente estudo, possui o Ttulo de Mestre e por ocasio da
avaliao realizada entre os dias 17 e 20 de abril de 2013 apresentava mais de 4 anos na IES,
bem como 25 meses na funo de coordenao.
Conforme os termos estabelecidos pelo Regimento da IES pesquisada, o coordenador
participa ativamente do Colegiado do Curso e do Ncleo Docente Estruturante, bem como
representa o curso nas reunies externa da IES. o profissional responsvel pela normalidade
acadmica e administrativa de funcionamento do curso, bem como pelo bom relacionamento
entre alunos e docentes. Como reponsvel direto no processo de reconhecimento do curso, o
coordenador exerceu acompanhamento total do mesmo, inclusive com as prticas que
antecederam as visitas de reconhecimento, tendo como responsabilidade preparar toda a
documentao necessria do curso e da IES, bem como o envolimento direto com o corpo
docente e discente do curso. Alm disso, foi o responsvel em observar que todas as estapas
foram preparadas e foram desenvolvidas corretamente, conforme legislao vingente e, por
ltimo, monitorou toda o processo de execuo.
Assim, a atuao do coordenador foi avaliada de uma maneira geral como excelente,
sendo o mesmo contratado pela IES em tempo integral. Complemente-se que os avaliadores
constataram tambm in loco a excelente relao entre a coordenao, corpo docente, e
discente do curso, a qual, oportuniza manter execelente representatividade nos colegiados
superiores.
4.3 Preparao da IES
A IES passou por uma avaliao completa em sua infraestrutura, onde pode-se
destacar como pontos fundamentais para o processo de avaliao as estruturas das bibliotecas
com as devidas exigncias dos acervos bibliogrficos que possibilitam as pesquisas por parte
dos acadmicos. Ainda, a estrutura dos Recursos Humanos envolvendo o corpo docente do
curso que compem o colegiado e os funcionrios que do suporte a toda estrutura
administrativa e educacional da instituio.
As instalaes da IES utilizadas pelo curso de Gesto da Tecnologia da Informao
so as salas de aulas utilizada pelos alunos, bem como a sala de uso do coordenador e dos
professores. De uso comum dos cursos da IES, destaca-se os laboratrios de informtia,
biblioteca e reas de convivncia.
15
Tambm, as salas de aula adaptadas para o curso foram avaliadas como muito boas
considerando quantidade e nmero de alunos por turmas, disponibilidade de equipamentos,
dimenses em funo das vagas previstas/autorizadas, limpeza, iluminao, acstica,
ventilao, acessibilidade, conservao e comodidade. Alm disso, que os laboratrios e
demais recursos adaptados, especialmente, de acesso informtica para o curso atendem
muito bem s necessidades, quanto a quantidade de equipamentos em funo do nmero de
usurios, espao fsico e acessibilidade (identificou-se rede sem fio no campus alm da rede
via cabo). Existe poltica de aquisio e atualizao de equipamentos e software.
A IES adequou suas instalaes dentro das condies de segurana exigida pelas
legislaes vingentes para o caso de uma emergncia.
4.4 Preparao do corpo docente e discente
Como existiam 18 docentes vinculados ao curso, a avaliao identificou o tempo
mdio de permanncia do corpo docente no curso como sendo de 2 anos. O NDE do curso foi
constitudo no ano de 2011, sendo composto por 6 docentes, todos com ps graduao stricto
sensu. Os integrantes do NDE tiveram participao na concepo do PPC do curso e/ou em
suas alteraes.
4.5 Planejamento, estrtegias e aes
Quanto ao planejamento por parte da coordenao de curso, ressalte-se que foi
possvel identificar o alinhamento do corpo docente, discente e da IES no processo de
reconhecimento. Nesse sentido, o planejamento se fez indispensvel para um resultado
satisfatrio no processo de reconhecimento, uma vez que no caso da IES pesquisada o
alinhamento teve como alicerces, reunies semanais, com o colegiado e NDE do curso.
Acrescente-se que o referido alinhamento se fez em consonncia com o instrumento de
avaliao, onde todos as parte interessadas tiveram conhecimento do mesmo. Assim,
inicialmente o alinhamento foi executado na primeira dimenso do instrumento (PPC), sendo
que foi desenvolvido um mapa contendo uma viso geral do curso, suas componentes e a
relao que as mesmas tinham com o perfil do egresso. Ressalte-se que o alinhamento estava
amarrado em cada plano de ensino das componentes da estrutura curricular do curso.
A coordenao do curso tambm procurou desenvolver um banco de dados de
informaes dos docentes para atender a segunda dimenso (corpo docente). Neste contexto, a
estratgia para pontuar bem no instrumento SINAES foi ter um corpo docente enxuto e com
no mnimo duas componentes por docente no curso. Uma ao importante no processo
manter todos os contratos e carteiras de trabalho bem como os respectivos lattes atualizados.
Alm disso, ainda sobre a segunda dimenso destaque-se a importncia dos docentes
estarem em dia com sua atribuies inerentes a funo, como por exemplo, registros de notas,
faltas, e contedos ministrados em sala de aula. Complemente-se que todos os envolvidos no
processo devem ter a noo de onde encontrar as informaes inerentes ao curso, bem como
devem ter conhecimento dos principais regulamentos e normas quanto as atividades
desenvolvidas pelo curso (que foi identificado pelo avaliadores do MEC na IES pesquisada).
Evidencie-se tambm quanto a segunda dimenso, que extremamente importante
manter todos os registros de atividades desenvolvidos pelo curso. O planejamento requer o
envolvimento da direo, coordenao, NDE e colegiado do curso, sempre buscando
responder ao instrumento SINAES. Adicionalmente, ressalte-se a importncia de demonstrar
para os avaliadores as pontencialides regionais que so exploradas pelo curso, bem como
valorizar o elo de ligao com a sociedade atravs da extenso. No processo de planjemanto
16
importante que cada indivduo envolvido no processo tenha claro sua importncia e que esse
planejamento seja contnuo.
Por outro lado, e j se referindo a dimenso trs (infraestrutura), saliente-se que foi
desenvolvido um plano de aplicao de recursos de acordo com a demanda do curso. Os
livros do primeiro ano foram adquiridos antes de primeiro vestibular, bem como os
laboratrios, demais equipamentos, e demais livros, foram adquiridos no segundo ano, bem
como para a aquisio de aplicativos e outras, foi elaborado um planejamento de
investimentos em infraestrutura, em conformidade com as demandas do curso.
Outro ponto a ser evidenciado se refere ao fato do envolvimento do coordenador do
incio ao fim no processo de planejamento e reconhecimento, se colocando a disposio de
todos discentes, docentes e da comisso do SINAES para eventuais esclarecimentos de
dvidas.
4.6 Visita in loco
Durante a visita in loco, os procedimentos de anlise recomendados pelo INEP foram
seguidos pela comisso, atendendo s normas e requisitos do instrumento de avaliao de
cursos superiores de tecnologia vinculados ao sistema e-MEC. Efetuou-se tambm a anlise
dos documentos apresentados pela IES, que serviram para confrontar com as informaes j
postadas no sistema, sendo que a avaliao se pautou prioritariamente pelas informaes
inseridas no sistema.
Alm disso, os avaliadores consultaram o PPC do curso, PPI, PDI, Relatrios de
Autoavaliao e Atos Legais do mantenedor, bem como do Curso. Observou-se que o curso
tem 88 alunos regularmente matriculados e que ainda no participou do ENADE. A visita in
loco teve um fluxo normal de acontecimentos. O endereo de oferta supracitado foi o mesmo
do formulrio eletrnico. De acordo com o despacho saneador, a IES atendeu
satisfatoriamente s exigncias de instruo processual estabelecidas para a fase de anlise
documental pelo Decreto n. 5.773/2006, com as alteraes introduzidas pelo Decreto no
6.303/2007, e a Portaria Normativa no 40 de 12 de dezembro de 2007, republicada em 29 de
dezembro de 2010.
4.7 Anlises e discusses
Em primeiro momento, evidencie-se de acordo com Brasil (2014b), que a avaliao da
Educao Superior deve apresentar, como marcas essenciais, dentre outras, as seguintes
caractersticas: justia, rigor, efetividade, integrao, globalidade, participao, eficcia
formativa, efetividade social, flexibilidade, credibilidade, legitimidade, institucionalidade,
continuidade, respeito identidade institucional, e sistematizao.
Dessa forma, o processo de avaliao do SINAES proposto neste artigo deve
efetivamente constituir-se em uma ampliao de procedimentos e instrumentos de avaliao
para alm dos atualmente praticados, procurando sempre assegurar a integrao, a
participao, a globalidade, a relevncia cientfica e social, bem como a articulao da
regulao com a emancipao do institucional com o sistmico.
Alm disso, e tendo em vista essencialmente melhorar o cumprimento da
responsabilidade social e cientfica das instituies, em particular das de Educao Superior
em seu conjunto, observe-se que o SINAES prope-se a incorporar aos processos avaliativos
todos os agentes, todas as dimenses e instncias das IES, respeitados os papis especficos
dos participantes, bem como a identidade e a misso de cada uma delas.
17
RECONHECIMENTO E
RENOVAO DE
RECONHECIMENTO DE CURSO
PESO
30
30
Infraestrutura
40
Organizao Didtico-Pedaggica
40
30
Infraestrutura
30
Complemente-se que por ocasio das visitas in loco, nas IES, os avaliadores devero
considerar os critrios de anlise dos respectivos indicadores da dimenso e seguir as
orientaes j definidas no Instrumento de Avaliao de Cursos de Graduao presencial e a
distncia. Para a aplicao e atribuio dos conceitos, os avaliadores utilizam-se do Quadro 4.
Quadro 4 - Conceitos proposto pelo instrumento de avaliao
CONCEITO
1
DESCRIO
Quando os indicadores da dimenso avaliada configuram um conceito NO EXISTENTE.
4
5
18
19
5 CONCLUSES
Inicialmente observe-se que aps a realizao do presente estudo, com base nas
anlises dos resultados obtidos pelo reconhecimento do curso de Gesto de TI, da IES
considerada, foi possvel observar que, de um modo geral, o curso obteve uma pontuao
extremamente positiva. Isso se deve, especialmente, pelo fato de que ao se analisar as
cicurstncias, distante dos grandes centros, que envolve a IES pesquisada no que tange a sua
localizao, acesso a informaes (internet), e disponibilidade de professores mestres e/ou
doutores.
Alm disso, observe-se que atravs da presente pesquisa tambm foi possvel
indentificar uma situao real de aplicao, de uma das grandes metas do governo federal
brasileiro em relao a educao. Ou seja, conforme Brasil (2014b), evidencie-se que h hoje
amplo reconhecimento de que prerrogativa do poder pblico assegurar a qualidade do
ensino superior, cabendo-lhe no somente estabelecer diretrizes e patamares, mas tambm
acompanhar e supervisionar o processo que ocorre no sistema de educao superior e nas
instituies, estimular a correo de rumos atravs da meta-avaliao, isto , avaliar o
processo de avaliao em curso, informar a sociedade e tomar as providncias recomendveis,
quando couber.
Outro ponto a ser salientado, se refere ao fato da IES pesquisada, estar se consolidando
como referncia em qualidade no ensino superior na regio de atuao. Neste sentido,
destaque-se o esforo da IES em disponibilizar uma infraestrutura que atenda e supere as
exigncias do MEC, a qual pode ser definida como fruto de um envolvimento comunitrio
que une esforos com os profissionais das reas administrativas e do corpo docente presente
na instituio, que buscam constantemente o aperfeioamento dentro de suas reas de
conhecimento.
Por fim, espera-se com o desenvolvimento deste artigo, que retrata o planejamento,
estratgias e aes para reconhecimento de um curso superior, em uma situao real, a partir
do SINAES, oferecer subsdios de informaes relevantes para serem utilizados por outras
IES congneres, pesquisadores, diretores, coordenadores de cursos de graduao, ou mesmo
profissionais que atuem na temtica proposta.
REFERNCIAS
BRASIL. Ministrio da Educao. Instrumentos. (2014a). Disponvel em:
<http://portal.inep.gov.br/superior-condicoesdeensino-manuais>. Acessado em: 17 out. 2014.
______. ______. Sistema Nacional de Avaliao da Educao Superior (Sinaes). (2014b).
Disponvel
em:
<http://portal.mec.gov.br/index.php/?id=12303&option=com_content>.
Acessado em: 17 out. 2014.
______. ______. Instrumento de Avaliao de Cursos de Graduao presencial e a
distncia.
(2014c).
Disponvel
em:
<http://portal.mec.gov.br/index.php?option=com_content&view=article&id=12467&Itemid=
783>. Acessado em: 17 out. 2014.
20
______.
______.
Decreto.
(2014d).
Disponvel
<http://www2.mec.gov.br/sapiens/portarias/dec5773.htm>. Acessado em: 17 out. 2014.
GIL, A. C. Mtodos e Tcnicas de pesquisa social. 5. ed. So Paulo: Atlas, 1999.
em:
21
Abstract
Demand for quality higher education is growing and online education constitute a way to meet it.
Proposals for assessment online education can be identified in the scientific literature. It was selected
ten documents. The study aims to identify common aspects of the proposals for assessing the quality of
online education. The scope were those applicable at institutions of higher education who offer formal
online courses. As a result, we identified five aspects: institution, course, technology, teaching and
learning. Each of them can have its level of quality measured. Propositions from the criteria of the
authors were selected to get data for assessment.
1 INTRODUO
medida que a demanda pelo ensino superior aumenta, as instituies precisam
demonstrar qualidade no mbito de seus programas, incluindo os fornecidos atravs da
educao online. Pois, normalmente, quando h demanda, surgem interessados em atend-la
e, dessa forma, os alunos passam a ter mais opes para realizarem seus cursos. Uma
estratgia de diferenciao pela qualidade do ensino oferecido, mais importante ainda, pela
percepo que o mercado tem desse ensino que oferecido. Embora se trate de uma viso
mercantilista, esta adequada no mbito da melhoria do ensino para atendimento das
necessidades dos alunos.
22
23
Best Practices for Electronically Offered Degree and Certificate Programs: um relatrio
elaborado pelo Western Cooperative for Educational Telecommunications (WCET) seleciona
melhores prticas j estabelecidas para qualidade de uma instituio de ensino para aplicao
na educao a distncia online. As boas prticas so compostas por 5 categorias: (1) Contexto
Institucional e Compromisso, (2) Currculo e Instruo, (3) Apoio ao Docente, (4) Apoio ao
Aluno e (5) Avaliao (WCET, 2001).
Accreditation and Quality Assurance Study: um relatrio que considera como importante
sete reas para garantir a qualidade dos programas de ensino a distncia: (1) Misso
Institucional, (2) Estrutura Organizacional Institucional, (3) Recursos Institucionais, (4)
Currculo e Instruo, (5) Apoio ao Docente, (6) Apoio ao Aluno e (7) Resultados de
Aprendizagem (CHEA, 2002).
LOCKHART, Marilyn; LACY, Kirk. As assessment model and methods for evaluating distance education
programs. Perspectives, v. 6, n.4, p. 98-104, 2002.
24
The Concentric Support Model: A Model for the Planning and Evaluation of Distance
Learning Programs: no artigo apresentado um modelo concntrico para apoiar programas
de educao online, o modelo composto por 7 categorias: (1) Apoio ao Docente, (2) Apoio
ao Aluno, (3) Suporte ao Contedo, (4) Sistema de Apoio Gesto do Curso, (5) Suporte
Tecnologia, (6) Apoio ao Programa e (7) Apoio Comunidade (OSIKA, 2006).
Dimensions of Quality for Web-Based Adult Education: a tese detalha 6 dimenses para
avaliao da qualidade de uma educao online para adultos, so elas: (1) Qualidade do
Ensino, (2) Qualidade Administrativa, (3) Qualidade de Assessoria, (4) Qualidade do Suporte
Tcnico, (5) Qualidade da Informao Prvia e (6) Qualidade da Avaliao do Curso
(HARROFF, 2002).
Quality Scorecard for Online Programs: o site Online Learning Consortium apresenta uma
estrutura de avaliao de um curso online disponibilizado por qualquer instituio, a estrutura
dividia em 8 categorias: (1) Suporte Institucional, (2) Suporte Tecnologia, (3)
Desenvolvimento do Curso / Design Instrucional, (4) Estrutura do Curso, (5) Ensino e
Aprendizado, (6) Participao Estudantil e Social, (7) Avaliao (OLC, 2014).
Assim, percebe-se que os critrios identificados para avaliar a educao online
surgiram daqueles j utilizados na educao tradicional. Contudo foram acrescidos
indicadores relativos importncia da tecnologia para a nova modalidade.
25
3 RESULTADOS
Os dez textos selecionados compreendem um perodo de 14 anos, mesmo assim, foi
possvel identificar caractersticas comuns nos critrios apresentados pelos diferentes autores.
Ento, a partir dos critrios encontradas nos documentos, foram definidos 5 aspectos passveis
de avaliao da qualidade da educao online: (1) Instituio, (2) Curso, (3) Tecnologia, (4)
Ensino e (5) Aprendizagem. Estes aspectos referem-se a pessoas, tecnologia e processos num
ambiente organizacional.
As instituies de ensino so organizaes que tem na sua misso a produo,
preservao e disseminao do conhecimento, sendo esse conceito basilar para a escolha e
acepo dos aspectos. Buscou-se que os resultados da avaliao dos 5 aspectos pudessem
servir de orientao na busca de melhorias em pontos especficos, delinear decises gerais,
que permitissem acompanhamento ao longo do tempo e comparaes internas e externas
instituio. Portanto, foram propostos indicadores de desempenho e de resultados.
A seguir detalham-se os 5 aspectos conforme a proposta do estudo. Para cada um
deles, apresentam-se os critrios dos autores que lhes deram origem e tambm foram
selecionadas proposies que podem ser utilizadas na sua avaliao mediante um
levantamento de opinies com o uso da Escala de Likert ou similar.
3.1 Instituio
O aspecto da Instituio abrange as atividades que ajudam a garantir um ambiente
propcio para a manuteno da educao online de qualidade, bem como as polticas que
estimulem o desenvolvimento do ensino e da aprendizagem online. Inclui tambm as questes
de infraestrutura e incentivos profissionais para o corpo docente (IHEP, 2000).
Mesmo quando existe qualidade tcnica, instrucional e suporte institucional, pode
ocorrer dos recursos disponveis para o ensino online serem subutilizados em funo da falta
de habilidades e competncias. Na literatura encontraram-se autores que alertam para casos
em que nem todos os membros do corpo docente possuem habilidades para a educao online
e que a instituio deve oferecer treinamento na tecnologia e assistncia contnua durante todo
o perodo da educao online. (CHANEY et al., 2009; CHEA, 2002; IHEP, 2000; WCET,
2001).
Apoio ao aluno um dos principais indicadores de qualidade de um programa de
educao a distncia (CHANEY et al., 2009). Esta categoria inclui um conjunto de servios
para os alunos que so normalmente encontrados em um campus universitrio incluindo
admisses, ajuda financeira, etc., bem como treinamento e assistncia enquanto o estudante
estiver usando a Internet (IHEP, 2000). Desta forma, o aluno demanda orientao especfica
sobre o curso, que envolve contedos e aspectos tecnolgicos, como tambm aqueles
referentes a informaes sobre procedimentos de matrcula, uso de biblioteca virtual ou fsica,
pagamentos, entre outros que so inerentes ao curso.
A avaliao crtica para a melhoria da qualidade, seja pela elaborao de polticas e
procedimentos de avaliao (IHEP, 2000), assim como de avaliao das tcnicas instrucionais
do ensino online (CHANEY et al., 2009). Logo, a instituio avaliada por atividades
estratgicas, pedaggicas e operacionais.
26
OLC (2014)
KHAN (2010)
GONZLEZ
(2010)
CHANEY et
al. (2009)
HARROFF,
2002
OSIKA
(2006)
CHEA (2002)
LOCKHART;
LACY (2002)
WCET (2001)
INSTITUIO
IHEP (2000)
Suporte Institucional
Apoio ao Docente
Apoio ao Aluno
Avaliao
Contexto Institucional e
Compromisso
Satisfao do Aluno
Preparao Institucional
/ Administrao
Misso Institucional
Estrutura
Organizacional
Institucional
Recursos Institucionais
Sistema de Apoio
Gesto do Curso
Cultura da Qualidade
Impacto Organizacional
/ Institucional
Apoio ao Programa
Apoio a Comunidade
Qualidade
Administrativa
Qualidade de
Informao Prvia
Institucional
Gesto
tica
27
3.2 Curso
O aspecto curso considera aquilo que prprio para cada curso oferecido pela
instituio, aquilo que lhe particular. Neste aspecto consideram-se o corpo docente do curso,
os objetivos do mesmo, o currculo, o contedo, o material oferecido e a tutoria.
Osika (2006) prope avaliar todas as ferramentas, polticas e procedimentos
disponveis para que o corpo docente possa administrar seus cursos. Outros autores incluram
os objetivos do curso, que devem ser apresentados de forma clara e direta, disponibilidade de
recursos de biblioteca, os tipos de materiais fornecidos aos alunos, o tempo de resposta para
os alunos, e as expectativas dos alunos (CHANEY et al., 2009; IHEP, 2000). Outra avaliao
considera se o curso fornece aos alunos informaes completas sobre o currculo, o curso, a
natureza da interao entre o professor e os alunos, a necessidade de equipamentos tcnicos,
disponibilidade de servios de apoio acadmico e de ajuda financeira (WCET, 2001).
OLC (2014)
KHAN (2010)
GONZLEZ
(2010)
CHANEY et
al. (2009)
HARROFF,
2002
OSIKA
(2006)
CHEA (2002)
LOCKHART;
LACY (2002)
WCET (2001)
CURSO
IHEP (2000)
Desenvolvimento do
Curso
Estrutura do Curso
Currculo e Instruo
Design Instrucional
Usabilidade
Reteno
Qualidade de Avaliao
do Curso
28
3.3 Tecnologia
Entende-se por aspecto Tecnolgico toda a infraestrutura de equipamentos e softwares
necessrios para disponibilizar um curso online. Acrescenta-se o suporte para uso dessa
tecnologia, viabilizando o desenvolvimento do curso.
Para o aspecto Tecnolgico da educao online, Khan (2010) inclui o planejamento de
infraestrutura, hardware e software. Os docentes precisam ter fcil acesso a computadores,
banda larga e perifricos, como cmeras digitais, softwares de edio de imagem, scanners,
entre outros. Mas os docentes tambm precisam ser capacitados, pois eles so o primeiro
contato que o aluno tem quando surgem dificuldades com os recursos tecnolgicos. (OSIKA,
2006).
Embora o tipo de tecnologia utilizada em um curso de educao online pode variar de
curso para curso, um aspecto essencial de qualquer tecnologia utilizada a confiabilidade.
Como a maioria das instrues, comunicao e diferentes tipos de interao ocorrem por meio
do uso de algum tipo de tecnologia, essencial a confiabilidade na tecnologia (CHANEY et
al., 2009).
OLC (2014)
KHAN (2010)
GONZLEZ
(2010)
CHANEY et
al. (2009)
HARROFF,
2002
OSIKA
(2006)
CHEA (2002)
LOCKHART;
LACY (2002)
WCET (2001)
TECNOLOGIA
IHEP (2000)
Suporte Tecnologia
Tecnologia
Design de Interface
Qualidade do suporte
tcnico
29
3.4 Ensino
O aspecto Ensino corresponde a todos os esforos para entregar o conhecimento ao
aluno de forma acessvel e efetiva para sua compreenso. No entanto, necessrio considerar
que existem diferentes formas de aprendizagem, o que exigir dos docentes capacidade para
planejar mtodos pedaggicos diferenciados, principalmente por tratar-se de ensino online e
no presencial.
Dentro do aspecto do Ensino existe um conjunto de atividades relacionadas com a
pedagogia, que a arte de ensinar. Nesta categoria esto os processos que envolvem
interatividade, colaborao e aprendizagem modular (IHEP, 2000). O docente dever sentir-se
confortvel na manipulao de arquivos, trabalhar com emails, no uso das ferramentas de
gesto de recursos, resolver questes de harware e software (OSIKA, 2006). Porm, para um
aproveitamento satisfatrio, necessrio um apoio efetivo, que seja adequado e apropriado
para os alunos em um ambiente de educao online. Isso inclui uma grande nfase no suporte
tcnico (CHEA, 2002).
OLC (2014)
KHAN (2010)
GONZLEZ
(2010)
CHANEY et
al. (2009)
HARROFF,
2002
OSIKA
(2006)
CHEA (2002)
LOCKHART;
LACY (2002)
WCET (2001)
ENSINO
IHEP (2000)
Apoio ao Contedo
Ensino
Qualidade do Ensino
Eficcia do Ensino
Pedagogia
Qualidade de Assessoria
30
3.5 Aprendizagem
O ltimo aspecto identificado foi a Aprendizagem, que corresponde ao aproveitamento
por parte do aluno daquilo que lhe foi transmitido. Cabe salientar, a estreita relao com o
aspecto Ensino, mas tambm forte o papel dos demais como suporte para a Aprendizagem.
Ao contrrio de uma sala de aula tradicional, o ensino online exige que os alunos
assumam maior responsabilidade pela sua aprendizagem. Como os alunos so fisicamente
separados de seus instrutores, vital que a tecnologia no se torne uma barreira (OSIKA,
2006). Isto pode ocorrer quando o aluno no possui equipamentos mnimos requeridos pelo
curso, tal situao pode, inclusive, levar ao abandono do curso.
A avaliao da aprendizagem considera tanto a absoro do contedo por parte do
aluno como sua capacidade de encontrar respostas no ambiente online. O resultado de
desempenho do aluno deve ser observvel e mensurvel para identificar a eficcia do ensino
online (CHEA, 2002, WCET, 2001).
OLC (2014)
KHAN (2010)
GONZLEZ
(2010)
CHANEY et
al. (2009)
HARROFF,
2002
OSIKA
(2006)
CHEA (2002)
LOCKHART;
LACY (2002)
WCET (2001)
APRENDIZAGEM
IHEP (2000)
Eficcia da
Aprendizagem
Atitude do Aluno
Resultado de
Aprendizagem
Participao Estudantil e
Social
Aprendizado
31
32
REFERNCIAS
ALVES, Joo Roberto Moreira. A Educao Superior a Distncia: uma anlise de sua
evoluo no cenrio brasileiro. Associao Brasileira de Educao a Distncia, 2015.
Disponvel
em:
<http://www.abed.org.br/site/pt/midiateca/textos_ead/1296/2015/02/a_educacao_superior_a_
distancia_uma_analise_de_sua_evolucao_no_cenario_brasileiro>. Acesso em: 06 mar. 2015.
BRASIL. DECRETO N. 2.494, de 10 de fevereiro de 1998. Regulamenta o Art. 80 da LDB
(Lei
n.
9.394/96).
Disponvel
em:
<http://www.planalto.gov.br/ccivil_03/decreto/D2494.htm>. Acesso em: 05 mar. 2015.
BRASIL. DECRETO N. 5.622, de 19 de dezembro de 2005. Regulamenta o Art. 80 da LDB
(Lei n. 9.394/96). Disponvel em: <http://www.planalto.gov.br/ccivil_03/_Ato20042006/2005/Decreto/D5622.htm#art37>. Acesso em: 05 mar. 2015.
CASEY, Denise M. A Journey to Legitimacy: the historical development of distance
education through technology. TechTrends: Linking Research and Practice to Improve
Learning,
v.
52,
n.
2,
p.
45-51,
2008.
Disponvel
em:
<http://link.springer.com/article/10.1007%2Fs11528-008-0135-z> Acesso em: 09 mar. 2015.
CHANEY, B. H.; EDDY, J. M.; DORMAN, S. M.; GLESSNER, L. L.; GRENN, B. L.;
LARA-ALECIO, R. A Primer on Quality Indicators of Distance Education. Health
Promotion Practice (Washington), v. 10, n. 2, p. 222-231, 2009. Disponvel em:
<http://hpp.sagepub.com/content/10/2/222.long>. Acesso em: 07 mar. 2015.
CHEA - Council for Higher Education Accreditation. Accreditation and Assuring Quality in
Distance Learning. CHEA Monograph Series, n. 1, 2002. Disponvel em:
<http://www.chea.org/pdf/mono_1_accred_distance_02.pdf>. Acesso em: 06 mar. 2015.
GONZLEZ, Jaime Ricardo Valenzuela. La Evaluacin de la Calidad en la Educacin a
Distancia. Revista Didasc@lia: Didctica y Educacin, (Las Tunas), n. 3, p. 29-46, 2010.
Disponivel em: <http://dialnet.unirioja.es/servlet/articulo?codigo=4227280>. Acesso em: 06
mar. 2015.
HARROFF, Pamela. Dimensions of program quality in web-based adult education. 2002,
150 f. Tese (Doutor em Educao) - University of Georgia, Ahtens, 2002. Disponvel em:
<https://getd.libs.uga.edu/pdfs/harroff_pamela_a_200208_edd.pdf>. Acesso em: 07 mar.
2015
IHEP - Institute for Higher Education Policy. Quality on the Line: Benchmarks for Success
in Internet-Based Distance Education. Washington: NEA, 2000. Disponvel em:
<http://www.nea.org/assets/docs/HE/QualityOnTheLine.pdf>. Acesso em: 06 mar. 2015.
33
KHAN, Badrul. The Global E-Learning Framework. In.: MISHRA, Sanjaya (ed.). E-learning
(STRIDE Handbook) 8. New Delhi: STRIDE; IGNOU, 2009. Cap. 5, p. 42-51. Disponvel em
<https://webserver.ignou.ac.in/institute/STRIDE_Hb8_webCD/STRIDE_Hb8_Full.pdf>.
Acesso em: 06 mar. 2015.
MEYER, Katrina A. Quality in distance education: focus on on-line learning. San
Francisco: Jossey-Bass. 2002. <http://files.eric.ed.gov/fulltext/ED470042.pdf> 09 mar. 2015.
OLC - Online Learning Consortium. Quality Scorecard 2014 Handbook: criteria for de
excellence in the administration of online programs. Newburyport: OLC, 2014. Disponvel
em: <http://onlinelearningconsortium.org/consult/quality-scorecard/>. Acesso em: 06 mar.
2015.
OSIKA, Elizabeth. The Concentric Support Model: a model for the planning and evaluation
of distance learning programs. Online Journal of Distance Learning Administration, v. 9,
n. 3, 2006. Disponvel em: <http://www.westga.edu/~distance/ojdla/fall93/osika93.htm>.
Acesso em: 08 mar. 2015.
SHELTON, Kaye. A Review of Paradigms for Evaluating the Quality of Online Education
Programs. Online Journal of Distance Learning Administration, v. 14, n. 1, 2011.
Disponvel em <http://www.westga.edu/~distance/ojdla/spring141/shelton141.html>. Acesso
em: 06 mar. 2015.
THIVES Jr, Juarez Jonas. Competncias para Dimenses do Sistema Nacional de Avaliao
da Educao Superior-SINAES. Tese (Doutorado em Engenharia de Produo), Florianpolis:
UFSC, 2007.
WCET - Western Cooperative for Educational Telecommunications. Best Practices for
Electronically Offered Degree and Certificate Programs. 2001. Disponvel
em:<http://wcet.wiche.edu/wcet/docs/cigs/studentauthentication/Accrediting_BestPractices.p
df>. Acesso em: 08 mar. 2015.
34
35
36
INTRODUO
As polticas de educao profissional e tecnolgica que esto em vigor no Brasil
contemplam a educao profissional de forma integrada ao ensino mdio, cuja perspectiva
ofertar uma educao tecnolgica capaz de preparar os cidados para a compreenso dos
fundamentos cientfico-tecnolgicos, scio-histricos e culturais e aplic-los na prtica
profissional. Para que esse objetivo seja atingido, essencial que os gestores da educao
profissional compreendam os desafios envolvidos em harmonizar a poltica pblica nacional
concepo de uma educao integrada, comprometida com a formao humana do educando,
implementando aes inovadoras de forma a ofertar uma educao com qualidade social.
A anlise do Histrico da Educao Profissional no Estado de Pernambuco de 2007 a
2014, revela que ocorreram neste perodo grandes mudanas e avanos significativos no que
se refere oferta de educao profissional na rede estadual de ensino. Em 2007 havia no
Estado 6 escolas tcnicas estaduais, atendendo 2.477 estudantes de cursos tcnicos e nvel
mdio. Atualmente, 27 escolas tcnicas estaduais formam mais de 12 mil estudantes. Em
2013, as Escolas Tcnicas Estaduais apresentaram resultados superiores aos das demais
escolas estaduais no ndice de Desenvolvimento da Educao Bsica (Ideb), alcanando 4,9
enquanto a mdia do estado foi de 3,6.
Esse cenrio na educao profissional de Pernambuco, tornou o Estado uma referncia
para todo o pas o que resulta em constantes visitas de diferentes estados com vistas a
verificar as medidas adotadas no estado para o alcance de tais resultados.
O objetivo geral deste trabalho apresentar as medidas adotadas pelo Governo do
Estado de Pernambuco buscando resgatar o ensino profissional no estado, mudando a
realidade da populao e oferecendo condies para que os cidados pudessem se inserir no
mundo de trabalho.
Essa pesquisa tem 4 objetivos especficos: 1. Apresentar o histrico da legislao da
educao profissional no Brasil; 2. Discutir o papel do gestor pblico brasileiro da rea de
educao; 3. Descrever o histrico da Educao Profissional ofertada na rede estadual de
ensino de Pernambuco no perodo de 2007 a 2014; e 4. Apresentar as aes adotadas pelo
governo estadual de Pernambuco, nesse perodo, que resultaram na superao da estagnao
da educao profissional no estado.
As concluses finais deste trabalho voltam-se para a importncia da preparao dos
gestores pblicos para a conduo da gesto do ensino pblico considerando os resultados
esperados pela Administrao Pblica dentro de seus princpios. Destacando as aes
inovadoras adotadas pela rede estadual de ensino para a garantia da melhoria continua da
qualidade da educacao ofertada.
1 ANLISE HISTRICA DA LEGISLAO DE EDUCAO PROFISSIONAL
A anlise do processo histrico da educao profissional no Brasil fundamental para
que se compreenda a realidade do sistema educacional atual, j que o contexto econmico e
social interfere diretamente nas decises quanto aos mtodos de ensino a ser oferecidos, bem
como a que modelos de gesto sero aplicados em instituies educacionais brasileiras.
As mudanas trazidas pela industrializao, e a expanso do capitalismo, no incio do
sculo XX, conforme Fonseca e Menardi (2010), trouxe nfase para educao profissional,
essa caracterstica resultou em leis voltadas a regulao dessa modalidade de ensino,
refletindo na oferta do ensino e na gesto das instituies educacionais.
37
A luta por uma gesto democrtica da educao foi um longo processo, atualmente j
reconhecido e que considera que o projeto educativo deve de fato responder as necessidades
da populao. O artigo 14 da Lei de Diretrizes e Bases da Educao Nacional, Lei n
9394/1996, aborda a gesto democrtica e define como princpios a participao dos
38
39
2007
2008
6
2009 2010
6
12
2011
14
2012
19
2013
2014
25
27
MATRCULA - PRESENCIAL
2477 2.254 4.566 6.874 11.397 12.480 13.361 12.139
MATRCULA - EDUCAO A
DISTNCIA - EAD
MUNICPIOS ATENDIDOS
0 1.037
11
1.037
4.473
11
16
7.965 10.503
22
23
40
41
42
Sendo esta uma forma de educao que utiliza tecnologias tais como Ambiente Virtual
de Aprendizagem (AVA), a qual estruturada com o software livre Moodle. A Secretaria
Executiva de Educao Profissional conta em sua estrutura com um Gestor de Educao
Distncia, que Segundo o Decreto Estadual n 35.681 de 13/10/2010 que tem como atribuio
apoiar a elaborao da Poltica de Ensino Distncia EAD na Educao Profissional;
planejar projetos de apoio tecnolgico ao desenvolvimento do ensino distncia; analisar e
selecionar materiais e equipamentos de tecnologia educacional; propor critrios avaliativos
para aquisio de softwares educativos; definir diretrizes pedaggicas de construo e de
implementao do processo de ensino em EAD; estruturar e viabilizar plos de EAD; realizar
logstica e distribuio de materiais; estruturar os cursos; produzir o material didtico e
mdias; coordenar, monitorar e avaliar os aspectos pedaggicos, a infra-estrutura fsica e
tecnolgica e os recursos humanos necessrios a execuo dos cursos de EAD; dimensionar o
Ambiente Virtual de Aprendizagem; montar Plataforma; capacitar equipe envolvida em EAD;
implantar mecanismo de registro escolar;elaborar e implantar projeto de acompanhamento de
egresso.
Esses so alguns dos recursos tecnolgicos, considerando o amplo conceito de
tecnologias, que segundo Rosenau e Simonian (2010), podem ser tecnologias fsicas,
organizadoras, simblicas e sociais, abrangendo assim inmeras ferramentas utilizadas na
prtica educacional.
Considerando a utilizao de diversos recursos tecnolgicos em sua prtica de gesto
tanto no ambiente da prpria Secretaria como nas Escolas sob sua responsabilidade, h
cronograma de reunies e eventos pedaggicos que visam planejar a utilizao das mesmas e
compartilhar as experincias vivenciadas em todas as Escolas, de forma a aprimorar sua
utilizao e a replicar as experincias exitosas, como exemplo, anualmente so adquiridos
ingressos para que gestores e professores participem do Congresso Internacional de
Teconologia na Educao, promovido pelo SENAC, onde alm desta participao h tambm
a exibio em Stands, de projetos das Escolas Tcnicas e Integrais, que utilizam tecnologias
em sua prtica pedaggica.
Ainda outra forma de buscar ampliar o uso de tecnologias na educao a existncia
de parcerias externas com institutos, universidades e outras organizaes que realizam aes
que complementam a formao integral dos estudantes.
43
44
REFERNCIAS
ANDREOTTI, Azilde L.; LOMBARDI, Jos Claudinei; MINTO, Lalo Watanabe; (Orgs).
Histria da Administrao no Brasil, do diretor ao gestor. Campinas, SP: Editora Alnea,
2010.
DUTRA, Paulo F. V.; Educao integral no estado de Pernambuco: uma poltica pblica
de ensino mdio. Recife: Editora UFPE, 2014.
DRABACH, Neila P. Perfil do Gestor Pblico. Curitiba: Instituto Federal do Paran, 2011.
FONSECA, S. M.; MENARDI, A.P.S. Administrao Escolar no Brasil Colnia. In:
ANDREOTTI, A. L.; LOMBARDI, J. C.; MINTO, L. W. (Orgs.). Histria da
Administrao no Brasil, do diretor ao gestor. Campinas: Alnea, 2010.
FRIGOTTO, G.; CIAVATTA, M.; RAMOS, M. N. A; Gnese do Decreto n. 5.154/2004:
um debate no contexto controverso da democracia restrita. In: Trabalho necessrio.
Revista
Eletrnica
do
neddate.
Disponvel
em:
http://www.uff.br/trabalhonecessario/TN03%20CIAVATTA,%20M.,%20FRIGOTTO,%20G.
,%20RAMOS,%20M..pdff. Acesso em: 01 set. 2011.
GALINDO, J.; ANDREOTTI, A.L. A Administrao Escolar no Nacional
Desenvolvimentismo. In: ANDREOTTI, A. L.; LOMBARDI, J. C.; MINTO, L. W. (Orgs.).
Histria da Administrao no Brasil, do diretor ao gestor. Campinas: Alnea, 2010.
LIMA, Ivaneide urea. TEAR Tecnologia Empresarial Aplicada Educao: gesto e
resultados. Recife: Livro Rpido, 2009.
PENTEADO, A. E. A.; NETO, L. B. As Reformas Educacionais na Primeira Repblica. In:
ANDREOTTI, A. L.; LOMBARDI, J. C.; MINTO, L. W. (Orgs.). Histria da
Administrao no Brasil, do diretor ao gestor. Campinas: Alnea, 2010.
PERNAMBUCO. Secretaria de Educao de Pernambuco. Pacto Pela Educao.
Pernambuco, 2011.
PERNAMBUCO. Secretaria de Educao de Pernambuco. MANUAL DE
ACOMPANHAMENTO, REGISTRO E AVALIAO DAS EXPERINCIAS Desenvolvimento Pessoal, Relacional, Produtivo e Cognitivo do Educando.
Pernambuco,2010.
PERNAMBUCO. Secretaria de Educao de Pernambuco. Plano de Ao da Educao
Profissional 2007/2008. Pernambuco, 2007.
PERNAMBUCO. Secretaria de Educao de Pernambuco. Educao Profissional:
Implantao e funcionamento das Escolas Tcnicas do Estado de Pernambuco - 2006 a
2010. Pernambuco,2010.
45
46
47
Abstract
The General Systems Theory (TGS) although it is used by companies, can be applied to the Evaluation
Management, based on the assumptions that the systems are composed of subsystems and functions of
a system depends on its structure. The articles discussed here deal with the efforts made in recent
years to structure the Brazilian educational system, with an emphasis on Education Evaluation
System.
The purpose of this article is to know the General Systems Theory analyzing systemic view of this
education in various educational policies in order to show the main systems Brazilians and their
relationships: The National Plan of Education, the National Assessment System, highlighting the
System State of So Paulo, teachers of Training Programs and Learning Extension Programs. It is
also made to describe the difficulties and progress for two Curitiba Education Institutions, in view of
TGS, with policies aimed at improving the quality of education.
Keywords: General Systems Theory, Institutional Theory, Development Plan of Education, SAEB,
Communication.
48
1 INTRODUO
O presente trabalho tem por objeto a reflexo sobre a Teoria Geral de Sistemas TGS
e sua importncia para a gesto da avaliao educacional, considerando o pressuposto das
relaes entre as partes que se interconectam e interagem orgnica e estatisticamente,
apresentados por Bertalanffy (1973).
A partir de uma abordagem terica, do tipo interpretativa, descrita por Gioia e Pitre
(apude Vieira e Santos 2005, p. 5), objetivando a identificao de padres e o significado das
relaes, com as caractersticas que seguem:
objetivos: descrever e explicar para diagnosticar e entender;
preocupao terica: converter a construo social da realidade em processo de
interpretao.
Baseado nas premissas de que os sistemas so compostos de subsistemas e as funes
de um sistema dependem de sua estrutura, recorremos a alguns artigos que discutem o tema.
So seis propostas diferentes, mas que mostram a diversidade do uso de sistemas em vrias
reas, sendo o nosso foco a educao.
No primeiro artigo analisado, intitulado Ambiente e Estratgias Segundo a Teoria
Sistmica e Teoria Institucional: estudo comparativo de casos em escolas pblicas
Takahashi; Almeida & Almeida (2004) mostram a diferena entre Teoria Institucional e
Teoria de Sistemas analisando o ambiente em duas organizaes escolares em Curitiba PR. O
segundo artigo A Abordagem Sistmica na Educao Brasileira: Os desdobramentos da
teoria na prtica Lustosa e Silva (2013) analisam o Plano de Desenvolvimento da Educao
atravs da execuo de dois de seus programas, apresentando reflexes de sua fragilidade na
rede pblica de educao bsica do Piau. J o terceiro artigo intitulado O Plano de
Desenvolvimento da Educao PDE e a viso sistmica de educao Nardi; Scheider e
Durli (2010) vm discutir a viso sistmica de educao presente no Plano de
Desenvolvimento da Educao (PDE). No quarto artigo Educao Contempornea: A
Aprendizagem atravs da abordagem sistmica Bohn et al (2011), apontam a importncia e a
difuso da e-learning. O quinto artigo fala sobre Tecnologia Educativa, Teoria Geral dos
Sistemas e Teoria da Comunicao: Uma simbiose perfeita Silva (2006), s a comunicao
pode inuenciar, controlar e voltar a reforar a comunicao. Finalmente no ltimo artigo
Sistemas de Avaliao da Educao no Brasil avanos e novos desafios, Castro (2009),
analisa os sistemas de avaliao da educao bsica brasileira.
No comeo do sculo passado, alguns cientistas observaram a existncia de fenmenos
comuns em diversas reas do conhecimento e perceberam que problemas similares poderiam
ser resolvidos com solues parecidas. Notaram tambm que algumas caractersticas e regras
aconteciam em todas as reas. Neste contexto, surgiu a seguinte definio de sistema: um
conjunto de elementos interconectados que se relacionam com objetivos comuns. A Teoria
Geral dos Sistemas foi apresentada pela primeira vez, em 1937, no Seminrio de Filosofia de
Charles Morris na Universidade de Chicago por Ludwig Von Bertalanffy, uma das figuras
mais proeminentes da TGS, seu criador. Nasceu do esforo empreendido, por esse cientista,
para contrapor o modelo mecanicista-vitalismo no qual a biologia, sua rea de estudo, estava
mergulhada. Para ele, a maneira mecanicista de proceder ao estudo dos organismos consistia
apenas em analisar o organismo vivo em partes e processos parciais, ignorando os problemas
de organizao destas partes. Ele usa a seguinte definio:
49
50
51
Segundo Nardi, Schneider e Durli (2010) o PDE foi criado para abarcar uma srie de
aes j existentes e ainda outras novas, institudas e executadas pelo prprio Ministrio da
Educao (MEC), considerando o como um grande guarda-chuva da educao.
Constitui-se, pois, de um conjunto de programas e medidas reunidas,
previstas para todos os nveis de ensino e para diferentes necessidades
institucionais, visando romper o que qualifica como falsas oposies entre
educao fundamental e educao superior, entre educao fundamental e os
outros nveis de ensino da educao bsica, entre o ensino mdio e a
educao profissional, alm de outras. Tem como eixos centrais o piso
salarial nacional dos profissionais do magistrio e o ndice de
52
Explicitado no Manual do PDE (2006, p.5), apud XAVIER (2003), podemos ainda
observar o seguinte:
A maioria dos governos est comprometida com a melhoria de seus sistemas
educacionais. A ateno ao crescimento e expanso dos sistemas
educacionais vem sendo complementada e at mesmo substituda pela
crescente preocupao com a qualidade do processo educativo e pelo
controle de seus resultados. Um trao distintivo da abordagem adotada h
cerca de duas dcadas o movimento em direo a uma situao em que as
escolas so estimuladas e mesmo exigidas a tomar para si a responsabilidade
do seu prprio desenvolvimento. A nfase no autodesenvolvimento
consequncia da tendncia registrada em muitos pases de descentralizar a
responsabilidade pela implementao das reformas educacionais.
Observando a anlise de cada item feita pelos autores, observa-se que apesar de haver
muita semelhana na forma de buscar aes e solues, a CEI Monteiro Lobato tem o foco
mais analtico e menos sistmico enquanto a Escola Municipal Papa Joo XXIII o foco mais
sistmico. Na primeira escola observou-se a predominncia de interesses e da esfera poltica
em relao aos aspectos tcnicos e na segunda escola h uma preocupao maior com os
aspectos tcnicos relacionados gesto educacional e administrativa.
J nas anlises de Lustosa e Silva (2013) dois programas foram destacados e
analisados na Rede pblica do Piau: o PARFOR e o Programa Mais Educao.
... o presente trabalho tem como objetivo analisar o PDE na perspectiva de
evidenciar a viso sistmica da educao atravs da execuo de dois de seus
programas e apresentar reflexes acerca das fragilidades percebidas em sua
efetivao no contexto da Rede Pblica de Educao Bsica do Piau.
(LUSTOSA E SILVA, 2013, pag. 02)
53
Mas tambm houve alguns entraves, como valor destinado ao pagamento dos
monitores, engessamento dos recursos, estrutura fsica das escolas.
Apesar das dificuldades, tanto o PARFOR como o Mais Educao cumprem o seu
papel de induzir o regime de colaborao, evidenciando a necessidade da intersetorialidade
das reas sociais e educacionais. (LUSTOSA; SILVA, 2013).
Sobre as razes e princpios do PDE, vemos no documento do MEC o seguinte:
A viso sistmica da educao [...] aparece como corolrio da autonomia do
indivduo. S ela garante a todos e a cada um o direito a novos passos e
itinerrios formativos. Tal concepo implica, adicionalmente, no apenas
compreender o ciclo educacional de modo integral, mas, sobretudo,
promover a articulao entre as polticas especificamente orientadas a cada
nvel, etapa ou modalidade e tambm a coordenao entre os instrumentos,
da poltica pblica disponvel. Viso sistmica implica, portanto, reconhecer
as conexes intrnsecas entre educao bsica, educao superior, educao
tecnolgica e alfabetizao e, a partir dessas conexes, potencializar as
54
A anlise se finaliza com a seguinte frase: Por enquanto, para a sociedade, resta
apenas esperar e continuar se contentando com o modelo de organizao que se apresenta
atualmente. (LUSTOSA; SILVA, 2013).
Analisando os artigos em questo podemos delinear a configurao do sistema
Nacional Brasileiro atualmente, conforme figura 2, e apontar as possveis articulaes entre
cada sistema existente, considerando que, de acordo com Bertalanffy (1973), um sistema
conjunto de unidades intimamente relacionadas que apresenta duas caractersticas bsicas:
propsito e totalidade. Propsito tem a ver com a finalidade ou objetivo a alcanar, j a
totalidade refere-se reao global a qualquer estmulo produzido na ou nas unidades.
Figura 2 O Sistema Nacional de Avaliao Brasileiro e suas possibilidades
55
56
Para Soares (2009, p.37) o Idesp foi construdo, por um lado, para manter a ideia
bsica de agregao dos indicadores de fluxo e desempenho e, por outro lado, para incorporar
a dimenso de equidade no indicador de desempenho, ausente no Ideb. Isso foi feito
mudando-se a maneira de clculo do primeiro fator, passando-se a utilizar um indicador
baseado nos porcentuais de alunos nos diferentes nveis.
O Estado de So Paulo promoveu uma mudana educacional corajosa e audaciosa com
o objetivo de alcanar a qualidade educacional partindo do princpio de comparar a escola
com ela mesma.
De acordo com Soares (2009), a medida de resultados s necessria para que se
possam acompanhar todos os alunos de uma escola ou sistema de ensino, portanto, os
sistemas externos de avaliao do aprendizado dos alunos no podem e nem devem substituir
as avaliaes que os professores fazem, pois estas fazem parte das estratgias de
implementao do projeto pedaggico e possibilitam a identificao e o atendimento de
eventuais necessidades educacionais apresentadas pelos alunos.
Segundo Soares (2009), em 2008, a SEESP (Secretaria de Educao do Estado de So
Paulo) tomou decises que impactaram o Sistema Estadual Paulista de Educao bsica:
alm de adotar o
incorporar polticas
que os avanos
grupos de alunos.
57
3 CONSIDERAES FINAIS
Podemos concluir que a TGS quando aplicada na educao, produz mais organizao
e permite que as polticas pblicas educacionais sejam direcionadas a todos os nveis de
ensino, sendo a responsabilidade da educao compartilhada entre Federao, Estados e
Municpios. O Sistema Educacional Brasileiro vem numa crescente de mudanas procura de
novas estratgias em busca da qualidade. Prticas pedaggicas, processos, valorizao dos
profissionais, didtica so inovaes que esto significativamente relacionadas com a
eficincia escolar.
Tambm a proposio de criao de um Sistema Nacional de Avaliao teve grande
importncia para a avaliao educacional, pois levou vrios Estados a criarem seus prprios
Sistemas de Avaliao e as Instituies Escolares a reverem as suas avaliaes internas.
Observamos ainda que a Gesto Escolar Democrtica, a garantia do direito de voz e de
vez a todos os envolvidos no processo de ensino-aprendizagem (alunos, famlia, comunidade,
professores, gestores, demais profissionais da escola) e o conhecimento da realidade da
comunidade na qual a Instituio de ensino est inserida, dentro de uma viso sistmica de
avaliao da educao proporcionam a mudana da realidade de uma escola.
Tendo o olhar sistmico, encontramos em algumas prticas a oportunidade de
estimular a criatividade, a perspiccia e a conduta reflexiva, proporcionando espaos mais
dinmicos e integrados de aprendizado. A maioria dos conceitos trazidos pela Teoria Geral
dos Sistemas se mostraram revolucionrios para a sua poca e suscitaram discusses e
questes polmicas. Com o amadurecimento acabaram gerando outras subreas, e um campo
bastante fecundo, que surgiu pela interseco de diversos ramos do saber.
58
REFERNCIAS
ANDRADE, A.; RODRIGUES, L.; SELEME A.; SOUTO, R. Pensamento sistmico:
caderno de campo o desafio da mudana sustentada nas organizaes e na sociedade. Porto
Alegre: Bookman, 2006
BRASIL. Lei de Diretrizes E Bases da Educao Nacional LDB. Disponvel em:
<http://legislao.planalto.gov.br. www.mec.gov.br>, Acesso em: 14 nov. 2014
______. Projeto de Lei do Plano Nacional de Educao (PNE 2011/2020) - PL n
8.035/2010. Disponvel em <HTPP://www.mec.gov.br/.>, Acesso em: 14 nov. 2014
______. Constituio da Repblica Federativa do Brasil. Disponvel em
<http://www.senado.gov.br/legislacao , Acesso em: 14 nov. 2014
BERTALANFFY, L.V. Teoria geral dos sistemas. Traduo de Francisco M. Guimares.
Petrpolis: Vozes, 1973
59
60
61
1 INTRODUO
H muito, a presena estatal no cotidiano social se consolidou como mecanismo de
regulamentao, sobretudo a partir da proposta keynesiana de interveno pblica no mbito
econmico, quando da instalao da crise mundial de 1929. Desde ento, a transferncia de
responsabilidade pela prestao de servios antes considerados regulveis pela iniciativa
62
privada, passa a ser essncia do Estado, aumentando no somente sua rbita de atuao, como
o atendimento de demandas coletivas.
A evoluo dos modelos de gesto administrativa teve (e ainda tem) forte influncia
do cenrio sociopoltico de cada perodo, sendo seu reflexo mais direto, os construtos
jurdicos que sustentam o ordenamento da vida em sociedade. Assim, no caso brasileiro, a
partir da Constituio Federal de 1988 (considerada a mais cidad e democrtica de todas),
foram assegurados direitos e deveres aos agentes sociais (Estado Iniciativa Privada
Cidado), recaindo ao Estado, dentre outros, o dever de garantir os direitos sociais (Captulo
II, art. 6) de acesso educao, sade, alimentao, trabalho, moradia, lazer, segurana,
previdncia privada, proteo maternidade e infncia e, assistncia aos desamparados.
(BRASIL, 1988).
Para o presenteeste estudo, considerar-se- do Captulo II, apenas a varivel
educao e, em seu estreitamento, a educao em nvel superior, na qual os padres de
qualidade requerem um sistema de avaliao, visando ao aperfeioamento do ensino superior,
desenvolvimento nacional e prestao de contas sociedade. Logo, as anlises seguintes esto
pautadas no arcabouo legal criado para regular a rea, qual seja, o Sistema Nacional de
Avaliao da Educao Superior (SINAES).
2 BREVE HISTRICO DO ENSINO SUPERIOR BRASILEIRO
O crescimento na oferta do ensino superior no Brasil, sobretudo a partir da dcada de
1980, quando os pases industrializados e latino-americanos deram incio s reformas do
sistema de ensino superior (INEP, 2007), fator imprescindvel para a profissionalizao e
qualificao de mo-de-obra especializada a fim de atender as exigncias um mercado em
expanso.
No cenrio de globalizao econmica, a necessidade de atuao do Estado como
assegurador da educao superior vem ao encontro de polticas de racionalizao dos recursos
pblicos, efetividade das polticas de educao e formao do intelecto nacional, almejando o
desenvolvimento das potencialidades e promoo de inovaes aos problemas locais (imersos
no contexto internacional).
Segundo Stallivieri (2006), a educao de nvel superior brasileira passou por cinco
fases, caracterizando seu fortalecimento e perfil de mudana, podendo ser definidas do
seguinte modo: (a) a partir de 1920 com o surgimento da primeira universidade no Pas
(Universidade do Rio de Janeiro) em 1920, a rea inicia uma nova era, ainda que seu carter
seja voltado menos investigao/pesquisa que ao ensino, com vocao orientao
profissional; (b) de 1930 a 1964: da Revoluo Industrial tardia experimentada
implementao do governo militar, mais 20 universidades federais foram criadas, assinalando
o crescimento do setor; (c) 1968: fase das reformas educacionais de mbito universitrio,
buscando a insero da eficincia administrativa, estrutura departamental e a
indissociabilidade entre ensino, pesquisa e extenso (STALLIVIERI, 2006, p. 4); (d) 1970: a
dcada marcou o desenvolvimento de cursos de ps-graduao nacional e internacionalmente,
com abertura para formao docente no exterior; (e) 1990: dcada em que inicia a vigncia da
Constituio Federal de 1988, a qual regula a educao superior atravs da homologao da
legislao. Neste momento, a conduo da redemocratizao do Pas foi tambm sentido
atravs da reduo do papel interventor do governo na educao, maior flexibilidade do
sistema de ensino e otimizao do sistema de avaliao do ensino superior.
63
64
65
66
67
68
ambiente no qual se insere e do objetivo que o mesmo busca alcanar a partir das interrelaes existentes.
Entrementes, impraticvel se torna a construo de um sistema de avaliao em nvel
nacional em que as vises de mundo (ou paradigmas) no estejam alinhadas por padres,
percepes em comum que conduzam a anlise das variveis em determinado rumo. Logo,
atravs do somatrio dos paradigmas confluentes, tem-se a consolidao de um panorama a
ser avaliado, sendo as regulamentaes e planejamento de metas traados, algo possvel de se
mensurar a partir da. , pois, neste vis que os trs subsistemas do SINAES (AVALIES +
ACG + ENADE, repita-se) oferecem uma viso panormica da avaliao da educao
superior brasileira, mensurando-a numrica (carter quantitativo) e simbolicamente (carter
qualitativo), a fim de diagnosticar a situao atual e propor alteraes (sejam no sistema ou
nas condies ambientais) para melhoria de ndices e inovao da prpria avaliao.
Assim atravs da Figura 2, busca-se representar as influncias dinmicas promovidas
pela inovao nas organizaes e, voltadas para o SINAES, as mesmas ocasionam alm do
aperfeioamento de tcnicas, recursos e aplicativos utilizados, como tambm o
aprimoramento de polticas pblicas (PNE, por exemplo) que impactam todo o sistema
educacional compreendido, por sua vez, como supersistema do SINAES. A inovao como
ferramenta de aperfeioamento da qualidade e desempenho, requer a constante avaliao das
mudanas oriundas de sua insero, a fim de possibilitar o desenvolvimento de condies
favorveis gerao de conhecimento para constituio de polticas de fomento prpria
inovao e retroalimentando o ciclo de melhorias.
Neste nterim, o desenvolvimento econmico, social e educacional tambm
promovido, exigindo novos parmetros de avaliao condizentes com o cenrio global
multifacetado. Destarte, etapa de meta-avaliao atribuda fundamental importncia para a
aplicao das inovaes haja vista permitir a gesto do sistema de avaliao, de seu modo de
operao e estrutura de funcionamento, no somente dos resultados da avaliao sobre a
educao superior.
69
4 CONSIDERAES FINAIS
A consolidao de um sistema nacional para avaliao do ensino superior assume um
importante desafio ao que concerne a regulao das IES brasileiras e, paralelamente, na
contribuio da qualidade da formao profissional, voltada para a efetividade das polticas
pblicas de educao e para a promoo de um ambiente inovador ao desenvolvimento
nacional.
70
REFERNCIAS
BRASIL. Constituio Federal Brasileira. Braslia, 1988.
SINAES Sistema Nacional de Avaliao da Educao Superior: da concepo
regulamentao. 4. ed., ampl. Braslia : Instituto Nacional de Estudos e Pesquisas, 2007.
STALLIVIERI, Luciane. O sistema de ensino superior do Brasil: caractersticas, tendncias
e perspectivas. Universidade de Caxias do Sul, 2006.
71
BRASIL. Lei n 9.394/1996 - Dispe sobre as Diretrizes e Bases da Educao (LDB). Dirio
Oficial da Unio, Braslia, 1996.
BRASIL. Lei n 10.172/2001 - Dispe sobre o Plano Nacional de Educao (PNE). Dirio
Oficial da Unio, Braslia, 2001.
BRASIL. Lei n 10.861/2004 - Dispe sobre o Sistema Nacional de Avaliao do Ensino
Superior (SINAES). Dirio Oficial da Unio, Braslia, 2004.
RIBEIRO, Clia Maria, COSTA, Eula Maria. Avaliao Institucional: o desenvolvimento
humano enquanto percurso e destino. 2002.
WORTHEN, Blaine R.; SANDERS, James R.; FITZPATRICK, Jody L. Avaliao de
programas: Concepes e prticas. So Paulo: Gente; Edusp; Instituto Fonte; Instituto
Ayrton Senna, 2004.
COHEN, Ernesto; FRANCO, Rolando. Avaliao de projetos sociais. 7. ed. Petrpolis:
Vozes, 2007.
BUCKLEY, Walter Frederick, 1921 - A sociologia e a moderna teoria dos sistemas;
traduo de Octavio Mendes Cajado. So Paulo, Cultrix, Editora da USP: 1971.
BERTALANFFY, Ludwig Von. Teoria Geral dos sistemas. 3 ed. Petrpolis, Vozes: 1977.
CHURCHMAN, C. West. Introduo a teoria geral dos sistemas. Petrpolis, Vozes: 1971.
RIBEIRO, Antonio de Lima. Teorias da administrao - 2 ed. rev. e atual. - So Paulo:
Saraiva, 2010.
MATTOS, Joo Metello de. A sociedade do conhecimento - Braslia: ESAF; Editora
Universidade de Braslia, 1982.
OCDE. Manual de Oslo Diretrizes para a coleta e interpretao de dados sobre
Inovao. 3 ed., Traduo FINEP, 2007, Disponvel em: <www.finep.org.br>.
BARREYRO, G. B.; ROTHEN, J. C. 'SINAES contraditrios: consideraes sobre a
elaborao e implantao do Sistema Nacional de Avaliao da Educao superior"
Educao & Sociedade (Impresso), v. 27-96, p. 955-977, 2006.
72
73
1 INTRODUO
Os recursos atuais de informtica permitem atividades de planejamento e
acompanhamento de cursos apoiados em sistemas computacionais, que possam disponibilizar
informaes avaliativas para a gesto. Assim, possvel a tomada de decises mais efetivas e
prioritrias em funo de indicadores avaliativos. Por exemplo, os indicadores referentes aos
diferentes recursos utilizados nos cursos podem apresentar evidncias de necessidade de
ateno em alguns cursos e tambm mostrar que em outros o funcionamento adequado. Isso
74
75
76
77
78
a) Avaliao do curso
Os cursos so avaliados em cinco dimenses que se desdobram em um total de 19
tpicos e suas questes especficas conforme o perfil do avaliador. As dimenses so:
formatao e implantao do curso, coordenao/gesto, infraestrutura, recursos
humanos/pessoas, ambiente virtual de ensino-aprendizagem e corpo discente. Por exemplo, no
caso da dimenso formatao e implantao so avaliados os seguintes tpicos: projeto
pedaggico, currculo, articulao com outros programas, carga horria e atividades
presenciais.
b) Avaliao do polo
Os polos so avaliados em quatro dimenses que se desdobram em um total de 10
tpicos e suas questes especficas conforme o perfil do avaliador. As dimenses so:
infraestrutura, biblioteca, laboratrios e recursos humanos. No caso da infraestrutura so
considerados os seguintes tpicos: instalaes fsicas, recursos tecnolgicos, disponibilidade
de equipamentos e horrios de funcionamento do polo.
c) Avaliao da disciplina
As disciplinas so avaliadas em trs dimenses que se desdobram em um total de 11
tpicos e suas questes especficas conforme o perfil do avaliador. A dimenso material
didtico abrange os seguintes tpicos: frequncia de uso, contedo e forma, e avaliao global
do material didtico.
79
80
81
82
83
84
5 CONSIDERAES FINAIS
A Rede e-Tec Brasil conta com um Sistema de Acompanhamento e Avaliao dos
Cursos e-Tec (SAAS) que foi desenvolvido com o objetivo de apoiar a gesto dos cursos a
partir da avaliao feita por estudantes, professores, tutores e coordenadores.
O conjunto dos mdulos avaliao, egressos e evaso garante subsdios para que a
equipe de gesto institucional tenha informaes essenciais sobre seu processo. Resultados
das avaliaes de cursos e polos, realizadas por estudantes em atividade, podem ser
combinadas e analisadas com resultados do mdulo egressos. Alm do mais, os gestores
podem consultar o perfil dos estudantes ingressantes em seu curso/instituio a partir do
questionrio socioescolar.
Todos os relatrios avaliativos podem ser obtidos por meio de consultas on-line tanto
em mquinas desktops quanto em dispositivos mveis como smartphones ou tablets. A atual
85
verso do sistema foi planejada para gerar resultados de avaliaes sobre a referncia
geogrfica do polo. Assim, cones no mapa do Brasil nas cores verde representam resultados
satisfatrios no polo, amarelo resultados que merecem ateno, vermelho resultados que
necessitam ser revistos urgentemente. Os resultados apresentados neste formato mais intuitivo
permitem uma flexibilidade e uma leitura mais dinmica. A flexibilidade se encontra na
possibilidade de gerar consultas de interesse e realizar as anlises at mesmo em modo offline, e dinmico porque capaz de sintetizar qualquer resultado das avaliaes no contexto
georreferenciado.
O SAAS tem mobilizado continuamente, junto aos gestores institucionais, a necessria
sensibilizao de todos os envolvidos nos cursos da Rede e-Tec Brasil, para que haja alto
comprometimento na participao nas diferentes modalidades de avaliaes. A participao
de todos promove resultados pontuais e efetivos que possibilitam aos gestores institucionais
conhecerem o resultado de suas prticas formativas. E, tambm, contribui para obter dados
concretos que auxiliem no planejamento e execuo de seus planos pedaggicos e
institucionais, promovendo cursos que sejam compatveis com a realidade do mundo do
trabalho.
REFERNCIAS
AZEVEDO, Joaquim. La evaluacin y la garanta de calidad en las instituciones de enseanza
y formacin profesional. In Retos actuales de la educacin tcnico-profesional, p. 117,
2009.
CISLAGHI, Renato; WILGES, Beatriz; NASSAR, Silvia M.; HIURA, Douglas Longo;
MATEUS, Gustavo P. Avaliao de polos sob uma perspectiva georreferenciada. XI
Congresso Brasileiro de Ensino Superior a Distncia - ESUD. Florianpolis, 2014.
OLIVEIRA, Gleyva Maria Simes de. A avaliao no sistema de educao a distncia.
Cuiab,
NEAD/UFMT.
2006.
Disponvel
em
http://www.uab.ufmt.br/uab/images/artigos_site_uab/avaliacao_sistema_ead.pdf
REDE e-Tec Brasil. Disponvel em: <http://redeetec.mec.gov.br/>. Acesso: 10 mar. de 2015.
ROMISZOWSKI, Hermelina Pastor. Avaliao em Educao a Distncia: o desafio de faz-la
til. Congresso ABED: Tecnologia, treinamento e Sistemas (TTS), 2004. Disponvel em
<http://www.abed.org.br/congresso2004/por/htm/045-TC-B2.htm>
SAAS. Sistema de Acompanhamento e Avaliao de Cursos. Disponvel em:
<http://saas.etec.ufsc.br/> Acesso em: 5 abr. 2015.
SARAIVA, Terezinha. Avaliao da educao a distncia: sucessos, dificuldades e exemplos.
Boletim Tcnico do Senac - v. 21, n. 3, set./dez., 1995. Disponvel em
http://www.senac.br/bts/213/2103032045.pdf
86
87
Abstract
The worldwide university rankings rank universities based on a set of indicators. However, each
ranking system makes use of criteria and metrics of measurement defined according the purpose for
which it was created. Thus, this paper aims to identify the indicators presented in the international
literature on "university rankings". The selection of papers was conducted by the intervention
instrument called Knowledge Development Process- Constructivist (ProKnow-C) which identified 32
articles published in the Web of Science and Scopus databases and freely available on the internet,
aligned to the subject, and thus, composed the Bibliographical Portfolio (BP). Based on the analysis
of the BP, it was found the existence of 19 university rankings. The most common indicators are
related to infrastructure and reputation of the university and make use of bibliometric information,
such as published articles, number of citations of articles and researchers and articles indexed in
databases. It was also found that there are many different metrics used by rankings, however it should
be noted that, from the purpose of the rankings, the indicators shall be constructed: the ones
correlated with the users' information needs for which the ranking was designed.
Key Words: University Rankings. Indicators. Performance.
88
1 INTRODUO
Os rankings universitrios, amplamente divulgados, so listas de instituies que,
comparativamente em ordem decrescente, apresentam melhor desempenho, seguidos dos que
apresentam desempenho inferior, nos quesitos analisados (SEOANE, 2009). Trata-se de
tentativas de classificar as instituies acadmicas e de pesquisa em todo o mundo
(IOANNIDIS et al., 2007).
Dessa forma, cada vez mais frequente, por parte das universidades, a incorporao
dos resultados dos rankings na promoo de mudanas em seus modelos de gesto
(CHARON; WAUTERS, 2008; MARGINSON, 2014). Essas listas classificatrias
influenciam a deciso de futuros alunos a ingressar ou no na universidade, nas aes de
lderes executivos universitrios, professores acadmicos, governos e investidores no ensino
superior (IOANNIDIS et al., 2007; CHARON; WAUTERS, 2008; MARGINSON, 2014),
bem como na definio de polticas pblicas educacionais (ERKKIL, 2014).
Assim, percebe-se a importncia e a utilidade dos rankings universitrios. Tendo em
vista que um dos objetivos principais dessa classificao avaliar a qualidade das instituies
de ensino superior e de pesquisa (LUKMAN; KRAJNC; GLAVI, 2010), cada vez mais os
pases e as universidades os integram nos seus processos de avaliao de desempenho
(SEOANE, 2009; CHARON; WAUTERS, 2008; MARGINSON, 2014). H muitas crticas
sobre as metodologias de classificao dos rankings no sentido de que elas podem esconder
uma srie de problemas metodolgicos e anomalias em relao aos indicadores, s definies
arbitrrias e s possibilidades de manipulao (LUKMAN; KRAJNC; GLAVI, 2010;
CHARON; WAUTERS, 2008). Contudo, se a posio no ranking interfere na atividade
universitria, deve-se destacar a importncia da qualidade dos dados mensurados por ele
(CHARON; WAUTERS, 2008; SEOANE, 2009; AGUILLO et al., 2010; JEREMIC;
JOVANOVIC-MILENKOVIC, 2014), bem como a anlise dos indicadores que respondero
pela classificao divulgada.
Nesse contexto, emerge a pergunta que orienta este trabalho: Quais so os indicadores
utilizados pelos principais rankings universitrios mundiais? De modo a responder o
problema de pesquisa, tem-se como objetivo identificar os indicadores apontados pelas
publicaes internacionais sobre o tema rankings universitrios. Para conduzir o processo
de seleo das publicaes, adotou-se o Knowledge Development Process Construtivist
(Proknow-C) como instrumento de interveno.
Justifica-se a realizao desta pesquisa devido oferta comunidade cientfica e
prtica, em um nico trabalho, dos indicadores extrados de um conjunto de obras
internacionais reconhecidas cientificamente e relevantes para esclarecer aos interessados os
indicadores bases que informam os rankings, ainda por que atende proposta de Buela-Casal
et al. (2007) e Jeremic e Jovanovic-Milenkovic (2014) quando apontam a necessidade de se
estudar o tema. Alm desta seo, este artigo apresenta, na seo 2, uma breve exposio
sobre o tema central; a metodologia na seo 3; na seo 4 apresentao e discusso dos
resultados; e, por fim, so apresentadas as consideraes finais e as referncias utilizadas.
89
2 REFERENCIAL TERICO
2.1 Rankings Universitrios
Os rankings tm vrias finalidades, entre elas est a de responder s demandas dos
usurios por informaes de fcil interpretao, estmular a concorrncia e possibilitar melhor
compreenso dos diferentes tipos de instituies. Entre os diversos tipos de ranking, os
rankings universitrios so muito atraentes, considerando que proporcionam uma base
comparativa que permite situar as universidades no contexto nacional e at mesmo no
mundial (BENITO; ROMERA, 2011).
Os rankings acadmicos so uma tendncia nos tempos atuais e, cada vez mais,
diferentes partes interessadas os utilizam para obter informaes sobre o desempenho das
universidades (BERNARDINO; MARQUES, 2010). Esse fenmeno dos rankings tem
influenciado profundamente todos os sistemas universitrios, mesmo que no tenham como
foco principal estabelecer um quadro competitivo entre as universidades, eles acabam fazendo
isso (ROBINSON-GARCA et al., 2014). Tal fato acontece porque os rankings promovem
publicidade gratuita, possibilitando o reconhecimento das universidades com melhores
desempenhos pelos interessados (BERNARDINO; MARQUES, 2010).
Essa publicidade decorrente dos rankings torna-se um diferencial no apenas para o
recrutamento de alunos, mas tambm em questes como a atribuio do oramento do
governo para o ensino superior (HUANG, 2012). De acordo com Pusser e Marginson (2013),
os rankings servem como uma lente para o estudo da situao do ensino superior. Assim,
eles so usados para conferir prestgio s universidades e so teis na alocao de recursos.
Percebe-se, assim, a abrangncia, a importncia e a utilidade das informaes geradas
pelos rankings universitrios. Entretanto, cada sistema de ranking faz uso de critrios e
mtricas de mensurao definidos, segundo o propsito para o qual foi criado.
Adicionalmente fazem uso de diferentes metodologias que, consequentemente, demonstram
resultados divergentes (JEREMIC; JOVANOVIC-MILENKOVIC, 2014). Sendo assim, os
indicadores so o ponto central desses sistemas. Por isso, faz-se necessrio conhecer os
indicadores dos rankings universitrios a fim de apoiar sua escolha e utilizao.
Esses indicadores permitem uma comparao entre o desempenho das universidades
(BENITO; ROMERA, 2011). Uma das principais ideias, por trs do uso de indicadores,
discutir as qualidades de instituies de ensino superior de forma mais abrangente e
comparvel em relao s descries dos cursos, produo de artigos em revistas ou
qualidade de ensino (LINDBLAD, 2008). Assim, como os indicadores avaliam o desempenho
de cada universidade e fornecem condies para comparao, tornam-se a base para a
construo de rankings, em que qualquer indicador adotado tem grande influncia sobre os
resultados apresentados (HUANG, 2012). Porm ainda no existe um consenso sobre quais
indicadores representam melhor a natureza e a qualidade das universidades, o que pe prova
a confiabilidade dos resultados dos rankings (ROBINSON-GARCA et al., 2014).
2.2 Indicadores de Desempenho
Os indicadores servem para avaliar desempenhos das instituies (BENITO;
ROMERA, 2011). Para cumprirem sua funo, devem (i) reconhecer e valorizar os diferentes
grupos de interessados (AMSLER, 2013; BENITO; ROMERA, 2011; BORNMANN;
ANEGN; MUTZ, 2013; LIN; HUANG; CHEN, 2013); (ii) permitir gesto e controle pelas
lgicas intelectuais e polticas dos interessados (AMSLER, 2013); (iii) utilizar multicritrios
(BENITO; ROMERA, 2011; MARGINSON, 2014); (iv) levar em conta a misso e o objetivo
90
da instituio (BORNMANN; ANEGN; MUTZ, 2013; LIN; HUANG; CHEN, 2013); (v)
refletir as exigncias/expectativas dos interessados e produzir informao vlida sobre o
desempenho das instituies (BENITO; ROMERA, 2011; BUELA-CASAL et al.; 2007; LIN;
HUANG; CHEN, 2013; LINDBLAD, 2008; SEOANE, 2009; ROBINSON, 2013); (vi)
permitir embasamento para tomada de decises (KEHM, 2014; LINDBLAD, 2008); (vii)
garantir a transparncia e confiabilidade de seus resultados (FLORIAN, 2007; SAISANA;
DHOMBRES; SALTELLI, 2011; TURNER, 2013); (viii) promover feedback (conhecer os
pontos fortes e fracos a fim de melhorar o desempenho) (BUELA-CASAL et al.; 2007;
ERKKIL, 2014; HSIEH et al., 2012; LINDBLAD, 2008; RODIONOV; RUDSKAIA;
KUSHNEVA, 2014; BOULTON, 2011); e (ix) estabelecer metas para melhoria (ERKKIL,
2014; HSIEH et al., 2012).
No entanto, observou-se, na literatura consultada, algumas crticas aos indicadores
usados pelos rankings universitrios, quais sejam: so fortemente baseados em dados
bibliomtricos (AGUILLO et al., 2010; AMSLER, 2013; BORNMANN; MUTZ; DANIEL,
2013; HUANG, 2012); so tendenciosos (AGUILLO et al., 2010; LINDBLAD, 2008); no
so transparentes (BENITO; ROMERA, 2011; FLORIAN, 2007); no so representativos,
sendo usados para uma pluralidade de cenrios (AGUILLO et al., 2010; BENITO;
ROMERA, 2011; JEREMIC; JOVANOVIC-MILENKOVIC, 2014; apresentam arbitrariedade
na atribuio de pesos dos indicadores (BENITO; ROMERA, 2011; BUELA-CASAL et al.;
2007; FLORIAN, 2007); so irreproduzveis (FLORIAN, 2007); ocorrem mudanas nos
indicadores ao longo do tempo (BOWMAN; BASTEDO, 2011); fazem uso inadequado de
metodologias e ferramentas estatsticas (BUELA-CASAL et al.; 2007; SAISANA;
D'HOMBRES; SALTELLI, 2011); comparam instituies que no podem ser comparveis,
porque tm misses e contextos diferentes (BENITO; ROMERA, 2011; BOULTON, 2011;
BUELA-CASAL et al.; 2007); e no atendem aos objetivos do ranking (AGUILLO et al.,
2010; BENITO; ROMERA, 2011; KEHM, 2014).
Conforme aponta Benito e Romera (2011, p. 19), a seleo dos indicadores e a
atribuio de pesos so um dos aspectos mais importantes das metodologias de ranqueamento.
Para isso, devem ter base cientfica, confiabilidade e validade. A coleta dos dados deve ser
coerente, pblica e transparente para evitar erros estatsticos. A atribuio de pesos deve
aparecer com base nas concluses de extensa anlise da contribuio de cada indicador para o
desempenho da instituio (traduzido pelos autores).
3 METODOLOGIA DA PESQUISA
3.1 Enquadramento Metodolgico
Esta pesquisa de natureza descritiva, pois busca identificar os indicadores utilizados
pelos rankings universitriosnos artigos internacionais.
No que tange coleta de dados, fez-se uso de dados primrios e secundrios. A etapa
de seleo do Portflio Bibliogrfico fez uso de dados primrios, uma vez que as delimitaes
so feitas pelos pesquisadores/participantes em todas as escolhas demandadas durante o
processo. J a etapa de identificao dos indicadores fez uso de dados secundrios, uma vez
que as informaes so buscadas no PB. Sendo assim, a presena da subjetividade elemento
intrnseco nesse processo. Considerando que os pesquisadores tambm atuam/respondem
como os participantes para evoluo do processo, ou seja, os pesquisadores, durante todo o
processo de desenvolvimento da primeira etapa do Proknow-C, necessitam apresentar suas
91
delimitaes e fazerem escolhas para que o processo evolua, essa investigao, quanto ao tipo
de estratgia, faz uso da pesquisa-ao (CRESWELL, 2014).
Quanto aos mtodos especficos de investigao a coleta de dados realizada por meio
do desenvolvimento do processo estruturado Knowledge Development Process Construtivist
(ProKnow-C), que ser apresentado na subseo a seguir e resulta na identificao do
Portflio Bibliogrfico.
3.2 Procedimentos para coleta e anlise dos dados
Para a seleo do material cientfico que ser utilizado para gerao de conhecimento
e informaes para analisar os indicadores dos rankings universitrios, ser utilizado o
instrumento Proknow-C (Knowledge Development ProcessConstructivist), desenvolvido
pelo Laboratrio de Metodologias Multicritrio de Apoio Deciso (LabMCDA) da
Universidade Federal de Santa Catarina (UFSC) e j utilizado em vrias publicaes
cientficas (DUTRA et al., 2015; ENSSLIN et al., 2014a,b; SILVA et al., 2014; ENSSLIN;
ENSSLIN; PINTO, 2013; LACERDA; ENSSLIN; ENSSLIN, 2012; ROSA et al., 2011;
TASCA et al., 2010) que investigaram contextos diferentes deste.
O objetivo principal do ProKnow-C construir conhecimento sobre um fragmento da
literatura cientfica publicada inicialmente no pesquisador e, quando da publicao dos
resultados da investigao, nos leitores da comunidade cientfica do tema. Para tal, o
pesquisador deve realizar estas quatro etapas: (a) seleo de um Portflio Bibliogrfico (PB)
de artigos sobre o fragmento que representa o tema da pesquisa; (b) anlise bibliomtrica do
PB; (c) anlise sistmica do PB; e (d) identificao de lacunas e oportunidades de futuras
pesquisas. Cada etapa demanda participao do pesquisador para sua realizao. Dessa forma,
o processo construtivista ocorre e evolui com base nos interesses e delimitaes do
pesquisador (DUTRA et al., 2015; ENSSLIN et al., 2014b; SILVA et al., 2014). Para alcance
do objetivo desta pesquisa apenas a realizao dessa primeira etapa faz-se necessria.
A formao do Portflio Bibliogrfico (PB) de artigos que representam o tema da
pesquisa definido no Proknow-C como um conjunto restrito de artigos cientficos e
relevantes (ENSSLIN et al., 2014b, p. 593). Para isso, o processo divide-se em duas fases
principais, conforme demonstrado no Quadro 1.
Quadro 1 Fases do ProKnow-C e resultados encontrados
Fases do ProKnow-C
(i) seleo do banco de artigos bruto
Resultado encontrado
Bases: Web of Science e Scopus
Palavras-chave: university AND ranking
Delimitao: tipo da publicao (tipo Journal Article) e o
idioma do artigo (apenas em lngua inglesa), sem limite
temporal;
Consulta: janeiro de 2015;
Resultado: 1.103 artigos na Web of Science, e 3.668 artigos
na base Scopus, totalizando 4.771 artigos;
92
Cabe salientar que o reconhecimento cientfico dos 71 artigos foi aferido pelas
citaes em outros trabalhos cientficos, desde sua publicao, por meio da consulta na
ferramenta Google Scholar (2015). Por meio dessa consulta, constatou-se que todos os artigos
apresentam reconhecimento cientfico, sendo Academic quality, league tables, and public
policy: A cross-national analysis of university ranking systems o mais reconhecido com 380
citaes. Como o reconhecimento cientfico foi aferido em todos os artigos, o processo
continuou com os 71, em que foi realizada a filtragem dos artigos selecionados pela leitura
dos resumos e constatou-se que apenas 32 artigos estavam alinhados ao tema desta pesquisa,
ou seja, a evoluo de rankings universitrios. Esses 32 artigos formam o conjunto que os
pesquisadores consideram relevantes, alinhados com a pesquisa, os quais se denominam
Portflio Bibliogrfico (PB). Assim, a coleta de dados ocorrer exatamente nesse PB; o
conhecimento nos pesquisadores e os resultados sero informados por esse PB. As bases dos
rankings universitrios mundiais so, neste artigo, delimitadas identificao dos indicadores
utilizados por esses rankings. Foram mapeados os 32 artigos do Portflio, sendo que as
informaes foram registradas em uma planilha eletrnica, organizadas por rankings
apontados pela literatura e identificados os trabalhos que expunham os indicadores utilizados
e posteriormente agrupados.
93
CHE Excellence
Ranking - Centro
para o
Desenvolvimento
das Universidades
da Alemanha
MINAS ParisTech cole des Mines de
Paris
Americas Best
College Review US News and
World Repport
THE - Times
Higher Education
Supplement -World
University Ranking
Quacquarelli
Symonds (QS)
World University
Rankings
Ranking das
universidades da
Austrlia
Committee (AVCC)
e Universidade de
Autores
Aguillo et al. (2010); Baldock
(2013); Baty (2013); Bernardino e
Marques (2010); Bornmann,
Anegn e Mutz (2013); Bornmann,
Mutz e Daniel (2013); Buela-Casal
et al. (2007); Charon e Wauters
(2008); Florian (2007); Jeremic e
Milenkovic (2014); Marginson
(2014); Saisana, DHombres e
Saltelli (2011); Seoane (2009);
Thry (2009); Turner (2013);
Lindblad (2008)
Seoane (2009);
Soh (2012)
Seoane (2009);
Thry (2009)
Seoane (2009); Buela-Casal et al.
(2007); Marginson (2009); Baldock
(2013);
Baldock (2013)
Huang (2012)
Jeremic e Jovanovic-Milenkovic
(2014)
Marginson (2014)
Rodionov, Rudskaia e Kushneva
(2014)
Seoane (2009)
94
Notre Dame
College Ranking
Reformed -NSSE
(National Survey of
Students
Engagement)
Canadian
Education Report
Series Educational Policy
Institute (EPI)
CWTS- Leiden
Ranking - Ranking
da Universidade de
Leiden
Scimago Scopus Scopus Elsevier
U-Multirank ou UMap
Asias best
universities
ranking
Seoane (2009)
Seoane (2009)
95
Excellence French
and German
universities
HEEACT
Performance
Ranking of
Scientific Papers
for World
Universities Higher Education
Evaluation and
Accreditation
Council of Taiwan
International
Champions League
of Research
Institutions
Soh (2012);
Aguillo et al. (2010);
Lin, Huang e Chen (2013);
Marginson (2009);
Spanish I-UGR
Rankings
Portuguese
Ranking
Webometrics
(Ranking Web of
Universities)
Ranking das
Universidades de
Pesquisa da
Amrica - The
Lombardi Program
Seoane (2009)
96
97
98
REFERNCIAS
AGUILLO, I. F.; BAR-ILAN, J.; LEVENE, M.; ORTEGA, J. L. Comparing university rankings.
Scientometrics, v. 85, n. 1, p. 243-256, 2010.
BALDOCK, C. University rankings and medical physics. Australasian Physical and Engineering
Sciences in Medicine, v. 36, n. 4, p. 375-378, 2013.
BATY, P. The times higher education world university rankings, 2004-2012. Ethics in Science and
Environmental Politics, v. 13, n. 2, p. 125-130, 2013.
BENITO, M.; ROMERA, R. Improving quality assessment of composite indicators in university
rankings: A case study of French and German universities of excellence. Scientometrics, v. 89, n. 1,
p. 153-176, 2011.
BERNARDINO, P.; MARQUES, R. C. Academic rankings: An approach to rank portuguese
universities. Ensaio, v. 18, n. 66, p. 29-48, 2010.
BORNMANN, L.; DE MOYA ANEGN, F.; MUTZ, R. Do universities or research institutions with
a specific subject profile have an advantage or a disadvantage in institutional rankings?: A Latent
Class Analysis with Data from the SCImago Ranking. Journal of the American Society for
Information Science and Technology, v. 64, n. 11, p. 2310-2316, 2013.
BORNMANN, L.; MUTZ, R.; DANIEL, H. D. Multilevel-statistical reformulation of citation-based
university rankings: The Leiden ranking 2011/2012. Journal of the American Society for
Information Science and Technology, v. 64, n. 8, p. 1649-1658, Aug 2013.
BOULTON, G. University rankings: Diversity, excellence and the European initiative. Procedia Social and Behavioral Sciences, v. 13, p. 74-82, 2011.
BOWMAN, N. A.; BASTEDO, M. N. Anchoring effects in world university rankings: Exploring
biases in reputation scores. Higher Education, v. 61, n. 4, p. 431-444, 2011.
99
BUELA-CASAL, G.; GUTIRREZ-MARTNEZ, O.; BERMDEZ-SNCHEZ, M. P.; VADILLOMUOZ, O. Comparative study of international academic rankings of universities. Scientometrics, v.
71, n. 3, p. 349-365, 2007.
CHARON, A.; WAUTERS, J. P. University ranking: a new tool for the evaluation of higher education
in Europe. Nephrology Dialysis Transplantation, v. 23, n. 1, p. 62-64, Jan. 2008.
CHENG, Y.; LIU, N. C. Academic ranking of world universities by broad subject fields. Higher
Education in Europe, v. 32, n. 1, p. 17-29, 2007.
CRESWELL, J. W. Research Design: Qualitative, Quantitative, and Mixed Methods Approaches.
4 th ed. SAGE Publications, Inc, 2014.
DE MESNARD, L. On some flaws of university rankings: The example of the SCImago report.
Journal of Socio-Economics, v. 41, n. 5, p. 495-499, 2012.
DILL, D. D.; SOO, M. Academic quality, league tables, and public policy: A cross-national analysis
of university ranking systems. Higher Education, v. 49, n. 4, p. 495-533, Jun. 2005.
DUTRA, A.; RIPOLL-FELIU, V.M.; FILLOL, A. G.; ENSSLIN, S. R.; ENSSLIN, L.. The
construction of knowledge from the scientific literature about the theme seaport performance
evaluation, International Journal of Productivity and Performance Management, v. 64, iss 2, p.
243 269, 2015. http://dx.doi.org/10.1108/IJPPM-01-2014-0015.
ENSSLIN, L.; ENSSLIN, S. R.; PINTO, H. M.; Processo de investigao e Anlise bibliomtrica:
Avaliao da Qualidade dos Servios Bancrios. RAC, v. 17, n. 3, p. 325-349, 2013.
ENSSLIN, S. R.; RIPOLL-FELIU, V. M.; ENSSLIN, L.; DUTRA, A. Performance Evaluation to
Support the University Management Activity. La Pense (Paris), v. 76, p. 2-17, 2014a.
ENSSLIN, S. R.; ENSSLIN, L.; IMLAU, J. M.; CHAVES, L. C.. Processo de mapeamento das
publicaes cientficas de um tema: portflio bibliogrfico e anlise bibliomtrica sobre avaliao de
desempenho de cooperativas de produo agropecuria. Revista de Economia e Sociologia Rural
(Impresso), v. 52, p. 587-608, 2014b.
ERKKIL, T. Global university rankings, transnational policy discourse and higher education in
Europe. European Journal of Education, v. 49, n. 1, p. 91-101, 2014.
FLORIAN, R. V. Irreproducibility of the results of the Shanghai academic ranking of world
universities. Scientometrics, v. 72, n. 1, p. 25-32, 2007.
HSIEH, S. M.; LO, S. A.; HSU, C. C.; LIN, W. C. Novel cloud service for improving world
universities ranking. In: Proceedings of the 9th International Conference on Information Technology,
ITNG
2012,
2012.
Anais
Eletrnicos.,
2012.
Disponvel
em:
<
http://www.scopus.com/inward/record.url?eid=2-s2.084863931111&partnerID=40&md5=7ff87c300e76ea10dca6b9d5fca60326 >.
HUANG, M. H. Opening the black box of QS world university rankings. Research Evaluation, v. 21,
n. 1, p. 71-78, 2012.
100
101
102
103
Resumo
Indicadores educacionais podem e tem sido utilizados para mensurar o desempenho de sistemas
educacionais no Brasil. Fundamentalmente, os indicadores utilizados medem o fluxo escolar e
pontuao obtidas em provas padronizadas, realizadas junto aos alunos de escolas pblicas. No
entanto, pesquisadores da rea apontam que necessrio considerar aspectos mais abrangentes das
cidades, como dados socioeconmicos e culturais por exemplo, para melhor entender a performance
dos sistemas educacionais. Indicadores desta natureza tem sido usados para avaliar o desenvolvimento
do capital humano e social em iniciativas chamadas de smart cities. Estas iniciativas visam tornar as
cidades atuais mais eficientes em diversas reas de atuao, inclusive no desenvolvimento humano e
social. Tericos das smart cities definem tambm indicadores de desempenho para medir a
performance destas cidades nestas reas. O objetivo deste artigo investigar como so construdos os
indicadores destas cidades, focando no desenvolvimento de capital humano e social, e relacion-los
aos indicadores de sistemas de avaliao utilizados no Brasil. Para isto, fez-se uma reviso
bibliogrfica onde foi encontrado que as abordagens das smart cities possuem indicadores de
desempenho que podem servir de apoio construo de indicadores educacionais. Eles apontam
diversos indicadores que tratam desde a produo de conhecimento, o nvel de conectividade da
populao at a quantidade de idiomas estrangeiros dominados. Esta abordagem vai de encontro
tendncia atual de construo de indicadores educacionais mais abrangentes, que devem coletar dados
que identifiquem o contexto socioeconmico em que os sistemas educacionais avaliados esto
inseridos, e ainda permite comparar diferentes cidades pelo mundo.
Palavras-chave: Indicadores Educacionais. Smart cities. Capital Humano e Social.
Abstract
Educational indicators can and have been used to measure the performance of education systems in
Brazil. Fundamentally, these indicators measure the students flow and score obtained in standardized
tests, conducted with the public school students. However, researchers point out that it's needed to
consider broader aspects of cities, as social, economic and cultural data for example, to better
understand the performance of education systems. Indicators like these have been used to evaluate the
development of human and social capital in smart cities initiatives. These initiatives aim to make the
cities more efficient in several areas, including human and social development. Smart cities' theorists
also define performance indicators to measure the performance of these cities in these areas. This
paper's goal is to investigate how the indicators are built in the smart cities approach, focusing on
developing human and social capital, and then relate the indicators systems used in Brazil. It was
done a literature review where it was found that the approaches of smart cities have performance
indicators which can serve to support the construction of educational indicators. They point out
several indicators like the production of knowledge, the population's level of connectivity to the
internet and the percentage of foreign languages skills. This approach matches the current trend of
building broader educational indicators which are to collect data to identify the socioeconomic
context in which the evaluated educational systems are inserted, and also allows to compare
104
1 INTRODUO
De acordo com Fernandes (2007), um nmero cada vez maior de educadores, gestores
e especialistas convergem para a necessidade de estabelecer um padro e critrios para
monitorar o ensino no Brasil. Segundo o autor, as experincias de sucesso nas redes e escolas
comeam a ser registradas e apontam o uso de indicadores para o monitoramento permanente
dos programas em relao aos resultados fixados. O autor evidencia que os indicadores de
desempenho educacional mais utilizados para monitorar o sistema de ensino no Brasil so
fundamentalmente agrupados em duas ordens: a) indicadores de fluxo (promoo, repetncia
e evaso), b) pontuaes em exames padronizados obtidos por estudantes ao final de
determinada etapa do ensino (por exemplo, 4 a 8 sries do ensino fundamental e 3 ano do
ensino mdio) (FERNANDES, 2007).Ou seja, apenas variveis como evaso escolar e notas
obtidas em exames padronizados so geralmente utilizados para medir a performance de
programas e sistemas de ensino. Alm disso, Alves e Soares (2013) afirmam que os
indicadores atuais do sistema educacional brasileiro no analisam o contexto socieconmico
onde a escola est inserida, e esta varivel um fator importante e que influencia diretamente
na performance das escolas em relao a tais indicadores.
Por outro lado, as smart cities representam um conceito muito pesquisado atualmente
e que est relacionado com uma melhor performance que uma cidade deve ter em diversas
reas, desde o gerenciamento de seus recursos naturais at o aumento do grau de instruo de
seus habitantes (GIFFINGER et al, 2007). Buscar ser uma smart city significa implantar
iniciativas que aumentem o desempenho em diversas reas de atuao, incluindo a educao,
para que uma cidade possa prover melhor qualidade de vida para seus cidados
(CARAGLIU;BO; NIJKAMP, 2011; NEIROTTI et al 2014). Para isto, diversos
pesquisadores tm desenvolvido mtricas em forma de indicadores para mensurar o
desempenho das cidades nas reas consideradas chave para o seu desenvolvimento
(GIFFINGER et al, 2007; LOMBARDI et al, 2012; NEIROTTI et al 2014).
Considerando as iniciativas de smart cities, mais precisamente nas reas que tangem a
educao, o desenvolvimento humano e social, possvel utilizar os seus indicadores para
auxiliar a construo de indicadores dos sistemas educacionais brasileiros? Quais seriam as
vantagens desta abordagem para os municpios? Para isto, preciso investigar como so
construdos e aplicados estes indicadores em projetos de smart cities, e verificar o que pode
ser aproveitado para auxiliar a construo de indicadores educacionais no Brasil. Para
responder a estas questes, foi realizada uma reviso integrativa, com os seguintes passos:
escolha e definio do tema, critrios para categorizao dos estudos a serem procurados,
busca em bases literrias, anlise e interpretao da amostra de resultados
(MENDES;SILVEIRA;GALVO, 2008), conforme figura 1.
105
106
Pas
EUA
Astana
Cazaquisto
Aurora, Illinois
EUA
Changhua County
Taiwan
Columbus, Ohio
EUA
Austrlia
Rio de Janeiro
Brasil
Sherbrooke, Quebec
Canad
Shiojiri City
Japo
Austrlia
Canad
Segundo Townsed (2013, traduo nossa), smart cities so cidades que conseguem
capturar dados, transformar em informao e adaptar suas aes em tempo real. Caragliu, Bo,
e Nijkamp (2011) descrevem uma smart city como uma cidade onde se investe em capital
humano e social, utilizando-se da infraestrutura de tecnologia de informao para promover o
crescimento econmico sustentvel e a qualidade de vida. Um trabalho que contribui bastante
para o entendimento deste tema e sua preocupao sustentvel foi realizado por Giffinger et al
(2007), onde feito um estudo geral do estado da arte das definies existentes sobre smart
cities e quais caractersticas as definem. Com base nesta pesquisa, seus autores relatam que as
definies de cidades inteligentes no consideram apenas o uso de TICs (tecnologias da
informao e comunicao) para melhorar a economia, mobilidade urbana e a qualidade de
vida, mas tambm leva-se em conta fatores relacionados ao nvel de desenvolvimento
humano, como o nvel de educao (grau de instruo) de seus habitantes e at sua opinio
pblica sobre a proteo da natureza e o nmero de livros por habitante por exemplo
(GIFFINGER, 2007). A Figura 2 apresenta este modelo. Para mensurar estas caractersticas,
so utilizados fatores e indicadores de desempenho.
107
Figura 2: Modelo de smart cities - caractersticas genricas (em negrito) e seus fatores
108
educacional est inserido, e estas variveis influenciam diretamente no resultado final obtido
pelas escolas. Corroborando esta ideia, Bandeira et al (2013), percebem que os municpios e
estados cada vez mais devem ter indicadores baseados em dados mais abrangentes, que
auxiliem a medir e entender o contexto onde a educao e o estudante esto inseridos, a saber:
imprescindvel a realizao de diagnstico da situao na educao, que
considere os dados socioeconmicos, as estatsticas oficiais e os resultados
das avaliaes do municpio e estado. Informaes sobre economia
(emprego, renda, produo), sobre a existncia de equipamentos culturais e
de lazer (cinema, biblioteca, museu, internet, centros culturais, praas
pblicas), sobre educao (acesso, permanncia, transferncia, infraestrutura,
condies de trabalho de professores e alunos), sobre mecanismos de
participao (conselho de desenvolvimento, cmaras temticas, conselhos de
educao, conselho tutelar, conselho da sade, conselho dos direitos da
criana e do adolescente, fruns de debate/ deliberao, consultas pblicas
entre outros) permitiro obter um panorama geral (da educao) do
municpio/ estado (BANDEIRA et al, 2013).
109
110
111
Eixo ou Aspecto
Smart People: Socioeconmico/ Produo
Intelectual
Smart People: Socioeconmico/ Produo
Intelectual
Smart People: Socioeconmico/ Produo
Intelectual
Expectativa de vida
Fonte: Os autores.
112
6 CONSIDERAES FINAIS
Percebe-se que, conforme afirmado por Alves e Soares (2013), os indicadores de
sistemas educacionais devem auxiliar a entender o contexto que os circunda para melhor
refletir a realidade destes sistemas. Logo, os indicadores das smart cities auxiliam a entender
este contexto, devido ao fato de que a sua construo (dos indicadores das smart cities) leva
em conta aspectos abrangentes, tais como socieconmicos e culturais por exemplo
(GIFFINGER, et al 2007). Procurou-se neste artigo mapear destes indicadores quais podem
auxiliar a gerar insights e inspirar na construo de indicadores educacionais nos municpios
brasileiros, vistos na tabela 2. Destes, destacam-se os indicadores relacionados principalmente
ao desenvolvimento do capital humano e social, tratados no eixo Smart People das Smart
Cities. Resumidamente, estes indicadores so traduzidos por meio de mtricas que avaliam
fatores influentes no desempenho intelectual dos habitantes de uma cidade, conforme pode ser
visto na tabela 2, agrupados e resumidos abaixo em dois tipos:
a) Infraestrutura de acesso ao conhecimento: nmero de instituies de ensino e
pesquisa de renome na cidade, investimentos municipais em pesquisa cientfica, satisfao da
populao com o ensino pblico, residncias com acesso a internet e com computadores;
b) Produo intelectual e cultural: nmero de patentes por habitantes, percentagem de
trabalhadores em organizaes intensivas em conhecimento, percentagem de populao
bilngue, nmero de habitantes com curso superior, taxa de estudantes vs habitantes, nmero
de livros retirados de bibliotecas e frequncia de visitas a museus e teatros.
O primeiro grupo citado mede as condies necessrias para que os cidados tenham
acesso ao conhecimento, como existncia de instituies de ensino e pesquisa de renome por
exemplo. J o segundo, avalia como percebida a cultura de conhecimento de uma cidade,
que significa perguntar se o conhecimento valorizado e necessitado, uma vez que so
medidas produes bibliogrficas e a necessidade de trabalhadores intelectuais (nmero de
organizaes intensivas em conhecimento) por exemplo. Todos estes fatores, alguns mais
fortemente outros menos, podem influenciar nos resultados de avaliao de sistemas
educacionais, uma vez que, quanto maior o incentivo ao uso e produo de conhecimento,
maior deve ser o desempenho intelectual de estudantes destas cidades.
Em trabalhos futuros espera-se que se adapte esta abordagem realidade das cidades e
o do sistema de ensino brasileiro, analisando profundamente outros dados e dimenses a
serem definidas como importantes. Porm, j se pode perceber que uma das vantagens de se
utilizar a iniciativa das smart cities considerar variveis importantes para o desenvolvimento
da cidade e do cidado nela inserido, como a valorizao da produo intelectual, acesso ao
conhecimento, incluso social e digital. Alm disso, esta abordagem permite utilizar estes
indicadores para poder comparar-se a cidades ao redor mundo, independente dos indicadores
locais educacionais utilizados em cada pas, conforme visto no na tabela 1 deste trabalho.
113
REFERNCIAS
ALVES, Maria Teresa Gonzaga; SOARES, Jos Francisco. Contexto escolar e indicadores
educacionais: condies desiguais para a efetivao de uma poltica de avaliao educacional.
Educao e Pesquisa, So Paulo, v. 39, n. 1, p.177-194, mar. 2013. Disponvel em:
<http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1517-97022013000100012>. Acesso em:
25 mar. 2015.
ANKLAM, P. Knowledge Managment: The Collaboration Thread.Bulletim of the American Society
of Information Science and Technology.2002.
BANDEIRA, C. et al. O uso dos Indicadores da Qualidade na Educao na construo e reviso
participativas de Planos de Educao. So Paulo: Ao Educativa, 2013. 31p.
CARAGLIU, Andrea; BO, Chiara del; NIJKAMP, Peter. Smart Cities in Europe. Journal Of Urban
Technology. Londres, p. 65-82. 10 ago. 2011. Disponvel em: <http://www.tandfonline.com/doi/abs/10.1080/.VBZNMx_Hk8o#.VBZPMZ_7G00>. Acesso em: 11 jun. 2014.
CHEN, Min; MAO, Shiwen; LIU, Yunhao. Big Data: A Survey. Springer, Estados Unidos, v.
2,n.19,p.171-209,Abr.2014. Disponvel em: <http://link.springer.com/article/10.1007%2 Fs11036013-0489-0>. Acesso em: 13 set. 2014.
CUNHA, Jos Marcos Pinto da; PEREZ, Jos Roberto Rus; AIDAR, Tirza. Proposta metodolgica de
elaborao de indicador educacional sinttico para os municpios. Revista Brasileira de Estudos de
Populao, Rio de Janeiro, v. 18, n. 1, p.131-159, dez. 2001.
DAVIDSSON, P.; HONIG, B.Journal of Business Venturing, v. 18. 301 331. 2003.
FERNANDES, Reynaldo. ndice de Desenvolvimento da Educao Bsica (Ideb). Braslia:
Inep/MEC Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira, 2007. 28 p.
FELICIO, J.; COUTO E.; CAIADO J. Human capital, social capital and organizational
performance.Journal of Intellectual Capital, Vol. 2 Issue 2 pp. 127-135.Disponvel em
<http://dx.doi.org/10.1108/14691930110385919>. Acesso em: 04 abr. 2015.
GIFFINGER, Rudolf et al. Smart cities Ranking of European medium-sized cities.Vienna: Vienna
University
Of
Technology,
2007.
28
p.
Disponvel
em:
<http://www.smartcities.eu/download/smart_cities_final_report.pdf>. Acesso em: 06 jun. 2014.
INTELLIGENT COMMUNITY FORUM - ICF. Knowledge Workforce. Disponvel em:
<https://www.intelligentcommunity.org/index.php?
src=gendocs&ref=Research_Indicators_
Knowledge_Workforce&category=Research>. Acesso em: 02 abr. 2015.
Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira- INEP. Como o Ideb
calculado. 2011. Disponvel em: <http://portal.inep.gov.br/web/portal-ideb/como-o-ideb-ecalculado>. Acesso em: 01 abr. 2015.
LAZAROIU, George Cristian; ROSCIA, Mariacristina. Definition methodology for the smart cities
model. Energy. [S.I]., p. 326-332. ago. 2012. Disponvel em: <http://www.journals.el
sevier.com/energy>. Acesso em: 29 mar. 2015.
114
LOMBARDI, Patrizia et al. Modelling the smart city performance. Innovation: The European
Journal of Social Science Research. [s. I.], p. 137-149. jun. 2012.
MENDES, Karina dal Sasso; SILVEIRA, Renata Cristina de Campos Pereira; GALVO, Cristina
Maria. REVISO INTEGRATIVA: MTODO DE PESQUISA PARA A INCORPORAO DE
EVIDNCIAS NA SADE E NA ENFERMAGEM. Texto & Contexto - Enfermagem, So Paulo,
v.
17,
n.
4,
p.758-764,
out.
2008.
Disponvel
em:
<http://www.producao.usp.br/bitstream/handle/BDPI/3509/art_MENDES_Revisao_integrativa_metod
o_de_pesquisa_para_a_2008.pdf?sequence=1>. Acesso em: 23 fev. 2015.
NAM Taewoo; PARDO Theresa A. Conceptualizing Smart City with Dimensions of Technology,
People, and Institutions. In: ANNUAL INTERNATIONAL CONFERENCE ON DIGITAL
GOVERNMENT RESEARCH, 12th, 2011, New York. Proceedings. New York: Acm Magazines And
Online Publications, 2011. p. 282-291.
NEIROTTI, Paolo et al. Current trends in Smart City initiatives: Some stylised facts.Cities: the
international journal of urban policy and planning. Amsterd, p. 25-36. jun. 2014. Disponvel em:
<http://www.sciencedirect.com/science/article/pii/S0264275113001935>. Acesso em: 15 set. 2014.
TOWNSEND, A. Smart Cities: Big Data, Civic Hackers, and the Quest for a New Utopia. W.W.
Norton & Company.2013.
115
Abstract
This work, at first, presents that the National Institute for Educational Studies and Research "Ansio
Teixeira", Inep, uses four unidimensional models to calculate the proficiency from the students that
took the National Exam of Upper Secondary Education, Enem. Once it doesnt produce a unique
grade for each student, this paper proposes a sole unidimensional model. In this context, the contents
of the four exams tests are considerate as only one latent trait. For this, it was necessary to prove that
in fact there is one dominant latent trait and to ensure a good item parameter calibration. At last, we
have compared the results from our study with the official ones to verify the association level between
those grades.
Key Words: Enem. Item Theory Response. Dimensionality.
1 INTRODUO
As provas objetivas do ENEM so constitudas de quatro reas do conhecimento, cada
uma com 45 itens. As respostas dos avaliados so analisadas separadamente para cada rea
pela teoria da resposta ao item (TRI), sendo as proficincias dessas reas colocadas em
escalas que so interpretadas pedagogicamente.
Os resultados do ENEM so usados como critrio de entrada em muitas universidades.
Para se ter uma nota nica do candidato calcula-se a mdia aritmtica simples de cinco notas:
as proficincias de cada rea (linguagens e cdigos, LC; cincias da natureza, CN; cincias
humanas, CH; e matemtica, MT) e a nota da redao.
A questo que se coloca neste trabalho se possvel aplicar um modelo de TRI
unidimensional considerando os 180 itens (45 itens de cada uma das quatro reas) como uma
prova nica, tendo como propsito de se ter uma nota nica das provas objetivas. De uma
forma mais geral, coloca-se a questo da validade de um modelo de TRI unidimensional numa
prova multidisciplinar do ensino mdio. Alm disto, verificar a relao da mdia aritmtica
das quatro provas e de uma medida nica obtida pela TRI nessa prova agregada de 180 itens.
116
2 METODOLOGIA
Este trabalho procura usar os mesmos mtodos usados pelo INEP para gerar as
proficincias de cada rea, adotando-se o modelo de TRI de trs parmetros, estimao dos
parmetros dos itens (calibrao) pelo algoritmo EM e proficincias geradas por EAP
(estimao pela mdia da distribuio a posteriori) (ANDRADE et. al., 2000; AYALA, 2009).
Provas multidisciplinares esto sendo estudadas com modelos uni e multidimensionais
de TRI (Barbetta et al., 2014; Quaresma, 2014). Segundo Reckase (2009, p. 126), o parmetro
do modelo unidimensional da TRI pode representar uma composio de habilidades ou
proficincias. Esta capacidade da TRI de captar uma composio de proficincias tambm foi
verificada por Barbetta et al. (2011).
Em termos computacionais, a anlise foi realizada com o pacote psych (REVELLE,
2015) para fazer uma anlise de componentes principais considerando matriz de correlao
tetracrica e o pacote mirt (CHALMERS, 2015) para ajustar os modelos de TRI, ambos do
software livre R (R Core Time, 2015).
3 OS DADOS
O Inep divulga em sua pgina oficial os microdados do Enem e oferece uma
interpretao pedaggica das escalas das quatro reas (INEP). Para realizar este trabalho
utilizamos os microdados do Enem 2012. Os clculos foram realizados a partir de uma
amostra dos alunos concluintes do ensino mdio regular seriado, que estiveram presente em
todas as quatro provas (CN, CH, LC e MT) e que receberam o primeiro caderno de provas do
dia (caderno azul para as provas de CN e CH e caderno amarelo para as provas de LC e MT).
As informaes consideradas sobre a situao de concluso do ensino mdio e o tipo de
ensino foram aquelas declaradas pelos estudantes no questionrio do aluno.
Depois de utilizados estes filtros, tiramos uma amostra aleatria estratificada de
tamanho 20 mil. O primeiro estrato formado pelos alunos que a proficincia mdia (mdia
aritmtica das notas das quatro provas) menor ou igual ao primeiro quartil dessa varivel. O
segundo, pelos alunos de proficincia mdia maior que o primeiro quartil e menor ou igual ao
nonagsimo quinto percentil. Por fim, o terceiro estrato engloba aqueles os quais a
proficincia mdia acima do nonagsimo quinto percentil. Os tamanhos dos estratos foram,
respectivamente, cinco mil, 10 mil e cinco mil. Esse procedimento visou garantia de se obter
avaliados em todos os nveis da escala.
4 RESULTADOS
Uma das premissas da TRI que a prova tenha um trao latente dominante, o que no
extremo seria a unidimensionalidade (ANDRADE et. al., 2000; AYALA, 2009). E um
procedimento usual para verificar essa suposio fazer uma anlise de componentes
principais sobre a matriz de correlao tetracrica dos itens. Considerando a prova agregada
com 180 itens, a Figura 1 apresenta um resumo dessa anlise apresentando na ordenada os
autovalores da matriz de correlao (os vinte maiores), que podem ser interpretados como
varincias explicadas por cada dimenso considerada. Por essa figura, verifica-se que o maior
autovalor bastante superior aos demais, caracterizando uma dimenso dominante.
117
Uma vez que temos indcios que na prova do Enem h um trao latente dominante,
ajustamos os dados TRI unidimensional de trs parmetros. O modelo dado por:
( = 1| ) = + (1 )
1
1 + ( )
onde: uma varivel dicotmica que assume valor igual a 1 quando o indivduo
responde corretamente o item ; o trao latente medido; o ndice de discriminao do
item , o o parmetro de dificuldade do item ; e o a probabilidade de indivduos de
baixa proficincia responderem corretamente o item (acerto casual).
Assim sendo, temos que a informao de um item maior quando (ANDRADE et. al.,
2000):
se aproximar de ;
maior for o valor de ;
mais se aproximar de zero.
118
Aps calibrao dos parmetros, observamos que apesar de alguns itens possurem
valores do parmetro a menores de 0,7 (baixa discriminao), somente o item 23, de cincias
da natureza, apresentou tambm um erro padro, EP, alto (0,581).
Itens com grandes valores de a tambm devem ser analisados, j que podem ser
resultados de um problema de estimao. Dessa forma, verificamos que, para valores de a
maiores que quatro, os itens 67, 165 e 60 foram os que apresentaram maiores EP: 0,785;
0,468; e 0,458 respectivamente.
Como o parmetro b indica o nvel de dificuldade do item, valores, em mdulo,
maiores que quatro devem ser analisados, pois podem ser consequncia de um problema de
calibrao. Numa parametrizao alternativa, usada no pacote computacional mirt, em vez de
se explicitar o parmetro b, pode-se usar = . Assim sendo, temos dois itens que
possuem b maior que quatro, so eles: 3 (4,459) e 23 (4,798), ambos de cincias humanas.
O parmetro c representa a probabilidade de acerto casual. Quando o item tem
problemas em algum dos distratores, em geral, isso implica em um valor de c elevado. O item
com maior valor deste parmetro o 80, de cincias da natureza, no qual a probabilidade de
acerto ao acaso de 41,1%.
A tabela abaixo apresenta de forma comparativa os dados dos parmetros destes itens:
Tabela 1 Itens do Enem 2012 com os valores mais extremos de a, b e c.
Item Prova
3
2
H
3
6
0
6
7
8
0
1
65
a
C
.305
C
.554
C
.795
C
.736
C
.744
M
.703
EP(a)
0
.283
0
.581
4
.460
4
.789
1
.141
4
.450
b
0
d
4
.459
0
.798
0
.369
0
.679
0
.210
0
.374
EP(d)
-
1.36
4
2.658
1
6.564
1
7.950
0
0.366
1
6.461
c
1
.179
-
.111
1
.347
-
.254
0
.613
-
.233
1
.202
-
.297
0
.161
-
.411
0
.592
.168
EP(c)
0
.496
0
.219
0
.127
0
.160
0
.243
0
.093
0
0
0
0
0
0
119
Figura 2 Boxplot comparativos dos valores de a entre cada uma das provas
120
Figura 3 Boxplot comparativos dos valores de b entre cada uma das provas
Os grficos acima mostram que as mdias dos ndices de dificuldade das provas, b, so
prximas, a exceo da de CN que possui uma mdia de 1,1 (prova mais difcil). Em relao
variabilidade das distribuies dos valores de b, verifica-se que as provas com menor desvio
padro so as de MT e CN.
Pela Figura 4, podemos comparar as probabilidades de acerto casual entre as quatro
provas do Enem. Verifica-se que as mdias so todas prximas de 0,2 e que a prova de MT
a que possui menor desvio padro.
121
Figura 4 Boxplot comparativos dos valores de c entre cada uma das provas
a
Mdia
C
.77
C
.59
L
.54
M
.76
DP
1
.73
2
.96
1
.54
2
.93
b
Mdia
0
.82
0
.12
0
.74
0
.68
DP
0
.25
1
.73
0
.85
0
.73
c
Mdia
1
.18
0
.19
0
.18
0
.18
DP
0
.08
0
.08
0
.08
0
.05
0
0
0
0
Pela tabela acima, possvel concluir que apesar dos itens de CN serem os mais
difceis, em mdia, seus ndices de discriminao so os de maior variabilidade entre todas as
provas, ou seja, h itens com peso muito altos e outros muito baixos. A prova de MT, apesar
de ter dificuldade menor, se comporta de forma anloga.
J as provas de CH e LC variam muito em relao dificuldade do item enquanto o
peso de cada um deles varia pouco. Contudo, no h variaes significativas entre as provas
sob o ponto de vista da probabilidade de acerto casual.
Por fim, buscou-se verificar a correlao entre a mdia aritmtica das quatro
proficincias estimadas pelo Inep com a proficincia calculada considerando uma prova
nica, sendo agregada de 180 itens. O coeficiente de correlao de Pearson aplicado a esses
dados foi igual a 0,98 o que sugere uma alta correlao.
A Figura 5 apresenta o diagrama de disperso entre as duas proficincias.
122
Figura 5 Diagrama de disperso entre a proficincia considerando uma nica prova com
180 itens e a mdia aritmtica das proficincias das quatro provas calculadas pelo Inep
123
REFERNCIAS
ANDRADE D.F.; TAVARES, H.R.; VALLE, R.C. (2000). Teoria da Resposta ao Item:
Conceitos e Aplicaes. So Paulo: Associao Brasileira de Estatstica.
AYALA, R.J. (2009). The Theory and Practice of Item Response Theory. New York: The
Guilford Press.
BARBETTA, P.A.; ANDRADE, D.F.; BORGATTO, A.F. (2011). Anlise de provas do
ENEM segundo modelos de TRI multidimensionais. CONBRATRI II, Salvador BA.
CHALMERS, P. (2015). Package mirt version 1.9. Disponvel em: <http://cran.rproject.org/web/packages/mirt/mirt.pdf>. Acesso em: 1 abr. 2015.
INEP. Matriz de Referncia Enem. Disponvel em: <http://download.inep.gov.br/
educacao_basica/enem/downloads/2012/matriz_referencia_enem.pdf>. Acesso em: 1 abr.
2015.
QUARESMA, E. de S. (2014). Modelagem para construo de escalas avaliativas e
classificatrias em exames seletivos utilizando teoria da resposta ao item uni e
multidimensional. Tese de doutorado em Estatstica e Experimentao Agronmica,
Universidade de So Paulo.
RECKASE, M. (2009). Multidimensional Item Response Theory. USA: Springer.
REVELLE, W. (2015). Package psych version 1.5.1. Disponvel em: <http://cran.rproject.org/web /packages/psych/psych.pdf>. Acesso em: 1 abr. 2015.
R Core Team (2015). R: A language and environment for statistical computing. R
Foundation for Statistical Computing, Vienna, Austria. Disponvel em: www.R-project.org.
Acesso em: 1 abr. 2015.
124
125
Abstract
The process of self-assessment courses is an increasingly used strategy to encourage reflective
critique students, managers and makers of programs involved in training programs and professional
training. At the institutional level, self-assessment strategies help in the analysis process of training
results in the management and monitoring policies of institutional goals. The objective of this paper is
relating a theoretical and methodological model of self-evaluation of vocational training courses,
offered in the form of Distance Education (DE). This proposal was tested in a trial experience of a
course offered distance, forty thousand course participants from all regions of Brazil; lasting four
months and a workload of 120 hours, this course had a priority target audience municipal councilors
and community leaders. Data collection, backed by combining qualitative and quantitative
approaches, was carried out through structured procedures and structured and open instruments. The
model consists of axes, dimensions, sub-dimensions and indicators that make up a set of constituent
variables of education distance learning courses. Three outbreaks of self-assessment were delimited:
the assessment of learning of course participants; the assessment of the perception of those involved
from planning to the management of the course; and the assessment of results in the context of
learning and certification. For future research, it is suggested that the matrix be validated in other
126
contexts of vocational training, either in the distance or in the presence, especially in longitudinal
studies, in order to improve assessment models in courses management.
Keywords: Self-assessment. Distance Education. Institutional assessment.
1 INTRODUO
O objetivo deste artigo relatar um modelo terico-metodolgico de autoavaliao
que foi proposto para um curso de formao profissional ofertado, em 2014, na modalidade de
Educao a Distncia (EaD). Ao se pensar em tal proposta, levou-se em considerao o fato
de que essa modalidade educacional reveste-se de um carter multidimensional: (i) separao
espao-temporal entre conteudista e cursista; (ii) comunicao bidirecional mediada por
recursos tecnolgicos; (iii) centralidade no estudante; (iv) apoio de uma organizao de
carter tutorial; e (v) assentada no uso da modalidade escrita da lngua e, consequentemente,
na competncia leitora dos sujeitos (ARETIO, 1987; RUMBLE, 2002; ALLY, 2004;
MOORE; KEARSLEY, 2011; BELLONI, 2006; 2011; DAGA, 2011).
Autoavaliao pode ser conceituada de variadas formas: processos de
autoclassificao, autorreferncia, automonitorao, feedback referenciado ou, ainda,
autoconhecimento (PEAT; FRANKLIN; LEWIS, 2001; POON; McNAUGHT; LAM;
KWAN, 2009). De todo modo, partiu-se do pressuposto de que todo processo de
autoavaliao tem como premissa conhecer a si mesmo e sua correspondente implicao
ter conscincia do conhecimento obtido e suas limitaes.
Em vista disso, pode-se afirmar que, no contexto de uma instituio, particularmente
daquela que oferta cursos na modalidade a distncia, a autoavaliao uma importante
estratgia de feedback acerca da eficcia dos processos de ensino e de aprendizagem, da
percepo dos participantes sobre o seu desempenho e, especialmente, da gesto de polticas e
programas de formao profissional.
Importa salientar que a preciso da autoavaliao pode aumentar ao longo do tempo,
uma vez que os atores envolvidos participam, em seus respectivos papis, das oportunidades
geradas pelo sistema de avaliao (DOCHY et al., 1999). No plano institucional, recorrer a
estratgias de autoavaliao auxilia no processo de anlise de resultados formativos e nas
polticas de gesto e monitoramento das metas institucionais.
fundamental considerar, contudo, que o transcurso de uma autoavaliao de
programas formativos exige reflexo crtica sobre objetivos, processos de aprendizagem e
resultados, assim como um aparato metodolgico que admita, permanentemente, a discusso
de dados e evidncias, independentemente das expectativas de sucesso (DOCHY et al., 1999;
ANDERSON; FREIBERG, 1995; PECKHAM; SUTHERLAND, 2000). Assim,
autoavaliao um processo que, de certa maneira, provoca desconforto, que deve ser
interpretado como uma provocao intelectual ao conhecimento obtido sobre fatos e
situaes, lastreado, claro, por critrios claros e detalhados (PATTERSON et al., 2002).
Em sntese, entende-se que a autoavaliao um aspecto crucial no processo de ensino
e aprendizagem em diferentes campos da educao, que informa sobre prticas reflexivas,
autoestudo e desenvolvimento profissional e institucional contnuo (BLEAKLEY, 2000;
PECKHAM; SUTHERLAND, 2000). Dessa forma, a qualidade dos processos de
autoavaliao pode determinar a qualidade dos produtos educacionais, seja no plano da
aprendizagem, seja no da interveno social/profissional, assim como podem influenciar,
tambm, o grau do atingimento dos objetivos planejados.
127
Tambm puderam participar do referido curso agentes comunitrios de sade, policiais e demais profissionais
diretamente envolvidos na questo da preveno do uso de drogas no Pas.
128
129
130
131
132
4 CONSIDERAES FINAIS
O processo de autoavaliao de cursos ocorre por meio de produo de informaes
sobre a realidade da atuao pessoal e profissional das pessoas. Avaliar as caractersticas
dessa realidade para compreend-la e intervir sobre ela , com efeito, um processo necessrio
para que profissionais responsveis pelos cursos identifiquem lacunas e potencialidades.
Convm pontuar que a definio e a observao das caractersticas que compem essa
realidade so etapas iniciais e fundamentais no processo de autoavaliao.
O artigo teve como objetivo relatar um modelo terico-metodolgico de autoavaliao,
resultado de uma experincia de concepo e operacionalizao de uma proposta de avaliao
para um curso de formao profissional que foi ofertado, em 2014, na modalidade de
educao a distncia (DURLI et al., 2014. Com base nas variveis observadas, foram
enfatizados trs grandes focos da autoavaliao: (i) a avaliao da aprendizagem dos
cursistas; (ii) a avaliao da percepo dos diferentes sujeitos envolvidos desde o
planejamento at a gesto do Curso; e (iii) a avaliao de seus resultados, no mbito da
aprendizagem e da certificao. Em vista disso, a coleta de dados acerca desses aspectos foi
realizada por meio do uso de abordagens, procedimentos, instrumentos diferenciados e com
sujeitos distintos.
Sugere-se que, para futuras pesquisas, o modelo seja validado em outros contextos de
educao a distncia, voltados ou no formao profissional, educao presencial, cursos de
curta e longa durao. Assim, dados complementares e contrastantes auxiliaro no
aprimoramento do modelo terico-metodolgico relatado.
133
REFERNCIAS
ALLY, M. Foundations of educational theory for online learning. In: ANDERSON, T.;
ELLOUMI, F. Theory and practice of online learning. Athabasca: Creative Commons,
2004. p. 3-31.
ANDERSON, J. B.; FREIBERG, H. J. Using self-assessment as a reflective tool to enhance
the student teaching experience. Teacher Education Quarterly, San Francisco (USA), n. 22,
p. 77-91, 1995.
ARETIO, L. La educacin a distancia: de la teora a la prctica. Barcelona (ES): Editorial
Ariel, 1987.
BELLONI, M. L. Educao a distncia e mdia-educao na formao profissional.
Braslia: [s.n.], 2011. Disponvel em:
<http://www.senado.leg.br/comissoes/ce/ap/AP20111109_Maria_Belloni.pdf>. Acesso em:
18 mar. 2015.
______. Educao a Distncia. 4. ed. Campinas (SP): Editores Associados, 2006.
BLACK, P.; WILIAM, D. Assessment and classroom learning. Assessment in Education,
London (UK), v. 5 n. 1, p. 7-74, 1998.
BLEAKLEY, A. Adrift without a life belt: reflective self-assessment in a postmodern age.
Teaching in Higher Education, London (UK), v. 5, n. 4, p. 405-418, 2000.
BOTOM, S. P. Formulao de objetivos terminais de programa de ensino. In:
CORTEGOSO, A. L.; COSER, D. S. Elaborao de programas de ensino: material
autoinstrutivo. So Carlos (SP): EDUFSCAR, 2011 [1977]. p. 58-78.
BOUD, D.; COHEN, R.; SAMPSON, J. Peer learning and assessment. Assessment and
Evaluation in Higher Education, London (UK), v. 24, n. 4, p. 413-426, 1999.
BOUD, D.; FALCHIKOV, N. Aligning assessment with long-term learning. Assessment and
Evaluation in Higher Education, London (UK), v. 31, n. 4, p. 399-413, 2006.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (INEP).
Avaliao interna de instituio. Braslia: INEP, 2008. Disponvel em:
<http://portal.inep.gov.br/c/journal/view_article_content?groupId=10157&articleId=14153&v
ersion=1.0>. Acesso em: 10 jul. 2014.
BRYMAN, A. Quantity and quality in social research. 5th Ed. London (UK): Routledge,
1995.
CRESWELL, J. W. Projeto de pesquisa: mtodos qualitativo, quantitativo e misto. Porto
Alegre: Artmed, 2010.
134
135
136
137
Abstract
The evaluation processes of the Sistema de Avaliao da Educao Bsica (SAEB), conducted by
the Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (INEP), have been used
as diagnostic tools, which support the development of educational public policies. As a way of
improving these evaluation instruments, and reducing inconsistencies (inaccuracies) semantictechnology verified, this Masters Thesis presents an ontology, called OntoSAEB, which aims to
support the development of a common vocabulary for providing the design and review of items
(questions), so they are readable and understood by computers, and aggregated by context
information. For this process to be feasible, two (2) moments a previous or simultaneous, and
another one after items production were fundamental to consolidate this ontology: a) 1st Moment:
when items are produced, it was guaranteed an integrated access to relationships belonging to
concepts of Descriptors, Abilities and Structural Axes of Matrixes of Reference of the SAEB with the
controlled vocabulary Thesaurus Brasileiro da Educao (BRASED), supported by this ontology to
establish consistency (precision) semantics; b) 2nd Moment: once items are produced and are under
review, we demonstrate the interoperability between concepts and/or processes/ activities and from
these concepts to specific individuals presented in semantically related data sources, in this case,
*
Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (INEP); Programa de Ps-Graduao
em Mtodos e Gesto em Avaliao (PPGMGA) da Universidade Federal de Santa Catarina (UFSC).
**
Programa de Ps-Graduao em Mtodos e Gesto em Avaliao (PPGMGA) da Universidade Federal de
Santa Catarina (UFSC).
138
items stored in the Banco Nacional de Itens (BNI). The improvement in the drafting and review of
assessment items is the contribution of this work.
Key Words: Semantic Interoperability. Ontology. SAEB.
1 INTRODUO
A produo de dados e informaes em avaliao educacional na gesto pblica da
atualidade tem aumentado de forma vertiginosa, visto que as aes e decises tomadas nesse
mbito de atuao apresentam um crescimento constante que reflete na ampliao desses
insumos estratgicos. Entretanto, quando das etapas de elaborao e da reviso tcnicopedaggica de itens de avaliao para montagem dos exames do Sistema de Avaliao da
Educao Bsica (SAEB)3 composto pelos processos avaliativos de mbito nacional, tais
como Avaliao Nacional de Alfabetizao (ANA), Avaliao Nacional da Educao Bsica
(ANEB) e Avaliao Nacional do Rendimento Escolar (ANRESC) , foi constatada a
necessidade de aperfeioamento na padronizao de vocabulrio para leitura e compreenso
por mquina (computador) de termos/conceitos utilizados nessas avaliaes. Assim, tanto
neste processo inicial de produo quanto no de reviso tcnico-pedaggica4, evidncias de
pesquisa (anlise de documentos, verificao emprica e questionrios aplicados aos
elaboradores e revisores de itens do SAEB) mostram que uma uniformizao conceitual seja
com o uso de termos/conceitos nicos ou similares subsidia uma semi-automatizao na
construo e reviso de itens de prova do SAEB no Sistema Banco Nacional de Itens (SBNI).
Em suma, e contextualizado a necessidade de implementao de um vocabulrio
comum na educao brasileira, este artigo apresenta uma ontologia referente elaborao e
reviso dos itens de avaliao do SAEB, com nfase a uma classe de mapeamento que
conecta termos/conceitos derivados a partir do BRASED com algum conceito equivalente de
outra fonte de dados (por exemplo, alguma Matriz de Referncia do SAEB no BNI),
obedecidas suas respectivas relaes de similaridade. A finalidade da ontologia deste trabalho
que a mesma sirva como mecanismo de interoperabilidade semntica entre o sistema BNI e
SAEB, tendo o BRASED como base. A fundamentao para este trabalho encontra-se na
eficincia que este recurso de interoperabilidade semntica traria ao elaborador e revisor de
itens no uso do sistema BNI.
Cabe ressaltar que, no momento do processo de reviso dos itens foi identificado,
atravs de dados de pesquisa obtidos junto rea tcnica do INEP, a existncia de uma
quantidade considervel de descartes (reprovao) por critrios tcnico-pedaggicos,
psicomtricos e/ou outros que, segundo uma anlise prvia deste trabalho, poderiam ser
reduzidos por meio de uma semi-automatizao aportada por um vocabulrio comum. Esses
fatores foram determinantes para apresentao de uma proposta de representao conceitual
unvoca e interopervel, sob a forma de uma ontologia, visando uma
compreenso/interpretao de significados consistentes (precisos) por mquina para a
produo e reviso de itens dos exames do SAEB, tendo como consequncia a eficincia na
A primeira avaliao do SAEB ocorreu em 1990, sendo que importantes inovaes so incorporadas a sua
aplicao no perodo de 1995 a 2001. Em 2005 surge a Avaliao Nacional do Rendimento Escolar
ANRESC/ Prova Brasil. (BRASIL, 2008).
4
O termo reviso tcnico-pedaggica ser utilizado, daqui por diante, como sendo reviso.
139
Protg um software para construo de ontologias e foi desenvolvido pela Stanford Center for Biomedical
Informatics Research (BMIR) na Stanford University School of Medicine.
140
141
142
4 TRABALHOS RELACIONADOS
Grande parte dos trabalhos relacionados se diferencia da OntoSAEB por enfatizar
ontologias de avaliao da aprendizagem distncia (EAD). Nesse mbito, tambm se
enquadram trabalhos na rea de e-Learning (aprendizagem eletrnica distncia). O principal
diferencial da OntoSAEB em relao a esses trabalhos que nenhum enfatiza a questo de
interoperabilidade semntica envolvendo diversas fontes de dados.
Dentro de um enfoque temtico semelhante proposta da OntoSAEB, destaca-se a
contribuio de Jos Casimiro Nunes Pereira (2009) com o estudo Modelo Gerador de
Questes: uma Nova Proposta. Esse estudo traz uma abordagem com uso de padro de
metadados aperfeioado sobre Objetos de Aprendizagem (Learning Object Metadata - LOM),
em especial na construo de modelo prprio, denominado MathML6, em projeto de
aprendizagem (PmatML) de matemtica. De forma geral, esse estudo contribui para a
OntoSAEB na medida em que se prope que os significados das frmulas matemticas sejam
compreendidos para leitura de mquina, atravs de agregao semntica, com vistas
aprendizagem educacional.
Outras abordagens semelhantes OntoSAEB so as seguintes: i. Um processo
automatizado para tratamento de dados e conceitualizao de ontologias com apoio de
visualizao de Hernandes (2009); ii. OntoQue: um mecanismo de produo de itens de
avaliao educacional baseado em ontologias de domnio Maha Al-Yahya (2011); iii.
SeMCQ Protg Plugin for Automatic Ontology-Driven Multiple Choice Question Tests
Generation Tosic; Cubric (2009).
Em Hernandes (2009), apresentada uma tcnica de visualizao como forma de
permitir ao usurio a anlise de dados e, alm da padronizao sinttica das questes, a
abstrao efetiva de novas informaes sobre os vrios questionrios e conhecimento da
estrutura das avaliaes. De forma geral, a tcnica de visualizao proposta forneceu suporte
definio da ontologia para o contexto de avaliaes do INEP, tendo como objetivo a
padronizao na utilizao dos termos aplicados nas questes.
No estudo de Maha Al-Yahya (2011), foram descritos o projeto, implementao e
avaliao da OntoQue, um sistema de gerao de questo que auxilia o instrutor na produo
automtica de itens de avaliao utilizando uma ontologia de domnio. J em Tosic e Cubric
(2009), um framework e um prottipo de um Gerador Semntico de Questes de Mltipla
Escolha (Semantic Multiple Choice Questions SeMCQ) apresentado. Aos usurios
fornecido uma variedade de questes geradas com base em diferentes ontologias. Esses
trabalhos foram teis para a presente pesquisa tendo em vista que a modelagem de gerao de
questes e avaliao de ontologias pode ser incorporada ontologia OntoSAEB.
A MathML um dialeto da linguagem XML usado para descrever de forma fcil e precisa expresses
matemticas em documentos a disponibilizar na World Wide Web. A MathML pode ser usada para apenas
representar as expresses matemticas no ecr ou ento, para em simultneo, transmitir tambm o seu
significado (Ausbrooks, R. et al., 2007, apud PEREIRA, 2009, p. 31).
143
Legenda:
x: termo a ser pesquisado no Tesauro.
y: item do teste de desempenho.
144
OntoSAEB
BRASED
Elaborador e
Revisor de Itens
do SAEB
Computador
BNI
145
146
147
Requisito
Insumo
Termo:
UP (no-descritor):
TA (Termo Associado):
Percepo
Percepo sensorial
Teste de Percepo; Deficincia da Percepo;
Termo
Apreenso; assimilao; compreenso; discernimento;
(BRASED) TS (Termo Similar):
entendimento;
Notas: 1. So termos com conceitos equivalentes, apesar de no serem considerados
descritores para a indexao no BRASED; 2. Campo proposto, pelo autor, para incluso.
(...) - Registro mental consciente de um registro sensorial. Ato, efeito ou faculdade de
perceber. Funo por meio da qual o esprito forma uma representao dos objetos
Conceituaes:
exteriores. Resposta do indivduo a uma situao exterior (DUARTE, S.G. DBE,
1986).
Fonte: adaptado de CIBEC-INEP (2015).
Televiso
1 (...).
5 Bicho imitando gente muito mais engraado do que gente imitando gente, como
nas telenovelas. No gosto muito de programas infantis com gente fingindo de
criana. Em vez de ficar olhando essa gente brincar de mentira, prefiro ir brincar de
Texto
verdade com meus amigos e amigas.
10 (...).
Enunciado
Alternativas
Opo de alterao de
termo no enunciado do
item de avaliao
148
termo compreenso como uma das possibilidades de substituio semntica, tendo em vista
o contexto em que o mesmo est inserido no texto-base.
Sendo assim, conforme o Quadro 1, o Descritor representado na OntoSAEB pelo
indivduo D10_5_ano_EF_LP, instncia da classe Descritores do 5 Ano do Ensino
Fundamental de Lngua Portuguesa, que, por sua vez, subclasse de Descritor de Lngua
Portuguesa; essa, ainda, sendo um Descritor Referencial que, igualmente, parte de (ispart-of) Matriz de Referencia Aneb e Anresc tendo essa as seguintes instncias como
superordenao: a classe Instrumento de Referncia seguido de Instrumento de
Avaliao. Dessa maneira, para que esse Requisito possa estar alinhado ao Insumo de forma
a apoiar a elaborao/reviso do item de avaliao, faz-se necessrio que o Item atenda ao
Descritor (meets-descriptor-of) e seja apoiado por Termo (is-supported-by), neste caso um
Termo Similar apresentado pelo BRASED, compatvel com (is-compatible-with) a Matriz
Conceitual. O resultado demonstrado no subcampo Opo de alterao de termo no
enunciado do item de avaliao, do campo Item de avaliao elaborado/revisado, com a
apresentao do termo compreende como possvel uso semntico na composio do Item.
7 CONSIDERAES FINAIS
A contribuio deste trabalho o projeto e desenvolvimento da OntoSAEB, cujo
objetivo fundamentar a elaborao de um vocabulrio comum para subsdio concepo e
reviso de itens (questes), de forma que sejam legveis e compreendidos por mquina, e
agregados por informaes de contexto.
Atravs da OntoSAEB, o aprimoramento do processo de produo e reviso dos itens
de avaliao ficou evidenciado com a demonstrao de recursos ontolgicos que possibilitem
a mitigao das inconsistncias e ambiguidades semnticas para uma compreenso em
linguagem de mquina.
Desse entendimento, depreende-se que um vocabulrio comum dever ser aprimorado
nos aspectos de elaborao, em um trabalho futuro, atravs da consecuo desta ontologia de
fundamentao. Ainda assim, com a leitura e compreenso de mquina dos itens, poder-se-
implementar a semi-automatizao da elaborao/reviso dos itens pelo INEP; auxiliando-se,
ento, os elaboradores/revisores de itens no processo de formulao/reviso das questes dos
exames do SAEB.
Igualmente, entende-se como um trabalho futuro a incorporao de outras ontologias
que complementem ou aprimorem esta proposta, com vistas a busca de uma viso geral da
avaliao da educao bsica.
Um maior detalhamento da OntoSAEB encontra-se na dissertao de Mestrado que
est sendo elaborada no mbito do Programa de Ps-Graduao em Mtodos e Gesto em
Avaliao (PPGMGA), da Universidade Federal de Santa Catarina (UFSC).
REFERNCIAS
AL-YAHYA, Maha. OntoQue: a question generation engine for educational assesment based on
domain ontologies. In: Advanced Learning Technologies (ICALT), 2011, 11th IEEE International
Conference on. IEEE, 2011, p. 393-395.
149
BERNERS-LEE, T.; HENDLER, J.; LASSILA, O. The Semantic Web: A new form of Web content
that is meaningful to computers will unleash a revolution of new possibilities. Scientific American
Magazine, 2001 May; 284 (5): 34-43.
BRASIL. Ministrio da Educao. Secretaria de Educao Bsica. PDE/SAEB: Plano de
Desenvolvimento da Educao (2011). Braslia, DF: MEC, SEB; Inep, 2008.
FEITOSA, Ailton. Organizao da Informao na Web: das tags web semntica. Braslia, DF:
Thesaurus, 2006.
GRUBER, T. R. A translation approach to portable ontology specifications. Knowledge
Acquisition, 5:199220, 1993.
HADZIC, Maja et al. Ontology-Based Multi-Agent Systems. Berlim, Alemanha: Springer-Verlag,
2009. Studies in Computational Intelligence (srie), v. 219.
HERNANDES, Elis Cristina Montoro. Um processo automatizado para tratamento de dados e
conceitualizao de ontologias com apoio de visualizao. Mestrado (Cincia da Computao). So
Carlos: UFSCar, 2010. 169 p.
HINZ, Verlani T. Proposta de Criao de uma Ontologia de Ontologias. Trabalho Individual
(disciplina do Programa de Ps-Graduao em Informtica PPGINF). Pelotas, RS: UCPel, 2006.
INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANSIO TEIXEIRA
(INEP). Diretoria de Avaliao da Educao Bsica (DAEB). Guia de Elaborao e Reviso de
Itens. Braslia, DF: INEP/DAEB, 2010. Vol. 1.
________. Centro de Informao e Biblioteca em Educao (CIBEC). Pesquisa Tesauros. Portal
Pergamum.
Disponvel
em:
<http://pergamum.inep.gov.br/pergamum/biblioteca/
pesquisa_thesauro.php?resolution2=1024_1>. Acesso em: 15 fev. 2015.
________. Diretoria de Avaliao da Educao Bsica (DAEB). Aneb e Anresc (Prova Brasil):
exemplos de questes: comentrios das questes. Matriz de Lngua Portuguesa de 4 srie:
comentrios sobre os Tpicos e Descritores: exemplos de itens. Tpico VI (Variao Lingstica).
Disponvel em: <http://portal.inep.gov.br/web/saeb/exemplos-de-questoes2>. Acesso em: 05 jan.
2015.
OBRST, Leo. Ontological Architectures. In: Theory and Applications of Ontology: Computer
Applications, R. Poli et al. (eds.), s.l., Springer, 2010.
PEREIRA, Jos Casimiro Nunes. Modelo Gerador de Questes: uma nova proposta. 133 f.
Dissertao (Mestrado) - Curso de Gesto da Informao, Departamento de Economia, Gesto e
Engenharia Industrial, Universidade de Aveiro, Portugal, 2009.
SCHREIBER, Guus. Knowledge Engineering. In: Handbook of Knowledge Representation, Frank
van Harmelen et al., Netherlands, Elsevier, 2008.
STUDER, R.; BENJAMINS, R.; FENSEL, D. Knowledge engineering: Principles and methods. Data
& Knowledge Engineering, 25(12):161198, 1998.
150
TOSIC, M.; CUBRIC, M. SeMCQ Protg Plugin for Automatic Ontology-Driven Multiple Choice
Question Tests Generation, 11th International Protg Conference, Amsterdam, Holanda, 2009.
151
LISTA DE AUTORES
ANTUNES, Bruno Cesar .........................................................................................
ARCHER, Aline Battisti ..........................................................................................
BARBETTA, Pedro Alberto .....................................................................................
BARBOSA, Maria Luiza Rosa .................................................................................
BASTOS, Rogrio Cid .............................................................................................
BENTANCOURT, Silvia Maria Puentes .................................................................
CARDOSO, Thuine Lopes .......................................................................................
CISLAGHI, Renato ..................................................................................................
COELHO, Maristela Denise ...................................................................................
CORREIA, Leonardo Ruas .....................................................................................
CRUZ, Roberto Moraes ..........................................................................................
EBONE, Denise Santin ............................................................................................
ENSSLIN, Sandra Rolim .........................................................................................
FRANCISCO, Thiago Henrique Almino .................................................................
GARCIA, Maria Virginia de Moraes ......................................................................
GAUTHIER, Fernando Alvaro Ostuni ....................................................................
GESSI, Nedisson Luis .............................................................................................
GODOY, Leoni Pentiado ........................................................................................
GOMES, Diego Eller ..............................................................................................
GONALVES, Lidiane da Silva Cesar ...................................................................
KLEIN, Vincius Barreto .........................................................................................
KLEMANN, Angela Maria ......................................................................................
LEONARDI, Juliana ...............................................................................................
MELLO, Ronaldo dos Santos ..................................................................................
NAKAYAMA, Marina Keiko ....................................................................................
NASSAR, Silvia ........................................................................................................
POLACINSKI, Edio ................................................................................................
SANTANA, Dulce Cristina Arcoverde de Souza .....................................................
SANTOS, Leandro Dorneles dos .............................................................................
SENKO, Luiz Gustavo Moro ...................................................................................
SERVAT, Marcos Eduardo .....................................................................................
SOUZA, Izabel Regina de .......................................................................................
TEZZA, Rafael .........................................................................................................
TODESCO, Jos Leomar ........................................................................................
VALMORBIDA, Sandra Mara Iesbik ......................................................................
VIEIRA, Nara Nbia ...............................................................................................
WILGES, Beatriz .....................................................................................................
61
125
115
125
21
21
87
73
61
9
125
21
87
61
47
35
9
9
125
47
103
125
73
137
61
73
9
35
137
103
9
61
47
103
87
115
73
152