Escola (WIE 2002), XXII Congresso da SBC. Florianpolis. Sociedade Brasileira de Computao, 15-19 julho, 2002.

A caminho de um modelo de apoio avaliao contnua

Joice Lee Otsuka, Helosa Vieira da Rocha
Instituto de Computao Universidade Estadual de Campinas (Unicamp)1 Caixa Postal 6176 CEP: 13083-970 - Campinas, SP Brasil {joice,heloisa}@ic.unicamp.br

Abstract The continuous assessment process and the difficulties found in online assessment overloads the educators activities. In this paper we present the first proposal of the functionalities of a continuous assessment support based on interface agents. Keywords: distance education, continuous assessment, interface agents. Resumo O processo de avaliao contnua e as dificuldades intrnsecas da avaliao online geram uma sobrecarga de atividades para o professor. Neste trabalho apresentamos as funcionalidades de um modelo inicial de apoio avaliao contnua baseada em agentes de interface. Palavras-chave: educao distncia, avaliao contnua, agentes de interface.
1 Introduo

A Educao Distncia mediada por computador vem ganhando grande espao devido rpida capilarizao da Internet na ltima dcada. Com o crescimento desta forma de educao aumenta a polmica em torno de uma questo: como tem sido a avaliao nos cursos distncia? Em muitos cursos a avaliao realizada por meio de provas presenciais no final do curso. No entanto, neste caso a avaliao apenas verifica os resultados, no havendo o acompanhamento e mediao do processo de aprendizagem dos alunos. Com a EaD baseada nos servios da Internet possvel a realizao de uma avaliao distncia mediada por computador, tambm conhecida como avaliao online, complementando ou mesmo substituindo a presencial. A avaliao realizada distncia mais complexa, por no termos o feedback das interaes face a face, que possibilita uma avaliao informal da aprendizagem do aluno, dando indcios da compreenso e interesse deste. Tambm existe a questo da autenticao do usurio, ou seja, como podemos garantir que quem est realizando a avaliao realmente quem diz ser? Quando realizada por intermdio do computador, surgem novos problemas, como a necessidade de acesso aos recursos computacionais, habilidades tcnicas requeridas, a falta de riqueza de expresso da comunicao predominantemente textual, alm dos problemas tcnicos [Ker 00]. Por outro lado, a avaliao distncia mediada por computador oferece diversas vantagens, como a distribuio fcil e barata, a simplicidade e rapidez das atualizaes, grande interatividade possibilitada pelos mecanismos de comunicao, facilidade para prover feedback, alm do registro das interaes para posterior anlise [Tar 00, Tho 98]. Muitas pesquisas tm sido desenvolvidas para prover suporte avaliao online, visando diminuir as suas restries e explorar as vantagens desta forma de avaliao. Duas linhas de pesquisa principais podem ser identificadas: o suporte avaliao baseada em testes objetivos e o suporte avaliao contnua. Os testes objetivos ganharam grande popularidade nos sistemas de EaD devido rapidez e facilidade da aplicao e gerao imediata de feedback. As pesquisas sobre suporte aos testes objetivos esto concentradas no estudo de formas de armazenamento de questes que
1

Este trabalho est sendo desenvolvido em parceria com Ncleo de Informtica Aplicada Educao (NIED) da Unicamp

permitam maior flexibilidade na apresentao dos testes. Uma linha de pesquisa encontrada est relacionada com a gerao de questionrios personalizados sob demanda, de acordo com os parmetros solicitados pelo autor/professor [Bru 99]. Outra linha de pesquisa envolve o desenvolvimento de questes adaptativas, de acordo com a anlise do conhecimento do aluno em diferentes conceitos e tpicos, representado pelo modelo do aluno[Kar 01]. A avaliao contnua realizada por meio do acompanhamento das contribuies do aluno no curso, e tem grande importncia na EaD por possibilitar a percepo do comportamento do aluno, favorecer a identificao de problemas, alm de permitir alguma forma de autenticao da identidade do aluno, pela familiarizao com o estilo e habilidades do mesmo. Na linha do suporte avaliao contnua, as pesquisas concentram-se no estudo de ferramentas que facilitem o acompanhamento e anlise do grande volume de dados gerado pelas aes dos alunos nos cursos. Algumas pesquisas empregam a tecnologia de agentes de software que atuam filtrando e analisando as participaes dos alunos por meio dos registros das interaes [Jac 00], ou acompanhando, analisando e gerando feedback [Mus 01, She 01]. Tambm so encontradas pesquisas que envolvem o registro das interaes dos alunos e a aplicao de tcnicas de data mining para a extrao e inferncia de padres de comportamento [Sil 01, Za 01]. A pesquisa em andamento descrita neste artigo tem como objetivo propor um modelo de apoio avaliao contnua para o ambiente TelEduc. A seguir so apresentadas as funcionalidades bsicas do modelo inicial proposto e algumas consideraes que nortearam a sua definio. O TelEduc2 um ambiente de criao, participao e administrao de cursos distncia na Web que vem sendo desenvolvido desde 1997, pelo Ncleo de Informtica aplicada Educao (NIED) em parceria com o Instituto de Computao (IC), ambos da Unicamp. O TelEduc tem sido desenvolvido de forma participativa, tendo todas as suas ferramentas idealizadas, projetadas e depuradas segundo as necessidades relatadas por seus usurios [Roc 02]. Pesquisadores do NIED tm usado o TelEduc para a formao de professores totalmente distncia, por meio de uma aprendizagem baseada no construcionismo contextualizado, um conceito desenvolvido no NIED, que envolve o acompanhamento e assessoramento constante dos alunos, e o uso macio e significativo do computador nos locais onde estes alunos atuam, possibilitando a formao por meio da aplicao direta do conhecimento no seu contexto [Freire & Prado 1996 apud Roc 02]. Valente [2000] conclui que a experincia do Nied com a EaD baseada no construcionismo contextualizado mostra que esta abordagem uma soluo de alto custo, comparada s outras abordagens, devido a trs fatores: (1) o professor no consegue atender mais do que 20 alunos; (2) necessria uma equipe que auxilie no monitoramento das atividades dos alunos; (3) essa abordagem implica mudanas profundas no processo educacional, ainda no alcanados nem na educao presencial. No entanto, segundo Valente, esta abordagem utiliza a rede de maneira mais eficiente, explorando as verdadeiras potencialidades dessa tecnologia, e apresenta-se como um recurso que
2

Delineando um modelo de apoio avaliao para o TelEduc

O Teleduc um software livre e est disponvel em http://teleduc.nied.unicamp.br

pode facilitar o processo de mudanas na escola, nos permitindo entender como propiciar as condies para o aprendiz construir o conhecimento, contextualizado na sua realidade e de maneira contnua. A avaliao neste contexto contnua e baseada na anlise da participao dos alunos. Atualmente, a avaliao no TelEduc realizada por meio do acompanhamento dos registros das ferramentas de comunicao e auxlio dos dados gerados pelas ferramentas Acessos e InterMap. A ferramenta Acessos permite a gerao de relatrios sobre os acessos dos alunos ao curso ou s ferramentas do mesmo, e a ferramenta InterMap utiliza tcnicas de visualizao de informaes para mapear as interaes realizadas, facilitando a visualizao das participaes dos alunos [Rom 00]. Os trabalhos atuais do grupo TelEduc, no escopo de suporte avaliao, esto direcionados ao apoio anlise qualitativa da participao dos alunos. Neste escopo, esto sendo desenvolvidos trs projetos: um sistema baseado em agentes de interface para o suporte anlise e seleo de mensagens relevantes em sesses de bate-papo; um projeto de (re)design das ferramentas do TelEduc, que visa facilitar o registro das avaliaes realizadas ao longo do curso, bem como a posterior recuperao, consolidao e anlise dos dados destas avaliaes; e este trabalho, que engloba os dois projetos anteriores, na tentativa de prover suporte efetivo s principais funes desempenhadas pelo professor na avaliao online contnua [Tel 02]. A participao recente em um curso de formao de professores totalmente distncia, baseado no construcionismo contextualizado, possibilitou o levantamento dos principais papis desempenhados pelo professor durante o processo de avaliao neste contexto. Estes so resumidos a seguir: (1) Elaborao das atividades: seleo do contedo e habilidades a serem explorados e da metodologia de avaliao; (2) Acompanhamento: anlise do comportamento do aluno, deteco de problemas e elaborao de relatrios; (3) Orientao: intervenes construtivas no processo de aprendizagem, motivao da participao ativa e da colaborao; (4) Anlise do aproveitamento: coleta e anlise das informaes necessrias para a verificao do aproveitamento do aluno no desenvolvimento de uma atividade. O objetivo desta pesquisa propor um modelo de apoio avaliao para o TelEduc, a fim de diminuir a sobrecarga de tarefas geradas para o professor. No entanto, pretende-se propor um modelo de apoio avaliao que no limite o uso do TelEduc abordagem construcionista. O modelo proposto inicialmente baseado na tecnologia de agentes de software, que so entidades de software que atuam de forma contnua e autnoma em um determinado ambiente, sendo capazes de intervir no seu ambiente, de forma flexvel e inteligente, sem necessidade da constante orientao humana [Bra 97]. Mais especificamente, sero usados agentes de interface, que so aqueles que aprendem observando e monitorando as aes dos usurios em uma interface, e atuam como assistentes pessoais, colaborando com o usurio e com outros agentes na realizao de determinadas tarefas [Mae 95]. Estes agentes atuaro observando e aprendendo com os professores, procurando fornecer auxlio flexvel e personalizado s necessidades de cada professor. Inicialmente o modelo composto por trs mdulos, cujas funcionalidades so apresentadas a seguir: Mdulo de Acompanhamento: (1) rastreamento das interaes dos alunos e do andamento das tarefas; (2) seleo e apresentao das informaes de acompanhamento relevantes ao professor; (3) deteco de possveis problemas (falta de acesso, falta de interao, atraso de tarefas, etc); (4) gerao de relatrios de

acompanhamento da participao dos alunos, de acordo com o interesse do professor; Mdulo de Auxlio Anlise de Aproveitamento: (1) seleo e apresentao das informaes relevantes ao professor para a anlise final do aproveitamento do aluno em uma atividade; (2) auxlio na atribuio do conceito final, por meio da observao dos critrios usados pelo professor na anlise das informaes apresentadas; Mdulo de Validao: (1) construo dinmica do profile do aluno, refletindo o nvel de conhecimento destes em tpicos e sub tpicos do curso; (2) validao de resultados de avaliaes anteriores por meio da promoo da colaborao entre alunos (por exemplo, solicitando que alunos respondam a dvidas em um frum ou comentem atividades do portflios, de acordo com as indicaes de seus profiles).
Consideraes Finais

Atualmente esto sendo realizadas a especificao dos mdulos descritos e a anlise de viabilidade de integrao destes ao ambiente TelEduc. O modelo proposto parte de um trabalho de doutorado em andamento.
4 Referncias Bibliogrficas
Bradshaw, J. M. An Introduction to software Agents . In: Bradshaw, J. M. (Ed.). Software Agents. Massachussetts: MIT Press 1997. Brusilovsky, P.; Miller, P. Web-based Testing for Distance Education. In: Webnet World Conference on WWW and Internet, 1999. Jaques, P. Um Experimento com Agentes de Software para Monitorar a Colaborao em Aulas Virtuais. Workshop de Informtica na Escola, 2000. Karagiannidis, C.; Sampson, D.; Brusilovsky, P. Layered Evaluation of Adaptive and Personalized Educational Applications and Services. In: International Conference on Artificial Intelligence in Education, San Antonio, Texas, 2001. Kerka, S.; Wonacott, M. Assessing Learners Online. ERIC/ACVE, 2000. Disponvel em: http://ericacve.org/docs/pfile03.htm Maes, P. Agents that Reduce Work and Information Overload. Communications of the ACM. 38(11), novembro, 108-114. Musa, D.; Oliveira, J.; Vicari, R. Agente para auxlio a avaliao de aprendizagem em ambientes de ensino na Web. In:Workshop de Informtica na Escola, 2001. Rocha, H. O ambiente TelEduc para Educao Distncia baseada na Web: Princpios, Funcionalidades e Perspectivas de desenvolvimento. In: Moraes, M.C. (Org). Educao Distncia: Fundamentos e Prticas. Campinas, SP:Unicamp/Nied, 2002, pp. 197-212. Romani, L. Intermap: Ferramenta para Visualizao da Interao em Ambientes de Educao a Distncia na Web. Dissertao de Metrado, IC/Unicamp, dez 2000. Shen, R. The Intelligent Assessment System in Web_based Distance Learning Education In: 31th ASEE/IEEE Frontiers in Education Conference, 2001 Silva, D. R.; Seno, W. P.; Vieira, M. T. P.; Acompanhamento do Aprendizado em Educao a Distncia com Uso de Data Mining. In: Conferncia Latinoamericana de Informtica, Mrida, Venezuela, 2001. Tarouco, L.; de Vit, A. R.; Hack, L.; and Geller, M. Supporting Group Learning and Assessment through Internet. In: Trans-European Research and Education Networking Association Conference, Lisboa, Portugal, Maio 2000. Home Page do Grupo de Pesquisa Teleduc (Nied e IC/Unicamp). Disponvel no endereo: http://hera.nied.unicamp.br/teleduc/ Thorpe, M. Assessment and 'Third Generation' Distance Education. Distance Education 19, no. 2 (1998): 265-286. (EJ 582 131). Valente, J. A. Educao a Distncia: Uma oportunidade para Mudana no Ensino. In: Maia, C. (Org.). Educao a distncia no Brasil na era da Internet. So Paulo: Anhembi Morumbi Editora, 2000, pp. 97-122. Zaane, O.; Luo, J. Towards Evaluating Learners Behaviour in a Web-Based Distance Learning Environment. In: ICALT 2001. [Bra 99] [Bru 99] [Jaq 00] [Kar 01]

[Ker 00] [Mae 95] [Mus 01] [Roc 02]

[Rom 00] [She 01] [Sil 01]

[Tar 00]

[Tel 02] [Tho 98] [Val 00]

[Za 01]