8PD SURSRVWD GH FKHFNOLVW SDUD YHULILFDomR GH TXDOLGDGH HP SURFHVVRV GH GHVHQYROYLPHQWR GH VRIWZDUHV HGXFDFLRQDLV

7UDEDOKR 7pFQLFR Abstract. This paper purpose a checklist to verify the quality of courseware development process, presenting a set of quality criteria to be used in this evaluation and a checklist application methodology to obtain qualitative and quantitative results. This paper also presents the checklist application results in three courseware development processes. Keywords: Checklist, Courseware, Development Processes, Quality criteria. Resumo. Este artigo prope um checklist para verificao de qualidade em processos de desenvolvimento de softwares educacionais, apresentando um conjunto de critrios de qualidade a serem utilizados nessa avaliao e uma metodologia para aplicao do checklist, para obter resultados qualitativos e quantitativos. Adicionalmente, este artigo apresenta o resultado da aplicao desse checklist em trs processos de desenvolvimento de softwares educacionais. Palavras-Chaves: Checklist, Software Desenvolvimento, Critrios de Qualidade.  ,QWURGXomR O emprego de atividades metdicas e sistemticas no desenvolvimento de softwares essencial para garantir a qualidade do produto. A Engenharia de Software utiliza os Processos de Desenvolvimento para oferecer nveis de qualidade cada vez melhores ao produto final, embora (ROCHA et al., 2001, p. 126) ressaltem que a qualidade do processo essencial para a obteno da qualidade do produto, mas no suficiente para garantir essa qualidade. No entanto, como saber qual a qualidade de um dado processo sem aplic-lo efetivamente em um (ou mesmo diversos) projeto(s) de software(s) real(is)? Uma alternativa utilizao do processo (atividade essa que seria muito custosa) verificar quais critrios de qualidade ele permite implementar no desenvolvimento do software e qual o tratamento dado a esses critrios, ou seja, identificar quais critrios de qualidade so abordados e qual o grau de importncia/detalhamento atribudo a esses critrios dentro do contexto do processo. Normalmente, uma equipe de desenvolvimento j possui experincia em pelo menos um conjunto de critrios de qualidade, sejam eles adotados de uma abordagem j existente ou criados pelos prprios desenvolvedores. Esse mesmo conjunto pode ser utilizado para analisar um processo e mensur-lo qualitativamente e quantitativamente. Dessa forma, aplicando uma verificao, proposta nesta pesquisa na forma de um checklist, o desenvolvedor ter um indicador da qualidade desse processo e poder us-lo para, por exemplo, escolher um dentre vrios processos de desenvolvimento a utilizar em um determinado projeto. Educacional, Processos de

Esta pesquisa surgiu da necessidade de comparar diversas bibliografias de desenvolvimento de Softwares Educacionais (SE), em (MARTINS et al., 2003), de modo que pudessem auxiliar na criao de um novo processo de desenvolvimento. No contexto do desenvolvimento de SE, j existem algumas propostas de estudos que buscam atender qualidade no processo. Essas propostas foram analisadas e comparadas entre si, segundo um conjunto de critrios de qualidade adotado, para identificar quais suas similaridades e diferenas. Nas prximas sees sero apresentados os critrios de qualidade utilizados para analisar o desenvolvimento de softwares educacionais, a metodologia para aplicao do checklist e o resultado de uma aplicao desse checklist.  &ULWpULRV GH 4XDOLGDGH QR GHVHQYROYLPHQWR GH 6RIWZDUHV (GXFDFLRQDLV Ao discutir qualidade em processos de desenvolvimento, necessrio primeiramente definir quais critrios devem ser analisados. Porm, tratando-se de SE, esses critrios tornam-se particularmente difceis de serem definidos porque, alm desse no ser um conceito peculiar ao software (ROCHA et al., 2001), o desenvolvimento desse tipo de sistema intrinsecamente multidisciplinar. Para o checklist proposto nesta pesquisa, foi adotada a classificao sugerida por (GAMEZ, 1998), onde o autor expe que a qualidade em softwares educacionais relacionase aos seguintes aspectos: Critrios de carter tcnico/operacional na construo de sistemas; Critrios organizacionais relacionados produo de sistemas; Critrios de carter pedaggico e Critrios relacionados interface dos produtos. Baseado nessa classificao buscou-se ento os critrios de qualidade relacionados com o desenvolvimento de SE, tanto em literaturas especficas desses sistemas quanto de engenharia de softwares em geral. Os subtpicos seguintes expem quais critrios de qualidade foram considerados no checklist. 2.1 Critrios de carter tcnico/operacional na construo de sistemas Por mais que os SE se apresentem como uma classe de software diferente dos sistemas comuns, necessrio que seu desenvolvimento obedea s mesmas prticas de engenharia de softwares aplicadas a sistemas comerciais, objetivando-se produtos de boa qualidade. No foram encontrados critrios de carter tcnico/operacional na construo de sistemas especficos para softwares educacionais, mas atualmente existem normas visando a padronizao em desenvolvimento de sistemas de software regulamentada pela Associao Brasileira de Normas Tcnicas (ABNT). A norma que trata de processos de desenvolvimento um quesito da NBR ISO/IEC 12207 (Processos de ciclo de vida em software). A Figura 1 apresenta a estrutura da norma, onde pode-se verificar que o processo de desenvolvimento de software somente um dos cinco processos fundamentais que a compe entende-se por processo fundamental aquele que inicia ou executa o desenvolvimento e define as atividades do desenvolvedor, organizao que define e

desenvolve o produto de software. Os outros processos definidos so os processos de apoio e os processos organizacionais.

Figura 1. Representao da Estrutura da NBR ISO/IEC 12207

A NBR ISO/IEC 12207 descreve a arquitetura dos processos de ciclo de vida de software sem fornecer um modelo especfico de ciclo de vida ou mtodo de desenvolvimento. Essa caracterstica torna-a flexvel o suficiente para adequar-se s diferentes necessidades dos desenvolvedores e a diferentes processos de desenvolvimento. Assim, os envolvidos no desenvolvimento so responsveis pela implantao e mapeamento dos processos, atividades e tarefas propostas pela norma. Os critrios utilizados nesta pesquisa esto listados na Tabela 1 acompanhados de descries sucintas de suas respectivas definies.
Tabela 1. Critrios de qualidade de carter tcnico/operacional na construo de sistemas extrados do processo de desenvolvimento, segundo a NBR ISO/IEC 12207.

Critrios Implementao do processo

Descrio Devem ser selecionados os modelos de ciclo de vida, atividades, mtodos, ferramentas e linguagens de programao, com devidas adaptaes, se necessrio.

Anlise dos requisitos Realiza-se a definio da especificao de requisitos do sistema. do sistema Projeto da arquitetura Deve-se estabelecer uma arquitetura de alto nvel do sistema. do sistema Anlise dos requisitos Para cada item de configurao, o desenvolvedor deve estabelecer do software os requisitos. Projeto da arquitetura Deve-se transformar os requisitos do software em uma arquitetura do software que descreve sua estrutura em alto nvel e identifica os componentes do software. Projeto detalhado do software Nesta etapa, deve-se desenvolver um projeto detalhado para cada componente de software, sendo esses refinados em nveis mais baixos.

Codificao e testes do software Integrao do software Teste de qualificao do software

Nesta etapa, realiza-se o desenvolvimento e teste de cada unidade de software e base de dados. Deve-se desenvolver um plano de integrao e aplic-lo para as unidades e componentes do software e testar essas agregaes. Deve-se conduzir teste de qualificao de acordo com os requisitos do software.

Integrao do sistema Esta atividade consiste em integrar os itens de configurao de software ao sistema. Teste de qualificao do sistema Instalao do software Apoio aceitao do software Deve ser garantido que a implementao de cada requisito do sistema seja testada. Na instalao do software, deve-se desenvolver um plano para instalar o produto no ambiente-alvo. Finalmente, o desenvolvedor deve apoiar a reviso de aceitao do adquirente e testes, provendo treinamento e suporte, conforme acordados.

2.2 Critrios organizacionais relacionados produo de sistemas A qualidade de software tambm se preocupa com as estruturas organizacionais das entidades desenvolvedoras de software. A melhoria na qualidade da gesto de uma organizao pode levar diminuio de erros em projetos de software; demonstrao de maturidade e competncia no desenvolvimento de softwares; a desenvolver softwares de qualidade em maior escala; entre muitos outros fatores. Nesta pesquisa, sero utilizados os objetivos do modelo Software Process Improvement and Capability Determination (SPICE) como critrios organizacionais (GAMEZ, 1998). A Tabela 2 apresenta como critrios de qualidade os objetivos do SPICE.
Tabela 2. Critrios organizacionais relacionados produo de sistemas, propostos como os objetivos do SPICE.

Critrios Determinar capacidade Melhorar Processos Auto-avaliao

Descrio Permite s organizaes determinar a capacidade e potencial delas prprias para o desenvolvimento de softwares. Permite melhorar os processos de desenvolvimento e de manuteno de software. Proporciona a auto-avaliao mediante as habilidades da organizao para implementar um novo projeto de software.

2.3 Critrios de carter pedaggico Para analisar os critrios de carter pedaggico, ser utilizada a contribuio de Niquini (1996, apud SILVA, 1998), onde a autora destacou critrios pedaggicos para avaliar um SE. Na Tabela 3, encontra-se a especificao e descrio dos critrios pedaggicos sugeridos pela autora.

Tabela 3. Critrios pedaggicos, segundo Niquini (1996, apud SILVA, 1998)

Critrios

Descrio Devem estar bem-definidos, claramente expostos na documentao Objetivos para o docente e mostrado no programa para os alunos; Serem precisos, referindo-se a alguns aspectos como ateno e habilidades prticas, conceitos propostos ao nvel de formulao; Devem estar corretos e completos, o mais cientificamente possvel, Contedos dependendo do nvel de ensino dos alunos, tanto do ponto de vista dos conceitos como lingstico; Devem ser organizados de forma lgica e o tratamento do argumento deve ser feito de modo a conquistar o interesse do aluno; Devem adaptar-se idade e a preparao do aluno que o utiliza, por isso a necessidade de, por exemplo, percursos individualizados, exerccios com diferentes nveis de dificuldade e um desenvolvimento ramificado; Ter presente a modalidade de sua utilizao: autocontrole, aquisio Didtica de informaes, possibilidade de ilustraes e outras; Apresentar os tipos de intervenes: atividades, desenvolvimento, nmero de etapas percorridas, coordenao ou progressividade entre as etapas, tipos de corretivos, tipos de discusso e interao, possibilidade de retorno indireto etc; O software deve ser simples e facilitador, dando um enfoque de massa Capacidade ao computador; interativa O software deve evitar a sensao de medo ou preocupao; Apresentao do Um programa didtico deve oferecer vantagens em relao ao livro; Deve ser dinmico, dependendo do nvel de interatividade e de contedo individualizaes possveis; Deve possuir capacidade de manipular grande quantidade de dados, na presena de um eventual arquivo de dados, possivelmente modificveis. 2.4 Critrios relacionados interface dos produtos

Indiscutivelmente, uma das caractersticas mais importantes dos softwares educacionais a interface. Uma interface de boa qualidade influir diretamente na usabilidade do software. Durante a coleta de bibliografias desta pesquisa, foram encontradas diversas referncias ao desenvolvimento de interfaces. Uma delas, porm, se destacou das demais pela grande quantidade de critrios definidos: A Tcnica de Inspeo de Conformidade Ergonmica de Software Educacional (TICESE), apresentada em (GAMEZ, 1998), que possui um contedo relacionado a critrios de qualidade de interface muito mais completo que qualquer outra pesquisa encontrada e relaciona tanto a rea de ergonomia de SE quanto rea pedaggica. Na Tabela 4, encontram-se dispostos os critrios examinados pela TICESE e uma descrio sucinta de cada um deles.

Tabela 4. Critrios relacionados interface dos produtos, extrados da (GAMEZ, 1998)

Critrios Dados de identificao

Descries Verifica o grau de completude dos dados de identificao do produto, da identificao dos pr-requisitos tcnicos e pedaggicos, da identificao dos objetivos pedaggicos do produto, na documentao impressa e on-line. Refere-se qualidade da documentao impressa que acompanha o software. Refere-se aos meios disponveis para aconselhar, orientar, informar e conduzir o utilizador na interao com o computador. Verifica a capacidade do sistema em reagir conforme o contexto e as necessidades e preferncias do utilizador. Relaciona-se ao processamento explcito pelo sistema das aes do utilizador e ao controle do usurio sobre o processamento de suas aes no sistema. Refere-se ao apoio fornecido pelo software para auxiliar a compreenso dos contedos pedaggicos. A Gesto de Erros apresenta-se como os mecanismos que permitem evitar ou reduzir a ocorrncia de erros e, quando eles ocorrem, que favoream a sua correo. Refere-se aos meios disponveis no sistema para verificar a aprendizagem dos contedos. Refere-se aos elementos da interface que tm um papel importante na reduo da carga cognitiva e perceptiva do utilizador e no aumento da eficincia do dilogo.

Qualidade da informao impressa Conduo Adaptabilidade Controle explcito

Recursos de apoio compreenso dos contedos Gesto de erros

Avaliao da aprendizagem Carga de trabalho

Significado dos cdigos Refere-se a adequao entre o objeto, informao apresentada ou e denominaes perdida e sua referncia. Homogeneidade O critrio Homogeneidade refere-se ao modo como as escolhas na concepo da interface so conservadas idnticas em contextos idnticos e diferentes, de uma tela para outra. Refere-se s relaes que possam existir entre as caractersticas do utilizador na realizao de suas tarefas e organizao das apresentaes, das entradas e do dilogo de uma dada aplicao.

Compatibilidade

 0HWRGRORJLD SDUD DSOLFDomR GR FKHFNOLVW Com os critrios de qualidade definidos, foi elaborada uma metodologia para aplicao do checklist em que o resultado pode fornecer indicadores qualitativos e quantitativos para os desenvolvedores. A aplicao do checklist divide-se em trs etapas: Primeiramente, ocorre a apresentao do processo para os avaliadores; em seguida, executada a aplicao

individual do checklist e, por ltimo, ocorre a interao entre os avaliadores. Essas etapas sero expostas mais detalhadamente nos prximos subtpicos. 3.1. Apresentao do(s) processo(s) Nesta etapa realiza-se a apresentao dos processos que se deseja analisar para os avaliadores atravs de algum meio pr-definido. Ou seja, feita a exposio do processo ou do conjunto de processos em questo atravs de uma ou mais mdias (apresentao por meio de slides, palestras, artigos, resumos, debates etc). importante que sejam apresentadas aos avaliadores as informaes relevantes sobre os processos, como, por exemplo, suas propostas, suas atividades, as informaes j conhecidas sobre sua aplicao (se houver), suas dificuldades, vantagens e desvantagens etc. Recomenda-se que sejam expostos os elementos necessrios para se definir um processo, que, segundo (PAULA FILHO, 2001), so: O produto: o que feito; Os passos: quando feito; Os agentes: por quem feito; Os insumos: o que usado; E os resultados: o que foi produzido. Um pr-requisito execuo desta etapa que sejam selecionados um ou mais avaliadores que tenham conhecimento no desenvolvimento de softwares educacionais. Como a avaliao ser efetuada de forma subjetiva, recomenda-se que a equipe formada tenha diversos nveis de conhecimento sobre o assunto. 3.2. Aplicao individual do checklist Feita a apresentao dos processos, solicitado aos avaliadores que efetuem o preenchimento do checklist de maneira individual. O preenchimento baseia-se na verificao dos critrios de qualidade ao desenvolver SE no contexto de cada um dos processos, ou seja, requer que seja verificado se os processos obedecem, de alguma forma, aos critrios analisados. Nesta etapa da avaliao ainda no possvel obter resultados quantitativos, apenas qualitativos, pois o preenchimento do checklist conceitual e utiliza os seguintes valores para verificar a presena (ou no) dos critrios: Sim (S), Parcialmente (P) e No (N). A Tabela 5 exibe um exemplo do preenchimento dos critrios de carter pedaggico.
Tabela 5. Exemplo de preenchimento dos Critrios Pedaggicos (Conceituais)

Classificao

Critrios Contedo Didtica Capacidade interativa Apresentao do contedo

Processo 1 P N N S P

Critrios de carter pedaggico Objetivos

3.3. Interao entre os avaliadores Na ltima etapa da avaliao, ocorre a interao entre os avaliadores, onde sero feitas discusses sobre as avaliaes individuais e ser solicitado que preencham somente um checklist, com o resultado dessa interao. Essa a etapa mais importante da avaliao, pois quando sero julgadas as provveis inconsistncias das avaliaes individuais. Para preencher o checklist com o resultado final, os trabalhos individuais devem ser comparados e quando houver diferenas entre os resultados conceituais, os avaliadores devero discutir entre si qual conceito deve ser atribudo ao resultado final. Nesta etapa, j possvel relacionar valores com os conceitos e obter resultados quantitativos sobre a avaliao. Os conceitos de Sim (S), Parcialmente (P) e No (N) devem ser associados, respectivamente, aos valores 1 (um), 0,5 (meio) e 0 (zero). A Tabela 6 exemplifica a quantizao dos critrios de carter pedaggicos.
Tabela 6. Exemplo de preenchimento dos Critrios Pedaggicos (Quantitativos)

Classificao

Critrios Contedo Didtica Capacidade interativa Apresentao do contedo

Processo 1 P N N S P

Valor 0,5 0 0 1 0,5 40 %

Critrios de carter pedaggico Objetivos

Indicador de qualidade (X)

O indicador de qualidade representa o grau verificado de um subconjunto dos critrios de qualidade observados e obtido atravs da formula representada na Figura 2.

; ( M )=

( =1)

D(L )

( )

F( M )

100

Figura 2. Indicador de qualidade por classificao de critrio

Onde: X(j): Indicador de qualidade por classificao de critrio j: Classificao do critrio c(j): Quantidade de critrios por classificao a(i): Valor do critrio  $SOLFDomR GR FKHFNOLVW A aplicao do checklist foi efetuada em trs bibliografias que abordam o desenvolvimento de softwares educacionais sob diferentes vises, resumidas na Tabela 7. Com isso, foi feita uma validao desse checklist em uma situao onde o objetivo principal foi de selecionar

a bibliografia que obtivesse um desempenho melhor na avaliao para utiliz-la como referncia na criao de um novo processo de desenvolvimento. Foram utilizados os critrios de qualidade j expostos e uma equipe de avaliadores formada por trs discentes do curso de Bacharelado em Cincia da Computao do Centro Universitrio do Par (CESUPA) no ltimo ano de graduao. Todos da equipe j tinham conhecimento prtico ou terico no desenvolvimento de SE.
Tabela 7. Resumo das bibliografias analisadas

Bibliografias

Caractersticas um SE

Dez etapas para o desenvolvimento de Trabalha-se com requisitos para software educacional do tipo hipermdia especificamente do tipo hipermdia. (CAMPOS et al., 1996). Desenvolvimento de Software para o Ensino e Aprendizagem (MEDEIROS FILHO; CINTRA, 1999). Ciclo de vida de um SE sob tica pedaggica (RAABE, 2000).

Prope um processo para o desenvolvimento de software educacional genrico, obtendo-se caractersticas mais gerais que especficas. Esse trabalho apresenta um processo de desenvolvimento de SE em que abordada uma tica mais pedaggica.

A metodologia de aplicao do checklist foi feita da forma aqui proposta. As trs etapas foram realizadas da seguinte maneira: 1 Etapa Apresentao dos processos: Os processos foram apresentados para os avaliadores na forma de artigo, onde cada um deles teve acesso s bibliografias resumidas na Tabela 7 e, posteriormente, foi realizado um debate para esclarecimento de alguns pontos desses artigos. 2 Etapa Aplicao individual do checklist: Foi solicitado aos avaliadores que preenchessem os checklists individuais com os conceitos julgados apropriados s bibliografias para posterior discusso. 3 Etapa Interao entre os avaliadores: Nesta etapa foi realizada a interao entre os avaliadores e comparados os checklists individuais, para que juntos chegassem a um consenso do conceito final dos processos. Foi tambm a etapa mais demorada do processo de avaliao, pois cada avaliador pde expor suas concepes sobre as bibliografias. Ao final, obteve-se a quantizao dos critrios de qualidade avaliados, representados graficamente na Figura 3. De posse do resultado da aplicao do checklist, foi possvel realizar mais facilmente uma anlise das bibliografias, observando somente os indicadores de qualidade dos processos, em vez de observar todo o contedo dos artigos que apresentam os processos estudados. O resultado da anlise do checklist concluiu que no poderia ser selecionada apenas uma dessas bibliografias para utilizar como referncia na criao de um novo processo, pois todas as trs apresentaram variaes nos indicadores de qualidade, no tendo somente uma que se destacasse dentre as trs. Se essas fontes fossem utilizadas na criao de um novo processo, deveriam ser utilizadas no somente todas as trs, como tambm outras bibliografias auxiliares, tendo em vista que alguns critrios (por exemplo, o critrio organizacional) no apresentaram resultados favorveis.

100,00%
(CAMPOS et al., 1996)

75,00%
(MEDEIROS FILHO; CINTRA, 1999) (RAABE, 2000)

50,00%

25,00%

0,00%
Critrios de carter tcnico/operacional na construo de sistemas Critrios organizacionais relacionados produo de sistemas Critrios de carter pedaggico Critrios relacionados interface dos produtos

Figura 3. Representao grfica do resultado da aplicao do checklist nas bibliografias analisadas

5. Consideraes Finais
Em um contexto onde a Engenharia de Software preocupa-se em oferecer produtos de qualidade cada vez melhores, toda pesquisa em busca de ferramentas para auxiliar desenvolvedores a atingir esse objetivo importante e deve ser incentivada. A pesquisa aqui apresentada resultou em uma ferramenta para verificao de qualidade em processos de desenvolvimento de SE, utilizada como um checklist. Assim, essa verificao busca qualificar esses processos segundo alguns critrios de qualidade prdefinidos, que no devem ser necessariamente os mesmos propostos anteriormente. A dificuldade em definir os critrios de qualidade a serem analisados nesses processos conduziu a busca at as reas de desenvolvimento de SE e de engenharia de software, adotando critrios j existentes. Ressalta-se que os critrios foram selecionados para este momento, ou seja, eles so ad-hoc. Assim, eles podem ser revistos caso sejam produzidas melhores pesquisas objetivando a qualificao em SE. Ademais, no puderam ser apresentadas todas as informaes encontradas sobre os critrios de qualidade, pelo fato de serem contedos muito extensos, logo, recomenda-se um estudo mais detalhado nas referncias bibliogrficas consultadas para uma melhor compreenso desses itens. Com relao ao mtodo de aplicao do checklist, observa-se que a avaliao feita de forma subjetiva, onde cada avaliador fornece primeiramente conceitos individuais e depois de interagirem com os outros avaliadores, elegem um conceito que representa a opinio da equipe de avaliao. Dessa forma, uma avaliao de um mesmo conjunto de processos pode resultar em conceitos diferentes se forem julgadas por diferentes equipes de avaliadores, principalmente se esses avaliadores possurem caractersticas diferentes entre si (como, por exemplo, experincia no desenvolvimento, conhecimento do processo analisado, experincia em softwares educacionais etc.).

Na aplicao do checklist realizada, utilizou-se uma situao real em que fosse necessrio qualificar diversos processos de desenvolvimento para que uma equipe de desenvolvedores pudesse selecionar um deles e utiliz-lo como referncia na criao de um novo processo de desenvolvimento. O resultado da aplicao do checklist forneceu indicadores para auxiliar nessa tomada de deciso sem que fosse necessrio aplicar efetivamente os processos analisados ou ter disponvel uma grande quantidade de informaes a respeito desses processos. Esses indicadores permitiram que os desenvolvedores decidissem por utilizar todos os processos em vez de apenas um na produo desse novo processo, levando em considerao que o resultado mostrou uma variao muito grande nos indicadores de qualidade. Portanto, para a aplicao selecionada, o checklist se mostrou vlido e forneceu rapidamente resultados que podem servir para facilitar o trabalho de gerenciamento em projetos de desenvolvimento de softwares.

6. Referncias Bibliogrficas
ASSOCIAO BRASILEIRA DE NORMAS TCNICAS. Tecnologia de informao Processos de ciclo de vida de software: NBR ISO/IEC 12207. Rio de Janeiro, 1998. 35 p. CAMPOS, Fernanda et al. Dez Etapas para o Desenvolvimento de Software Educacional do Tipo Hipermdia. In: RIBIE 96 Congresso Iberoamericano de Informtica Educativa, 1996 Anais Eletrnicos. Disponvel em: <http://www.niee.ufrgs.br/ribie98/ CONG_1996/INDEX.HTML>. Acesso em: 22 jul. 2003. GAMEZ, Luciano. TICESE Tcnica de Inspeo de Conformidade Ergonmica de Software Educacional. 1998. Dissertao (Mestrado em Engenharia Humana) Escola de Engenharia, Universidade do Minho, Guimares, Portugal, 1998. MARTINS, Marcus Paulo do E. S.; NASCIMENTO, Tatiana Monteiro do; SILVA, Wellen Saymon da Silva e. Uma proposta de um processo para o desenvolvimento de Softwares Educacionais: A aplicao no projeto SISO. 2003. 107 f. Trabalho de Concluso de Curso (Bacharelado em Cincia da Computao) rea de Cincias Exatas e Tecnologia, Centro Universitrio do Estado do Par, Belm, 2003. MEDEIROS FILHO, Dante A.; CINTRA, Jorge P. Development of Software for Classes and Teaching. In: EDUTEC99 - IV Congreso de Nuevas Tecnologas de la Informacin y de la Comunicacin para la Educacin. 14., 1999, Sevilla. Actas del Congreso EDUTEC 99. Disponvel em: <http://tecnologiaedu.us.es/edutec/paginas/141.htm>. Acesso em: 22 set. 2003. PAULA FILHO, Wilson de Pdua. Engenharia de software: Fundamentos, Mtodos e Padres. Rio de Janeiro: LTC, 2001. 584 p. RAABE, Andr Luis Alice. Ciclo de Vida de Software Educacional sob ptica Pedaggica. 2000. 4 f. Trabalho Final (Disciplina de Informtica Aplicada Educao). Universidade Federal de Santa Catarina, Florianpolis, 2000. ROCHA, Ana Regina Cavalcanti da; MALDONADO, Jos Carlos; WEBER, Kival Chaves. Qualidade de software: Teoria e Prtica. 1. ed. So Paulo: Prentice Hall, 2001. 303 p.

SILVA, Cassandra Ribeiro de Oliveira e. Bases Pedaggicas e Ergonmicas para Concepo e Avaliao de Produtos Educacionais Informatizados. 1998. Dissertao (Mestrado em Engenharia de Produo) Programa de Ps-Graduao em Engenharia de Produo, Universidade Federal de Santa Catarina, Florianpolis, 1998.