Alex Esteves Jaccoud Falco

HealthRank: Construo e Avaliao de um Software para Medir a Percepo de Qualidade de Usurios e a Concordncia de Websites em Sade Critrios de Adequao

Tese apresentada Universidade Federal de So Paulo para obteno do ttulo de Mestre em Cincias.

So Paulo 2010

Alex Esteves Jaccoud Falco

HealthRank: Construo e Avaliao de um Software para Medir a Percepo de Qualidade de Usurios e a Concordncia de Websites em Sade Critrios de Adequao

Tese apresentada Universidade Federal de So Paulo para obteno do ttulo de Mestre em Cincias.

Orientador: Prof. Dr. Daniel Sigulem. Co-orientador: Prof. Dr. Ivan Torres Pisa.

So Paulo 2010

Falco, Alex Esteves Jaccoud HealthRank: Construo e Avaliao de um Software para Medir a Percepo de Qualidade de Usurios e a Concordncia de Websites em Sade Critrios de Adequao. Alex Esteves Jaccoud Falco -- So Paulo, 2010. xvi, 82f. Tese (Mestrado) Universidade Federal de So Paulo. Programa de Psgraduao em Informtica em Sade. Ttulo em ingls: HealthRank: Construction and Evaluation of Software to Measuring Users Quality Perception and suitability of Health Websites based on Adequacy Criteria. 1. Internet. 2. Controle de Qualidade. 3. Cdigos de Adequao.

UNIVERSIDADE FEDERAL DE SO PAULO DEPARTAMENTO DE INFORMTICA EM SADE Programa de Ps-Graduao em Informtica em Sade

Chefe do Departamento: Prof. Dr. Paulo Bandiera Paiva Coordenadora do Curso de Ps-graduao: Profa. Dra. Heimar de Fatima Marin

So Paulo 2010
iii

Alex Esteves Jaccoud Falco

HealthRank: Construo e Avaliao de um Software para Medir a Percepo de Qualidade de Usurios e a Concordncia de Websites em Sade Critrios de Adequao

Banca Examinadora
Profa. Dra. Beatriz de Faria Leo Prof. Dr. Carlos Jos Reis de Campos Prof. Dr. Evandro Eduardo Seron Ruiz

Suplente
Prof. Dr. Paulo Bandiera Paiva

iv

Dedicatria

A minha Kellen por sempre estar ao meu lado. Ao meu pai e minha me pela minha vida. A minha irm, por sempre me apoiar.

Agradecimentos
Primeiramente ao meu orientador Prof. Dr. Daniel Sigulem que a mim abriu as portas da Universidade e do mundo da Informtica em Sade e ao meu co-orientardor, Prof. Dr. Ivan Torres Pisa, no menos importante, que dedicou muitos momentos me fornecendo conhecimentos to valiosos e tambm sendo um grande amigo. A minha esposa Kellen Falco, que sempre me acompanhou e apoiou durante toda a trajetria nesta evoluo do saber. Ao meu pai (i.m.), minha me, irm e todos meus familiares, que sempre foram fundamentais para o meu desenvolvimento. Em especial aos colegas de pesquisa Anderson, Fabio, Felipe, Fernando, Thiago e demais integrantes do grupo de projeto do Busca Sade, que puderam me proporcionar um aprendizado extraordinrio em nossos momentos de convivncia e tambm de reflexo. Aos funcionrios do Departamento de Informtica em Sade. Aos participantes do Curso de Informtica em Sade da UAB (2009-2010). A Adalberto Tardelli e a BIREME por suas contribuies valiosas a nossa pesquisa. A Frederico Molina Corhs pelo apoio estatstico. A todos os colegas que sempre colaboraram e foram compreensivos. A CAPES-DS pelo apoio financeiro durante 24 meses (perodo 10/2007 09/2009).

vi

No procure ser um homem com xito, e sim um homem com valores. Albert Einstein

vii

Sumrio
DEDICATRIA ............................................................................................................................. V AGRADECIMENTOS................................................................................................................... VI SUMRIO .................................................................................................................................. VIII LISTA DE TABELAS .................................................................................................................... X LISTA DE FIGURAS .................................................................................................................... XI LISTA DE ABREVIATURAS ...................................................................................................... XII LISTA DE PUBLICAES........................................................................................................ XIII RESUMO..................................................................................................................................... XV ABSTRACT................................................................................................................................ XVI 1 INTRODUO ........................................................................................................................1 1.1 1.2 1.3 1.4 2 3 O SURGIMENTO DA W EB 2.0..............................................................................................1 CRITRIOS PARA ADEQUAO DE CONTEDOS SADE NA WEB ............................................3 REVISO DA LITERATURA...................................................................................................4 PROPOSTA E CONTRIBUIES DESTA PESQUISA .................................................................5

OBJETIVOS............................................................................................................................7 MATERIAIS E MTODOS......................................................................................................8 3.1 3.2 3.3 3.4 3.5 3.6 COMIT DE TICA E CONFLITO DE INTERESSE ....................................................................8 ESCOPO DA PESQUISA ......................................................................................................8 ESTRATGIA DA PESQUISA ................................................................................................8 SOFTWARES UTILIZADOS ..................................................................................................9 HARDWARES UTILIZADOS ............................................................................................... 10 MECANISMO DE AVALIAO POR USURIOS ..................................................................... 10 Desenvolvimento ................................................................................................ 10 Portabilidade ....................................................................................................... 12 Prova de conceito e funcionalidade.................................................................... 13 Experimento: Avaliao de websites controlados pr-selecionados ................. 14

3.6.1 3.6.2 3.6.3 3.6.4 3.7

AVALIAO AUTOMATIZADA DE CRITRIOS - ROB ........................................................... 16 Construo de um classificador de contedos em sade .................................. 17 Construo de um mecanismo automatizado de verificao de adequao ..... 18

3.7.1 3.7.2 3.8 4

ANLISE DOS RESULTADOS ............................................................................................ 19

RESULTADOS .................................................................................................................... 21 4.1 4.2 AVALIAO POR USURIOS............................................................................................. 21 MECANISMO AUTOMATIZADO - ROB .............................................................................. 23
viii

4.2.1 4.2.2 4.3

Classificador de contedo de websites (InDeCS) .............................................. 23 Criao do mecanismo de identificao das expresses. ................................. 26

INSTRUMENTO DE FLUNCIA COMPUTACIONAL ................................................................. 26 Alunos da UAB ................................................................................................... 26

4.3.1 4.4

EXPERIMENTO COM ALUNOS DA UAB .............................................................................. 30 Websites avaliados por alunos da UAB ............................................................. 30 Websites avaliados pelo Rob ........................................................................... 36

4.4.1 4.4.2 4.5 5

AVALIAO DO INSTRUMENTO PELOS PARTICIPANTES ...................................................... 40

DISCUSSO ........................................................................................................................ 42 5.1 5.2 5.3 5.4 5.5 5.6 MECANISMO DE AVALIAO POR USURIOS ..................................................................... 42 MECANISMO AUTOMATIZADO - ROB .............................................................................. 43 PROVA DE CONCEITO ..................................................................................................... 44 EXPERIMENTO: AVALIAO DE WEBSITES CONTROLADOS PR-SELECIONADOS.................. 45 AVALIAO FINAL DO MECANISMO DE AVALIAO POR USURIOS ...................................... 46 ANLISE DA AVALIAO X PERCEPO ............................................................................ 47

6 7 8 9

CONCLUSES .................................................................................................................... 49 CUSTOS .............................................................................................................................. 50 TRABALHOS FUTUROS .................................................................................................... 51 ANEXOS .............................................................................................................................. 52 ANEXO 1. ANEXO 2. ANEXO 3. ANEXO 4. ANEXO 5. ANEXO 6. ANEXO 7. ANEXO 8. INSTRUMENTO UTILIZADO NA REVISO DA LITERATURA ........................................... 52 LISTA DE TRABALHOS SELECIONADOS PARA REVISO DA LITERATURA ...................... 53 TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO (TCLE) .................................. 54 EXEMPLO DO XML DO INSTRUMENTO DO MECANISMO MANUAL ................................ 55 LISTA DOS 50 WEBSITES SELECIONADOS PARA O EXPERIMENTO.............................. 56 INSTRUMENTO SOBRE FLUNCIA COMPUTACIONAL .................................................. 57 INSTRUMENTO SOBRE AVALIAO DO EXPERIMENTO 3 ............................................ 58 EXPRESSES CONFIGURADAS PARA DETECTAR OS PADRES .................................. 59

10

REFERNCIAS ............................................................................................................... 60

APNDICE 1 APROVAO PELO COMIT DE TICA ....................................................... 65

ix

Lista de Tabelas
Tabela 1 - Lista de critrios utilizados nos experimentos. .................................................................... 11 Tabela 2 - Distribuio dos grupos de termos nas faixas do histograma da similaridade. ................... 24 Tabela 3 Valores calculados usando base de dados sade vs no-sade. ...................................... 24 Tabela 4 valores calculados usando base de dados Merck vs no-sade. ...................................... 24 Tabela 5 - Grau de instruo dos participantes do experimento. ......................................................... 27 Tabela 6 - Distribuio dos participantes por rea de atuao. ............................................................ 27 Tabela 7 - Utilizao do computador por semana pelos alunos da UAB. ............................................ 28 Tabela 8 - Quantidade de alunos da UAB que utilizam a internet. ....................................................... 28 Tabela 9 - Local de utilizao da internet por alunos da UAB. ............................................................. 28 Tabela 10 - Nvel de conhecimento dos alunos da UAB sobre sistemas. ............................................ 29 Tabela 11 - Lista de websites que os alunos da UAB j acessaram. ................................................... 29 Tabela 12 - Percepo de qualidade dos usurios no experimento. .................................................... 30 Tabela 13 - Avaliaes de adequao (NA) por critrio e desvio padro (DP). ................................... 32 Tabela 14 - Nota de adequao (NA) e total de avaliaes (AV) para todos os critrios. ................... 32 Tabela 15 - Nota final por website, desvio padro e mdia de avaliaes. .......................................... 34 Tabela 16 - Percepo dos alunos acerca dos websites avaliados. .................................................... 35 Tabela 17 - Coeficiente de correlao entre a percepo e critrios de avaliao. ............................. 35 Tabela 18 - Ranking de adequao dos websites de acordo com a nota final. ................................... 36 Tabela 19 - Concordncia entre os alunos, o rob e o pesquisador pr-ajustes. ................................ 37 Tabela 20 - Concordncia entre os alunos, o rob e o pesquisador aps-ajustes............................... 37 Tabela 21 - Concordncia entre o pesquisador e o rob pr e ps ajustes dos padres. ................... 37 Tabela 22 - Valores das avaliaes dos alunos, rob e pesquisador para os 4 critrios. .................... 39 Tabela 23 - Avaliao dos alunos da UAB sobre a importncia de avaliao de adequao. ............ 40 Tabela 24 - Importncia da avaliao. .................................................................................................. 40 Tabela 25 - Inteno de participao em futuras avaliaes. ............................................................... 40 Tabela 26 - Dificuldades com o instrumento de avaliao. .................................................................. 41 Tabela 27 - Outros tipos de problemas com o experimento e infra-estrutura. ..................................... 41 Tabela 28 Top 10 websites ordenados pela percepo de qualidade............................................... 48 Tabela 29 Top 10 websites ordenados pela nota final (ranking). ..................................................... 48

Lista de Figuras
Figura 1 - Seqncia do desenvolvimento da pesquisa. .........................................................................9 Figura 2 - Pgina apresentando os resultados solicitados pelo usurio. ............................................. 11 Figura 3 - Fluxo utilizado para a prova de conceito de funcionalidade do mecanismo. ....................... 13 Figura 4 - Tela apresentando o instrumento de avaliao: (a) Tela com questo sobre Site de sade; (b) tela aps resposta da questo site de sade. ................................................. 14 Figura 5 - Mtodo para escolha dos 50 websites utilizados no experimento. ...................................... 15 Figura 6 - Lista de websites selecionados para avaliao. ................................................................... 16 Figura 7 - Fluxo para criao do classificador. ..................................................................................... 17 Figura 8 - Fluxo do rob para verificao dos critrios de adequao. ................................................ 19 Figura 9 - Pgina de inicial do mecanismo utilizado por usurios. ....................................................... 21 Figura 10 - Pgina solicitando o login ou cadastro do usurio. ............................................................ 22 Figura 11 - Pgina apresentando os resultados solicitados pelo usurio. ........................................... 22 Figura 12 - Pgina apresentando o para avaliao do website pelos participantes. ............................ 23 Figura 13 - Figura apresentando um website com contedo classificado como sade. ...................... 25 Figura 14 - Figura apresentando um website com contedo classificado como no-sade. ............... 25 Figura 15 - Tempo de utilizao de internet por semana dos alunos da UAB. .................................... 28 Figura 16 - Resumo dos resultados do questionrio de fluncia computacional. ................................ 29 Figura 17 - Distribuio da Nota de Adequao para todos os critrios. ............................................. 31 Figura 18 - Nota final (NF) por website. ................................................................................................ 33 Figura 19 - Histograma da distribuio da Nota final (NF) por website. ............................................... 33 Figura 20 - Distribuio da avaliao da percepo dos alunos acerca dos websites......................... 34 Figura 21 - Resumo dos resultados do experimento com alunos da UAB. .......................................... 36 Figura 22 - Resumo dos resultados da avaliao do rob e pesquisador. ........................................... 38

xi

Lista de Abreviaturas
AJAX ANVISA BIREME CEP CETIC CFM CREMESP CRM DeCS EPL EULA GPL HON HITI HTML MeSH OMS TCLE UAB UNIFESP URL XML Asynchronous Javascript And XML Agencia Nacional de Vigilncia Sanitria Centro Latino-Americano e do Caribe de Informao e Cincias da Sade Comit de tica em Pesquisa Centro de Estudos sobre as Tecnologias da Informao e Comunicao Conselho Federal de Medicina Conselho Regional de Medicina do Estado de So Paulo Conselho Regional de Medicina Descritores em Cincia da Sade Eclipse Public License End User License Agreement General Public License Health On Net Health Information Technology Institute HyperText Markup Language Medical Subject Headings Organizao Mundial da Sade Termo de Consentimento Livre e Esclarecido Universidade Aberta do Brasil Universidade Federal de So Paulo Uniform Resource Locator Extensible Markup Language

xii

Lista de Publicaes
Trabalhos publicados em revistas Hummel, AD; Maciel, RF; Falco, AEJ; Teixeira, FO; Mancini, F; Costa, TM; Cohrs, FM; Sousa, FS; Pisa, IT. Aplicao de tcnicas computacionais em bases de dados de transplante: reviso de artigos publicados no binio 2007-2007. JBT. Jornal Brasileiro de Transplantes, v. 12, p. 1045-1048, 2010. Colepicolo, E; Matsubara, ET; Falco, AEJ; Pisa, IT. Uso da ferramenta PreText para minerao de textos extrados do NCBI para estudo epistemolgicos da Informtica em Sade. Revista de Informtica e Aplicada, v. 16, p. 09-24, 2009. Falco, AEJ; Mancini, F; Costa, TM; Hummel, AD; Teixeira, FO; Sigulem, D; Pisa, IT. InDeCS: Mtodo Automatizado de Classificao de Pginas Web de Sade Usando Minerao de Texto e Descritores em Cincias da Sade (DeCS). Journal of Health Informatics - JHI, v. 1, p. 18-24, 2009. Mancini, F; Falco, AEJ; Yi, LC; Pignatari, SSN; Alves, D; Pisa, IT. Comparao de Algoritmos de Redes Neurais Artificiais no Diagnstico de Crianas Respiradoras Bucais. Journal of Health Informatics, v. 1, p. 31-36, 2009. Trabalhos publicados em eventos Mancini, F; Falco, AEJ; Hummel, AD; Costa, TM; Ortolani, CLF; Pisa, IT. Brazilian health-related content web search portal: Presentation on a method for its development and preliminary results. In: International Conference on Health Informatics, 2009, Porto., 2009, Porto. Annals of HealthInf 2009 - International Conference on Health Informatics. Porto, 2009. v. 1. p. 306-310. Almeida, AC; Yamashita, OA; Costa, TM; Falco, AEJ; Lederman, HM; Pisa, IT. Teaching Files na Radiologia: Quadro Comparativo de Fontes On-line de Casos Clnicos com Imagens Mdicas para a Radiologia (CD-ROM). In: XI Congresso Brasileiro de Informtica em Sade - CBIS, 2008, Campos do Jordo/SP. Anais do Congresso Brasileiro de Informtica em Sade, 2008. Falco, AEJ; Costa, TM; Hummel, AD; Mancini, F; Sigulem, D; Pisa, IT. HealthRank: Anlise Preliminar da Utilizao de Mdia Social para Avaliao da Adequao Cdigos de tica e Relevncia de Websites em Sade (CD-ROM). In: XI Congresso Brasileiro de Informtica em Sade - CBIS, 2008, Campos do Jordo/SP. Anais do Congresso Brasileiro de Informtica em Sade, 2008. Mancini, F; Falco, AEJ; Yi, LC; Pignatari, SSN; Alves, D; Pisa, IT. Comparao de algortimos de redes neurais artificiais no diagnstico de crianas respiradoras bucais (CD-ROM). In: XI Congresso Brasileiro de Informtica em Sade CBIS2008, 2008, Campos do Jordo/SP. Anais do Congresso Brasileiro de Informtica em Sade, 2008. Mancini, F; Falco, AEJ; Hummel, AD; Costa, TM; Silva, FAB; Teixeira, FO; Alves, D; Pisa, IT. Apresentao de mtodo para construo de portal de busca de contedos web em sade (CD-ROM). In: XI Congresso Brasileiro de Informtica em Sade - CBIS, 2008, Campos do Jordo/SP. Anais do Congresso Brasileiro de Informtica em Sade, 2008.
xiii

Falco, AEJ; Mancini, F; Costa, TM; Hummel, AD; Sigulem, D; Pisa, IT. InDeCS: Utilizando Descritores em Cincias da Sade (DeCS) para Classificao de Websites com Contedo na rea da Sade (CD-ROM). In: XI Congresso Brasileiro de Informtica em Sade - CBIS, 2008, Campos do Jordo/SP. Anais do Congresso Brasileiro de Informtica em Sade, 2008. Falco, AEJ; Pisa, IT; Hummel, AD; Mancini, F; Lopes, PRL; Moura Jr, LA. Health Cat-a-Logue: Avaliao da Viabilidade da Criao de um Catlogo de Sistemas de Sade (CD-ROM). In: XI Congresso Brasileiro de Informtica em Sade CBIS, 2008, Campos do Jordo/SP. Anais do Congresso Brasileiro de Informtica em Sade, 2008. Costa, TM; Hummel, AD; Falco, AEJ; MANCINI, F; Ribeiro, VPS; Alves, D; Pisa, IT. Lattesrank do CBIS: Ranking dos participantes do Congresso Brasileiro de Informtica em Sade 2006 baseado no grau de conexo do currculo Lattes (CDROM). In: XI Congresso Brasileiro de Informtica em Sade - CBIS, 2008, Campos do Jordo/SP. Anais do Congresso Brasileiro de Informtica em Sade, 2008. Hummel, AD; Dib, E ; Costa, TM; Falco, AEJ; Mancini, F; Schor, P; Pisa, IT. Construo de uma ferramenta para avaliao de filtros de imagens oftalmolgicas. In: XI Congresso Brasileiro de Informtica em Sade - CBIS, 2008, Campos do Jordo/SP. Anais do Congresso Brasileiro de Informtica em Sade, 2008. Hummel, AD; Maciel, RF; Falco, AEJ; Mancini, F; Costa, TM; Rodrigues, RGS; Alves, D; Pisa, IT. Aplicao de tcnicas computacionais em base de dados de transplante: reviso de trabalhos publicados em 2008 (CD-ROM). In: XI Congresso Brasileiro de Informtica em Sade - CBIS, 2008, Campos do Jordo/SP. Anais do Congresso Brasileiro de Informtica em Sade, 2008. Pinto, VC; Costa, TM; Hummel, AD; Mancini, F; Falco, AEJ; Schor, P; Pisa, IT. Construo e avaliao de um programa para computador de mo para auxiliar o ensino de oftalmologia para estudantes de medicina. In: XI Congresso Brasileiro de Informtica em Sade - CBIS, 2008, Campos do Jordo/SP. Anais do Congresso Brasileiro de Informtica em Sade, 2008. Guimares Jr, N; Falco, AEJ ; Ferreira Jr, C; Castilho, JCM ; Ortolani, CLF; Pisa, IT. Anlise da Percepo da Qualidade dos Contedos dos Websites Utilizados como Material de Apoio no Processo de Aprendizagem.. In: XI Congresso Brasileiro de Informtica em Sade - CBIS, 2008, Campos do Jordo/SP. Anais do Congresso Brasileiro de Informtica em Sade, 2008.

xiv

Resumo
HealthRank: Construo e Avaliao de um Software para Medir a Percepo de Qualidade de Usurios e a Concordncia de Websites em Sade Critrios de Adequao. Alex Esteves Jaccoud Falco.

INTRODUO: O crescimento da internet um fato inexorvel. Este crescimento impulsionou o surgimento da Web 2.0 e o compartilhamento de contedos. Mtodos e ferramentas para melhorar a qualidade do contedo de websites em sade vem sendo criados desde 1995, por exemplo, o Health On Net Code (HON). OBJETIVOS: Este trabalho tem como objetivo identificar e quantificar a adequao de websites selecionados da rea da sade por meio de critrios e recomendaes de entidades reconhecidas, baseando-se em avaliaes de estudantes e indicadores

automatizados. MTODOS: Uma interface web e um mecanismo automatizado foram desenvolvidos para a avaliao de critrios de adequao utilizando tecnologias de Web 2.0. Estudantes da rea da sade foram questionados a determinar a percepo de qualidade e adequao de contedos de websites em sade com base em 12 critrios de adequao definidos pelo cdigo HON. RESULTADOS: Este estudo contou com 352 participantes e 50 websites foram avaliados. A mdia de adequao medida pelos participantes para os websites neste estudo foi de 50,11 4,62 em uma escala de 0 100, e para o mecanismo automatizado foi 39,50 23,20 na mesma escala, ambos apresentam indcios de baixo coeficiente de adequao. CONCLUSO: Este estudo mostrou poucos indcios de adequao nos websites brasileiros avaliados, apesar de 63,07% dos participantes avaliarem os websites como bons ou muito bons. Apesar da adequao e percepo de qualidade apresentarem valores prximos, ao se analisar cada website possvel notar que aos olhos dos estudantes o fato de no existirem os critrios de recomendao para adequao, a ausncia destes no interfere diretamente em sua percepo de qualidade do contedo da informao.

Descritores: Internet, Controle de Qualidade, Cdigos de Adequao.

xv

Abstract
HealthRank: Construction and Evaluation of Software to Measuring Users Quality Perception and suitability of Health Websites based on Adequacy Criteria. Alex Esteves Jaccoud Falco.

INTRODUCTION: The growth of the Internet is an unavoidable fact. This fact has spurred the emergence of Web 2.0 and document sharing. Methods and tools to improve the quality of health related websites content information have been developed since 1995, for example Health On the Net Code (HON). OBJECTIVES: This study aims to quantify and identify the health websites suitability by means of criteria and recommendation of recognized authorities, based on students evaluation and automated indicators. METHODS: A web interface and an automated script were designed for suitability criteria evaluation using the Web 2.0 technologies. Students were asked to determine quality perception and assess the websites content based on 12 adequacy criteria defined by code HON. RESULTS: This study had 352 participants and 50 websites were evaluated. The adequacy average measured by participants of all websites of this study was 50.11 4.62 on a scale from 0 to 1000 and for automated method was 39.50 23.20 on the same scale which shows evidences of poor adequacy coefficient. CONCLUSION: This study showed that evaluated Brazilian websites has evidences of poor adequacy; in spite of 63.07% of the participants evaluated the websites as good or very good. Despite of the adequacy and quality with closer values when analyzing each website it is possible to notice that by the view of the students even if no criteria for adequacy present, their absence does not interfere directly in their perception of quality of content information.

Keywords: Internet, Quality Control, Adequacy Codes.

xvi

1 INTRODUO
O crescimento do contedo na internet um fato inexorvel, e junto com este crescimento surgem tambm tendncias que impulsionam o desenvolvimento econmico mundial. Inicialmente baseada somente em texto e utilizada apenas para fins acadmicos. Somente nos anos 90 surgiram os primeiros navegadores grficos para a internet e tambm a chamada Information Highway (Leiner BM et al., 2009) ou World Wide Web (web). A grandeza do crescimento do contedo disponvel na web demandou o desenvolvimento de ferramentas de recuperao para este contexto, o que levou a criao do primeiro sistema de ndice para pesquisa de contedo da web, pela empresa Digital em 1995 (Leiner BM et al., 2009). Tambm em 1995, na Universidade de Stanford, surgira um projeto para busca e recuperao de websites, denominado BackRub. Em 1998 este sistema passaria a se chamar Google (Google, 2009), uma ferramenta de pesquisa extremamente rpida e mais eficiente. O Google tornou-se a ferramenta de busca mais utilizada no mundo (Vaughan L, 2004; Burns E, 2009) com aproximadamente 85,74% das buscas realizadas em fevereiro de 2010 (NetApplications, 2010), agregando diversos servios como agenda, e-mail, gerador de anncios baseado em contexto, processador de texto e planilha eletrnica online (Thompson J, 2008). Atualmente, se realizarmos uma busca pela palavra sade para contedos em portugus no Google Brasil (http://www.google.com.br) so retornados aproximadamente de 27 milhes de websites.

1.1 O surgimento da Web 2.0

A grande expanso da web teve seu crescimento afetado em 2001 quando muitas pessoas acreditavam que a expanso da internet havia saturado. Porm as grandes histrias de sucesso surgem nesses momentos, nos quais alguns encontram formas diferentes de inovao (O'Reilly T, 2004). Foi ento que um novo conceito de web comeou a surgir, pelo qual usurios compartilham informaes e experincias pessoais, denominada mdia social (Canny J, 2006; Hasty H, 2009). Esta abordagem faz uso da tecnologia chamada Web 2.0 (Canny J, 2006; Hasty H, 2009; O'Reilly T, 2007).

Esta nova tecnologia foi mais bem definida em 2004, na primeira conferncia sobre a Web 2.0 (O'Reilly T, 2004, 2007), enfatizando a interao entre usurios de forma livre (Millard DE et al., 2006) para a troca de experincias e informaes, difundindo ainda ma a internet e propiciando que o pblico em geral procure mais contedos e ajudas online (Liu C et al., 2004; Cimino JJ et al., 1995; Peters R et al., 1997; Jadad AR et al., 1998). Devido a sua fcil utilizao e rpido desenvolvimento, esta tecnologia oferece uma poderosa forma de compartilhamento de informaes. Podemos listar servios como wiki, blog, podcasting (Ebersbach A et al., 2005; Boulos M et al., 2006) e mais recentemente o Twitter (Java A et al., 2007). Estes esto cada vez mais freqentes na web, e so exemplos de como qualquer usurio com permisso possa criar e editar contedos, notcias, comentrios ou ainda compartilhar udio e vdeo sem a necessidade de grandes conhecimentos. Facilidades como a interatividade com o usurio, compartilhamento facilitado de dados, possibilidade de colocar dados de diversos websites agregados para prover diferentes combinaes de informao, anncios dinmicos e facilidade de visualizao das interfaces (Ankolekar A et al., 2007) foram incorporadas Web 2.0. A incorporao de tais facilidades foi possvel devido ao agrupamento de tcnicas de desenvolvimento WEB, baseadas em chamadas javascript assncronas e XML, denominado AJAX, acrnimo de Asynchronous JavaScript and XML (Bray T et al., 2009; Garrett JJ, 2005). As aplicaes propiciadas pela Web 2.0 esto fazendo com que contedos completos de revistas, jornais, artigos, livros, figuras, vdeos e tabelas sejam disponibilizados e comentados online pelos prprios usurios, tornando a informao mais rica e de maior compreenso. Porm, este ambiente faz com que a topologia da internet se torne cada vez mais complexa e tambm evoca questionamentos sobre a credibilidade (Fogg BJ et al., 2000, 2003; Lazar J et al., 2007; Robins D et al., 2010) da informao disponibilizada. Quando pensamos em informao da rea da sade na web, a veracidade e adequao destas informaes se tornam ainda mais crticas para a sua satisfao (Bliemel M et al., 2006), tendo em vista que consumidores tm acesso aos mais diversos tipos de contedos, que vo desde sintomas de uma determinada doena at formas de tratamento complexos e existe ainda a preocupao com a capacidade do indivduo em se aplicar a informao nos casos pessoais (Adams SA,

2010) e estudos mostram que somente 25% das pessoas se preocupam com polticas de adequao (Stvilia B et al., 2009). Ao redor do mundo websites procuram suprir a necessidade da populao em busca de informaes sobre sade. Tais websites ajudam as pessoas a encontrar hiperlinks avaliados por especialistas, informaes especficas do domnio da sade, opnies de profissionais da sade e compartilhamento de experincias por pacientes e usurios dos servios. Dentre estes servios podemos citar o Organized Wisdom (http://www.organizedwisdom.com/) que apresenta informaes organizadas e avaliadas por especialistas convidados; o Google Health (http://health.google.com/) que organiza e ajuda o usurio com suas informaes sobre sade, alertas de medicamentos e consultas; e o Patients Like Me (http://www.patientslikeme.com) que procura reunir pacientes com as mesmas doenas a fim de trocar experincias, opes de tratamentos e informaes sobre medicamentos entre os membros Ca comunidade, profissionais especializados e organizaes que se tenham interesse em determinada doena. De acordo com o Centro de Estudos sobre as Tecnologias da Informao e da Comunicao (CETIC, 2008), no ano de 2008, aproximadamente 33% das atividades de busca de informao online dos usurios de internet no Brasil foram para procurar informaes relacionadas sade ou a servios de sade. O cenrio descrito mostra a relevncia deste tema dentro do mbito da internet.

1.2 Critrios para adequao de contedos sade na web

Quando contedos em sade so analisados, dois pontos devem ser questionados: a adequao e a qualidade de contedos em sade disponibilizados em listas de discusso, blogs, wikis (Boyd D et al., 2008) e em websites profissionais ou de usurios. Critrios para avaliao da qualidade e adequao de contedos surgiram desde 1995 (Lopes IL, 2004), como o criado por Sielberg em 1997 (Silberg WM et al., 1997), Pandolfini e Bonati em 2002 (Pandolfini C et al., 2002), o cdigo Health On Net (HON) em 1995 (Boyer C et al., 1998), os critrios para avaliao de qualidade do Health Information Technology Institute (HITI) em 1997 (Ambre J et al., 1998), Conselho Federal de Medicina em 2002 (CFM, 2009), Conselho Regional de Medicina de So Paulo (CREMESP, 2001), um estudo de websites frente ao HON

(Pacios M, 2007) e at uma adaptao do Guia para Encontrar Informaes Seguras na Internet da OMS publicado pela ANVISA em 1998 (ANVISA, 1998). Algumas adaptaes foram realizadas nos critrios ao passar dos anos, a exemplo do NetScoring que atribui pontuao de importncia a oito critrios pr-definidos (NetScoring, [s.d.]). Estes trabalhos apontam critrios para adequao de contedos, porm, sem alguma forma de automao ou cooperao em massa, se tornam inviveis de serem aplicados. A exemplo do HON, o critrio de adequao mais difundido, realizado de forma manual por especialistas e depende do envio de um formulrio pelo proprietrio do website para solicitar a avaliao do mesmo. Estudos apontam que a qualidade da informao um conceito muito complexo para ser definido, no sendo evidente para o usurio a sua definio (Oleto RR, 2006). Assim sendo, o que mais se aproxima deste conceito a percepo da qualidade a ponto de vista do usurio.

1.3 Reviso da literatura

Para melhor estruturar a proposta deste trabalho, inicialmente foi realizada uma reviso da literatura nas principais bases de pesquisa, Association for Computing Machinery (ACM), Pubmed da U.S. National Library of Medicine, Scielo e no Google Scholar. Ao realizar a busca nestas bases para trabalhos relacionados ao tema deste projeto publicados entre1998 e 2009 foram recuperados 170 trabalhos, porm aps uma anlise mais detalhada dos trabalhos, foi observado que somente 16 estavam diretamente relacionados a este projeto. Os artigos encontrados apresentam temas como: alergia, farmcia, guidelines e com temas livres. Nesta avaliao os trabalhos foram divididos em 4 categorias, sendo: - Reviso - revises da literatura ou cdigos de adequao; - Avaliao - avaliao de critrios de adequao; - Discusso - discusso sobre temas relevantes da rea; - Sistema - sistemas de avaliao de critrio de adequao.

Os trabalho foram tambm analisados quanto a forma com que os sistemas foram avaliados, e nesta avaliao foram encontradas 3 forma de avaliaes dos websites: por formulrio online, avaliao manual ou automtico. A reviso aponta padres de adequao relacionados rea da sade como: Health On Net (HON); Health Information Technology Institute (HITI); Critrios customizados para o prprio estudo.

Esta reviso no apontou nenhum artigo que apresentasse a validao, ou at mesmo a aplicao destes critrios com base em mdia social e Web 2.0. Em sua maioria a validao dada com base em questionrios ou submisso online. Outro ponto relevante da reviso que no foi encontrado um ranking baseado em critrios de avaliao de adequao, especialmente na rea da sade. A reviso apontou a existncia da utilizao de critrios j existentes para a avaliao de websites relatada em bons artigos, contudo, utilizam de processo humano e especialista para a validao dos websites. Na reviso tambm foram encontrados trabalhos que utilizam filtros para melhorar a qualidade das informaes recuperadas (Sarwar BM et al., 1998), mtodos para avaliao online de websites (Fogg B et al., 2001) e tambm uma reviso das tcnicas utilizadas para melhorar a qualidade das informaes em sade (Eysenbach G, 2000). Durante esta reviso foi encontrada ainda um iniciativa para um projeto para identificao de padres de adequao por usurios, porm realizado em forma off-line e manual (Eysenbach G et al., 2007).

1.4 Proposta e contribuies desta pesquisa

Atualmente dispomos da interatividade propiciada pelo AJAX (Garrett JJ, 2005) incorporada a Web 2.0. Este arcabouo de tecnologias pode agregar muito aos mtodos de avaliao de critrios de adequao j definidos, fazendo uso da colaborao e interao online de usurios da rea da sade e tambm de toda a comunidade de usurios. A adequao dos contedos de websites da rea mdica pode impactar diretamente na credibilidade de seu contedo perante os usurios (Fogg BJ et al., 2000). Um mtodo de avaliao embarcado na tecnologia da Web 2.0 (O'Reilly T,

2007), por meio de mdia social (Hasty H, 2009) propiciaria aos usurios websites sobre sade mais adequados (Eysenbach G et al., 2002; Cruchet S et al., 2008), e no somente os mais populares retornados nas ferramentas de busca tradicionais. Padres j foram criados (Lopes IL, 2004), como exemplo o HON, HITI, CRM, mas nenhum interagindo diretamente com os usurios por meio de mdia social, pelo qual usurios pudessem atuar como avaliadores online, ou ainda, tornar acessvel a toda comunidade as informaes sobre as avaliaes em formato de um selo ou ranking com pontuao embarcados em sistemas de busca. Considerando este cenrio, torna-se relevante a criao de um sistema de avaliao online que possibilite no s a colaborao de profissionais na avaliao dos websites da rea mdica, mas tambm a avaliao da percepo de qualidade (Oleto RR, 2006), atribuindo maior credibilidade aos websites mais adequados e possibilitando, assim, a conscientizao dos desenvolvedores e toda a comunidade da sade para a adequao dos contedos de sade em websites.

2 OBJETIVOS
Este trabalho tem como objetivo identificar e quantificar a adequao de websites da rea da sade por meio de critrios e recomendaes de entidades reconhecidas, como Conselho Regional de Medicina de So Paulo (CREMESP, 2001) e Health on Net (http://www.hon.ch), baseando-se em avaliaes de usurios e indicadores automatizados. Os objetivos especficos deste trabalho so: a. Criar um sistema baseado na tecnologia Web 2.0, aqui denominado HealthRank, pelo qual seja possvel a avaliao de websites por usurios; b. Confeccionar um ndice de adequao de websites s recomendaes de adequao baseado em avaliaes de usurios.

O objetivo secundrio deste trabalho : a. Desenvolver um sistema automatizado para avaliao de critrios de adequao.

3 MATERIAIS E MTODOS
Este captulo apresenta materiais utilizados e passos seguidos durante o projeto de pesquisa para a definio do mtodo de avaliao dos websites com contedo em sade.

3.1 Comit de tica e Conflito de Interesse

Este projeto de pesquisa de mestrado foi submetido ao Comit de tica em Pesquisa (CEP) da Universidade Federal de So Paulo (UNIFESP), obtendo parecer favorvel sua realizao, em 20 de julho de 2007 sob nmero CEP 0861/07 (ANEXO 3, pg. 54). Os autores afirmam no haver qualquer conflito de interesse na conduo desta pesquisa. Este projeto no contou com a participao direta de pacientes, no apresentou fatores de riscos e est isento de quaisquer fins econmicos. O projeto contou com apoio financeiro da CAPES por meio de uma bolsa de pesquisa durante 24 meses.

3.2 Escopo da pesquisa

Esta pesquisa visa o desenvolvimento de um mtodo para avaliao de websites com contedo em sade baseado na construo de um instrumento a ser embarcado em ferramentas de busca tradicionais ou para websites previamente selecionados. Este instrumento dever atender ao pblico leigo para criao de um ndice de adequao e ser constitudo tambm de um mecanismo automatizado de avaliao.

3.3 Estratgia da pesquisa

Nesta seo apresentada a estratgia utilizada para guiar este projeto de pesquisa e tambm um resumo das atividades realizadas. Inicialmente deu-se a reviso da literatura, visando encontrar trabalhos relacionados com o tema pesquisado, tecnologias utilizadas e cdigos de tica e conduta existentes.

Aps parte das revises, iniciou-se o desenvolvimento do mecanismo para avaliao dos websites pelos participantes. Este mecanismo foi inicialmente acoplado a uma ferramenta de recuperao de informao e a uma ferramenta de avaliao de websites previamente selecionados. Neste projeto foi desenvolvido tambm um mecanismo automatizado de avaliao de adequao de websites, aqui denominado rob. A Figura 1 representa a seqncia utilizada para o desenvolvimento da pesquisa, desde a definio dos critrios at a anlise dos resultados.

Anlise dos resultados Experimento

Desenvolvimento da interface para avaliao dos usurios Definio dos critrios de adequao com base no HON

Prova de funcionalidade com a interface de avaliao embarcada em um mecanismo de busca

Figura 1 - Seqncia do desenvolvimento da pesquisa.

3.4 Softwares Utilizados

a. Sistema operacional Windows XP para o desenvolvimento do sistema (http://www.microsoft.com/windowsxp), licena EULA; b. Sistema operacional Windows Server 2003 R2 para hospedar o sistema (http://www.microsoft.com/windows2003), licena EULA; c. Servidor de aplicaes Apache 2.0 para hospedar o sistema (http://httpd.apache.org/), licena GPL; d. Gerenciador de banco de dados MySQL 5.0 para armazenamento dos dados (http://www.mysql.com) , licena GPL; e. Linguagem Perl 5.8.8 para o desenvolvimento do sistema web e rob (http://www.perl.org), licena GPL;

10

f. Linguagem PHP 5.2.9 para o desenvolvimento do sistema web (http://www.php.net), licena GPL; g. Ambiente de desenvolvimento Eclipse 3.5 com plugins para Perl e PHP (http://www.eclipse.org), licena EPL; h. Ext JS 2.0 para criao da interface de avaliao ( http://extjs.com/), licena GPL; i. Microsoft Excel 2007 para a anlise dos dados gerados pela avaliao (http://office.microsoft.com/excel), licena EULA; j. Ferramenta de Data Mining Weka 3.0 para classificao de sites (http://www.cs.waikato.ac.nz/ml/weka/), licena GPL; k. Ferramenta para clculos estatsticos SPSS R17.0 e MedCalc 11.1.1.0, licenas EULA.

3.5 Hardwares utilizados

a. Servidor Intel, 4 processadores Intel Xeon Quad 3.0, 16 Gbytes memria RAM, HD 200 Gbytes, para hospedar e realizao do experimento; b. Notebook Dell, Core 2 Dual Intel 2.2, 2 Gbytes de memria RAM, HD 160 Gbytes para o desenvolvimento do sistema e consolidao dos dados.

3.6 Mecanismo de avaliao por usurios

Este mecanismo apresenta um mtodo de avaliao de websites com contedos em sade concebido na tecnologia Web 2.0. Este mtodo baseia-se na apresentao de um instrumento (questionrio) ao usurio no momento em que um website acessado por meio da interface desenvolvida para os experimentos ou em qualquer ferramenta na qual o mecanismo esteja acoplado. Para este mecanismo foi realizada uma prova conceito (Microsoft, 2008) e posteriormente um experimento com estudantes.

3.6.1 Desenvolvimento
Foi concebida uma interface web fazendo uso das tecnologias de Web 2.0, AJAX, XML, Perl e o framework Ext JS. A partir desta concepo, foi desenvolvida a interface para apresentar o instrumento ao usurio no momento da avaliao ao

11

acessar o website desejado. Esta interface foi desenvolvida com aparncia semelhante ao Google, visando minimizar o impacto visual ao usurio, conforme apresentado na Figura 2. A medida que um critrio era avaliado, os dados da avaliao eram automaticamente armazenados por meio do gerenciador de banco de dados MySQL e o item avaliado era automaticamente fechado, fazendo com que os demais itens aparecessem no topo da avaliao. Visando facilitar o acoplamento desta interface a outros experimentos, a formatao do instrumento para apresentao se dava automaticamente a partir da leitura de um arquivo no formato XML (exemplo no ANEXO 4, pg. 55) contendo os dados do instrumento.

Figura 2 - Pgina apresentando os resultados solicitados pelo usurio.

Os critrios utilizados neste experimento foram definidos com base nos critrios de adequao da HON (http://www.hon.ch), conforme apresentados na Tabela 1.
Tabela 1 - Lista de critrios utilizados nos experimentos.
Critrio Descrio do critrio 1 Os autores e suas credenciais mdicas foram mencionados? 2 O objetivo do website foi mencionado? 3 O pblico alvo foi mencionado? 4 H alerta sobre a importncia de consultar um mdico ou profissional da sade? 5 H informaes sobre o uso ou compartilhamento de informaes sigilosas? 6 H referncias para a fonte da informao? 7 Existem datas referentes informao? 8 Se oferece algum produto, apresenta indicaes e contra indicaes do produto? 9 Se oferece tratamentos, apresenta outras formas de tratamentos ou procedimentos? 10 H contato do responsvel? 11 H avisos sobre quem mantm o website financeiramente? 12 H aviso sobre os contedos de propaganda do website?

12

3.6.2

Portabilidade

Com o objetivo de facilitar a portabilidade e acoplamento este mecanismo foi desenvolvido utilizando linguagens de cdigo aberto regidas pela licena GPL (http://www.gnu.org/). Este mecanismo pode ser portado e acoplado a diversos tipos de interfaces por meio de uma requisio GET HTML (Pemberton S et al., 2000) com passagem dos seguintes parmetros: url: endereo web que se deseja avaliar; site_origem: nome do site que origina a chamada para validao da permisso; url_origem: endereo de origem da requisio; chave: cdigo de acesso ao sistema para ser validado com o parmetro site_origem; termo: caso o site de origem seja um site de busca, dever informar o termo utilizado na pesquisa; usuario: id do usurio que ir realizar a avaliao; questionario: nome do questionrio que dever ser apresentado; posio_url: posicionamento da url na pgina de origem; pagina_url: numerao da pgina de origem da url.

O mecanismo aqui desenvolvido, j fora acoplado a experimentos como: Teaching Files na Radiologia, avaliao de websites controlados contendo casos clnicos na radiologia (http://telemedicina6.unifesp.br/ teachingfiles); Sistema de busca desenvolvido embarcado no Google para prova de odontologia (http://telemedicina6.unifesp.br/odonto); Avaliao de websites controlados por usurios por

(http://telemedicina6.unifesp.br/healthrank/uab2009),

utilizado

participantes do Curso de Especializao em Informtica em Sade (2009-2010) da Universidade Aberta do Brasil (UAB); Avaliao de websites controlados por especialistas utilizado por

(http://telemedicina6.unifesp.br/healthrank/especialista), profissionais da rea da sade;

13

Avaliao de websites acoplado ferramenta de busca baseada no Google (http://telemedicina6.unifesp.br/healthrank), disponvel a

qualquer usurio na internet mediante o cadastro online do usurio.

3.6.3 Prova de conceito e funcionalidade

Inicialmente foi desenvolvida uma interface web para busca e recuperao da informao especfica para a prova de conceito, visando testar a funcionalidade do mecanismo. Para minimizar o impacto visual ao usurio, esta interface fez-se semelhana do Google, por ser a ferramenta de recuperao mais utilizada atualmente (NetApplications, 2010). Os dados retornados ao usurio no momento da pesquisa foram legalmente extrados por meio de uma ferramenta disponibilizada pelo prprio Google na web (http://code.google.com/intl/pt-BR/apis/ajaxsearch/web.html). Esta etapa, representada na Figura 3, foi realizada seguindo um fluxo, pelo qual era solicitado aos usurios pr-cadastrados (a) que acessassem o portal web e o utilizassem como seu mecanismo de busca. Ao entrar no portal (b), havia uma caixa de texto pela qual o usurio poderia realizar buscas. No ato da primeira busca, era solicitada a sua autenticao (c) e depois a resposta com os resultados (d) retornados pela API do Google era apresentada ao usurio. Quando um hiperlink retornado era acessado, uma nova janela (e) contendo o website solicitado se abria e outra janela incorporada ao website solicitado apresentava o instrumento de avaliao. medida que as questes fossem respondidas, elas automaticamente eram removidas do instrumento de avaliao.

Figura 3 - Fluxo utilizado para a prova de conceito de funcionalidade do mecanismo.

Na etapa de autenticao, os usurios j estavam previamente cadastrados, faltando somente a leitura e aceitao do TCLE.

14

medida que cada critrio era avaliado, os dados eram armazenados e o item avaliado fechado, conforme Figura 4, que ao avaliar o critrio Site de sade, o mesmo era fechado trazendo ao topo o critrio Qualidade.

(a)

(b)

Figura 4 - Tela apresentando o instrumento de avaliao: (a) Tela com questo sobre Site de sade; (b) tela aps resposta da questo site de sade.

3.6.4 Experimento: Avaliao de websites controlados pr-selecionados

Nesta fase foi iniciado o experimento, a finalidade deste foi avaliar websites pr-selecionados quanto a adequao de seu contedo por participantes do Curso de Especializao em Informtica em Sade da UAB (2009-2010)

(http://uab.unifesp.br). Escolha dos websites Para os experimentos controlados, foram escolhidos 50 websites, de acordo com o seguinte mtodo, tambm representado na Figura 5: a. Escolhido um diretrio de pginas web denominado Alexa

(http://www.alexa.com). Este diretrio apresenta tambm estatsticas sobre os portais cadastrados (Yanbe Y et al., 2007); b. Coletados 7.567 portais na categoria Brasil, dos quais, 213 sob a categoria sade; c. Selecionados aleatoriamente 25% dos websites (54 websites), porm 4 indicavam mensagem de erro que a pgina no poderia ser exibida, totalizando 50 websites nesta fase (ANEXO 5, pg. 56); d. Selecionado automaticamente e aleatoriamente um hiperlink interno do de cada website, totalizando 50 hiperlinks.

15

Definio do diretrio de pginas web (Alexa)

7.567 portais na categoria Brasil

213 portais na categoria sade

Selecionados 50 portais de sade no Brasil Selecionado aleatoriamente 1 pgina de cada portal, totalizando 50 pginas

Figura 5 - Mtodo para escolha dos 50 websites utilizados no experimento.

Avaliao dos websites pelo pesquisador Com o objetivo de criar uma comparao padronizada das avaliaes realizadas neste experimento, o pesquisador realizou uma avaliao manual dos websites seguindo os mesmos critrios j definidos, gerando assim um padro para comparao. Avaliao por alunos da UAB Este experimento foi realizado com alunos da UAB. Foi solicitado aos mesmos que lessem 2 artigos (Falco AEJ et al., 2008, 2009) sobre classificao e adequao de contedos de websites e depois acessassem um hiperlink (http://telemedicina6.unifesp.br/cgi-bin/healthrank/uab.pl). Ao acessar este endereo, era solicitado ao participante que respondesse a um instrumento sobre fluncia computacional (ANEXO 6, pg. 57) contendo as seguintes perguntas: - Qual a freqncia que voc utiliza o computador?; - Em que locais voc o utiliza o computador?; - Voc utiliza internet?; - Quanto tempo voc utiliza a internet por semana?; - Como o seu computador em casa est conectado internet?; - Indique os websites que voc acessa; - Indique seu conhecimento sobre as ferramentas.

16

Este instrumento foi embasado no relatrio do CETIC (CETIC, 2008) e aps respond-lo, o participante era direcionado para a pgina com a listagem dos websites selecionados para a sua avaliao. No primeiro acesso, 7 websites eram aleatoriamente selecionados do grupo de 50 cadastrados. Na pgina com a listagem de avaliao, foram apresentados primeiramente os 7 websites selecionados para cada participante e em seguida os outros 43. Estes 43 eram ordenados aleatoriamente, para distribuir as avaliaes, conforme apresentado na Figura 6.

Figura 6 - Lista de websites selecionados para avaliao.

A medida que o website era avaliado, uma barra de progresso era apresentada ao usurio, para que soubesse o quanto avaliou. Aps o trmino da avaliao, os avaliadores podiam ver os dados consolidados em uma pgina (http://telemedicina6.unifesp.br/healthrank/uabtic2009.html) e

tambm responder a um instrumento de avaliao do mecanismo utilizado e tambm do experimento (ANEXO 7, pg. 58).

3.7 Avaliao automatizada de critrios - Rob

Outra fase deste trabalho foi a construo de um mecanismo automatizado, pelo qual fosse capaz de verificar a adequao de websites com contedo em sade. Este mecanismo foi denominado Rob. O desenvolvimento deste mecanismo foi dividido em duas etapas: a primeira consistiu em um classificador de websites em sade e a segunda um verificador de adequao de critrios de websites em sade.

17

3.7.1 Construo de um classificador de contedos em sade

A construo deste classificador foi conduzida em trs etapas conforme apresentado na Figura 7.

Figura 7 - Fluxo para criao do classificador.

Em sua primeira etapa foram selecionadas pginas web e seus contedos foram classificados por voluntrios como sade ou no -sade. Foram tambm adicionadas ao estudo pginas provenientes do Manual Merck de Informao Mdica Sade para a Famlia (Berkow R et al., 2009). Posteriormente na segunda etapa, para cada conjunto de termos agrupados em at 3-gramas do contedo das pginas web selecionadas, foi calculada uma similaridade com Descritores em Cincia da Sade (DeCS) do Centro Latino Americano e do Caribe de Informao em Cincias da Sade (Bireme BVES, 2008). O DeCS um vocabulrio estruturado trilinge (portugus, espanhol e ingls) com foco na rea da sade e baseado em colees de termos organizados para facilitar o acesso informao. A BIREME utiliza o DeCS na indexao de artigos de revistas cientficas, livros, anais de congressos, relatrios tcnicos e outros tipos de materiais (Rosely de Ftima Pellizzon, 2004). O servio de clculo de similaridade disponibilizado pela BIREME por meio de um servio web disponvel em http://trigramas.bireme.br/ (Tardelli AO et al., 2004). Na ltima etapa, para cada conjunto de dados de similaridade de cada pgina web os dados foram agrupados em disposio de um histograma. Aps a criao dos histogramas foi calculada a freqncia relativa para cada intervalo, dada pela razo da freqncia de termos de cada intervalo e a soma das freqncias absolutas de todos os termos do histograma. Posteriormente foram desenvolvidos e ajustados parmetros de classificadores automatizados com a ferramenta gratuita, de cdigo aberto, para minerao de dados chamada Weka (Witten I et al., 2005) da Universidade de Waikato. Foi adotada como metodologia de treinamento e teste uma validao cruzada com 10 subgrupos (10 fold cross validation) (Burnham K et al., 2002). Para seleo do algoritmo com melhor acurcia foi a porcentagem de acertos, a sensibilidade, a

18

especificidade e a rea sob a curva ROC (Massad E et al., 2004). O clculo da especificidade foi realizado com o objetivo de determinarmos a proporo de pginas web com contedos no-sade classificadas corretamente. Inversamente, a sensibilidade foi utilizada para determinarmos a proporo de pginas web com contedos de sade, ou Merck, classificadas corretamente. A partir da especificidade e sensibilidade foi calculada a curva ROC, cuja rea abaixo da curva foi utilizada para determinar o melhor classificador de padres para uma determinada tarefa (Massad E et al., 2004). A composio das 3 etapas descritas anteriormente foi denominada InDeCS, incluindo as caractersticas de indexao utilizando a similaridade ao DeCS e a classificao automatizada dos contedos web (Falco AEJ et al., 2009).

3.7.2 Construo de um mecanismo automatizado de verificao de adequao

Devido ao crescimento dos contedos na web, cada vez se torna mais difcil a avaliao de contedos de forma manual (Eysenbach G et al., 2007). Esta seo visa propor e construir um mecanismo de avaliao da adequao de contedos em relao a 4 critrios do cdigo HON (http://www.hon.ch) e CREMESP (CREMESP, 2001), que ser aqui denominado rob. Inicialmente os 4 critrios escolhidos foram: autoridade, transparncia de propriedade, complementaridade e data de atualizao da informao. Estes critrios foram escolhidos devido maior facilidade de identificao automtica dos mesmos em contedos de websites. Este mecanismo automatizado foi construdo em linguagem de cdigo aberto Perl utilizando expresses regulares para reconhecimento de padres. As expresses regulares so ferramentas poderosas flexveis e eficientes para o processamento de texto (Friedl J, 2006). Para cada website submetido ao mecanismo, todo seu contedo HTML convertido para texto simples, gerando um corpus de anlise. A este corpus so aplicadas as expresses regulares previamente configuradas (ANEXO 8). Para cada um dos 4 critrios foram definidas expresses especficas para encontrar padres que se aproximassem de reais avaliadores. Estas expresses foram aplicadas no corpus, e se um padro era encontrado, 1 ponto era adicionado a avaliao final do website, totalizando assim um mximo de 4 pontos.

19

Este processo est representado na Figura 8.

Figura 8 - Fluxo do rob para verificao dos critrios de adequao.

Com objetivo de aferir o rob, um grupo de 168 websites do portal Alexa (http://www.alexa.com) classificados como tendo contedo em sade foi

apresentado a um avaliador, que deveria avaliar os websites e anotar os padres para cada um dos 12 critrios utilizados nos experimentos anteriores. Estes websites foram apresentados ao rob para confrontar as avaliaes e aferir seu mecanismo. Posteriormente, todos os websites dos demais experimentos foram submetidos ao mecanismo automatizado.

3.8 Anlise dos resultados

Os dados coletados nos experimentos foram analisados utilizando mtodos estatsticos para verificao de concordncia e correlao entre critrios. Para verificao de concordncia entre os grupos de avaliadores foi utilizado o teste kappa, este teste permite verificao entre avaliadores diferentes ou diferentes avaliaes de um mesmo avaliador (Sim J et al., 2005). Para os valores de kappa, temos: k < 0.20, considerado fraco; k entre 0.21 - 0.40, considerado razovel; k entre 0.41 - 0.60, considerado moderado; k entre 0.61 - 0.80, considerado bom; k entre 0.81 - 1.00, considerado muito bom.

A correlao entre os dados foi calculada pelo com base no teste Pearson, que indica correlao linear entre duas variveis medidas em um intervalo e a verificao de igualdade entre as mdias foi realizada pelo teste t-student (Easton VJ et al., 2009).

20

Estes testes devem ser aplicados a amostras normalmente distribudas, para identificar tal distribuio, foi aplicado o teste Kolmogorov-Smirnov (Croarkin C et al., 2009).

21

4 RESULTADOS
Este captulo tem como objetivo apresentar os resultados obtidos neste trabalho. Toda a discusso sobre estes resultados pode ser apreciada no captulo 5 Discusso.

4.1 Avaliao por usurios

Para a avaliao realizada pelos usurios, foi construdo uma interface de busca. A Figura 9 apresenta a tela de entrada do usurio utilizada nos experimentos e a Figura 10 apresenta a tela de autenticao do usurio, utilizada para garantir que os usurios avaliassem somente uma vez cada website e critrio.

Figura 9 - Pgina de inicial do mecanismo utilizado por usurios.

22

Figura 10 - Pgina solicitando o login ou cadastro do usurio.

A Figura 11 mostra a tela com a listagem dos resultados recuperados pela busca realizada pelo usurio.

Figura 11 - Pgina apresentando os resultados solicitados pelo usurio.

Ao clicar em um dos hiperlinks apresentados nesta pgina, o website escolhido ser aberto em uma nova janela solicitando ao usurio que o avaliasse, apresentando o instrumento construdo conforme Figura 12.

23

Figura 12 - Pgina apresentando o para avaliao do website pelos participantes.

4.2 Mecanismo automatizado - Rob

Foi construdo um mecanismo para identificao de padres em websites para verificar indcios de adequao em websites. A construo do rob se deu em duas etapas: 1. Confeco do Classificador de contedo de websites (InDeCS); 2. Criao do mecanismo de identificao das expresses.

4.2.1 Classificador de contedo de websites (InDeCS)

Para compor a base de dados foram coletadas 1.132 pginas web, sendo: 608 (53,7%) pginas web so provenientes do Manual Merck; 256 (22,6%) pginas web foram classificadas como sade; 268 (23,7%) classificadas como no-sade.

Nas 1.132 pginas web coletadas foram examinadas 740.644 composies para um termo, 1.296.780 composio de dois termos e 1.426.760 composio para trs termos, totalizando 3.464.184 composies, para todas as pginas web analisadas, conforme dados da Tabela 2. Os valores de similaridade de 0,1 e 0,2 no apresentam dados devido ao fato de o mecanismo de similaridade ao DeCS da BIREME (http://trigramas.bireme.br/) utilizado neste experimento no disponibiliza tais valores.

24

Tabela 2 - Distribuio dos grupos de termos nas faixas do histograma da similaridade. Quantidade Similaridade Um Termo Dois Termos Trs Termos 0,0 14.854 6.771 6.360 0,1 0 0 0 0,2 0 0 0 0,3 9.574 7.129 24.159 0,4 22.381 120.281 347.478 0,5 72.023 424.921 537.670 0,6 138.331 372.681 345.865 0,7 208.634 251.331 110.579 0,8 138.230 83.539 44.733 0,9 53.967 20.321 8.738 1,0 82.650 9.806 1.178 Total 740.644 1.296.780 1.426.760

Foi realizada uma anlise exploratria com algoritmos da ferramenta Weka para identificar qual o melhor algoritmo, as Tabela 3 e Tabela 4 apresentam os valores de porcentagem de acerto (%), sensibilidade (sen), especificidade (esp) e rea sob a curva ROC (ROC) para os algoritmos que apresentaram a melhor acurcia na classificao de pginas em sade para um, dois e trs termos analisados. Foram analisados os algoritmos de vizinhos mais prximos (VMP), redes neurais artificiais (RNA) e regresso logstica (RLG) usando as bases de dados sade vs no sade e Merck vs no-sade.
Tabela 3 Valores calculados usando base de dados sade vs no-sade. Um Termo Dois Termos Trs Termos % sen esp ROC % sen esp ROC % sen esp ROC VMP 81,13 RNA 80,19 Logstica 80,37 0,77 0,79 0,79 0,86 0,81 0,82 0,88 0,88 0,87 85,10 84,55 84,91 0,81 0,83 0,80 0,88 0,86 0,88 0,92 0,91 0,91 84,42 82,74 82,59 0,84 0,83 0,79 0,91 0,82 0,86 1,00 0,89 0,90

Tabela 4 valores calculados usando base de dados Merck vs no-sade. Um Termo Dois Termos Trs Termos % VMP 97,44 RNA 96,71 Logstica 97,25 sen 0,92 0,8 0,92 esp 1,00 0,88 1,00 ROC 0,98 0,91 0,98 % 95,86 95,32 94,56 sen 0,97 0,88 0,87 esp 1,00 0,99 0,98 ROC 1,00 0,96 0,96 % 97,11 96,45 95,59 sen 0,91 0,91 0,89 esp 1,00 0,99 0,98 ROC 1,00 0,98 0,98

De acordo com a Tabela 3, o algoritmo VMP usando dois termos para anlise apresentou melhor acurcia na classificao de pginas web de sade usando as

25

bases sade e no-sade, com valores para porcentagem de acerto, sensibilidade, especificidade e rea sob a curva ROC de, respectivamente, 85,10%; 0,81; 0,88 e 0,92. Considerando a Tabela 4, o algoritmo VMP usando um termo para anlise apresentou melhor acurcia na classificao de pginas web de sade usando as bases Merck e no-sade, apresentando valores de porcentagem de acerto, sensibilidade, especificidade e rea sob a curva ROC de, respectivamente, 97,44%; 0,92; 1,00 e 0,98. Este mecanismo de classificao foi ajustado e embarcado em um sistema metabuscador denominado Busca Sade (Mancini, 2009) disponvel em

http://buscasaude.unifesp.br/. Quando o website retornado pelo sistema de busca, o mesmo apresentado ao classificador que inclui um selo de classificao e altera o contraste de acordo com o tipo da classificao. A Figura 13 mostra um website com contedo classificado como sade com seu contraste sem alterao. J a Figura 14 apresenta um website com contedo classificado como nosade, neste caso o contraste das informaes reduzido e ao passar o mouse sobre o website avaliado como no sade, a imagem recebe sua colorao normal.

Figura 13 - Figura apresentando um website com contedo classificado como sade.

Figura 14 - Figura apresentando um website com contedo classificado como no-sade.

Esta classificao realizada de forma assncrona e a medida que as respostas so retornadas os hiperlinks sofrem a alterao de contraste e recebem a marcao de sade ou no-sade.

26

4.2.2 Criao do mecanismo de identificao das expresses.

O rob foi desenvolvido utilizando a linguagem de cdigo aberto Perl e expresses regulares para identificao de padres. Cada expresso foi criada para identificar os critrios e pode ter seu peso ajustado, tornando assim possvel aumentar a importncia de cada critrio para assim obter melhor concordncia com os demais avaliadores e mecanismos. Estas expresses configuradas esto listadas no ANEXO 8, pg. 59. Os dados obtidos podem ser facilmente visualizados no formato de texto ou exportados para sistemas de avaliao estatstica. Para permitir ajustes posteriores no mecanismo, todas as informaes encontradas pelas expresses so armazenadas em arquivos de texto. Durante as avaliaes, ajustes nas expresses foram realizados com o objetivo de obter melhor concordncia entre o rob e o pesquisador, visando assim maior proximidade entre as suas avaliaes.

4.3 Instrumento de fluncia computacional

Nesta seo esto dispostos os dados coletados no experimento por meio do instrumento de fluncia computacional. Este instrumento est disponvel no ANEXO 6, pg. 57, e compreende questes sobre escolaridade, uso da internet e do computador, e conhecimento sobre websites especficos e sistemas.

4.3.1 Alunos da UAB

A partir do instrumento sobre fluncia computacional sobre os alunos da UAB que colaboraram com o experimento foram consolidados e esto disponveis em: http://telemedicina6.unifesp.br/healthrank/uabtic2009.html. O instrumento de fluncia computacional foi apresentado a 352 participantes que acessaram o experimento, dentre estes, 345 responderam o instrumento, o que corresponde a aproximadamente 98% dos participantes. Os dados sobre a formao dos participantes so apresentados na Tabela 5.

27

Tabela 5 - Grau de instruo dos participantes do experimento. Formao % N Especializao Superior bacharelado Superior tecnlogo Superior licenciatura No respondeu Mestrado Residncia Doutorado MBA 34,78% 34,20% 8,99% 6,96% 7,25% 3,19% 2,61% 1,45% 0,58% 120 118 31 24 25 11 9 5 2

Os participantes deste experimento atuam em diferentes reas, esta distribuio pode ser observada na Tabela 6, sendo que 47,25% dos participantes atuam na rea da sade, 11,59% na rea da tecnologia e 16,65% na rea da informtica em sade.
Tabela 6 - Distribuio dos participantes por rea de atuao.

rea de atuao Sade Informtica em Sade Analista/Programador Educao No respondeu Outras reas Professor Medicina Odontologia Fisioterapia Administrao Gesto pblica Internet Gesto de servios pblicos Engenharia Telecomunicaes Transporte Profissional Liberal Marketing/Publicidade Seguros Estudante

% 38,55% 15,65% 8,99% 5,51% 4,64% 4,64% 4,35% 3,19% 2,90% 2,03% 1,74% 1,73% 1,45% 1,16% 0,58% 0,58% 0,29% 0,29% 0,29% 0,29% 0,29%

N 133 54 31 19 16 16 15 11 10 9 7 6 5 4 2 2 1 1 1 1 1

Outros dados relevantes encontrados nas respostas so que 86,09% utilizam o computador diariamente (Tabela 7) e somente 1,45% no utiliza a internet (Tabela 8). Entre os que utilizam a internet (82,32%); 20,58% a utilizam entre uma e cinco horas por semana e 15,36% utilizam mais de 31 horas, conforme distribuio apresentada na Figura 15.

28

Tabela 7 - Utilizao do computador por semana pelos alunos da UAB.

Utilizao do computador % Diariamente 86,09% No utilizo 10,43% No respondeu 3,19% Pelo menos uma vez por semana 0,29%

N 297 36 11 1

Tabela 8 - Quantidade de alunos da UAB que utilizam a internet.

Utilizam a Internet Sim No respondeu No

% 82,32% 16,23% 1,45%

N 284 56 5

Figura 15 - Tempo de utilizao de internet por semana dos alunos da UAB.

Dos participantes que responderam ao instrumento, 84,35% acessam o computador em casa e 65,57% no trabalho e somente 8,12% em centros pblicos pagos ou gratuitos (Tabela 9).
Tabela 9 - Local de utilizao da internet por alunos da UAB.

Local de utilizao da Internet % Em casa 84,35% No trabalho 65,57% Na escola 8,99% Na casa de outra pessoa 8,99% Centro pblico de acesso gratuito 8,12% Centro pblico de acesso pago 0,00%

N 291 226 31 31 28 0

Aos participantes foi questionado tambm seu nvel conhecimento sobre aplicaes de uso geral conforme apresentado na Tabela 10.

29

Tabela 10 - Nvel de conhecimento dos alunos da UAB sobre sistemas. Aplicao Avanado Intermedirio Apresentao 38,92% 31,25% Banco de dados 12,78% 14,20% Bate papo 36,36% 25,85% Correio Eletrnico 53,69% 26,42% Planilha eletrnica 28,41% 31,25% Desenvolvimento 13,35% 9,09% de sistemas Editor de textos 48,58% 30,97% Total de 345 participantes. Bsico 19,32% 31,53% 22,44% 11,36% 28,69% 25,00% 12,78% No conhece 1,70% 33,81% 5,97% 0,28% 4,26% 45,17% 0,28% No respondeu 8,81% 7,67% 9,37% 8,24% 7,39% 7,39% 7,39%

Outros dados coletados neste instrumento relatam informaes sobre o acesso do usurio a websites, no qual o mesmo respondia se j os havia acessado (Tabela 11).
Tabela 11 - Lista de websites que os alunos da UAB j acessaram. Website Bireme (http://www.bireme.br) Globo (http://www.globo.com) Google (http://www.google.com.br) IG (http://www.ig.com.br) Windows Live (http://www.live.com/) Orkut (http://www.orkut.com) PubMed (http://www.ncbi.nlm.nih.gov/pubmed/) Terra (http://www.terra.com.br) Twitter (http://www.twitter.com) Yahoo! (http://www.yahoo.com.br) Youtube (http://www.youtube.com.br) Total de 345 participantes Sim 31,53% 50,28% 80,40% 20,74% 39,77% 55,40% 18,47% 40,06% 12,78% 49,72% 63,07% No 29,55% 16,76% 0,00% 36,36% 23,86% 13,64% 37,22% 22,44% 40,63% 19,32% 6,53% No respondeu 38,92% 32,95% 19,60% 42,90% 36,36% 30,97% 44,32% 37,50% 46,59% 30,97% 30,40%

A Figura 16 apresenta uma consolidao dos dados coletados sobre a fluncia computacional dos participantes.

Figura 16 - Resumo dos resultados do questionrio de fluncia computacional.

30

4.4 Experimento com alunos da UAB

Nesta seo sero apresentados os dados coletados no experimento realizado com websites pr-selecionados e alunos do Curso de Especializao em Informtica em Sade da UAB (2009 2010). Estes dados foram posteriormente

correlacionados com os dados do rob.

4.4.1 Websites avaliados por alunos da UAB

Neste experimento, 352 participantes se cadastraram ao sistema e avaliaram 50 websites, com um total de 2.277 avaliaes. A lista completa dos websites avaliados esta no ANEXO 5, pg. 56. A percepo dos usurios acerca destes websites pode ser observada na Tabela 12, sendo que 63,07% avaliaram os websites so bons ou muito bons.
Tabela 12 - Percepo de qualidade dos usurios no experimento.

Percepo da qualidade Muito bom Bom Neutro Ruim Muito ruim

% 21,26% 41,81% 22,84% 10,94% 3,16%

N 484 952 520 249 72

Com o objetivo de construir um ndice de adequao, os dados foram normalizados em uma escala de 0 a 100, sendo 0 o menos adequado e 100 o mais adequado. Para esta normalizao foi inicialmente foi definido um peso (W) de 0 a 100 com base na quantidade de avaliaes realizadas, dado pela frmula:

, sendo t a quantidade de avaliaes realizadas e o valor de 1,2987 a razo entre o W mximo e o maior valor de avaliaes (82) subtrado o mnimo de avaliaes (5). Desta forma, os websites com menor nmero de avaliaes (5 avaliaes) foram receberam peso 0 e os com o maior nmero de avaliaes (82 avaliaes) receberam peso 100. A Tabela 14 e apresenta a nota de adequao e o total de avaliaes para cada critrio, os critrios esto descritos na Tabela 1, pg. 11. As notas de adequao podem variar de zero, para websites que no atendem ao critrio a cem, para websites que atendem ao critrio.

31

Na Tabela 14, por exemplo, o website #10, apresentou para o critrio O pblico alvo foi mencionado? uma nota de adequao (NA) 90,04; mostrando indcios de atender ao critrio avaliado e um total de 76 avaliaes para este critrio. Sendo assim, a nota de adequao (NA) em cada critrio para cada website foi calculada pela mdia das avaliaes multiplicada pelo peso (W), e a nota final de adequao (NF) foi calculada pela mdia das notas de adequao. A Figura 17 apresenta a distribuio da nota de adequao para todos os critrios avaliados, tendo como valor mnimo de adequao 19,36 e mximo 91,25; para Existem datas referentes informao? e O objetivo do website foi mencionado? respectivamente. A avaliao de todos os critrios apresentou mdia de 50,11 4,62; mostrando indcios de uma taxa mdia de adequao aos critrios de adequao.

Figura 17 - Distribuio da Nota de Adequao para todos os critrios.

A nota de adequao e o desvio padro para cada critrio podem ser observados na Tabela 13. Nesta tabela, por exemplo, o critrio H contato do responsvel? apresentou uma nota de adequao (NA) de 62,34 e desvio padro (DP) de 12,58.

32

Tabela 13 - Avaliaes de adequao (NA) por critrio e desvio padro (DP).

Os autores e suas credenciais mdicas foram mencionados?
NA DP

O objetivo do website foi mencionado?

NA DP

O pblico alvo foi mencionado?

NA DP

H alerta sobre a H informaes sobre o importncia de consultar uso ou um mdico ou compartilhamento de profissional da sade? informaes sigilosas?
NA DP NA DP

H referncias para a fonte da informao?

NA DP

49,97

10,68

60,72

11,37

55,54

10,70

46,19

10,88

37,81

10,13

51,50

11,22

Existem datas referentes informao?

NA DP

Se oferece algum Se oferece tratamentos, produto, apresenta apresenta outras formas indicaes e contra de tratamentos ou indicaes do produto? procedimentos?
NA DP NA DP

H contato do responsvel?
NA DP

H avisos sobre quem H aviso sobre os mantm o website contedos de financeiramente? propaganda do website?
NA DP NA DP

46,72

14,45

48,01

5,18

51,77

8,98

62,34

12,58

44,66

9,83

46,01

6,87

NA = Nota mdia de adequao para cada critrio DP = Desvio padro.

Tabela 14 - Nota de adequao (NA) e total de avaliaes (AV) para todos os critrios.
Os autores e suas credenciais mdicas foram mencionados? Se oferece algum produto, apresenta indicaes e contra indicaes do produto? H aviso sobre os contedos de propaganda do website?
NA AV

H alerta sobre a importncia de consultar um mdico ou profissional da sade?

H informaes sobre o uso ou compartilhamento de informaes sigilosas?

Existem datas referentes informao?

O objetivo do website foi mencionado?

Se oferece tratamentos, apresenta outras formas de tratamentos ou procedimentos?

NA

AV

NA

AV

NA

AV

NA

AV

NA

AV

NA

AV

NA

AV

NA

AV

NA

AV

NA

AV

NA

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27

50,00 23,10 50,44 35,02 50,33 50,65 33,34 53,25 85,19 46,59 50,56 50,29 56,61 51,30 51,80 74,64 37,65 46,76 39,13 49,57 49,45 67,51 65,52 47,98 48,24 50,00 52,97

5 63 6 65 4 4 60 10 76 40 7 9 67 7 63 67 53 10 72 3 7 71 62 9 53 5 59

50,00 64,44 50,93 83,84 50,00 51,95 65,02 51,95 60,31 91,25 50,19 52,02 72,29 50,93 74,17 53,01 73,44 48,70 54,85 51,30 51,30 77,22 61,39 51,77 57,70 50,00 64,37

5 68 7 72 5 8 67 10 75 76 7 9 69 7 72 67 67 15 74 7 7 73 65 11 57 6 64

50,00 58,99 50,93 74,75 50,00 51,95 51,21 50,29 51,82 90,04 49,79 50,98 72,86 50,65 48,81 34,44 65,61 53,03 46,38 50,56 50,56 69,30 48,81 53,90 54,73 50,44 55,38

5 65 7 71 5 8 68 9 73 76 6 8 68 6 62 64 66 15 72 7 7 70 62 11 56 6 63

50,33 49,41 50,56 21,43 49,57 50,00 30,33 49,14 71,25 42,11 49,82 49,71 42,93 50,56 49,41 20,24 38,83 48,54 52,42 50,00 49,57 64,47 46,47 48,56 35,36 50,00 55,95

4 59 7 60 3 4 61 9 77 38 7 9 54 7 59 60 53 8 72 5 6 70 54 9 51 5 60

50,33 23,44 49,35 20,79 50,65 50,00 25,35 48,05 33,86 35,46 50,00 49,35 27,70 49,45 33,57 24,41 31,22 47,98 20,07 50,00 48,70 22,07 30,60 49,35 34,81 49,57 29,27

4 55 6 61 4 5 52 8 63 36 5 6 52 7 52 48 52 9 64 4 7 59 53 10 50 6 57

50,33 23,60 49,45 55,41 50,00 49,45 33,29 49,03 52,43 64,86 50,00 49,03 42,39 50,22 73,32 55,40 53,57 46,97 29,50 50,00 49,45 42,16 75,78 50,00 57,68 50,00 57,75

4 66 7 67 5 7 62 8 76 59 5 8 51 6 63 65 60 12 70 5 7 71 65 8 55 5 61

50,33 19,43 48,70 32,00 50,00 49,79 27,32 49,07 77,33 61,33 50,00 48,54 32,95 50,00 62,52 47,60 50,00 46,97 19,36 50,33 50,00 22,33 68,01 48,05 71,84 50,44 47,03

4 65 7 66 5 6 62 7 77 61 5 8 53 6 61 66 60 12 67 4 5 68 66 10 55 6 59

51,30 51,19 50,33 36,09 50,44 50,44 43,36 48,05 51,14 55,68 50,00 49,79 41,83 50,00 46,24 42,07 49,44 50,33 48,87 50,00 50,65 66,10 44,09 49,45 45,24 50,33 49,47

3 56 4 35 3 3 34 8 40 40 5 6 31 6 29 27 39 4 40 5 4 61 29 7 15 4 29

51,30 63,21 49,82 36,66 51,95 50,22 41,51 49,14 79,51 53,36 49,82 50,49 41,79 50,56 57,76 47,09 55,06 50,44 74,51 50,44 49,45 75,33 50,53 49,07 46,24 50,00 51,15

3 66 7 47 2 6 39 9 69 36 7 8 52 7 34 49 37 3 63 3 7 70 27 7 29 5 42

50,00 56,61 50,19 63,24 49,68 51,46 73,44 53,25 85,19 82,76 51,30 52,02 80,72 51,30 81,99 68,58 71,49 45,61 60,88 51,30 49,52 85,69 71,66 51,07 76,11 50,56 65,48

5 67 7 68 4 8 67 10 76 76 7 9 69 7 71 65 62 13 72 7 8 73 68 11 58 7 60

50,00 30,27 49,35 38,00 50,00 49,52 58,40 48,70 38,56 68,13 49,07 48,54 44,00 49,45 59,04 34,48 47,62 46,11 27,20 50,22 49,03 26,06 32,71 48,70 34,88 49,79 51,19

H avisos sobre quem mantm o website financeiramente?

AV

H referncias para a fonte da informao?

O pblico alvo foi mencionado?

H contato do responsvel?

5 63 6 66 5 8 66 10 69 72 7 8 66 7 69 62 60 11 66 6 8 64 61 10 48 6 60

50,65 34,01 50,19 39,40 50,00 50,49 48,81 50,00 36,99 61,26 49,82 49,52 50,60 50,19 52,94 38,22 50,00 46,97 40,00 50,22 49,03 43,46 40,65 48,70 35,50 49,45 50,00

4 57 7 54 5 8 60 8 56 57 7 8 61 7 53 54 52 12 53 6 8 59 50 10 47 7 60 52 46 47 49 9 54 50 43 47 52 57 9 9 52 10 60 58 6 53 7 55 61 57

28 45,62 29 54,76

32 71,36 60 70,24

58 80,95 60 55,33

60 30,55 57 70,74

42 30,68 57 27,26 53 38 9 60 50 43 30 50 52 8 7 47 10 62 58 4 42 8 57 44 64 29,80 40,46 48,05 26,21 29,92 36,71 35,57 25,99 33,89 48,56 49,03 35,13 50,00 29,80 36,19 50,65 35,34 49,79 35,23 40,57 30,22

40 52,94 49 38,71 45 37 8 47 43 34 45 51 44 9 8 42 10 45 44 4 38 6 40 54 48 48,24 71,13 49,71 33,91 36,59 47,66 64,81 64,95 45,35 50,98 48,56 40,79 53,03 82,88 58,82 50,00 60,42 50,98 54,15 64,86 44,59

53 32,95 59 23,34 53 52 9 61 49 50 57 63 48 8 9 44 12 63 53 5 46 8 57 59 67 48,25 76,02 50,00 22,54 26,53 60,65 70,93 66,76 35,43 50,00 49,03 31,22 49,24 50,00 45,87 50,49 42,39 50,19 42,93 54,75 25,49

53 50,00 57 51,59 51 56 8 62 52 56 63 64 49 8 8 52 12 62 55 8 51 7 54 58 63 51,01 50,40 49,79 36,89 36,19 47,71 48,00 41,17 42,77 50,00 50,00 40,64 50,00 52,69 42,05 51,95 42,30 50,00 52,22 46,72 44,87

38 55,06 27 55,20 22 13 6 41 44 17 22 25 35 4 6 33 4 29 40 2 57 4 34 32 41 53,93 51,49 50,98 45,26 34,21 51,59 45,70 50,00 50,57 50,29 50,29 42,05 50,49 73,48 38,37 52,60 44,36 50,33 62,25 46,19 57,65

37 77,84 45 70,80 37 21 8 58 38 27 19 32 41 9 9 40 8 52 48 1 38 4 49 31 53 72,47 76,83 51,95 57,20 70,11 55,94 69,83 37,48 68,48 50,87 51,45 74,44 53,03 39,87 65,43 53,19 73,18 51,95 67,29 71,55 74,58

57 41,12 59 29,97 56 61 8 66 56 58 67 61 61 9 9 61 12 61 58 11 59 8 61 64 65 48,83 52,95 50,29 25,00 27,70 55,33 57,15 27,38 54,16 50,29 49,14 44,11 48,70 36,91 39,93 48,94 37,04 50,49 48,82 49,40 30,39

57 51,18 54 45,37 50 55 9 60 52 57 60 60 59 9 9 54 10 60 57 11 54 8 56 63 59 34,34 47,09 50,29 34,68 27,79 49,43 44,78 31,22 50,59 49,71 49,14 44,13 50,65 40,48 51,19 49,57 38,83 50,93 48,23 56,56 37,56

30 45,29 54 57,65 53 50,59 53 44,71 31 57,02 50 65,48 60 65,43 58 51,13 32 49,52 8 50,65 10 51,30 10 48,56 33 31,47 63 81,69 63 66,14 63 23,81 34 47,63 58 70,80 59 64,86 59 35,98 35 40,70 48 55,33 57 37,70 51 37,95 36 50,00 42 81,92 69 75,21 66 40,26 37 43,49 57 47,02 61 40,57 54 28,96 38 43,06 46 63,10 60 53,57 60 48,83 39 50,29 9 52,60 9 52,60 10 51,46 40 50,98 8 52,60 9 52,02 9 50,19 41 39,40 54 45,24 60 38,14 58 32,01 42 50,87 9 51,77 11 53,03 12 51,30 43 43,46 59 52,40 64 50,00 58 65,52 44 52,37 56 63,67 59 55,33 57 42,88 45 48,54 8 51,95 10 51,77 11 50,65 46 52,33 48 72,06 61 62,48 59 39,71 47 51,45 9 51,46 8 50,49 8 50,00 48 58,89 57 70,87 61 61,94 62 57,70 49 47,04 57 69,67 61 65,52 62 41,94 50 76,41 66 72,24 67 55,97 62 47,61 NA = Nota mdia de adequao para cada critrio DP = Desvio padro.

33

A Figura 18 apresenta distribuio da nota final por website e a Figura 19 apresenta o histograma da nota final e a sua curva normal.
100

Nota de adequao do website

90 80

70 60
50 40 30 Mximo (62,74) Mdia (50,11) Mnimo (40,40)

20 10
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50

Figura 18 - Nota final (NF) por website.

Figura 19 - Histograma da distribuio da Nota final (NF) por website.

A nota final por website e desvio padro so apresentados na Tabela 15. A mdia da avaliao dos websites foi de 36,83 e a mdia de adequao final dos websites foi de 50,11 4,62, mostrando indcios de mdia adequao dos websites em geral. O website #33 foi considerado pela sua nota final como menos adequado, o qual obteve uma nota final de adequao de 40,40 e o website #10 obteve a maior nota final, sendo considerado o mais adequado com nota final de 62,74 conforme Tabela 15. Outro fator questionado neste experimento foi a percepo de qualidade do usurio ao avaliar o website. Para calcular a percepo final foi utilizada a mdia das avaliaes sobre a percepo para cada website. A Tabela 16 apresenta o valor da

34

percepo alunos acerca dos websites avaliados e o desvio padro das avaliaes. O website com maior avaliao de percepo de qualidade foi o #15 com 75,00 (Hospital das Clnicas da FMUSP, http://www.hcnet.usp.br/) e o avaliado com menor percepo foi o #34 com 31,49 pontos. A mdia total da percepo foi de 49,06 10,54 e a distribuio das percepes pode ser observada na Figura 20.
Tabela 15 - Nota final por website, desvio padro e mdia de avaliaes.
URL 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 Nota Final 50,38 41,48 50,02 44,72 50,22 50,49 44,28 49,99 60,30 62,74 50,03 50,02 50,56 50,38 57,63 45,02 51,99 48,20 42,76 50,33 49,73 55,14 53,02 49,72 49,86 Desvio Padro 0,48 17,43 0,69 20,17 0,62 0,87 15,49 1,85 18,95 18,00 0,53 1,18 16,70 0,62 13,65 16,33 13,08 2,15 16,86 0,52 0,76 22,78 15,17 1,74 14,22 Mdia de Avaliaes 4,25 62,50 6,50 61,00 4,17 6,25 58,17 8,83 68,92 55,58 6,25 8,00 57,75 6,67 57,33 57,83 55,08 10,33 65,42 5,17 6,75 67,42 55,17 9,42 47,83 URL 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 Nota Final 50,05 52,50 51,69 49,44 48,76 58,79 50,09 40,40 42,36 48,06 57,01 42,08 49,15 50,64 50,20 42,28 51,01 51,46 49,34 50,86 50,04 50,67 55,04 54,56 49,80 Desvio Padro 0,35 9,27 17,40 16,86 10,76 11,89 1,09 18,76 16,85 8,17 15,13 13,52 10,14 1,16 1,31 11,12 1,47 15,60 9,96 1,46 13,67 0,68 10,25 10,94 17,79 Mdia de Avaliaes 5,67 56,17 48,25 52,50 47,83 45,83 8,50 58,17 50,83 45,08 48,92 52,50 51,00 8,42 8,33 49,75 10,00 56,25 53,58 6,75 50,50 7,08 53,58 53,83 59,33

Em verde, website com maior nota de adequao; em vermelho, website com menor nota de adequao.

Figura 20 - Distribuio da avaliao da percepo dos alunos acerca dos websites.

35

Tabela 16 - Percepo dos alunos acerca dos websites avaliados.

URL 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 Percepo 40,26 61,36 42,21 45,45 40,58 40,58 50,97 37,99 51,62 72,40 39,94 40,91 53,25 40,26 75,00 62,01 61,36 37,66 66,23 39,61 38,31 59,42 51,95 42,21 47,73 Desvio Padro 1,02 0,75 0,80 0,99 0,67 0,86 0,95 1,19 1,14 0,73 1,25 0,89 1,00 0,92 0,69 0,90 0,90 1,16 0,83 1,30 0,97 0,97 0,97 0,55 0,85 URL 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 Percepo 37,66 54,55 51,30 37,99 53,90 60,39 43,83 50,65 31,49 55,52 64,94 34,09 59,74 41,88 41,23 48,70 42,86 49,03 40,26 39,29 51,95 39,61 58,77 66,88 57,14 Desvio Padro 1,50 0,81 0,83 1,26 0,69 1,12 0,48 0,89 1,00 0,85 0,76 1,05 0,78 1,04 1,03 0,93 1,00 1,12 1,14 1,00 0,78 1,23 0,82 0,92 0,80

Em verde, website com maior nota de percepo; em vermelho, website com menor nota de percepo.

A Tabela 17 apresenta o coeficiente de correlao calculado pelo teste Pearson entre a percepo de qualidade do usurio e cada critrio avaliado. Nesta tabela, pode ser observado o valor de correlao Pearson de 0,60 e 0,65; apresentando indcios de boa correlao positiva entre a percepo de qualidade do usurio e o critrio O objetivo do website foi mencionado? e o critrio H contato do responsvel? respectivamente. Nesta tabela tambm pode ser observado que existe uma correlao negativa (-0,53) entre a percepo do usurio e o critrio H informaes sobre o uso ou compartilhamento de informaes sigilosas? .
Tabela 17 - Coeficiente de correlao entre a percepo e critrios de avaliao.
CRITRIO Person (p) 1 0,03 2 0,60 3 0,34 4 -0,08 5 -0,53 6 0,19 7 0,03 8 0,09 9 0,34 10 0,65 11 0,13 12 0,08 Nota Final 0,37

Em verde, correlao positiva entre o critrio e a percepo de qualidade; em vermelho, correlao positiva entre o critrio e a percepo de qualidade.

Com o objetivo de confrontar a percepo dos avaliadores aos critrios avaliados, foi criado um ranking ordenado pela nota final de cada website, apresentado na Tabela 18. Nesta tabela possvel comparar a nota final de cada website com a percepo de qualidade dos avaliadores e o posicionamento dos websites no ranking.

36

Tabela 18 - Ranking de adequao dos websites de acordo com a nota final.

Rank 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 URL 10 9 31 15 36 22 48 49 23 27 17 28 43 42 45 47 39 13 6 1 14 20 5 40 32 Nota Final 62,74 60,30 58,79 57,63 57,01 55,14 55,04 54,56 53,02 52,50 51,99 51,69 51,46 51,01 50,86 50,67 50,64 50,56 50,49 50,38 50,38 50,33 50,22 50,20 50,09 Percepo 72,40 51,62 60,39 75,00 64,94 59,42 58,77 66,88 51,95 54,55 61,36 51,30 49,03 42,86 39,29 39,61 41,88 53,25 40,58 40,26 40,26 39,61 40,58 41,23 43,83 Rank 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 URL 26 46 11 3 12 8 25 50 21 24 29 44 38 30 18 35 16 4 7 19 34 41 37 2 33 Nota Final 50,05 50,04 50,03 50,02 50,02 49,99 49,86 49,80 49,73 49,72 49,44 49,34 49,15 48,76 48,20 48,06 45,02 44,72 44,28 42,76 42,36 42,28 42,08 41,48 40,40 Percepo 37,66 51,95 39,94 42,21 40,91 37,99 47,73 57,14 38,31 42,21 37,99 40,26 59,74 53,90 37,66 55,52 62,01 45,45 50,97 66,23 31,49 48,70 34,09 61,36 50,65

A Figura 21 apresenta os resultados das avaliaes dos websites por alunos da UAB.
63,07% disseram que os websites so bons ou muito bons Mdia da avaliao dos critrios foi de 50,11 4,62

62,74 foi a maior nota de adequao e 40,40 a menor

75,00 foi a maior nota de precepo e 31,49 a menor Correlao entre a percepo de qualidade do usurio e os critrios O objetivo do website foi mencionado? e o critrio H contato do responsvel? (p= 0,60 e 0,65)

Figura 21 - Resumo dos resultados do experimento com alunos da UAB.

4.4.2 Websites avaliados pelo Rob

Para este experimento, os 50 websites pr-selecionados (ANEXO 5, pg. 56) avaliados pelos usurios foram apresentados ao rob para avaliao automatizada. As notas obtidas pelo rob para cada critrio podem ser 0 caso no atenda ao critrio ou 25 pontos caso atenda ao critrio. A nota final foi dada pela soma das notas dos 4 critrio, podendo variar entre 0 e 100, do menos adequado ao mais adequado.

37

A estes dados foi aplicado o teste kappa para verificar a concordncia entre as avaliaes do mecanismo de avaliao dos usurios e os valores coletados no rob. Os 50 websites foram avaliados pelo pesquisador com o objetivo de confrontar os resultados coletados pelas avaliaes dos usurios e pelo rob. A nota final atribuda pelo avaliador foi calculada pela mdia das notas dos critrios. A estes dados foi aplicado o teste de concordncia kappa entre utilizando os dados dos alunos, do rob e do pesquisador, pelo qual foram obtidos os valores apresentados na Tabela 19 e na Tabela 20, sendo que a Tabela 19 apresenta os dados antes dos ajustes das expresses e a Tabela 20 os dados aps os ajustes realizados nas expresses. Na Tabela 20 pode ser observado que o critrio H alerta sobre a importncia de consultar um mdico ou profissional da sade? apresentou timos indcios de concordncia (1,00) entre a avaliao do rob e do pesquisador e assim como o critrio Os autores e suas credenciais foram mencionadas? que apresentou bons indcios de concordncia (0,69) entre o rob e o pesquisador.
Tabela 19 - Concordncia entre os alunos, o rob e o pesquisador pr-ajustes.
Os autores e suas credenciais mdicas foram mencionados? Alunos Alunos Rob Pesquisador Rob H alerta sobre a importncia de consultar um mdico ou profissional da sade? Pesquisado Pesquisado Alunos Rob r r Existem datas referentes informao? Alunos Rob Pesquisado r H contato do responsvel? Alunos Rob Pesquisado r

0,33 0,41

0,33 0,46

0,41 0,46 -

0,06 0,14

0,06 0,56

0,14 0,56 -

0,17 0,52

0,17 0,31

0,52 0,31 -

0,13 0,81

0,13 0,18

0,81 0,18 -

Tabela 20 - Concordncia entre os alunos, o rob e o pesquisador aps-ajustes.

H alerta sobre a importncia de Os autores e suas credenciais mdicas consultar um mdico ou profissional da Existem datas referentes informao? foram mencionados? sade? Alunos Alunos Rob Pesquisador Rob Pesquisador Alunos Rob Pesquisador Alunos Rob Pesquisador H contato do responsvel? Alunos Rob Pesquisador

0,28 0,28

0,28 0,69

0,28 0,69 -

0,03 0,03

0,03 1,00

0,03 1,00 -

0,27 0,38

0,27 0,26

0,38 0,26 -

0,14 0,06

0,14 0,41

0,06 0,41 -

Pode ser observado na Tabela 21 a existncia de indcios de melhora na concordncia entre as avaliaes do pesquisador e do rob, exceto para o critrio Existem datas referentes informao? aps adequaes realizadas nos padres de identificao de critrios.
Tabela 21 - Concordncia entre o pesquisador e o rob pr e ps ajustes dos padres. Critrio Pr Ps
Os autores e suas credenciais mdicas foram mencionados? H alerta sobre a importncia de consultar um mdico ou profissional da sade? Existem datas referentes informao? H contato do responsvel?

0,46 0,56 0,31 0,18

0,69 1,00 0,26 0,41

38

A cada critrio foi atribudo um grupo de expresses regulares, a lista completa das expresses est disponvel no ANEXO 8, pg. 59. Estas expresses visam encontrar a maior quantidade de padres possveis. Para cada expresso pode ser atribudo um peso, neste experimento tais ajustes no foram utilizados e necessitam de uma avaliao mais detalhada e aprofundada. A Tabela 22 apresenta os valores consolidados para os dados das avaliaes realizadas pelos alunos, rob e pesquisador. Nesta tabela, de acordo com o rob pode ser observado que 7 websites (website 2, 12, 16, 24, 33, 37 e 43) no atendem a nenhum dos 4 critrios analisados (Os autores e suas credenciais mdicas foram mencionados?, H alerta sobre a importncia de consultar um mdico ou profissional da sade?, Existem datas referentes informao? e H contato do responsvel?) e nenhum atende a todos os critrios. Segundo as avaliaes do pesquisador, 2 websites (websites 23 e 32) no atendem aos 4 critrios e nenhum atende a todos os critrios. A Figura 22 apresenta o resumo dos pontos importantes desta seo.

Figura 22 - Resumo dos resultados da avaliao do rob e pesquisador.

39

Tabela 22 - Valores das avaliaes dos alunos, rob e pesquisador para os 4 critrios.
Os autores e suas credenciais mdicas foram mencionados? H alerta sobre a importncia de consultar um mdico ou profissional da sade? Existem datas referentes informao? H contato do responsvel? Nota Final
Pesquisador Alunos Rob Pesquisador

URL

Alunos

Rob

Pesquisador

Alunos

Rob

Pesquisador

Alunos

Rob

Pesquisador

Alunos

Rob

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50

50 23 50 35 50 51 33 53 85 47 51 50 57 51 52 75 38 47 39 50 49 68 66 48 48 50 53 46 55 45 57 50 31 48 41 50 43 43 50 51 39 51 43 52 49 52 51 59 47 76

0 0 0 0 0 0 0 0 100 100 100 0 100 100 100 0 0 0 100 0 0 100 0 0 0 0 100 0 100 0 100 0 0 100 100 0 0 0 100 100 0 0 0 100 0 0 0 100 0 100

0 0 0 0 100 0 0 0 100 100 100 0 100 100 100 0 0 0 0 0 0 100 0 0 0 0 100 0 0 100 100 0 0 100 0 0 0 0 100 100 0 0 0 100 0 0 100 0 0 100

50 49 51 21 50 50 30 49 71 42 50 50 43 51 49 20 39 49 52 50 50 64 46 49 35 50 56 31 71 45 51 49 24 36 38 40 29 49 51 50 32 51 66 43 51 40 50 58 42 48

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 100 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 100 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

50 19 49 32 50 50 27 49 77 61 50 49 33 50 63 48 50 47 19 50 50 22 68 48 72 50 47 33 23 48 76 50 23 27 61 71 67 35 50 49 31 49 50 46 50 42 50 43 55 25

100 0 0 0 100 100 0 100 100 100 0 0 0 0 0 0 0 100 100 0 0 0 0 0 100 100 100 0 0 100 100 100 0 0 100 100 0 0 100 0 0 0 0 100 0 100 0 0 100 0

0 0 0 0 0 0 0 0 100 100 0 0 0 100 100 0 100 0 0 0 0 0 0 0 100 100 100 0 0 100 100 0 0 0 100 100 100 0 0 0 0 0 0 0 100 0 100 0 0 0

50 57 50 63 50 51 73 53 85 83 51 52 81 51 82 69 71 46 61 51 50 86 72 51 76 51 65 78 71 72 77 52 57 70 56 70 37 68 51 51 74 53 40 65 53 73 52 67 72 75

100 0 100 100 100 100 100 100 0 100 100 0 100 0 100 0 100 100 100 100 100 100 100 0 100 0 100 100 100 100 100 100 0 100 100 100 0 100 100 100 100 100 0 100 100 100 100 100 100 100

100 100 100 100 100 100 100 100 0 100 100 100 100 100 100 100 100 100 100 100 0 100 100 100 100 0 100 100 0 100 100 100 100 100 100 100 0 100 100 100 100 100 0 100 100 100 100 100 100 100

50 41 50 45 50 50 44 50 60 63 50 50 51 50 58 45 52 48 43 50 50 55 53 50 50 50 53 52 49 49 59 50 40 42 48 57 42 49 51 50 42 51 51 49 51 50 51 55 55 50

50 0 25 25 50 50 25 50 50 75 50 0 50 25 50 0 25 50 75 25 25 75 25 0 50 25 75 25 50 50 75 50 0 50 75 50 0 25 75 50 25 25 0 75 25 50 25 50 50 50

11 30 11 27 22 10 9 20 60 50 33 9 33 60 67 25 33 33 20 18 0 33 44 22 22 25 60 25 0 50 70 22 20 30 33 63 25 18 38 44 25 20 36 33 57 10 71 20 29 33

Em verde, maiores notas de avaliao para os 4 critrios; em vermelho, menores notas de avaliao para os 4 critrios.

40

4.5 Avaliao do instrumento pelos participantes

Nesta seo sero apresentados os dados coletados no experimento por meio do instrumento de avaliao do mecanismo, realizado ao trmino do experimento. Este instrumento foi respondido voluntariamente por 108 participantes do experimento. Os participantes do experimento indicaram na avaliao geral uma nota final de 8,20 1,35 em uma escala de 0 a 10 para o mecanismo utilizado e o experimento realizado. Aproximadamente 95,28% dos participantes disseram achar o mecanismo de avaliao manual bom ou muito bom (Tabela 23) e 94,42% acham importante ou muito importante avaliao de adequao de contedos (Tabela 24).
Tabela 23 - Avaliao dos alunos da UAB sobre a importncia de avaliao de adequao.
Opinio sobre a qualidade do experimento Muito bom Bom Neutro Ruim Muito ruim % 27,78% 65,74% 6,48% 0,00% 0,00% N 30 71 7 0 0

Tabela 24 - Importncia da avaliao.

Importncia da avaliao Muito importante Importante Neutro Pouco importante Nada importante % 37,74% 57,55% 1,89% 2,83% 0,00% N 40 61 2 3 0

Dos respondentes, 37,74% disseram que com certeza participariam de outras avaliaes (Tabela 25).
Tabela 25 - Inteno de participao em futuras avaliaes.
Participao % N

Com certeza sim Talvez sim No sei dizer Provavelmente no Com certeza no

37,74% 45,28% 11,32% 5,66% 0,00%

40 48 12 6 0

Outro ponto questionado aos participantes foi sobre a dificuldade de acesso ao sistema e tambm sobre a dificuldade de entendimento das questes para avaliao, no qual 49,06% afirmaram que puderam avaliar sem problemas os websites apresentados (Tabela 26) e somente 0,94% no conseguiram avaliar nada.

41

Tabela 26 - Dificuldades com o instrumento de avaliao.

Dificuldades com o instrumento de avaliao Sim, mas pude avaliar tranquilamente 49,06% Sim, e impactaram em minhas avaliaes 36,79% No, as questes foram claras 11,32% No sei responder 1,89% Sim, e no consegui avaliar nada 0,94% 52 39 12 2 1

Poucos participantes (8,49%) relataram sobre problemas e 51,89% no tiveram problema de acesso ao experimento (Tabela 27).
Tabela 27 - Outros tipos de problemas com o experimento e infra-estrutura.
Dificuldades para acessar o experimento No, acessei facilmente e o experimento foi claro 51,89% Sim, tive problemas de acesso com o Internet Explorer. 21,70% Sim, o experimente foi confuso 16,98% Sim, tive problemas de acesso com a Internet 8,49% No sei responder 0,94% 55 23 18 9 1

42

5 DISCUSSO
Este captulo apresenta as discusses do trabalho. Inicialmente so discutidos os resultados dos mecanismos desenvolvidos. Em seguida uma comparao da avaliao de adequao com a percepo de qualidade nos websites em sade avaliados.

5.1 Mecanismo de avaliao por usurios

Criar um instrumento que possa ser embarcado em uma ferramenta de busca tradicional no o maior desafio, e sim a criao de um mecanismo que utilize tecnologias novas como a Web 2.0 que no apresente incompatibilidades com os mais diversos tipos de navegadores web existentes. Superada parte deste desafio, outro ponto importante desta etapa foi criar este mecanismo de forma a no prejudicar o visual ao website que o usurio estivesse acessando. A primeira deciso a ser tomada seria onde apresentar o instrumento de avaliao, na parte superior, na lateral esquerda ou direita. Inicialmente foi criado um frame (Castro, 2003) esquerda para exibir o instrumento, consumindo uma frao da tela. Posteriormente, como sugesto de avaliadores e com a praticidade da Web 2.0, foi introduzida uma janela flutuante para apresentao do instrumento e quando todos os itens eram avaliados a janela desaparecia liberando a navegao para o avaliador. Esta abordagem permitiu que o usurio movimentasse a janela sem que a mesma sobrepusesse o contedo do website a ser avaliado e economizava espao na tela do avaliador. Este mecanismo foi desenvolvido visando a portabilidade e a praticidade de integrao, tais fatores, viabilizaram a adaptao deste instrumento em diversos experimentos e at mesmo avaliaes (provas). Um ponto a ser considerado em uma nova verso o tempo de resposta, que em alguns momentos devido a alta utilizao, os usurios avaliavam o critrio e o mesmo demorava at 2 segundos para desaparecer da tela de avaliao. Este

43

atraso ocorria devido o mecanismo se encontrar em um servidor compartilhado, no qual concorria com diversas outras aplicaes.

5.2 Mecanismo automatizado - Rob

No inicio deste estudo, esperava-se que os contedos dos websites em sade poderiam ser identificados simbolicamente a partir da similaridade com termos do DeCS. Porm, esta identificao no foi possvel. Acredita-se que devido a existirem termos no DeCs que pertencem a reas que no so apenas da sade como, por exemplo, telefone celular, que pertence subclasse telefone da categoria cincias da informao. Optou-se em utilizar tcnicas de minerao de dados para analisar os histogramas, o que mostrou ser uma abordagem vlida neste domnio, tendo em vista a acurcia obtida pelos algoritmos usados. Foi observado que o algoritmo de vizinhos mais prximos (VMP) mais eficiente, se comparado aos algoritmos de RNA e regresso logstica. Apesar de inicialmente considerar o agrupamento de trs at termos (3gramas) como mais representativo para o clculo de similaridades, neste estudo o agrupamento de dois termos para o experimento Merck x no -sade e um termo para o experimento sade x no-sade apresentaram melhor acurcia. importante ressaltar que no se uniu as bases de dados sade e Merck porque os resultados dos classificadores no refletiriam os objetivos deste estudo. O foco deste estudo foi determinar a acurcia na classificao de pginas web de sade a partir de um experimento com pginas retornadas pelo Google e tambm uma anlise com base em um manual disponvel na web com informaes de sade voltadas para a famlia. A unio das bases de dados est sendo foco das anlises atuais dos autores. Novos estudos precisam ser realizados com listas de palavras contendo mais de 10 mil termos populares, relacionados sade, e tambm pelo mapeamento dos termos do DeCS com conceitos da Unified Medical Language System (UMLS) (http://umlsinfo.nlm.nih.gov). Cabe ressaltar que embora essa metodologia tenha sido aplicada em pginas web que estavam em lngua portuguesa brasileira, a abordagem proposta pode ser

44

aplicada em outros idiomas, utilizando-se outros descritores de sade independente do idioma. O maior desafio da construo de um rob para identificao e classificao de adequao de contedos esta relacionada com a diversidade de possibilidades de se escrever uma determinada informao. Este rob foi criado para identificar padres por meio de expresses regulares e precisou de ajustes nas expresses ao longo deste trabalho. Este mecanismo possibilita o ajuste de pesos para cada critrio, combinao de padres ou exclusividade de padres, contudo, neste trabalho os pesos para os padres permaneceram iguais e foram considerados exclusivos, ou seja, se um padro do critrio era atendido, os outros padres no eram testados. Em nenhum dos websites avaliados no experimento foram encontrados todos os critrios pelo rob e 10 websites no apresentaram qualquer um dos critrios. Durante o andamento do projeto, ajustes nos padres de deteco das expresses foram realizados e o teste de concordncia apresentou indcios de aumento da concordncia com o pesquisador em 3 dos 4 critrios analisados conforme Tabela 21, pg. 11. Trabalhos futuros precisam ser realizados visando melhores ajustes nas expresses e tambm nos pesos de todos os critrios, bem como a combinao de padres e a criao de novos padres em busca de uma melhor acercea.

5.3 Prova de conceito

A prova de conceito foi realizada para validao do mecanismo por usurios e um aferimento das expresses de reconhecimento do rob. De acordo com a proposta inicial do mecanismo, o mesmo foi embarcado em uma ferramenta de busca tradicional, deixando o usurio realizar busca de forma livre e aberta, a fim de observarmos o comportamento da ferramenta embarcada em um mecanismo tradicional de busca. Com este experimento foi possvel receber crticas sobre a interface e tambm identificar a dificuldade da participao dos usurios, tendo em vista que apenas 4 dos 12 participantes convidados acessaram o sistema, e avaliaram somente 1 website cada.

45

Esta etapa serviu tambm como base de ajustes do mecanismo automatizado para identificao dos padres de expresses regulares nos websites. Nesta fase foi possvel identificar alguns problemas de entendimento em relao s questes apresentadas bem como dvidas sobre onde encontrar as informaes nos websites. Os dados analisados at esta fase foram considerados somente como informao utilizada para aferir o rob.

5.4 Experimento: Avaliao de websites controlados prselecionados

Com o objetivo de atingir um nmero expressivo de participantes, foi lanado um experimento com 50 websites pr-selecionado embarcados no mecanismo de avaliao manual, sem a necessidade de realizao da pesquisa por parte do avaliador, no qual era solicitado aos participantes que avaliassem 7 websites e caso tivessem interesse poderiam avaliar os outros 43 restantes voluntariamente. Neste experimento, houve um total de 2.277 avaliaes podendo ser considerado significativo para um intervalo de confiana (IC) de 95% e erro de aproximadamente 2%. Outro ponto importante analisado foi que apesar de 63,07% dos participantes acreditarem que os websites fossem bons ou muito bons somente 48,00% dos websites obtiveram valor de adequao superiores a mdia de 50,11 em uma escala de 0 100, nenhum website obteve nota final superior a 75,00 pontos e nenhum website obteve pontuao inferior a 25 pontos. Em nenhum website foi encontrado o selo do cdigo de adequao HON. Analisando individualmente cada critrio, o critrio que mais foi atendido em mdia foi o H contato do responsvel? com mdia de 62,43 12,58 e o critrio H informaes sobre o uso ou compartilhamento de informaes sigilosas? foi o menos atendido com mdia 37,81 10,13, conforme mostrado na Tabela 13 pg. 32. Os websites apresentam baixo coeficiente de adequao, com valor mnimo de 40,40 e valor mximo de 62,74, bem prximos a mdia de 50,11. Somente o website #15 (Hospital das Clnicas da FMUSP,

http://www.hcnet.usp.br/) apresentou o selo de adequao HON. Mesmo este

46

website apresentando o selo, no atendeu todos os critrios e obteve avaliao de 57,63 pelos participantes; 50 do rob e 66,67 do pesquisador. Os comentrios dos participantes ao final do experimento apresentavam a falta de confiabilidade nos contedos dos websites em sade, e a confiabilidade nos contedos do encontrados no Google e disseram ser importante a criao de um selo de qualidade para os websites no momento da busca. Estes comentrios mostraram ainda dvidas se os contedos so realmente sobre sade, muitos sites classificados em sistemas de diretrios apresentam sites com propagandas ou comrcio. Os participantes disseram que a quantidade de perguntas torna invivel a integrao com mecanismos de busca, pois o usurio esta procurando informaes com agilidade e no est interessado em responder questionrios. Partindo destes comentrios, vendo a importncia de criar um selo, porm com o dilema da no participao devido ao nmero de questes, o mecanismo foi alterado para apresentar apenas 3 questes, sendo a primeira se o website possui contedos em sade, a segunda sobre a percepo de qualidade e a terceira escolhida aleatoriamente dentre os 12 critrios a serem avaliados com base no HON. Apesar do pequeno nmero de websites avaliados, foi possvel notar a complexidade a baixa adequao dos websites, bem com a percepo dos participantes. A utilizao de disseminao por mdia social deve ser considerada em experimentos futuros, visando aumentar a abrangncia do experimento. Apesar de um pblico limitado, importante ressaltar que o pblico participante representa estudantes de diversas regies do Brasil.

5.5 Avaliao final do mecanismo de avaliao por usurios

A avaliao geral do mecanismo apresentou um alto grau de satisfao (8,20 1,35) em uma escala de 0 a 10 e 95,28% afirmaram achar o mecanismo bom ou muito bom. Esta avaliao mostrou com 94,42% que de extrema importncia a existncia de um mecanismo para avaliao online de websites com contedo em sade.

47

Grande parte dos participantes (37,74%) afirmou que com certeza participariam de avaliaes futuras e 45,28% disseram que talvez participassem. Tais afirmaes mostram a necessidade e a importncia da criao de um mecanismo eficiente de eficiente avaliao de adequao para websites com contedos em sade mostrou tambm que usurios de internet participariam de experimentos e avaliaes futuras. Os participantes deste experimento indicaram dificuldades de entendimento dos critrios de avaliao, porm 60,38% disseram conseguir entender e responder as perguntas realizadas. Somente 21,70% tiveram problemas de acesso ao experimento, estes problemas foram relacionados a tecnologia utilizada que impossibilitava o acesso por meio de uma determinada verso do navegador Internet Explorer, tal problema foi corrigido durante o experimento. No havia notificaes de problemas nos experimentos anteriores.

5.6 Anlise da avaliao x percepo

Um dos objetivos deste estudo era verificar a existncia de correlao entre a percepo de qualidade do ponto de vista do usurio e a existncia de critrios de adequao. Tal correlao pode ser observada, ainda que no fortemente, somente em dois critrios, o O objetivo do website foi mencionado? (0,60) e H contato do responsvel? (0,65). Ao analisarmos os dados da Tabela 18, mas agora ordenado pela percepo de qualidade (Tabela 28), podemos observar que somente 4 (8%) websites (websites URL 15, 1, 5 e 3) esto entre os 10 websites com maior percepo de qualidade. Estes dados reforam os indcios de que a percepo de qualidade dos websites no esta diretamente relacionada a responsabilidade de adequao a critrios e recomendaes existentes. A Tabela 29 apresenta os tops 10 websites ordenados pela nota final (ranking). O website com maior avaliao de percepo de qualidade foi de nmero 15 (Hospital das Clnicas da FMUSP, http://www.hcnet.usp.br/) com 75,00 e o avaliado com menor percepo foi o de nmero 34 (Espao Arte de Curar, com

http://www.espacoartedecurar.com.br/consultoria/programas/tradicional.html ) 31,49 pontos.

48

Aos dados da nota final e percepo foi aplicado o test-t (Easton VJ et al., 2009) (nota final e percepo possuem distribuio normal, p=0,08 e p=0,15 respectivamente), considerando a hiptese nula de ambas as avaliaes serem iguais, e o resultado foi de p=0,76, portanto no podemos rejeitar a hiptese nula e considerar as avaliaes de percepo e adequao so estatisticamente iguais. Tais evidncias apresentam indcios de que aos olhos do usurio leigo o fato no existirem os critrios de recomendao de adequao est diretamente relacionado com sua percepo de qualidade do contedo da informao, mesmo que inconscientemente. A Tabela 28 e a Tabela 29 apresentam o ranking dos Top 10 websites ordenados pela percepo de qualidade e nota final, respectivamente.
Tabela 28 Top 10 websites ordenados pela percepo de qualidade.
ID 15 10 49 19 36 16 2 17 31 38 Nota Final Percepo Rank 57,63 75,00 4 62,74 72,40 1 54,56 66,88 8 42,76 66,23 45 57,01 64,94 5 45,02 62,01 42 41,48 61,36 49 51,99 61,36 11 58,79 60,39 3 49,15 59,74 38

Tabela 29 Top 10 websites ordenados pela nota final (ranking).

ID 10 9 31 15 36 22 48 49 23 27 Nota Final Percepo Rank 62,74 72,40 1 60,3 51,62 2 58,79 60,39 3 57,63 75,00 4 57,01 64,94 5 55,14 59,42 6 55,04 58,77 7 54,56 66,88 8 53,02 51,95 9 52,5 54,55 10

49

6 CONCLUSES
Foi desenvolvido e avaliado um mecanismo denominado HealthRank utilizando tecnologia Web 2.0 e um mecanismo automatizado de avaliao com base em critrios de adequao do Health On Net. Com estes mecanismos foi realizado um experimento para avaliar websites pr-selecionados de um diretrio de websites. a. Foi desenvolvido, criado e avaliado um mecanismo denominado HealthRank fazendo uso de tecnologias de Web 2.0; b. Este estudo possibilitou a criao de um mecanismo automatizado para avaliao de 4 critrios com base no cdigo HON; c. Com os resultados dos experimentos realizados foi confeccionado um ranking de adequao de websites em relao a cdigos de adequao.

Os websites analisados apresentam poucos indcios de adequao (50,11 4,62) e na maioria no possuem o selo de adequao HON. Apesar da adequao e percepo de qualidade apresentarem valores prximos, ao se analisar cada website possvel notar que aos olhos do usurio leigo o fato de no existir os critrios de recomendao para adequao, a ausncia destes no interfere diretamente em sua percepo de qualidade do contedo da informao.

50

7 CUSTOS
Infra-estrutura - R$ 14.000,00

Servidor para hospedagem da ferramenta de anlise, banco de dados e processamento de scripts R$10.000,00;

Desktop para desenvolvimento e anlise dos dados coletados, confeco de relatrios R$4.000,00.

Materiais para consulta R$1.000,00

Data Mining Solutions: Methods and Tools for Solving Real-World Problems R$ 180,00;

Similarity Search: The Metric Space Approach (Advances in Database Systems) R$ 350,00;

Advanced Statistics from an Elementary Point of View R$ 250,00 Web Data Management R$200,00.

Servios - R$ 15.000,00

Contratao profissional para servio de desenvolvimento e suporte durante projeto (R$ 1.250,00 x 12).

Eventos e publicaes - R$ 15.000,00

Congresso Brasileiro de Informtica em Sade, Campos do Jordo, 2008.

Os custos com servidores foram absorvidos pela utilizao de servidores j existentes no Departamento de Informtica em Sade da UNIFESP. Os demais valores foram custeados e absorvidos pelo pesquisador com auxlio da bolsa de pesquisa CAPES-DS durante 24 meses (perodo 10/2007 09/2009).

51

8 TRABALHOS FUTUROS
Acredito que este trabalho possa gerar diversos trabalhos futuros, como exemplo: Classificao de websites com contedo em sade em sub-reas; Embarcar o mecanismo desenvolvido em um meta-buscador; Propor aos conselhos de classe a disponibilizao da avaliao dos websites e a colaborao de especialistas; Apresentar BIREME estatsticas sobre a incidncia de termos do DeCS em websites; Propor para a Secretaria de Sade a disponibilizao de um ranking dos websites da rea da sade quanto a sua adequao cdigos de tica.

52

9 ANEXOS
ANEXO 1. Instrumento utilizado na Reviso da Literatura
Questo: Levantar evidncias sobre o uso de interao social de usurios na Internet para avaliao da adequao de contedos em sade em relao a critrios ticos. Avaliador:____________________________________________________ Ttulo do trabalho:______________________________________________ Mdia e data da publicao: ______________________________________

1. Tipo da publicao: Reviso da literatura Desenvolvimento de sistema 2. Define critrios novos? Sim. No, utiliza ___________ Definio de critrios Outro: ____________

3. Tipo de mecanismo de avaliao? Formulrio para submisso 4. Utiliza mdia social? Sim 5. Utiliza Web 2.0? 6. Sim No No Automatizado

7. Quantos websites? Quantas pessoas avaliaram? _____ Pessoas 8. Tem evidncias? Que tipo? Sim: ____________________ 9. Qual a avaliao final do artigo? Muito Bom Muito Ruim Bom Ruim Neutro No ______ Websites

53

ANEXO 2. Lista de trabalhos selecionados para reviso da literatura

Referncia do trabalho avaliado 1 Sarwar BM, Konstan JA, Borchers A, Herlocker J, Miller B, Riedl J. Using filtering agents to improve prediction quality in the GroupLens research collaborative filtering system. Proceedings of the 1998 ACM conference on Computer supported cooperative work; Seattle, Washington, United States. 289509: ACM; 1998. p. 345-54. Millard DE, Ross M. Web 2.0: hypertext by any other name? Proceedings of the seventeenth conference on Hypertext and hypermedia; Odense, Denmark. 1149947: ACM; 2006. p. 27-30. Fogg B, Marshall J, Kameda T, Solomon J, Rangnekar A, Boyd J, et al. Web credibility research: a method for online experiments and early study results. CHI '01 extended abstracts on Human factors in computing systems; Seattle, Washington. 634242: ACM; 2001. p. 295-6. Fogg BJ, Marshall J, Laraki O, Osipovich A, Varma C, Fang N, et al. What makes Web sites credible?: a report on a large quantitative study. Proceedings of the SIGCHI conference on Human factors in computing systems; Seattle, Washington, United States. 365037: ACM; 2001. p. 61-8. Fogg BJ, Soohoo C, Danielson DR, Marable L, Stanford J, Tauber ER. How do users evaluate the credibility of Web sites?: a study with over 2,500 participants. Proceedings of the 2003 conference on Designing for user experiences; San Francisco, California. 997097: ACM; 2003. p. 1-15. Bodkin C, Miaoulis G. eHealth information quality and ethics issues: an exploratory study of consumer perceptions. International Journal of Pharmaceutical and Healthcare Marketing. 2007;1(1):27 - 42-27 - 42. Barak A. Ethical and Professional Issues in Career Assessment on the Internet. Journal of Career Assessment. 2003;11(1):3-21. Sellitto C, Burgess S. Towards a weighted average framework for evaluating the quality of web-located health information. Journal of Information Science. 2005;31(4):260-72. Nater T, Boyer C, Eysenbach G. Debate about evaluation and monitoring of sites carrying the HON-Logo. Journal of Medical Internet Research. 2000 2000 June 30;2(2). Risk A, Dzenowagis J. Review of internet health information quality initiatives. J Med Internet Res. 2001 Oct-Dec;3(4):E28. Eysenbach G. Towards ethical guidelines for e-health: JMIR theme issue on eHealth ethics. J Med Internet Res. 2000 Jan-Mar;2(1):E7. Cengotitabengoa IA, Tamayo CB, Castro MM, Merino IV, Ayestaran AM, Gutierrez JF, et al. Adherence to codes of conduct for biomedical information on the internet in useful websites for pharmacotherapy follow-up. Gac Sanit. 2007 May-Jun;21(3):204-9. Yegenoglu S, Sozen B, Aslan D, Calgan Z, Cagirci S. An evaluation of the quality of Turkish community pharmacy web sites concerning HON principles. Telemed J E Health. 2008 May;14(4):375-80. Gaudinat A, Grabar N, Boyer C. Machine learning approach for automatic quality criteria detection of health web pages. Stud Health Technol Inform. 2007;129(Pt 1):705-9. Silva LVER, Mello JFdJ, Mion O. Avaliao das informaes sobre rinite alrgica em sites brasileiros na rede mundial de computadores (Internet). Revista Brasileira de Otorrinolaringologia. 2005;71(5):7. Benner ES, SINGH SANDHU A, GOODMAN KW. O consumidor de sade informtica: tica, avaliao e modelos. Acta bioeth. 2005;11(2):11.

6 7 8 9 10 11 12

13 14 15 16

54

ANEXO 3. Termo de Consentimento Livre e Esclarecido (TCLE)

TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO Projeto de Pesquisa "HealthRank: Construo e Avaliao de um Software para Medir Adequao Cdigos de tica e Relevncia de Websites em Sade Utilizando Mtodos de Mdia Social e Indicadores Automatizados". A quantidade de websites com contedos sobre sade enorme e apresenta-se por vezes de maneira inadequada aos usurios. O objetivo desta pesquisa de identificar e quantificar essa adequao de websites da rea da sade baseando-se em mtodos de mdia social e indicadores automatizados. Assim, espera-se oferecer um buscador de websites que seja mais til ao usurio. Sua participao nesta pesquisa voluntria e constar apenas na contribuio no preenchimento de um questionrio, na qual necessito que o Sr(a) fornea informaes a respeito de sua percepo de qualidade e/ou adequao para os websites localizados por meio deste sistema de busca. Estes websites sero avaliados por voc sem qualquer interferncia ou questionamento por parte dos pesquisadores e sem qualquer risco ou desconforto para voc. Sua participao nos proporcionar um melhor entendimento a respeito da percepo da qualidade versus a adequao de websites considerando preceitos baseados em cdigos de tica. No h benefcio direto para voc, como avaliador. Mas, os futuros usurios do sistema podero se beneficiar com respostas mais teis a partir de uma busca na web. Garantia de acesso: em qualquer etapa do estudo, voc ter acesso aos pesquisadores responsveis para esclarecimento de eventuais dvidas. O principal investigador mestrando Alex Esteves Jaccoud Falco, sob orientao do Prof. Dr. Daniel Sigulem e Prof. Dr. Ivan Torres Pisa, que podem ser encontrados no endereo do Departamento de Informtica em Sade (DIS), Universidade Federal de So Paulo (UNIFESP), situado na Rua Botucatu, 862, CEP 04023-062, em So Paulo, SP. Telefone/fax: (11) 5576-4521 / 5574-5234. O e-mail para contato a.falcao@unifesp.br. Se o Sr(a) tiver alguma considerao ou dvida sobre a tica desta pesquisa, entre em contato com o Comit de tica em Pesquisa (CEP), na Rua Botucatu, 572, 1 andar, cj. 14. Telefone: (11) 5571-1062. Fax: (11) 5539-7162. E-mail: cepunifesp@epm.br. Esta pesquisa possui nmero de processo 0861/07 neste comit. Garanto que as informaes obtidas sero analisadas em conjunto com outros avaliadores, no sendo divulgada a identificao de nenhum dos participantes. No existiro despesas ou compensaes pessoais para o participante em qualquer fase do estudo. Tambm no h compensao financeira relacionada sua participao. Se existir qualquer despesa adicional, ela ser absorvida pelo oramento da pesquisa. Eu me comprometo a utilizar os dados coletados somente neste sistema para pesquisa e os resultados sero veiculados por meio de artigos cientficos em revistas especializadas e/ou em encontros cientficos e congressos, sem nunca tornar possvel sua identificao. Abaixo est o consentimento livre e esclarecido para ser assinado caso no tenha ficado qualquer dvida. "Acredito ter sido suficiente informado respeito das informaes que li ou que foram lidas para mim, descrevendo o estudo 'HealthRank: Construo e Avaliao de um Software para Medir Adequao Cdigos de tica e Relevncia de Websites em Sade Utilizando Mtodos de Mdia Social e Indicadores Automatizados'. Ficaram claros para mim quais so os propsitos do estudo, os procedimentos a serem realizados, seus desconfortos e riscos, as garantias de confidencialidade e de esclarecimentos permanentes. Ficou claro tambm que minha participao isenta de despesas e que tenho garantia do acesso aos resultados publicados e de esclarecer minhas dvidas em qualquer momento. Concordo voluntariamente em participar deste estudo e poderei retirar o meu consentimento a qualquer momento, antes ou durante o mesmo, sem penalidade ou prejuzo ou perda de qualquer benefcio que eu possa ter adquirido". O termo foi aceito em DD/MM/AAAA as HH:HH:HH pelo endereo IP X.X.X.X. Email: email@contato.com Seu e-mail somente para sua identificao. Ser mantido em sigilo. No ser disponibilizado a terceiros. No sero enviados e-mails indesejados (SPAM).
2007-2009 DIS/UNIFESP. Verso 0.01.06. Direitos reservados.

55

ANEXO 4. Exemplo do XML do instrumento do mecanismo manual

<?xml version="1.0" encoding="UTF-8"?> <questionario> <info> <versao>0.03</versao> <projeto>Health Rank</projeto> <autor>Alex Falco</autor> <titulo>Avaliao de websites em sade</titulo> <msg>Por favor, avalie esta pgina.</msg> </info> <questoes> <questao> <bd>RELEVANCIA</bd> <titulo>Site de sade</titulo> <descricao>Este website de sade?</descricao> <help>Voc dever indicar se de sade ou no.</help> <opcoes> <tipo>ME</tipo> <op> <valor>+2</valor> <t>Sim</t> <img>bt_2p.png</img> </op> <op> <valor>-2</valor> <t>No</t> <img>bt_2n.png</img> </op> </opcoes> </questao> <questao> <bd>PERCEPCAO</bd> <titulo>Qualidade</titulo> <descricao>Qual a sua percepo de qualidade sobre esse website?</descricao> <help>Voc dever avaliar a sua percepo sobre a qualidade do website acessando.</help> <opcoes> <tipo>ME</tipo> <op> <valor>+2</valor> <t>Muito bom</t> <img>bt_2p.png</img> </op> <op> <valor>+1</valor> <t>Bom</t> <img>bt_1p.png</img> </op> <op> <valor>0</valor> <t>Neutro</t> <img>bt_0.png</img> </op> <op> <valor>-1</valor> <t>Ruim</t> <img>bt_1n.png</img> </op> <op> <valor>-2</valor> <t>Muito ruim</t> <img>bt_2n.png</img> </op> </opcoes> </questao> </questoes> </questionario>

que

esta

56

ANEXO 5. Lista dos 50 websites selecionados para o Experimento

ID
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50

URL do website
http://www.santacasasbc.org.br http://www.ortoweb.com.br/tratamento01.html http://www.oftalmocenter.com.br/ http://www.traumatemcura.com.br/associados.asp http://saude.abril.com.br/edicoes/0314/corpo/conteudo_491883.shtml http://www.comunidadereviver.org/12passos.php http://www.grupobiologiaesaude.com.br/servicos.asp?iD=27 http://www.angelfire.com/co4/ilkamiki/ http://www.gineco.com.br/colica1.htm http://www.doutoresdaalegria.org.br/internas.asp?secao=osdoutores_novidades&id=570 http://www.doutoralaura.odo.br/ http://www.cos.odo.br/clarelaser.shtml http://www.clinicamartinsvara.com.br/clinica.html http://www.luizpimentel.com.br/ http://www.hcnet.usp.br/ http://www.hemodinamica.com.br/dicionario.htm http://www.medialsaude.com.br http://www.enfermagem.medicina.nom.br/enf/duvida.htm http://www.uro.com.br/dsttotal.htm http://www.dexa.med.br/ http://br.geocities.com/emilia_terapias/chakraterapia.htm http://www.ortodontista.net/aparelho-ortodontico-lingual.html http://www.medonline.com.br/po_6.htm http://www.promatre.com.br/visualiza_noticia.php?id_cod_noticia=10510&tit=1727869872 http://www.abe.org.br/quem-somos http://claudia.finamore.sites.uol.com.br/favorite.htm http://www.homeopathicum.com/novo/noticias_ler.asp?id=1294 http://www.institutouniao.com.br/aikido/infantil/ http://br.geocities.com/drvillaca_orto/duvatm.html http://www.santaisabel.com.br/pt_br/noticias.php?show=4&show_segmento=2 http://www.anamt.org.br/news.php?id=153 http://www.hospitaldeolhos.net/conteudo/index2.asp?id_canal=4&id_secao=161&titulo=Catarata http://www.espacoartedecurar.com.br/consultoria/programas/tradicional.html http://www.vacina.com.br/ipvacinempresa.html http://www.hupaa-ufal.org/hu/noticias/148-hupaa-recebe-investimentos-de-r-590-mil-em-programa-paraeconomia-de-energia-eletrica.html http://www.fundacentro.gov.br/dominios/CTN/noticias.asp?Cod=872 http://www.odontologia.com/artigos/artigo05htm http://www.unimedvaledocai.com.br/c_diag.htm http://www.huav.com.br/ http://www.clinicadale.com.br/fertilidade.php http://www.hcpf.com.br/index.php?option=com_content&task=view&id=19&Itemid=35 http://www.doulas.com.br/doulas.html http://www.viamedico.com.br/body_enxaqueca2370.htm http://www.homeopatiaonline.com/ver_texto.asp?id=31 http://www.hub.unb.br/ensino/residencia/index.htm http://www.standart.com.br/index.php?tipo=cat&idcat=5 http://www.matoniette.psc.br/duvidas.html http://www.sogaor.org.br/ortodontia.htm http://bibliomed.uol.com.br/bancoimagens/apresenta.cfm http://www.drrondo.com/js/15/aprovacao.htm

Nome do Website
Irmandade da Santa Casa de Misericrdia de So Bernardo do Campo . : COB : . Centros Ortodnticos do Brasil Oftalmocenter :: Experincia Somtica :: Match point na asma - REVISTA SADE! Comunidade Teraputica REVIVER GBS - Grupo Biologia e Sade Ilka Nagasawa Miki - Dentista - Cirurgia, Clnica Geral, Implantes Clica Menstrual ou Dismenorria :: Doutores da Alegria :: Dra.Laura T.Vasconcellos-Dentista-Home COS - Clnica Odontolgica Soares Clnica Dr. Luiz Pimentel :: Hospital das Clnicas da FMUSP :: Guia da hemodinmica MEDIAL SADE Enfermagem & Medicina - Portal de Enfermagem - Diferenas Doenas Sexualmente Transmissveis Dexa.med.br chakraterapia Aparelho Ortodntico Lingual invisvel|Perguntas Freqentes Med On Line - Entrevistas PRO MATRE - FEITO PARA VOC!!! O que Etnopsiquiatria? Apresentaes homeopathicum.com Aikido Infantil - Instituto Unio duvatm Hospital Santa Isabel - Dica em destaque .: ANAMT - Associao Nacional de Medicina do Trabalho :. Hospital de olhos de So Paulo - Oftalmologia, cirurgias: catarata, miopia, etc Espao Arte de Curar IPVACIN a empresa HUPAA recebe investimentos de R$ 590 mil em programa para economia de energia eltrica :::: Portal Fundacentro - CTN :::: artigo053 Unimed Vale do Ca Hospital Universitario Alzira Velano Clnica Dale HCPF - Central de Consultas Doulas Enxaqueca2370 ::. H o m e o p a t i a O n l i n e . c o m H U B - Hospital Universitrio de Braslia Standart Marcelo Toniette - Psiclogo, Psicoterapeuta e Terapeuta Sexual | Dvidas Freqentes SOGAOR / Ortodontia Bibliomed - Banco de Imagens Cientficas :: W.Rond :: Um caso de amor entre ns e a natureza

57

ANEXO 6. Instrumento sobre fluncia computacional

58

ANEXO 7. Instrumento sobre avaliao do experimento 3

59

ANEXO 8. Expresses configuradas para detectar os padres

Autoridade / de acordo com / /CR.[[:punct:][^"]]/ /CR.[[:punct:][^"]]n/ /CRE.[[:punct:][^"]]n/ /C\.R\..\.[[:punct:]][^"]/ /C\.R\..\.[[:punct:]][^"]n/ /CF.[[:punct:][^"]]/ /CF.[[:punct:][^"]]n/ /CFE.[[:punct:][^"]]n/ /C\.F\..\.[[:punct:][^"]]/ /C\.F\..\.[[:punct:][^"]]n/ /C\.F\.E\..\.[[:punct:][^"]]n/ /Conselho Federal de / /Conselho Regional de / /(//www.hon.ch/HONcode/ /[[:punct:][^"]]HON[[:punct:][^"]]/ /Health On Net/ /HealthOnNet/ /Dr\./ /Doutor/ /Dra\./ /Doutora/ /Universidade / contato /fale conosco/ /entre em contato/ /nosso contato/ /contato/ /telefone/ /fax/ /mailto/ /endereco/ /\w+([\.-]?\w+)*@\w+([\.-]?\w+)*(\.\w{1,3})+/

complementaridade /consulte um profissional/ /consulta ao medico/ /consultar um medico/ /consultar sempre um medico/ /consulte um medico/ /consulte sempre um medico/ /consulte sempre um profissional da/ /consulte sempre um especialista/ /procurar um medico/ /procure um medico/ /procure sempre um medico/ /procure profissional da saude/ /procure sempre profissional da saude/ /procure um especialista/ /procure sempre um especialista/ data_informacao /atualizado em / /ultima atualizacao / /last update / /((?:19|20)\d\d)[- /.](0[1-9]|1[012])[- /.](0[1-9]|[12][0-9]|3[01])/ /([4-9]|[12][0-9]|3[01])[- /.]([2-9]|1[012])[- /.]((?:19|20)\d\d)/ /(0[1-9]|1[012])[- /.](0[1-9]|[12][0-9]|3[01])[- /.]((?:19|20)\d\d)/ /([2-9]|1[012])[- /.]([4-9]|[12][0-9]|3[01])[- /.](\d\d)/ /(0[1-9]|[12][0-9]|3[01])[- /.](0[1-9]|1[012])[- /.]((?:19|20)\d\d)/ /([4-9]|[12][0-9]|3[01])[- /.]([2-9]|1[012])[- /.](\d\d)/ /(0[1-9]|[12][0-9]|3[01])[- /.]([jfmasond][a-z]{3,9})[- /.]((?:19|20)\d\d)/ /(0[1-9]|[12][0-9]|3[01])[- /.]([jfmasond][a-z]{3,9})[- /.]((?:19|20)\d\d)/ /(0[1-9]|[12][0-9]|3[01])[- /.]de ([jfmasond][a-z]{3,9})[- /.]de ((?:19|20))/ /([1-9]|[12][0-9]|3[01])[- /.]de ([jfmasond][a-z]{3,9})[- /.]de ((?:19|20))/ /([4-9]|[12][0-9]|3[01])[- /.]([jfmasond][a-z]{3,9})[- /.]((?:[0-9]))/ /([4-9]|[12][0-9]|3[01])[- /.]de ([jfmasond][a-z]{3,9})[- /.]de ((?:[0-9]))/

60

10 REFERNCIAS
Adams SA. Revisiting the online health information reliability debate in the wake of "web 2.0": An inter-disciplinary literature and website review. International Journal of Medical Informatics. 2010 Jun;79(6):391-400. Ambre J, Guard R, Perveiler FM, Renner J, Rippen H. Criteria for assessing the quality of health information on the internet. [Internet]. 1998;Available from: http://www.mitretek.org/hiti/showcase/index.html Ankolekar A, Krtzsch M, Tran T, Vrandecic D. The two cultures: mashing up web 2.0 and the semantic web [Internet]. In: WWW '07: Proceedings of the 16th international conference on World Wide Web. ACM Press; 2007. p. 825-834.Available from: http://dx.doi.org/10.1145/1242572.1242684 ANVISA. Guia para encontrar informaes seguras [Internet]. 1998 [citado 2009 Mar 29];Available from: http://www.cvs.saude.sp.gov.br/medical.asp Berkow R, Bogin RM, Altman LK, Blumenthal SJ, Bondy PK, Dilts PVD, et al. Manual Merck de Informao Mdica - Sade Para a Famlia [Internet]. 2009 Mar 3;Available from: http://www.msd-brazil.com/msdbrazil/patients/manual_Merck/prefacio.html Bireme BVES. DeCS - Descritores em Cincias da Sade [Internet]. 2008;Available from: http://decs.bvs.br/P/decswebp2008.htm Bliemel M, Hassanein K. Consumer Satisfaction with Online Health Information Retrieval: A Model and Empirical Study. e-Service Journal. 2006;5(2):53-83. Boulos M, Maramba I, Wheeler S. Wikis, blogs and podcasts: a new generation of Webbased tools for virtual collaborative clinical practice and education. BMC Medical Education. 2006;6(1):41. Boyd D, Ellison N. Social Network Sites: Definition, History, and Scholarship. Journal of Computer-Mediated Communication. 2008;13(1):210-230. Boyer C, Selby M, Scherrer JR, Appel RD. The Health On the Net Code of Conduct for medical and health Websites. Computers in Biology and Medicine. 1998;28(5):603-610. Bray T, Paoli J, Sperberg-McQueen M, Maler E, Yergeau F. Extensible Markup Language (XML) [Internet]. 2009 Jan;Available from: http://www.w3.org/TR/REC-xml/ Burnham K, Anderson D. Model Selection and Multi-Model Inference. 3 ed. Springer; 2002. Burns E. Top Social Networking Sites in December 2008 [Internet]. 2009 Mar 15;Available from: http://searchenginewatch.com/3632691 Canny J. The Future of Human-Computer Interaction. Queue. 2006;4(6):24-32.

61

CETIC. Pesquisa sobre o uso das Tecnologias da Informao e da Comunicao no Brasil: TIC Domiclios e TIC Empresas 2008. [Internet]. 2008. Available from: http://www.cetic.br/usuarios/tic/2008-total-brasil/rel-int-09.htm CFM. Define e disciplina a prestao de servios atravs da telemedicina [Internet]. 2009 Jan 12;Available from: http://www.portalmedico.org.br/resolucoes/cfm/2002/1643_2002.htm Cimino JJ, Socratous SA, Clayton PD. Internet as clinical information system: application development using the World Wide Web. J Am Med Inform Assoc. 1995;2(5):273-284. CREMESP. Manual de princpios ticos para sites de medicina e sade na internet. [Internet]. Conselho Regional de Medicina do Estado de So Paulo. 2001 [citado 2008 Jan 15];Available from: http://www.cremesp.org.br/?siteAcao=PublicacoesConteudoSumario&id=26 Croarkin C, Tobias P. e-Handbook of Statistical Methods [Internet]. NIST/SEMATECH e-Handbook of Statistical Methods. 2009 Set 1;Available from: http://www.itl.nist.gov/div898/handbook/ Cruchet S, Guadinat A, Boyer C. QA system to guide citizens to reliable health information. In: Swiss Society for Medical Informatics annual meeting. Sierre, Switzerland: 2008. Easton VJ, McColl JH. Paired data, correlation & regression [Internet]. 2009 Jan 30;Available from: http://www.stats.gla.ac.uk/steps/glossary/paired_data.html#ppmcorrcoeff Ebersbach A, Glaser M, Heigl R, Warta A. Wiki: Web Collaboration. New York: Springer-Verlag GmbH & Co; 2005. Eysenbach G, Thomson M. The FA4CT Algorithm: A New Model and Tool for Consumers to Assess and Filter Health Information on the Internet. Stud Health Technol Inform. 2007;129:142-146. Eysenbach G. Towards ethical guidelines for e-health: JMIR Theme Issue on eHealth Ethics. Journal of Medical Internet Research. 2000;2(1). Eysenbach G, Powell J, Kuss O, Sa E. Empirical studies assessing the quality of health information for consumers on the world wide web: a systematic review. JAMA. 2002 Maio 22;287(20):2691-2700. Falco AEJ, Costa TM, Hummel AD, Mancini F, Sigulem D, Pisa IT. HealthRank: Anlise Preliminar da Utilizao de Mdia Social para Avaliao da Adequao Cdigos de tica e Relevncia de Websites em Sade. In: XI Conrgesso Brasileiro de Informtica em Sade. Campos do Jordo, So Paulo: Sociedade Brasileira de Informtica em Sade; 2008. Falco AEJ, Mancini F, Costa TM, Hummel AD, Teixeira FO, Sigulem D, et al. InDeCS: Mtodo Automatizado de Classificao de Pginas Web de Sade Usando Minerao de Texto e Descritores em Cincias da Sade (DeCS). Journal of Health

62

Informatics. 2009;1(1):18-24. Fogg BJ, Marshall J, Osipovich A, Varma C, Laraki O, Fang N, et al. Elements that affect web credibility: early results from a self-report study. 2000; Fogg BJ, Soohoo C, Danielson DR, Marable L, Stanford J, Tauber ER. How do users evaluate the credibility of Web sites?: a study with over 2,500 participants. 2003; Fogg B, Marshall J, Kameda T, Solomon J, Rangnekar A, Boyd J, et al. Web credibility research: a method for online experiments and early study results. 2001; Friedl J. Mastering Regular Expressions. 3 ed. O'Reilly Media, Inc.; 2006. Garrett JJ. Ajax: A New Approach to Web Applications [Internet]. Adaptive Path. 2005 Fev;Available from: http://www.adaptivepath.com/ideas/essays/archives/000385.php Google. Google Milestones [Internet]. http://www.google.com/corporate/history.html 2009 Jul 17;Available from:

Hasty H. Social, Search, and Branding [Internet]. 2009 Ago 26;Available from: http://searchenginewatch.com/3634798 Jadad AR, Gagliardi A. Rating Health Information on the Internet: Navigating to Knowledge or to Babel? JAMA. 1998 Fev 25;279(8):611-614. Java A, Song X, Finin T, Tseng B. Why we twitter: understanding microblogging usage and communities. In: Procedings of the Joint 9th WEBKDD and 1st SNA-KDD Workshop 2007. San Jose, California: ACM; 2007. p. 56-65. Lazar J, Meiselwitz G, Feng J. Understanding web credibility: a synthesis of the research literature. Found. Trends Hum.-Comput. Interact. 2007;1(2):139-202. Leiner BM, Cerf VG, Clark DD, Kahn RE, Kleinrock L, Lynch DC, et al. A Brief History of the Internet [Internet]. 2009 Mar 15;Available from: http://www.isoc.org/internet/history/brief.shtml Liu C, Yeh Y, Chiang I, Chen H, Lee T, Chiu W. Development and evaluation of an integrated pharmaceutical education system. International Journal of Medical Informatics. 2004 Maio;73(4):383-389. Lopes IL. Novos paradigmas para avaliao da qualidade da informao em sade recuperada na Web. Cincia da Informao. 2004;33:81-90. Massad E, Ortega NRS, Silveira PSP. Mtodos Quantitativos em Medicina. 1 ed. Manole; 2004. Millard DE, Ross M. Web 2.0: hypertext by any other name? In: HYPERTEXT '06. Odense, Denmark: ACM; 2006. p. 27-30. NetApplications. Search Engine Market Share [Internet]. 2010 Fev;Available from:

63

http://marketshare.hitslink.com/report.aspx?qprid=4&qpmr=100&qpdt=1&qpct=3&qptimefra me=M NetScoring. NetScoring: criteria to assess the quality of Health Internet information [Internet]. [citado 2010 Mar 26];Available from: http://www.churouen.fr/netscoring/netscoringeng.html Oleto RR. Percepo da qualidade da informao. Cincia da Informao [Internet]. 2006;35(1). Available from: http://revista.ibict.br/ciinf/index.php/ciinf/article/view/705 O'Reilly T. Web 2.0 Conference [Internet]. In: Web 2.0 Conference. San Francisco: O'Reilly; 2004 [citado 2009 Ago 10]. Available from: http://conferences.oreillynet.com/web2con/ O'Reilly T. What is Web 2.0? Design Patterns and Business Models for the Next Generation of Software [Internet]. 2007 Abr 1;Available from: http://oreilly.com/web2/archive/what-is-web-20.html Pacios M. Os sites de medicina e sade frente aos princpios ticos da HON: estudo baseado em uma amostra de informaes sobre as doenas crebro-vasculares e infarto do miocrdio [Internet]. 2007;Available from: http://www.disacad.unifesp.br/sapg/arquivos/arq_22.pdf Pandolfini C, Bonati M. Follow up of quality of public oriented health information on the world wide web: systematic re-evaluation. BMJ. 2002;324(7337):582-583. Pemberton S, Austin D, Axelsson J, elik T, Dominiak D, Elenbaas H, et al. The Extensible HyperText Markup Language [Internet]. 2000;Available from: http://www.w3.org/TR/xhtml1 Peters R, Sikorski R. The Cardiology Beat: An Internet Education for Patients and Health Professionals [Internet]. 1997 Ago 13 [citado 2010 Mar 26];Available from: http://jama.ama-assn.org/cgi/content/citation/278/6/451 Robins D, Holmes J, Stansbury M. Consumer health information on the Web: The relationship of visual design and perceptions of credibility. Journal of the American Society for Information Science and Technology. 2010;61(1):13-29. Rosely de Ftima Pellizzon. Pesquisa na rea da sade: 1. Base de dados DeCS (Descritores em Cincias da Sade). Acta Cirurgica Brasileira. 2004;19:153-163. Sarwar BM, Konstan JA, Borchers A, Herlocker J, Miller B, Riedl J. Using filtering agents to improve prediction quality in the GroupLens research collaborative filtering system. 1998; Silberg WM, Lundberg GD, Musacchio RA. Assessing, Controlling, and Assuring the Quality of Medical Information on the Internet: Caveant Lector et Viewor--Let the Reader and Viewer Beware. JAMA. 1997;277(15):1244-1245. Sim J, Wright CC. The kappa statistic in reliability studies: use, interpretation, and

64

sample size requirements. Phys Ther. 2005;85(3):257-68. Stvilia B, Mon L, Yi YJ. A model for online consumer health information quality. J. Am. Soc. Inf. Sci. Technol. 2009;60(9):1781-1791. Tardelli AO, Ano MS, Packer AL, Sigulem D. An implementation of the trigram phrase matching method for text similarity problems. Studies in health technology and informatics. 2004;103:7. Thompson J. Don't Be Afraid to Explore Web 2.0. [Internet]. 2008 Access Date;Available from: http://www.highbeam.com/doc/1G1-180407472.html Vaughan L. New measurements for search engine evaluation proposed and tested. Inf. Process. Manage. 2004;40(4):677-691. Witten I, Frank E. Data Mining: Practical Machine Learning Tools and Techniques, Second Edition (Morgan Kaufmann Series in Data Management Systems). Morgan Kaufmann; 2005. Yanbe Y, Jatowt A, Nakamura S, Tanaka K. Can social bookmarking enhance search in the web? 2007;

Apndice 1 Aprovao pelo Comit de tica