ENQUALAB-2007 Congresso da Qualidade em Metrologia Rede Metrolgica do Estado de So Paulo - REMESP 11 a 14 de junho de 2007, So Paulo, Brasil

SISTEMTICA PARA AVALIAO DA ROBUSTEZ DE MTODOS DE ENSAIO ATRAVS DE PROJETOS DE EXPERIMENTOS

Daniel Homrich da Jornada 1, Morgana Pizzolato 2
1

Certificar e PPGEP/UFRGS, Porto Alegre, Brasil, daniel@portalcertificar.com.br, (51) 3379-0480 2 PPGEP/UFRGS, Porto Alegre, Brasil, morgana@producao.ufrgs.br, (51) 3316-4005 validar: mtodos no normalizados; mtodos desenvolvidos pelo prprio laboratrio; mtodos normalizados usados fora dos escopos para os quais foram concebidos; ampliaes e modificaes de mtodos normalizados [3]. Mtodo normalizado aquele desenvolvido por um organismo de normalizao ou outras organizaes, cujos mtodos so aceitos pelo setor tcnico em questo; e mtodo no normalizado aquele desenvolvido pelo prprio laboratrio ou outras partes, ou adaptado a partir de mtodos normalizados e validados [4]. A NB ISO/IEC 17025:2005 no especifica a maneira pela qual este procedimento deve ser implementado, mas determina que controles sejam estabelecidos. Assim sendo, cada laboratrio deve adotar o procedimento mais adequado ao seu caso especfico, observando, as exigncias da norma no que se refere especificamente ao item 5.4 Mtodos de ensaio e calibrao e validao de mtodos [1]. As caractersticas de desempenho de um mtodo de ensaio devem estar claramente declaradas no procedimento documentado e incluir: especificidade e seletividade; faixa de trabalho e faixa linear de trabalho; linearidade; sensibilidade; limite de deteco; limite de quantificao; exatido e tendncia (bias); preciso; robustez e; incerteza de medio [3]. A introduo de mtodos de ensaio desenvolvidos pelo prprio laboratrio deve ser uma atividade planejada e deve ser designada pessoal qualificado e equipado com recursos adequados [1]. Adicionalmente, os planos devem ser atualizados medida que prossegue o desenvolvimento do mtodo e deve ser assegurada a comunicao efetiva entre todo o pessoal envolvido [1]. Neste sentido, um procedimento documentado para definir a sistemtica de desenvolvimento e validao de mtodos pelo laboratrio faz-se necessrio [1]. O trabalho [5] prope uma sistemtica para desenvolvimento e validao de mtodos de ensaio, envolvendo desde a etapa de definio dos requisitos do mtodo at a validao final deste. A figura 1 apresenta o fluxograma proposto no trabalho [5] para a validao de mtodos de ensaio.

Resumo: O presente artigo trata da avaliao da robustez de mtodos de ensaio. A avaliao da robustez uma das etapas necessrias para validar um mtodo de ensaio. O artigo traz uma breve reviso bibliogrfica sobre mtodos de avaliao da robustez disponveis na literatura mais freqentemente utilizados pelos laboratrios. Em seguida, proposta uma sistemtica de avaliao da robustez alternativa, que tem como base a aplicao dos conceitos de projeto de experimentos, analisando os dados atravs da anlise de varincia (ANOVA). A sistemtica proposta comparada com as sistemticas das literaturas citadas. Como resultado, pde-se observar vantagens desta sistemtica, fundamentalmente com relao a uma avaliao mais completa sobre o mtodo em validao. A apresentao da sistemtica proposta ilustrada com um exemplo que construdo em cada etapa, facilitando ao leitor o entendimento desta. Palavras chave: validao de mtodos, estudo de robustez, projeto de experimentos, ANOVA. 1. INTRODUO A melhoria de processos e da qualidade de produtos tem tido cada vez maior nfase e passa, invariavelmente, pela realizao de ensaios laboratoriais. Neste contexto, cresce a demanda por laboratrios qualificados e torna-se imprescindvel a adoo de procedimentos metrolgicos confiveis e adequados aos padres internacionais. A NBR ISO/IEC 17025:2005 estabelece os requisitos gerais para operao de um laboratrio qualificado com base em requisitos de gesto e requisitos tcnicos referentes ao seu escopo de atuao. Os laboratrios de ensaio devem adotar mtodos de medio que atendam s necessidades do cliente e que sejam apropriados para o uso especfico [1]. A validao de mtodo a confirmao por exame de que esse atende aos requisitos especficos para o seu uso pretendido [1]. No ter a validao de um mtodo de calibrao ou ensaio, ter apenas um nmero, no um resultado de fato, pois no h garantias de que o mtodo de medio adequado [2]. Com o objetivo de confirmar que os mtodos so apropriados para o uso pretendido, o laboratrio deve

Figura 1. Fluxograma para desenvolvimento e validao de mtodos de ensaio

Na literatura, alm do trabalho [5], so encontrados alguns outros trabalhos que tratam de desenvolvimento e validao de mtodos de ensaio. O trabalho [6] indica que um dos itens que gera grande incidncia de no-conformidades em auditorias de laboratrios relacionado aos mtodos e procedimentos de ensaio. Essas no-conformidades esto relacionadas ao fato de que os laboratrios no tm experincia na realizao de ensaios segundo determinadas normas; no tem capacidade de realizao de ensaios; falta controle de elementos importantes na realizao dos ensaios; interpretao errnea de requisitos de normas; utilizao de critrios incorretos na realizao do clculo da incerteza de medio. Considerando o fluxograma proposto no trabalho [5], apresentado na figura 1, o presente artigo restringe-se etapa de realizao dos estudos de validao, mais especificamente quanto avaliao da robustez do mtodo de ensaio. Este trabalho se limita avaliao da caracterstica de robustez do mtodo. A robustez pode ser definida como a medida da capacidade de um mtodo de medio em resistir a pequenas e deliberadas variaes dos fatores controlveis [7]. Ela mede quanto o mtodo sensvel face s variaes impostas [3]. Constatando-se a susceptibilidade do mtodo variaes nas condies analticas, estas devero ser controladas e precaues devem ser includas no procedimento de medio [7]. Cabe ressaltar que a atividade de validao sempre um equilbrio entre custos, riscos e possibilidades tcnicas. Existem muitos casos em que a faixa e a incerteza dos valores s podem ser fornecidas de forma simplificada devido falta de informaes [1]. Quando se realizam experimentos para a avaliao da robustez do mtodo de ensaio tambm necessrio ter em mente os custos experimentais envolvidos nesse processo. Por isso, dotar-se de meios para minimizar os experimentos de robustez necessrios e maximizar a informao gerada por esses estudos de extrema relevncia.

O presente trabalho preocupa-se em discutir as sistemticas atualmente praticadas pelos laboratrios com maior freqncia na avaliao da robustez de seus mtodos de ensaios, bem como propor uma sistemtica que busque otimizar os experimentos e as informaes geradas neste processo atravs da aplicao da metodologia de projeto de experimentos. A inteno deste trabalho consiste em trazer tona a importncia de avaliar a robustez quando da conduo de estudos de validao de mtodos de ensaio atravs de uma forma estatisticamente vlida e otimizada. O objetivo deste artigo no esgotar a discusso sobre o assunto, uma vez que se trata de um tema ainda em desenvolvimento e muitas possibilidades podem ser aceitas, desde que atendam aos requisitos da norma NBR ISO/IEC 17025. A seguir, na segunda parte deste trabalho, apresenta uma breve reviso da literatura sobre as sistemticas de avaliao da robustez de mtodos de ensaios. O trabalho limitou-se a avaliar as sistemticas mais comumente utilizadas pelos laboratrios de ensaios. Na terceira parte proposta uma sistemtica para avaliao de robustez fundamentada na metodologia de projetos de experimentos, visando minimizar os custos com os experimentos e otimizar as informaes obtidas em tais estudos. A apresentao da sistemtica proposta ilustrada com um exemplo que construdo em cada etapa, facilitando ao leitor o entendimento desta. Na quarta parte deste trabalho so apresentadas as concluses e sugestes de trabalhos futuros. 2. SISTEMTICAS DE ESTUDO DE ROBUSTEZ Visando ao fornecimento de orientaes sobre como estruturar uma sistemtica de validao de mtodos de ensaios, [3] e [7] apresentam uma metodologia similar para validao de mtodos de ensaio aplicvel a laboratrios da rea de ensaios qumicos. Esses documentos tm como objetivo auxiliar laboratrios na tarefa de demonstrar que

um mtodo de ensaio, nas condies em que praticado, tem as caractersticas necessrias para seu uso pretendido. Embora a literatura apresente diversos estudos de casos de validao de mtodos, poucos so os trabalhos que se atm a um estudo detalhado da robustez de mtodos de ensaio. Os trabalhos [3] e [7], ainda que descrevam procedimentos gerais para a validao de mtodos, so superficiais quanto avaliao da robustez. O trabalho [3] apresenta somente um exemplo em que h 7 fatores controlveis e remete necessidade do laboratrio consultar um estatstico, caso no seja 7 o nmero de fatores controlveis no experimento. O trabalho [7] no descreve nem referencia uma metodologia estatstica que possa ser utilizada para essa avaliao de robustez. No trabalho [8] encontra-se um estudo para validao de um mtodo de ensaio para determinao de aflatoxina M1 em leite. O autor descreve como foram realizados os ensaios de recuperao com solues padres e amostras artificialmente contaminadas, tendo sido avaliados os parmetros de linearidade, especificidade, exatido, preciso e limites de deteco e de quantificao. Estes parmetros so similares queles recomendados por [3] e [7]. O trabalho [9] apresenta um estudo que enfoca os resultados obtidos em termos de reduo de custos atravs de alteraes introduzidas no mtodo de ensaio. Nesse estudo, da rea de anlises qumicas, a robustez do mtodo avaliada com relao a alteraes no tempo de anlise das amostras e no volume de amostra analisado. O estudo, porm, no seguiu a metodologia de projetos de experimentos. Desta forma, erros devido a uma eventual no aleatorizao perfeita do experimento e a existncia de interao entre os fatores podem ter sido mascaradas. Outra observao importante que deve ser levada em considerao que, nesse estudo, as alteraes introduzidas no mtodo geraram diferenas significativas na varivel de resposta,

segundo os testes t apresentados. Contudo, no h indcios de que os autores tenham levado isto em considerao para suas concluses, o que poderia tornar todo o estudo invlido. 3. SISTEMTICA PROPOSTA O projeto de experimentos uma metodologia que diz respeito ao planejamento e conduo de experimentos, alm da anlise dos dados gerados, para que concluses estatisticamente vlidas e objetivas possam ser obtidas desses experimentos [10]. A metodologia de projetos de experimentos foi introduzida por Fischer em 1935, em experimentos na agricultura. O problema que se tinha na poca era conseguir comparar de forma eficiente diferentes tipos de sementes, de plantaes ou de adubos, de maneira a eliminar a influncia de variveis no controlveis, como o tipo de terreno, quantidade de chuva, incidncia de sol, etc., na anlise dos resultados. Posteriormente, a utilizao de projeto de experimentos difundiu-se rapidamente em campos como Agronomia, Biologia, Engenharia Qumica e Engenharia Industrial. Atualmente, o projeto de experimentos tem sido aplicado virtualmente em todas as reas de conhecimento [11]. Para um aprofundamento sobre diretrizes para planejamento de experimentos pode-se consultar [12]. o

Para avaliao da robustez, a sistemtica proposta consiste nos seguintes etapas: 1) identificao e mapeamento do mtodo a ser estudado; 2) definio da varivel de resposta, dos fatores controlveis e dos fatores constantes; 3) planejamento dos experimentos; 4) realizao dos experimentos; 5) anlise dos dados e; 6) otimizao e controle do mtodo de ensaio. A figura 2 apresenta o fluxograma da sistemtica de avaliao de robustez de mtodos de ensaio.

identificao e mapeamento do mtodo a ser estudado

realizao dos experimentos

definio da varivel de resposta, dos fatores controlveis e dos fatores constantes

anlise dos dados

planejamento dos experimentos

otimizao e controle do mtodo de ensaio

Fig. 2. Fluxograma proposto para realizao da anlise de robustez de mtodos de ensaio

Na etapa 1, deve ser escolhido o mtodo de ensaio cuja robustez se deseja avaliar. As etapas do mtodo de ensaio devem ser mapeadas e estarem documentadas em um procedimento de ensaio, conforme recomenda [1]. Um exemplo da aplicao da sistemtica proposta poderia ser a avaliao da robustez em um laboratrio de ensaios ambientais. O mtodo em avaliao poderia ser a determinao da concentrao de metais em guas via ICP (plasma acoplado indutivo). A seguir, na etapa 2 deve ser definida a varivel de resposta, que o que se tem como resultado medido dos experimentos a serem executados. Seguindo o exemplo, a varivel de resposta o analito do respectivo mtodo de ensaio que est sendo validado. Tambm nessa etapa so definidos os fatores controlveis, que so os parmetros cujos efeitos sobre a varivel de resposta sero estudados. Alm disso, so definidos nesta etapa os fatores mantidos constantes, que so os fatores que no sero alvo de estudo, mas para que no introduzam erro experimental sero mantidos em um nvel constante. A figura 3 apresenta um exemplo dos fatores controlveis escolhidos e seus respectivos nveis.

Ressalta-se a importncia de uma avaliao criteriosa do mtodo de ensaio quanto a definio dos fatores mantidos constantes, dos controlveis e seus nveis. Como exemplo de fator mantido constante pode-se citar o equipamento utilizado para realizao dos ensaios. Como exemplo de varivel de resposta pode-se citar a concentrao de ferro na amostra, medido em mg/L. Tendo definido o mtodo de ensaio, a varivel de resposta e os fatores controlveis e os mantidos constantes, a etapa 3 consiste em realizar um planejamento experimental. A escolha do planejamento experimental envolve consideraes sobre tamanho da amostra, nmero de repeties, ordem de execuo dos experimentos, eventual formao de blocos e aleatorizao [12]. O planejamento experimental deve ser realizado de forma que propicie ao mesmo tempo qualidade e quantidade de informaes adequadas para posterior anlise dos dados. Em determinadas situaes, os ensaios podem demandar elevado tempo de preparo e, conseqentemente, acarretar em custos para o laboratrio. Quando isso acontecer pode-se utilizar um experimento fatorial fracionado ou ainda um experimento fatorial sem repeties. Neste ltimo caso, para que o termo de erro possa ser avaliado, pode-se estim-lo atravs das interaes de mais alta ordem. Esse procedimento pode ser adotado porque raramente essas interaes so significativas [11]. Seguindo o exemplo, como se trata de um experimento com 4 fatores controlveis e cada um deles estudado a 2 nveis, este consiste em um projeto do tipo 2k, neste caso 24. Dentre as vantagens dos projetos 2k, no trabalho [11] os autores destacam que so experimentos simples de serem analisados, principalmente quando h muitos fatores a serem investigados. Um exemplo de planejamento experimental dado pela matriz apresentada na figura 4.

Fator controlvel

Nveis do fator controlvel

TE - Tcnicos Laboratoristas Tcnico A e Tcnico B VA - Volume de cido 2mL e 5mL utilizado VD - Volume de digesto da 10mL e 20mL amostra TP - Temperatura ambiental do 23C e 26C laboratrio Figura 3. Fatores controlveis e seus nveis

Tcnico

Temperatura da sala de 23C Temperatura da sala de 26C Volume de cido utilizado Vol. digesto 10mL Vol. digesto 20mL Vol. digesto 10mL Vol. digesto 20mL

5mL 2mL

5mL 2mL

Figura 4. Matriz do planejamento dos experimentos

A etapa 4 consiste na execuo dos experimentos planejados na etapa 3. Cabe ressaltar a importncia do laboratrio seguir risca todo o planejamento experimental definido anteriormente, tal como ordem dos ensaios, nveis dos fatores controlveis e a manuteno dos fatores constantes.

Caso o planejamento no seja seguido, erros desconhecidos podero ser includos no experimento. Para o exemplo em questo, aps a execuo dos experimentos foram obtidos os resultados apresentados na tabela 1.

Tabela 1. Matriz do planejamento dos experimentos com os resultados dos ensaios

Tcnico Temperatura da sala de 23C Temperatura da sala de 26C Volume de cido utilizado Vol. digesto 10mL Vol. digesto 20mL Vol. digesto 10mL Vol. digesto 20mL

5mL 2mL

0,945 mg/L 0,865 mg/L 0,941 mg/L 0,907 mg/L

0,911 mg/L 0,870 mg/L 0,975 mg/L 0,863 mg/L

1,006 mg/L 0,949 mg/L 1,070 mg/L 0,980 mg/L

1,027 mg/L 0,941 mg/L 1,073 mg/L 0,989 mg/L

5mL 2mL

Tendo os resultados dos experimentos executados, a etapa 5 consiste em realizar a anlise dos dados gerados, visando avaliar a significncia dos fatores controlveis. Essa anlise realizada atravs da ANOVA. Recomenda-se a leitura de [13] para detalhes sobre a ANOVA. Para o exemplo em questo, a partir da tabela 1, elaboram-se as tabelas dos totais e das mdias para os fatores controlveis analisados (tabelas 2, 3, 4 e 5).
Tabela 2. Somas e mdias em cada nvel do fator tcnico laboratorista (TE); resultados em mg/L
Nvel A B Geral do fator Total 7,514 7,798 15,312 Mdia 0,939 0,975 0,957

Tabela 4. Somas e mdias em cada nvel do fator temperatura (TP); resultados em mg/L
Nvel 23 C 26 C Geral do fator Total 7,277 8,035 15,312 Mdia 0,910 1,004 0,957

Tabela 5. Somas e mdias em cada nvel do volume de digesto (VD); resultados em mg/L
Nvel 10 mL 20 mL Geral do fator Total 7,663 7,649 15,312 Mdia 0,958 0,956 0,957

Tabela 3. Somas e mdias em cada nvel do fator volume de cido (VA); resultados em mg/L
Nvel 5 mL 2 mL Geral do fator Total 7,948 7,364 15,312 Mdia 0,994 0,921 0,957

A partir dos totais e das mdias, os dados so analisados atravs da ANOVA. Com o uso da ANOVA identifica se os fatores controlveis que apresentam diferenas significativas entre seus nveis, bem como eventuais interaes entre eles. Para o exemplo, a tabela 6 apresenta os resultados da ANOVA.

Tabela 6. ANOVA para os resultados do estudo de robustez do mtodo de ensaio

Fator TE VA TP VD TE, VA TE, TP TE, VD VA, TP VA, VD TP, VD ERRO TOTAL SQs 0,0050410 0,0213160 0,0359102 0,0000122 0,0001960 0,0005523 0,0000203 0,0001563 0,0002403 0,0002560 0,0019075 0,0656080 GDL 1 1 1 1 1 1 1 1 1 1 5 15 MQ 0,005041 0,021316 0,035910 0,000012 0,000196 0,000552 0,000020 0,000156 0,000240 0,000256 0,000381 F 13,21 55,87 94,13 0,03 0,51 1,45 0,05 0,41 0,63 0,67 F tab 6,61 6,61 6,61 6,61 6,61 6,61 6,61 6,61 6,61 6,61 Resultado Significativo Significativo Significativo No Significativo No Significativo No Significativo No Significativo No Significativo No Significativo No Significativo -

Pela anlise da tabela 6, percebe-se que os fatores controlveis tcnico laboratorista (TE), volume de cido (VA) e temperatura do laboratrio (TP) apresentaram diferenas significativas (Ftabelado < Fcalculado). No exemplo, no foram evidenciadas diferenas significativas para o fator volume de digesto (VD) e para as interaes entre os fatores. As interaes de terceira e quarta ordem foram utilizadas para calcular o termo de erro. O nvel de confiana utilizado na anlise estatstica foi de 95%. Na etapa 6 so definidas aes de otimizao do mtodo de ensaio. Para tanto, os fatores cujos efeitos no foram considerados significativos na etapa 5 podem ser definidos a nveis que reduzam custos internos e/ou apresentem ganhos de produtividade laboratorial. Aqueles fatores cujos efeitos so significativos devem ser controlados com rigor. Precaues devem ser includas no procedimento do mtodo de ensaio [7].

Analisando criticamente os resultados da tabela 6, percebese que possvel otimizar e melhorar as condies laboratoriais para a execuo do mtodo de ensaio. Os fatores cujos efeitos foram significativos devem ser analisados com ateno. No caso do fator tcnico laboratorista (TE), os dois tcnicos apresentaram diferenas significativas entre seus resultados. Um estudo mais aprofundado pode revelar falta de treinamento de um dos tcnicos. O treinamento deve ser realizado e o estudo repetido. Com relao ao volume de cido utilizado, so observadas diferenas entre os nveis 2mL e 5mL. Como a norma para realizao do ensaio recomenda que o volume de cido adicionado nas alquotas de amostras analisadas seja de 5mL, o laboratrio pode optar por trabalhar nesse nvel. A eventual fixao ao nvel de 2mL traria reduo de custos, uma vez que seriam utilizados menos insumos. Contudo, isso implicaria em incorporar um erro ao resultado do ensaio, j que o efeito do fator significativo.

Com relao temperatura da sala, o mtodo de ensaio prev que as condies ambientais no ultrapassem 23C. Como diferenas significativas so observadas entre os nveis 23C e 26C, o laboratrio dever permanecer com o limite de temperatura ambiental de 23C. A eventual faixa de trabalho at 26C permitiria ao laboratrio reduzir custos com a refrigerao por ar-condicionado da sala, mas implicaria em incorporar um erro ao resultado do ensaio, j que o efeito do fator significativo. Pela anlise dos resultados, observa-se que o volume de digesto um fator que no apresentou diferenas significativas entre os nveis 10mL e 20mL. A figura 5, referente ao exemplo, apresenta o grfico com os resultados dos tcnicos laboratoristas para cada nvel de volume de digesto.
3,950

e dos fatores constantes; 3) planejamento dos experimentos; 4) realizao dos experimentos; 5) anlise dos dados e; 6) otimizao e controle do mtodo de ensaio. Atravs do uso da sistemtica proposta pode-se concluir a respeito de interaes entre fatores. A vantagem desta sistemtica frente s demais sistemticas apresentadas por [3] e [7] reside justamente neste fato. Sugere-se nesse sentido que Inmetro e Anvisa revisem seus documentos orientativos a respeito da validao de mtodos de ensaio, detalhando a forma de avaliao da robustez. Tais documentos so referncias para os laboratrios de ensaio e, portanto, convm que estes abordem mais profundamente a questo. REFERNCIAS
[1] ABNT NBR ISO/IEC 17025. Requisitos gerais para competncia de laboratrios de calibrao e ensaio. Edio 2, 2005. [2] LEITE, F. Validao em Anlise Qumica. Campinas. Ed. tomo, 1998. [3] INMETRO. DOQ-CGECRE-008 - Orientaes sobre validao de mtodos de ensaios qumicos. Rev. 01, mar/2003.

3,900

Resultado em mg/L

3,850

3,800

3,750

3,700

Tcnico A Tcnico B

3,650 10 mL Volum e de digesto 20 mL

[4] INMETRO. DOQ-DQUAL - Orientaes para adoo da NBR ISO/IEC 17025 pelos laboratrios e credenciados e postulantes ao credenciamento. Rev. 06, abr/2001. [5] PIZZOLATO, M. ; JORNADA, Daniel Homrich da ; CATEN, Carla S Ten ; MULLER, Antonio Filipe. Desenvolvimento e validao de mtodos de ensaio. In: 3o Congresso Brasileiro de Engenharia de Fabricao, Joinville, 2005. [6] GIRO, Pedro M. B. Acreditao de laboratrios de ensaio e calibrao segundo a norma ISO/IEC 17025. In: II Congresso Brasileiro de Metrologia, 2003, So Paulo. CD rom. So Paulo: SBM, 2000. [7] ANVISA. Resoluo RE n 899. Guia para validao de mtodos analticos e bioanalticos. Dirio Oficial da Unio; Poder Executivo, de 02 de junho de 2003. [8] JUNQUEIRA, R. G; SOUZA, S. V. C; VARGAS, E. A; CASTO, L. Validao Intralaboratorial de Mtodo para Determinao de Aflatoxina M1 em Leite por Cromatografia em Camada Delgada. In: III Congresso Brasileiro de Metrologia, 2003, Recife. CD rom. Pernambuco: SBM, 2003. [9] CUELBAS, C. J; LUSSARI, J. F; SALGUEIRO, C. R. Determinaes ambientais: alteraes metdolgicas para minimizao de custos, validaes e comparaes com mtodos normalizados. In: ENQUALAB 2006 Congresso e Feira da Qualidade em Metrologia, So Paulo, 2005. [10] MONTGOMERY, D; RUNGER, G. C. Applied Statistics and Probability for Engineers. 3a. Ed.: New York. John Wiley, 2003. [11] RIBEIRO, J.L.D.; CATEN, C.T. Projeto de Experimentos. Srie Monogrfica Qualidade. Porto Alegre: PPGEP/UFRGS, 2003. [12] MONTGOMERY, D. C. Introduo ao Controle Estatstico da Qualidade. 4a Ed.: Rio de Janeiro: Livros Tcnicos e Cientficos Editora S.A., 2004. [13] MONTGOMERY, D. C. Design and Analysis of Experiments. 5a Ed.: New York. John Wiley, 1997.

Figura 5. Resultados dos tcnicos laboratoristas em cada volume de digesto

O grfico da figura 5 ilustra as concluses obtidas na tabela 6. As linhas dos tcnicos A e B so praticamente horizontais entre os dois volumes de digesto, o que indica que no h diferenas significativas entre os nveis desse fator. Assim sendo, o laboratrio pode optar por fixar o fator a 20mL, o que trar ganhos em termos de produtividade, uma vez que o tempo de realizao das analises menor com uma digesto de 20mL do que com uma digesto de 10mL. A figura 5 tambm refora o que j foi concludo na tabela 6, a inexistncia de interao significativa entre os fatores tcnicos laboratoristas e os volumes de digesto. Concluses a respeito de interaes entre fatores controlveis s podem ser obtidas utilizando-se anlise estatstica apropriada. Este o grande diferencial entre a sistemtica proposta, baseada em projetos de experimentos, e as sistemticas do [3] e [7]. 5. CONCLUSES O artigo apresentou uma proposta de sistemtica para avaliao da robustez de mtodos de ensaio atravs da metodologia de projetos de experimentos. A proposta foi ilustrada com um exemplo de um laboratrio de anlises ambientais, para validao do mtodo de anlise de metais em gua via ICP. A sistemtica proposta possui seis etapas quais sejam: 1) identificao e mapeamento do mtodo a ser estudado; 2) definio da varivel de resposta, dos fatores controlveis