Workshop de Teste de Software

Prticas
Curso complementar ao outro workshop
Emerson Rios emersonrios@riosoft.org.br www.emersonrios.eti.br

AGENDA DO CURSO
Documentao Processo Aderncia dos documentos a um processo bsico Melhoria de Processo - Aderncia do processo e documentao ao MPT

BIBLIOGRAFIA

MATERIAL PARA ESTUDO

Material das clinicas de teste de software promovidas pelo SEBRAE/RJ e pela Riosoft no ano de 2013 que pode ser baixado no site www.emersonrios.eti.br Livro Documentao de Teste de Software.

PERGUNTA?
Algum trouxe um caso real para ser avaliado em sala?

CARACTERSTICAS DE QUALIDADE DOS SOFTWARES ISO/IEC 25010

1. 2. 3. 4. 5. 6. 7. 8.

Funcionalidade Performance Compatibilidade (inter-operabilidade) Usabilidade Confibilidade (maturidade, disponibilidade) Segurana Manutenibilidade Portabilidade

A norma ISO/IEC 25010 substitui a antiga norma ISO/IEC 9126

PROCESSO (BSICO) DE TESTE

Planejar Planejar Testes Testes Projetar Testes Executar Testes Analisar Resultados

Gerenciar Defeitos

CONCEITOS BSICOS
TAMANHO

ESFORO

CUSTO

PRAZO

10

ESTIMATIVA E GERNCIA DE PROJETO

Falta equipe quando planejado
Recursos desviados Requisitos retirados

Funcionalidades removidas

estimativa
Requisitos acrescentados Equipe menos experiente

PROJETO

Equipe atendendo outro projeto

Novos recursos acrescentados

11

Distribuio entre as etapas de teste

Preparao Especificao Execuo Transio 10% 40% 45% 5%
Cada ambiente tem os seus prprios nmeros

Para aqueles que querem um nmero mgico para estimativas rpidas sugerimos um valor entre 1 e 2 horas de teste por ponto de funo. No entanto cabe lembrar que so valores mdios de mercado e nem sempre correspondem a um projeto de teste especfico.

12

PROCESSO (BSICO) DE TESTE

Projeto n

Projeto 2
Projeto 1

Planejar Planejar Testes Testes

Projetar Testes

Executar Testes

Analisar Resultados

Gerenciar Defeitos

13

DOCUMENTAO IEEE 829:1998

Documentos bsicos

Planejamento Plano de teste. Especificao de teste Projeto de teste Casos de teste Procedimentos de teste Relatrios de Teste Relatrio de passagem de itens de teste Log de teste Relatrio de incidentes de teste Relatrio de sumrio de teste

14

CONSIDERE O SEGUINTE REQUISITO

Cada usurio para acessar s suas informaes no site precisar ter uma sigla e senha cadastrados. Para isso necessrio as seguintes informaes: Nome do usurio: deve ser o mesmo cadastrado no site. CPF: deve ser o mesmo cadastrado no site E-mail: Deve ser o mesmo cadastrado no site Sigla: 8 posies alfanumricas sendo o primeiro dgito necessariamente alfabtico Senha: 6 posies alfanumricas, sendo que as trs primeiras devem ser alfabticas.

PLANO DE TESTE

Introduo Identificador do Plano de Teste; Escopo; Referncias Nvel na sequencia de teste Classe de teste e viso das condies de teste Detalhes para este nvel do plano de teste Itens de teste e seus identificadores; Matriz de rastreabilidade do teste; Funcionalidades a serem testadas; Funcionalidades que no sero testadas; Abordagem do teste; Critrios de liberao/falha dos itens; Requisitos de suspenso e retomada; Entregas do teste;

(continua)

16

DESIGN OU PROJETO DE TESTE

Introduo Identificador; Escopo; Referncias; Detalhes deste nvel do Desenho (Projeto) de Teste Features (ou funcionalidades) a serem testadas; Abordagem refinada; Casos de teste com a sua respectiva identificao; Critrios de passagem e falha por feature ou funcionalidade; Entregveis; Geral Glossrio; Procedimentos de alteraes do documento e histrico de alteraes.

17

PLANO DE TESTE

Gerncia de Teste Tarefas do teste; Necessidades de ambientes; Responsabilidades; Integrao entre as partes envolvidas; Recursos e sua alocao; Treinamento; Cronograma, estimativas e custos; Riscos e contingncias; Geral Procedimentos de garantia de qualidade; Mtricas; Cobertura do teste; Glossrio; Procedimentos de alterao do documento e histrico.

18

Plano Mster de Teste

Plano Master de Teste

Plano de Teste Unitrio

Plano de Teste de Integrao

Plano de Teste de Sistemas n

Design de Teste

Design de Teste

19

O site permite que usurios j cadastrados (ver requisito definido anteriormente) acessem ao site. Para evitar acessos desnecessrios aos bancos de dados, as siglas e senhas foras do padro do site so rejeitadas de inicio.

Quanto tempo voc estima que precisaria para testar este requisito?
20

CONSIDERE O SEGUINTE REQUISITO

Cada usurio para acessar s suas informaes no site precisar ter uma sigla e senha cadastrados. Para isso necessrio as seguintes informaes: Nome do usurio: deve ser o mesmo cadastrado no site. CPF: deve ser o mesmo cadastrado no site E-mail: Deve ser o mesmo cadastrado no site Sigla: 8 posies alfanumricas sendo o primeiro dgito necessariamente alfabtico Senha: 6 posies alfanumricas, sendo que as trs primeiras devem ser alfabticas.

EXERCCIO
Fazer um Plano de Teste para o requisito mostrado Usar o modelo simplificado de Plano de Teste

CASO DE TESTE

Introduo (uma por documento) Identificador do documento Escopo Referncias (itens de teste) Contexto Notas para descrio Detalhes (um por caso de teste) Identificador do caso de teste Objetivos Especificaes de entrada Especificaes de sada Necessidades de ambiente Requisitos ou procedimentos especiais Dependncias entre casos de teste Global Glossrio Procedimentos de alteraes do documento e histrico de alteraes

Rembrandt, Lio de Anatomia em detalhe 23

EXERCCIO
Fazer Casos de Teste para o requisito mostrado Usar o modelo simplificado de CT

RELATRIO DE LOG

Introduo Identificador; Escopo; Referncias; Detalhes Descrio Descrio da execuo (identificar o que foi executado); Resultados (mensagens, requisies operacionais, etc); Informaes sobre o ambiente; Eventos anormais (conexo com o Relatrio de Anomalias); Qualquer situao que causou a interrupo do teste. Entradas das atividades e eventos Geral Glossrio

25

RELATRIO DE ANOMALIAS

Introduo Identificador Escopo Referncias Detalhes Defeitos Sumrio Incidentes Data da anomalia Contexto Descrio da anomalia Descrio da execuo (identificar o que foi executado) Resultados (mensagens, requisies operacionais, etc) Informaes sobre o ambiente Eventos anormais (conexo com o Relatrio de Anomalias) Qualquer situao que causou a interrupo do teste. Impacto Estimativa de urgncia Descrio das aes corretivas Estado da anomalia Concluses e recomendaes Geral Procedimentos de alteraes do documento e histrico de alteraes

26

RELATRIO DE ESTADO

Introduo

Identificador Escopo Referncias Sumrio Alteraes do planejado Mtricas de estado do teste

Detalhes

Relatrio de progresso

Geral

Procedimentos de alteraes do documento e histrico de alteraes

27

RELATRIO DE SUMRIO

Introduo Identificador Escopo Referncias Detalhes Viso geral dos resultados do teste Resultados detalhados do teste Racional das decises Concluses e recomendaes Geral Glossrio Procedimentos de alteraes do documento e histrico de alteraes
28

DOCUMENTAO X CICLO DE VIDA

Planejar Testes Projetar Testes Executar Testes Analisar Resultados

Gerenciar Defeitos
Plano Mster de Teste Plano de Teste Plano de Teste de Componente ou de Teste Unitrio Plano de Teste de Integrao de Componentes Plano de Teste de Sistema Plano de Teste de Aceitao Desenho (Projeto) de Teste de Aceitao, Sistema, Integrao e Unitrio Casos de Teste de Aceitao, Sistema, Integrao e Unitrio Procedimentos de Teste de Aceitao, Sistema, Integrao e Unitrio Relatrios de Execuo dos Testes Relatrio de Estado de Teste Relatrio de Teste (sumrio) Relatrio de Log de Teste Relatrio de Anomalias (ex-Relatrio de Incidentes) Relatrio Mster de Teste Relatrio de teste de componente Relatrio de teste de integrao de componentes Relatrio de teste de sistema Relatrio de teste de aceitao

Ligar os documentos ao ciclo de vida

29

29119-3
Poltica Organizacional de Teste Estratgia Organizacional de Teste Plano de Teste Relatrio de Estado do Teste Relatrio de Trmino do Teste Lista de reviso Regras de anlise esttica Relatrio de incidente (ver teste dinmico) Lista de itens de ao Relatrio de teste esttico Especificao de teste Especificao de desenho de teste Especificao de caso de teste Especificao de procedimento de teste Requisitos de dados de teste Requisitos de ambiente de teste Relatrio de situao de ambiente de teste Conseqncias (gerados por CT) do teste Resultados (se o CT passou ou no) do teste Log de execuo do teste Relatrio de incidente

IEEE 829-2008
Plano Mster de Teste Plano de Teste Plano de Teste de Componente ou de Teste Unitrio Plano de Teste de Integrao de Componentes Plano de Teste de Sistema Plano de Teste de Aceitao Desenho (Projeto) de Teste de Aceitao, Sistema, Integrao e Unitrio Casos de Teste de Aceitao, Sistema, Integrao e Unitrio Procedimentos de Teste de Aceitao, Sistema, Integrao e Unitrio Relatrios de Execuo dos Testes Relatrio de Estado de Teste Relatrio de Teste (sumrio) Relatrio de Log de Teste Relatrio de Anomalias (exRelatrio de Incidentes) Relatrio Mster de Teste Relatrio de teste de componente Relatrio de teste de integrao de componentes Relatrio de teste de sistema Relatrio de teste de aceitao

PROCESSO DE TESTE DE SOFTWARE

Emerson Rios emersonrios@riosoft.org.br www.emersonrios.eti.br

PROJETO DE TESTE DE SOFTWARE

Deixa eu te dizer uma coisa. Teste de Software um projeto. Certo?

CERTO?
Voc est duvidando de mim?

PROJETO DE TESTE DE SOFTWARE

Projetos para serem bem conduzidos precisam de processos. Concorda ou no concorda? No final do curso ns vamos conversar, Quero ver se voc concorda ou no.

PROJETO DE TESTE DE SOFTWARE

Agora fique a quietinho que eu vou te mostrar porque o teste um projeto e porque projetos precisam de processos. No saia da no. Vai encarar?

PROJETOS FALHAM
Falharam 2004 15% Com Problemas 51% Sucesso 34%

2006
2009

16%
24%

46%
44%

35%
32%

Fonte: Standish Group Chaos Report 2010

GERENCIANDO MUDANAS

Viso

Habilidades

Incentivos

Recursos

Plano

Mudana

Habilidades

Incentivos

Recursos

Plano

Confuso

Viso

Incentivos

Recursos

Plano

Ansiedade

Viso

Habilidades

Recursos

Plano

Mudana parcial

Viso

Habilidades

Incentivos

Plano

Frustrao

Viso

Habilidades

Incentivos

Recursos

Falsa partida

36

O QUE UM PROJETO?

Projeto um empreendimento temporrio com objetivo de criar um produto, servio ou resultado nico. PMBOK, 2008.

S PARA LEMBRAR
Voc entendeu o que o Anderson Silva falou? Fica quietinho a. Por que para os projetos funcionarem voc vai precisar tambm de processos. O que est olhando? Vai encarar?

PROJETO X PROCESSO

Qual a diferena entre projeto e processo?

PROCESSO (BSICO) DE TESTE

Planejar Planejar Testes Testes

Projetar Testes

Executar Testes

Analisar Resultados

Gerenciar Defeitos

40

PROCESSO (BSICO) DE TESTE

Projeto n Projeto 2
Projeto 1

Planejar Planejar Testes Testes

Projetar Testes

Executar Testes

Analisar Resultados

Gerenciar Defeitos

41

PROCESSO DE TESTE

Planejar Planejar Testes Testes

Projetar Testes

Executar Testes

Analisar Resultados

Requisitos

Gerenciar Defeitos

42 www.iteste.com.br

PROCESSO DE TESTE

Planejar Planejar Testes Testes

Projetar Testes

Executar Testes

Analisar Resultados

Requisitos de Teste

Gerenciar Defeitos

43

AVALIE SE O SEU PLANO DE TESTE ATENDE AOS REQUISITOS DESTE PROCESSO.

Anote as no conformidades

Exemplo de um caso real

Macro-atividade: Planejar Testes

Atividade: Atividade: Atividade: Atividade: Atividade: Atividade: Atividade: Atividade: Atividade:

Realizar estudo de viabilidade do projeto de teste Fazer a anlise de riscos do produto Verificar a testabilidade dos requisitos Definir o escopo do projeto Definir o tamanho e o esforo (cronograma) Listar os riscos do projeto Preparar o ambiente de teste Definir os recursos humanos do projeto Fechar o planejamento do projeto de teste

45

PLANO DE TESTE
O QUE DIZ A NORMA IEEE 829:2008

Introduo Identificador do Plano de Teste; Escopo; Referncias Nvel na sequencia de teste Classe de teste e viso das condies de teste Detalhes para este nvel do plano de teste Itens de teste e seus identificadores; Matriz de rastreabilidade do teste; Funcionalidades a serem testadas; Funcionalidades que no sero testadas; Abordagem do teste (Estratgia de Teste na ISO 29119); Critrios de liberao/falha dos itens; Requisitos de suspenso e retomada; Entregas do teste;

Foi voc que fez este processo? Eu quero saber se ele est em conformidade com o Plano de Teste da norma IEEE 829. Por que se no estiver ns vamos ter que conversar

(continua)

Quando o teste deve ser suspenso?

46

PLANO DE TESTE

Gerncia de Teste Tarefas do teste; Necessidades de ambientes; Responsabilidades; Integrao entre as partes envolvidas; Recursos e sua alocao; Treinamento; Cronograma, estimativas e custos; Riscos e contingncias; Geral Procedimentos de garantia de qualidade; Mtricas; Cobertura do teste; Glossrio; Procedimentos de alterao do documento e histrico.

Quem foi que mandou inventar um padro? J existe um padro mundial. Essa gracinha vai te custar caro.

47

PROCESSO DE TESTE PROJETAR OU ESPECIFICAR

(EXEMPLO REAL)

Planejar Planejar Testes Testes

Projetar Testes

Executar Testes

Analisar Resultados

Gerenciar Defeitos

48

PROCESSO DE TESTE PROJETAR OU ESPECIFICAR

(EXEMPLO REAL)

Macro-atividade: Projetar (Desenhar) Teste (ou Especificar Teste) Atividade: Atividade: Atividade: Definir os Cenrios de Teste Elaborar Casos de Teste Elaborar Procedimento de Teste

49

CASO DE TESTE
PADRO IEEE 829

Introduo (uma por documento) Identificador do documento Escopo Referncias (itens de teste) Contexto Notas para descrio Detalhes (um por caso de teste) Identificador do caso de teste Objetivos Especificaes de entrada Especificaes de sada Necessidades de ambiente Requisitos ou procedimentos especiais Dependncias entre casos de teste Global Glossrio Procedimentos de alteraes do documento e histrico de alteraes

Referncias (Itens de teste) Requisitos Projeto de teste e features Guia do usurio Guia operacional Guia de instalao Etc.

Analistas de Teste preocupados

Ainda bem que o Minotauro sumiu.

50

No sumi no. Entenderam direitinho at agora? Processos so muito importantes para que os projetos sejam bem sucedidos. Concordam? No vo me dizer que inventaram um modelo de Caso de Teste das suas cabecinhas? Eu j estou chegando.

PROCESSO DE TESTE PROJETAR OU ESPECIFICAR

(EXEMPLO REAL)

Planejar Planejar Testes Testes

Projetar Testes

Executar testes

Analisar Resultados

Gerenciar Defeitos

52

PROCESSO DE TESTE EXECUTAR

(EXEMPLO REAL)
Macro-atividade: Executar Testes Executar casos de teste e/ou scripts automticos, que foram definidos para cada iterao, bem como executar testes especficos, como teste de desempenho e outros. Na ocorrncia de alteraes das especificaes ou do cdigo, durante ou posteriormente a esta atividade, verificado se estas alteraes afetam tambm os casos de teste/scripts. Caso isto tenha ocorrido e a execuo j tenha sido iniciada, ser planejado um novo ciclo de teste ou teste de regresso. Antes de executar os casos de teste devem ser definidos os responsveis pela sua execuo.

Atividade: Atividade : Atividade: Atividade:

Executar Casos de Teste Gerar Resultados (logs) de Teste Acompanhar Defeitos Executar Testes Especiais

53

Ns ainda estamos aqui. Sabemos que processos so chatos, mas depois ns vamos conversar sobre isso. Tem algum dormindo a?

No fizeram nenhuma gracinha no, no ? Ser que inventaram um relatrio de defeitos das suas cabecinhas?

PROCESSO DE TESTE ENCERRAR

(EXEMPLO REAL)

Planejar Planejar Testes Testes

Projetar Testes

Executar Testes

Analisar Resultados

Gerenciar Defeitos

55

PROCESSO DE TESTE ENCERRAR

(EXEMPLO REAL)

Macro-Atividade: Analisar Resultados

Ao encerramento do projeto de teste conforme as regras definidas no Plano de Teste devem ser elaborados os artefatos de concluso. Atividade: Gerar Resultados dos Testes

PROCESSO DE TESTE GERENCIAR DEFEITOS

(EXEMPLO REAL)

Planejar Planejar Testes Testes

Projetar Testes

Executar Testes

Analisar Resultados

Gerenciar Defeitos

57

PROCESSO DE TESTE GERENCIAR DEFEITOS

(EXEMPLO REAL)

Macro-Atividade: Gerenciar Defeitos ou Incidentes Registrar e acompanhar a correo dos defeitos, decorrentes da execuo dos testes. Se for identificado que o defeito persiste, aps o re-teste, a correo rejeitada, caso contrrio ela aprovada. Defeitos podem ser identificados durante ciclo de desenvolvimento, durante a execuo do teste de aceite, no ambiente de homologao ou aps a entrega do sistema (ambiente de produo). Em todos os casos, utilizado um workflow para acompanhar todo o ciclo de vida do defeito. Os defeitos devem ser classificados conforme as regras estabelecidas.

Atividade: Atividade: Atividade: Atividade:

Cadastrar Defeitos ou Incidentes Rejeitar Correes Aprovar Correes Executar Re-Teste

58

ADERNCIA

Avaliao Objetiva da Aderncia ao Processo A aderncia a este processo por cada projeto auditada pelo Grupo de Qualidade ao final de cada macro atividade a partir da entrega Isso com a dos artefatos previstos. gente. Quem que
no vai aderir ao processo de teste? Vai aderir ou no vai? O controle de qualidade vai ser com a gente.

LIES APREENDIDAS
Reviso do Status do Processo com a Gerncia de Alto Nvel Periodicamente os dados obtidos das avaliaes com relao aderncia e adequao do processo Gerncia de Requisitos nos diversos projetos so sintetizados pelo GQ e elaborados grficos que evidenciem:

Evoluo da aderncia ao processo Teste de Software na organizao. No Conformidades observadas no perodo Inadequaes relatadas no perodo Anlise de possveis causas e aes implementadas para cada no-conformidade Anlise de possveis causas e aes implementadas para cada inadequao Oportunidades de melhorias.

elaborado Relatrio de Status do Processo Teste de Software que apresentado e discutido com a gerncia de alto nvel da empresa. Seria muito importante um documento organizacional regulamentando o uso dos processos da empresa.

VISO DO MPT
A rea de processo Gerncia de Projetos aparece no nvel 1 do MPT e contem as seguintes prticas:
GPT1 Realizar anlise de risco do produto GPT2 Estabelecer objetivos do teste O MPT GPT3 Definir estratgia de teste coberto pelo GPT4 Definir o escopo do trabalho para o projeto de teste processo que GPT5 Estabelecer estimativas de tamanho apresentamos? GPT6 Definir as fases do ciclo de vida do projeto de teste GPT7 Estimar o esforo e o custo GPT8 Estabelecer e manter o oramento e o cronograma do projeto GPT9 Identificar riscos do projeto GPT10 Planejar os recursos humanos GPT11 Planejar o ambiente de teste para o projeto GPT12 Planejar os artefatos e dados do projeto GPT13 Estabelecer indicadores de desempenho de teste GPT14 Estabelecer o Plano de Teste GPT15 Revisar e obter compromisso com o Plano de Teste GPT16 Monitorar o projeto GPT17 Gerenciar o envolvimento dos stakeholders GPT18 Executar revises em marcos do projeto GPT19 Analisar e registrar os problemas identificados GPT20 Estabelecer e acompanhar aes corretivas at a sua concluso Fonte: www.mpt.org.br Guia de Referncia

NVEIS DE MATURIDADE
Automao e Otimizao Preveno de Defeitos
Controle Estatstico do Processo Otimizao do Processo de Teste Automao de Teste Gesto de Ferramentas Case

Gesto de Defeitos Teste No Funcional Avaliao da Qualidade do Software Organizao do Teste (evoluo)

Definido

Organizao do Teste Medio e Anlise Teste esttico Treinamento Garantia da Qualidade Teste de Aceitao Fechamento de Teste Gerncia de Projeto de Teste (Evoluo) Projeto e Execuo do Teste (Evoluo)

Gerenciado Parcialmente Gerenciado

Gerncia de Requisitos de Teste Gerncia de Projeto de Teste (Evoluo) Projeto e Execuo do Teste (Evoluo)

17 reas de processo

Gerncia de Projeto de Teste Projeto e Execuo do Teste

PROCESSO (BSICO) DE TESTE

Planejar Planejar Testes Testes

O Minotauro sumiu mas eu apareci. Eu sou o Lyoto Machida. Eu quero saber o que est faltando neste processo. Vai responder ou no vai?

Projetar Testes

Executar Testes

Analisar Resultados

Gerenciar Defeitos

63

NORMA ISO/IEC 29119-2

O que diz a norma ISO/IEC 29119 Parte 2 sobre os processos de teste?

Preste ateno! A norma 29119 vai introduzir alguns novos conceitos. Ser que eu vou ter que enfiar isso na sua cabea?

Processo Organizacional de Teste Processos de Gerncia de Teste

Planejamento de Teste
Monitorao e controle de teste

PROCESSOS DE TESTE
www.iteste.com.br

Trmino de teste

Processos de Teste Dinmico

Desenho e especificao

Projeto 1 Projeto 2

Montagem e monitorao do ambiente

Execuo do teste

Relatar incidente de teste

Como baixar as apresentaes

www.emersonrios.eti.br

66

Como baixar a guia de referncia do MPT

www.mpt.org.br

67

COMO PODEREMOS TESTAR ESTE SITE

Riscos do produto Estratgia de teste O que muda no PT?

AMBIENTE DE TESTE E ESTRATGIA

www.mpt.org.br

FIM
emersonrios@riosoft.org.br rios.emerson@gmail.com www.emersonrios.eti.br
70