A

B
O Guia do

Teste A/B

ndice
Introduo.................................................................................................................................. 4
O que so Testes A/B e como escolh-los..............................................................................5
Por que os Testes A/B so eficientes........................................................................................... 6
Onde preciso tomar cuidado....................................................................................................... 7
O que testar....................................................................................................................................... 8
Na prtica: o impacto de um teste A/B simples da Resultados Digitais...............................9
Quando saber a hora de parar um teste.................................................................................12
Intervalo de confiana o grande heri (ou vilo)......................................................................13
Como funciona o intervalo de confiana na prtica e por que voc deve tomar decises
apenas quando tiver dados relevantes......................................................................................14
Processo para realizao de Testes A/B...............................................................................17
Passo 1. Encontrar oportunidades de otimizao e priorizar................................................18
Passo 2. Modelagem e execuo...............................................................................................23
Passo 3. Registro dos aprendizados e implementao.........................................................26
12 Boas prticas a seguir na hora de fazer um teste A/B.....................................................28
Faa o bsico - conhea seu pblico.........................................................................................28
Seja Data-Driven - louco por dados.............................................................................................29

O Guia do Teste A/B

Defina um intervalo de confiana adequado............................................................................30

Estabelea uma meta para o sucesso do experimento..........................................................31
Teste uma varivel por vez...........................................................................................................32
Teste as duas verses simultaneamente..................................................................................33
Deixe clara sua proposta de valor...............................................................................................34
Faa LPs especficas para cada campanha (e cada termo)..................................................35
Faa benchmarking........................................................................................................................36
Pense na converso antes da beleza.........................................................................................36
Comece pelos quick-wins / low-hanging fruits.........................................................................37
Documente tudo!............................................................................................................................37
Tutorial: Como fazer no Google Analytics..............................................................................39
Defina porcentagem de trfego...................................................................................................41
Tutorial: Como fazer no Optimizely........................................................................................46
Estudos de caso.......................................................................................................................54
Rock Content ..................................................................................................................................54
Resultados Digitais.........................................................................................................................56
Resultados Digitais.........................................................................................................................58
Resultados Digitais.........................................................................................................................60

O Guia do Teste A/B

Introduo

Um objetivo que temos sempre que produzimos algum material ajudar sua empresa
a crescer de alguma forma. No entanto,
crescer sempre pensando em volume fica
mais difcil ao longo do tempo e trabalhar
de forma mais eficiente um dos cortes de
caminho que pode ajudar muito.
Muitas vezes simples mudanas no site e
Landing Pages podem dobrar os resultados
em Leads e vendas.
Pensando nisso, criamos este Kit sobre
teste A/B! Nosso objetivo com ele ser
trazer uma introduo consistente ao tema,
passando por conceitos, boas prticas, tuto-

riais e estudos de caso de nossos clientes e

da prpria Resultados Digitais.
Mostraremos de forma prtica como qualquer um pode comear hoje mesmo a
por suas hipteses prova e aumentar os
resultados a partir do mesmo nmero de
visitantes.
Como complemento a este eBook, preparamos tambm uma calculadora de teste
A/B, que far toda a parte matemtica do
experimento, deixando mais tempo para
voc se preocupar em planejar e executar
os testes.

O que so Testes A/B e como

escolh-los
Algo que devemos ter sempre em mente que, embora existam as recomendaes e boas
prticas, cada empresa tem o seu prprio pblico com caractersticas peculiares, e que
somente com testes possvel ter certeza de fato de qual abordagem funciona melhor.
Um dos testes mais conhecidos e eficientes o chamado Teste A/B, que consiste em
dividir o trfego de uma determinada pgina em duas verses: a atual e uma desafiante,
com modificaes para ento medir qual a verso que apresenta maior eficincia.

O Guia do Teste A/B

Por que os Testes A/B so eficientes

Os Testes A/B so ferramentas excelentes porque oferecem um feedback real de mercado,
mensurado com preciso. No uma pesquisa simples em que algum pode responder
uma coisa e fazer outra na prtica: so fatos consolidados.
Como as diferentes verses so distribudas aleatoriamente em um mesmo espao de
tempo, no h o risco de fatores externos (como uma palestra ou um eventual link em
outro site) influenciarem a taxa de converso. Tudo isso torna o resultado muito mais
confivel.

O Guia do Teste A/B

Onde preciso tomar cuidado

J mencionamos no nosso blog que fazer Testes A/B um dos conselhos de
especialistas que deve ser ignorado por iniciantes em marketing digital.
Continuamos acreditando nessa opinio, e isso se deve basicamente a dois motivos.
O primeiro a necessidade de um bom volume de acessos para que o teste seja vlido
estatisticamente, coisa que poucas empresas iniciantes em Marketing Digital conseguem
ter. A falta de volume pode levar a decises prematuras e incorretas.
E o segundo que, embora nos acostumemos a ver palestras e estudos de caso
mostrando melhoras na converso como se fossem algo simples, a verdade que
difcil encontrar variveis que realmente fazem a diferena nos nmeros. Quase nunca
relatado o que acontece com bastante frequncia: os experimentos que fracassam,
aqueles em que a diferena na converso entre uma verso e outra no pode ser
considerada relevante.
Para algum que ainda tenha muitas coisas mais bsicas e provadas para fazer no
marketing digital da sua empresa, pouco provvel que trabalhar com otimizaes
tragam tanto resultado como o terminar de montar a sua estrutura.

O Guia do Teste A/B

O que testar
De maneira geral, praticamente todos os elementos presentes em uma pgina podem,
ou no, alterar a taxa de converso. Contudo, existem alguns que costumam, segundo
nossos testes, ser mais sensveis e costumam alterar mais os resultados de converso de
uma determinada pgina. So eles:

Headline (ttulo-destaque) da pgina;

Call-to-action (botes para converso);
Imagens ou vdeos;
Descries da oferta;
Tamanho e campos do formulrio;
Indicadores de confiabilidade (testemunhos, certificados, etc.).

Claro que os testes no se limitam a isso: possvel alterar a posio dos elementos,
cores ou mesmo aspectos da prpria oferta (15 ou 30 dias de teste gratuito em um
software, por exemplo). No entanto, os itens que apresentamos anteriormente so bons
pontos de partida.

O Guia do Teste A/B

Na prtica: o impacto de um
teste A/B simples da Resultados
Digitais
Para voc ver na prtica como um teste A/B pode trazer bons resultados, compartilhamos
aqui um dos primeiros testes que fizemos na Resultados Digitais.
Gostaramos de descobrir uma forma sustentvel de aumentar a taxa de converso de
nossas Landing Pages, especialmente atravs de trfego vindo do Google Adwords, j que
em geral so pessoas que ainda no conhecem nossa empresa e nossos materiais.
Seguindo uma das possveis alavancas mencionadas acima, pensamos em simplificar
um pouco o formulrio. Como j falamos em um post anterior no blog, o tamanho do
formulrio e a sensibilidade da informao pedida em alguns campos pode afetar
bastante a taxa de converso.

O Guia do Teste A/B

Com isso, decidimos fazer um teste sugerido por um de nossos leitores (Thiago de
Mendona) nos comentrios do nosso webinar de Landing Pages: retirar (apenas) o
campo telefone de contato. Essa no uma informao essencial para ns quando os
Leads ainda esto no incio da relao conosco, como aqueles que baixam um eBook ou
assistem a um Webinar gratuito.
o tipo de dado que podemos pedir mais frente, quando o Lead fizer o pedido de Trial do
nosso software, por exemplo.
Nosso teste utilizou a Landing Page at ento atual do eBook Marketing no Facebook,
em que o nmero de telefone era obrigatrio, e uma outra em que no pedimos essa
informao.
Os resultados falam por si s:

O Guia do Teste A/B

10

Para muitas pessoas difcil acreditar que remover um nico campo do formulrio seja
capaz de aumentar as converses em 167%. A taxa mdia de converso da pgina foi de
20,18% para 53,90%.
Pense que para cada R$ 100 investidos em mdia anteriormente, agora conseguiramos
o mesmo resultado investindo apenas R$37,45, ou ento teramos quase trs vezes esse
resultado se investssemos o mesmo valor.
Por isso, sempre que estiver na dvida sobre o impacto de qualquer detalhe
na sua Landing Page, no deixe a opinio prpria prevalecer: faa um Teste
A/B e deixe que os nmeros falem por voc.

O Guia do Teste A/B

Para muitas pessoas difcil

acreditar que remover um nico
campo do formulrio seja capaz de
aumentar as converses em 167%

11

Quando saber a hora de parar um

teste
Como vimos, testes A/B so muito teis para identificar se variaes em uma pgina
podem trazer melhores resultados. Sejam essas variaes do texto, das imagens,
do layout ou mesmo campos de um formulrio, o resultado final muitas vezes
surpreendente.
Embora durante o teste j seja possvel mensurar resultados parciais e perceber que h
uma diferena de resultados entre as variaes, um erro j tomar essas informaes
como verdadeiras. Muitas vezes os resultados parciais podem no representar o
comportamento real de toda a populao e o teste no confivel estatisticamente.

O Guia do Teste A/B

12

Intervalo de confiana
o grande heri (ou vilo)
Imagine que voc queira testar se uma moeda ou no tendenciosa para jogar cara ou
coroa. Teoricamente, se voc jogar essa moeda 200 vezes, metade das vezes dever ser
cara, e metade coroa, certo?
Voc ento resolve fazer o teste e observa que tirou cara 116 vezes, ou 58% das vezes.
Com esse resultado, voc pode dizer, com confiana, que a moeda tendenciosa?
O chamado intervalo de confiana indica a probabilidade que a variao entre o controle
(50% cara) e o experimento (58% cara) de fato representarem toda a populao, ao invs
de um segmento tendencioso (e portanto irreal) escolhido por mera casualidade.
No exemplo que demos, o resultado de 58% cara possui um intervalo de confiana
de aproximadamente 90%, ndice considerado baixo estatisticamente. Significa dizer
que existe 90% de chance de os resultados representarem de fato a realidade e no a
influncia de algum acaso.

O Guia do Teste A/B

13

Como funciona o intervalo de

confiana na prtica e por que voc
deve tomar decises apenas quando
tiver dados relevantes
Nos testes A/B acontece o mesmo cenrio que vimos acima: h uma pgina com uma
determinada taxa conhecida de converso (controle), e outra pgina com algum elemento
que foi substitudo ou alterado (experimento), que queremos testar e descobrir se a taxa
de converso ou no maior.
Quando voc conduz um teste em uma Landing Page, por exemplo, e conclui que a
experincia foi positiva mesmo com um baixo intervalo de confiana, deixa margem para
que a alterao v ao ar sem que os resultados se mantenham no patamar esperado. Pior
ainda, pode ter informaes menos completas ou em volume menor a troco de nada.

O Guia do Teste A/B

14

Por exemplo, considere que resolvemos

testar uma Landing Page com um formulrio sem o campo de telefone e obtivemos
o seguinte resultado:
Neste cenrio, o teste no alcanou uma
diferena considerando 95% de confiana no houve relevncia estatstica.
Se considerarmos o teste como completo,
possvel que nas novas Landing Pages,
sem o campo de telefone no formulrio, a
taxa de converso seja mais prxima do
que era observada anteriormente e sua
empresa perde uma informao interessante sem ganhar um volume maior de
converses em troca.

O Guia do Teste A/B

15

J se a diferena entre as taxas de converso

for ligeiramente maior, j possvel definir
um vencedor. No caso abaixo, com 99% de
confiana:
Neste caso, a Landing Page sem o campo
de telefone no formulrio possui praticamente 100% de chance de superar a pgina
com o mesmo campo.
Obs.: Os resultados acima e ao lado foram
calculados com nossa Calculadora de Teste
A/B. Voc pode acess-la gratuitamente
neste link.

O Guia do Teste A/B

16

Processo para realizao de

Testes A/B
Existem diversas formas e processos de conduzir um teste A/B. Com uma breve pesquisa
no Google, possvel encontrar diversas metodologias, porm nem todas so simples
para quem est comeando.
Ns da RD preferimos sempre manter o processo simples e bem documentado
para ganhar agilidade e conseguir gerenciar um volume muito mais alto de testes
simultaneamente, e garantir (se no aumentar) a qualidade do trabalho.
Sendo assim, resumimos aqui em 3 passos nosso processo, os quais voc pode seguir
para comear a realizar testes:

O Guia do Teste A/B

17

Passo 1. Encontrar oportunidades de

otimizao e priorizar
Levantar ideias de testes um passo com complexidade extremamente varivel. Para
quem nunca realizou testes, encontrar oportunidades pode ser muito fcil, pois existem
diversas otimizaes em locais que sabemos que podem ser melhorados.
Essa achismo vlido neste momento e pode inclusive partir de um brainstorming com a
equipe para levantar ideias de melhorias em qualquer mbito: pgina inicial do site, pgina
de descrio de produto, pgina de preos, blog, template de email, etc.
medida em que os testes vo acontecendo, essas oportunidades no ficam mais to
bvias e ento necessrio utilizar outras formas, como:
Pesquisa: Leia blogs que falam de otimizao de converso e procure estudos de caso
e exemplos que faam sentido para sua empresa;
Benchmarking: Converse com empresas parceiras que tambm realizam testes (pode
contar com a RD para isso) sobre os testes que voc est executando e pergunte o
que tem funcionado ou no;

O Guia do Teste A/B

18

 Anlise do trfego existente: A ferramenta de Analytics da sua empresa uma fonte

valiosssima de informaes para encontrar ideias de teste A/B, basta entender o
trfego e saber identificar os gargalos.

Falando um pouco mais sobre a anlise do trfego e j pensando em priorizao, muitas

pessoas pensam que o grosso do trfego na pgina inicial do site ou blog, porm
quando olhamos o relatrio do Google Analytics vemos que no bem assim: preciso
levar em conta os templates, pginas que, mesmo diferentes, possuem a mesma
estrutura.
Exemplo: um blog comum possui no mnimo trs templates: o template da pgina inicial,
da pgina de categorias e da pgina de posts. Na maioria das vezes, se somarmos os
acessos de todos os artigos do blog (template de post), o nmero de acessos vai superar
o da pgina inicial (template da pgina incial).
Ou seja, podem existir grandes melhorias a serem feitas primeiramente na estrutura que
ir afetar todos os posts e, pelo trfego ser maior, conseguir atingir relevncia estatstica
de forma mais rpida.

O Guia do Teste A/B

19

O exemplo anterior se torna ainda mais sensvel em um e-commerce: otimizar a pgina

de produtos muitas vezes melhor do que otimizar a pgina inicial, pois na pgina de
produtos que acontece a compra.
Sobre a priorizao, podemos quebr-la em trs variveis fundamentais que, quando
combinadas, nos do um framework de priorizao. As variveis so:
Potencial: Analisar a taxa de converso atual da pgina e pensar o quanto ela
pode aumentar com a hiptese levantada. difcil falar em bom-senso, mas aqui
necessrio, pois no podemos assumir com facilidade qual ser o impacto do teste
sem antes realiz-lo, exceto quando temos alguma base de comparao. Portanto,
pense no impacto como aumentando a converso em 20%, X Leads/vendas a mais
sero gerados em um determinado perodo. Voc pode inclusive dar notas (de 0 a 10,
por exemplo) para as ideias de testes para identificar aquelas com maior potencial de
alavancagem;
Importncia: O quo importante para a empresa ser esse teste? Ele ter impacto
direto nos resultados em vendas ou alguma mtrica intermediria? Por exemplo, a
importncia para um e-commerce em aumentar a converso na pgina de produto ter
impacto direto nas vendas. Neste caso mais importante para o negcio do que um
teste que ser feito na pgina de recrutamento de candidatos a uma vaga;

O Guia do Teste A/B

20

 Facilidade: Aqui voc pode pensar em custo. Se voc tem que decidir entre dois testes
de mesmo potencial e importncia, porm um custa 20 horas de um programador e
outro custa 2 horas, qual voc vai priorizar? Claro que existe um balano e um teste no
deve ser descartado apenas por essa varivel, porm existem melhorias mais fceis
de serem aplicadas.

Cruzando essas trs variveis com as ideias de testes levantadas, voc chega em um
framework de priorizao como o do exemplo abaixo (nmeros fictcios):

Teste

Remover campo telefone de

Landing Page de eBook
Adicionar depoimentos de clientes
na pgina de preos

O Guia do Teste A/B

Potencial

Importncia

Facilidade

Nota
(total)

10

10

10

30

22

21

Teste

Potencial

Importncia

Facilidade

Nota
(total)

Criar um template novo de email

23

Mudar o processo de check-out

do e-commerce

10

10

22

Neste cenrio, j possvel tomar uma deciso sobre o que testar primeiro: remover o
campo de telefone da Landing Pages.
Uma questo interessante que surge no framework relativo s tarefas que so mais
fceis que as outras, ou no. A princpio, adicionar depoimentos de clientes pgina de
preos mais barato que mudar o processo de check-out, porm os dois se equiparam
no total. A deciso se vale a pena o custo dado que o impacto (potencial) ser maior.
Feita a priorizao, partimos para uma etapa muito importante: modelagem e execuo.

O Guia do Teste A/B

22

Passo 2. Modelagem e execuo

A modelagem especialmente importante pois, caso no seja feita corretamente, pode
gerar um retrabalho muito grande. Se isso acontecer, o custo que era X pode acabar
dobrando, ou pior ainda, fazer com que voc no consiga mensurar os resultados no final,
perdendo assim, alm de dinheiro, tempo.
nesta etapa que vamos desenhar todo o experimento para garantir que ele tenha um
objetivo claro, seja bem executado e medido. comum, na modelagem, descobrirmos que
um teste que parecia fcil na verdade bem complicado.
Alm disso, essa modelagem acaba servindo de histrico no futuro pois contm todas
as informaes mais importantes do teste. Se voc for realizar um teste parecido, saber
exatamente qual o passo-a-passo a seguir, quais as dificuldades que surgiram, recursos
necessrios e tambm os resultados.
Na Resultados Digitais ns usamos para a modelagem um documento simples do Google
Drive contendo algumas informaes:

O Guia do Teste A/B

23

 Hiptese: Uma frase que resuma o teste a ser feito. Tente seguir um padro aqui
para conseguir encontrar com mais facilidade os testes no futuro. Um padro bom
a seguir o Mudando isso aqui, aumentaremos esta mtrica em tanto. Exemplo:
Removendo o campo telefone do formulrio das Landing Pages, aumentaremos a taxa
de converso em 50%.
Mtricas a serem acompanhadas: So as mtricas que definiro o sucesso ou
fracasso do teste. No caso acima, para conseguir a taxa de converso, as mtricas
acompanhadas sero Visitantes e Leads de cada variao da pgina.
Pessoas envolvidas: Quem responsvel por qu? Exemplo: Fulano ser o dono
do teste, responsvel por model-lo, acompanh-lo e cobrar os demais envolvidos
e Beltrano ser o responsvel tcnico por remover o campo do formulrio. Neste
experimento, como algo fcil de fazer com a ferramenta correta, pode at ser todo
conduzido por uma pessoa s.
Ferramentas envolvidas: Quais ferramentas sero usadas para o teste? No exemplo,
RD Station (para criar as duas Landing Pages) e Google Analytics (conduzir o teste A/B
e fornecer os resultados).
Workflow: Qual o passo-a-passo para implementao? Exemplo:
1.
Criar Landing Page no RD Station com telefone no formulrio;
2. Criar Landing Page no RD Station sem telefone no formulrio;
3. Caso ainda no tenha feito, criar uma meta de converso no Google Analytics
para saber quantos Leads foram gerados em cada variao: sem essa etapa, o teste

O Guia do Teste A/B

24

no valer de nada, pois voc no ir saber qual variao teve a melhor converso por isso a importncia da modelagem;
4.
Criar o experimento no Google Analytics e pegar o cdigo fornecido;
5. Colocar o cdigo fornecido pelo GA no RD Station;
6. Iniciar experimento.
Acompanhamento: Durante quanto tempo o teste ficar no ar? bom tambm, alm
do tempo, olhar quantos visitantes dever ter em cada variao para atingir um nvel de
confiana satisfatrio. Na nossa Calculadora de Teste A/B voc pode descobrir esse
nmero.
Resultados: A hiptese foi validada? Olhe novamente o primeiro tpico do documento
e veja se o resultado superou o que voc levantou como sendo a hiptese do teste.
Anote aqui as mtricas finais do experimento, aquelas que voc colocou como sendo
as mtricas a serem acompanhadas e marque tambm se o teste foi um sucesso ou
se falhou.
Aprendizados: Mais do que melhorar uma pgina, necessrio saber por que isso
aconteceu. No exemplo que usamos, fcil descobrir o motivo: as pessoas consideram
o telefone um campo sensvel e tm receio de fornec-lo, pensando que podero
receber uma ligao indesejada a qualquer momento. Sem esse campo, no h esse
atrito.
Otimizaes: Houve ainda alguma ideia que surgiu a partir desse teste? Por exemplo,
se voc percebe que removendo o campo telefone a converso aumenta, por que no

O Guia do Teste A/B

25

revisar os outros campos e ver quais so realmente necessrios ou sensveis a ponto

de valer realizar outro teste?

Feita a modelagem, agora colocar a mo na massa e seguir tudo o que foi levantado na
etapa anterior. O principal foco aqui quanto a ateno, para implementar o experimento
exatamente conforme o modelado.

Passo 3. Registro dos aprendizados e

implementao
Aps finalizar o teste, vem a etapa essencial para o crescimento o aprendizado.
Volte no documento onde foi modelado o teste e preencha os resultados, aprendizados e
otimizaes.
Como dito anteriormente, saber por que o experimento funcionou ou fracassou
igualmente importante ao resultado dele. Se no sabemos o que fez o experimento

O Guia do Teste A/B

26

funcionar, no conseguimos repetir. Se no sabemos o que fez o teste dar errado, no

podemos melhor-lo.
importante frisar que, mesmo se uma hiptese no for atingida (e o teste for
considerado falho), o resultado ainda pode ser bom. Por exemplo, se a hiptese era
que, removendo o campo telefone, a converso aumentaria em 50% e na verdade ela
aumentou apenas 30%, o teste no pode ser considerado ruim. 30% um aumento
grande e, mesmo tendo falhado, a remoo do campo ainda pode ser implementada em
todas as Landing Pages, pois a converso ir aumentar.
Nesse caso, dizemos simplesmente que o teste foi mal modelado e, apesar de ter falhado,
o resultado foi bom e deve ser implementado nas outras Landing Pages.

O Guia do Teste A/B

27

12 Boas prticas a seguir na hora

de fazer um teste A/B
Faa o bsico - conhea seu pblico
Todo produto, servio ou contedo sero consumidos por algum. Conhecer esse algum
o primeiro passo para voc desenhar a sua estratgia de otimizao de converso.
Mapear a jornada de compra dessa pessoa ir lhe dizer como ela compra, por que ela
compra e quando ela compra. Uma vez feita essa anlise prvia, temos o que preciso
para pensar nas ofertas que gerem mais valor para esse grupo de usurios.

O Guia do Teste A/B

28

Seja Data-Driven - louco por dados

Marketing digital de alto nvel no tem espao para opinies pessoais. Por isso, a opinio
do seu chefe, do seu vizinho ou a sua prpria opinio no tem valor se no forem
baseadas em experimentao. Quando algum tiver uma opinio sobre o que melhorar, a
sada ser sempre testar.

O Guia do Teste A/B

29

Defina um intervalo de confiana

adequado
Quando trabalhamos com estatstica, precisamos sempre estabelecer um nvel de
confiabilidade. Na prtica, se falamos que o ndice de confiana de uma alterao ser
melhor de 80%, estamos dizendo que a cada 10 aparies para um usurio, em mdia
ela ser realmente melhor em 8 delas.
Nossa indicao trabalhar com 95% ou 99% de intervalo de confiana. Esse intervalo
muito importante pois ele um dos principais fatores que influenciam o volume de visitas
que sero necessrias para provar que uma pgina realmente melhor que outra.

O Guia do Teste A/B

30

Estabelea uma meta para o sucesso

do experimento
Esta uma boa prtica que til de duas formas. A primeira que ao determinar o ganho
esperado com aquela melhoria, possvel fazer um balano de priorizao melhor. Se for
necessrio alocar muitas pessoas para um ganho pequeno, talvez nem valha a pena fazer
este experimento.
A segunda que esta expectativa de melhoria tambm um dos parmetros que ajudam
a determinar o volume de visitantes naquela pgina para provar que ela realmente trouxe
um ganho. Quanto maior a expectativa de melhoria, menor a quantidade de visitantes
necessria para provar esse ponto (e mais rpido o experimento).

O Guia do Teste A/B

31

Teste uma varivel por vez

Ao testar apenas um elemento por vez, voc garante que os impactos gerados pela
mudana realmente tenham vindo daquele elemento. Por isso, mesmo que voc saiba que
diversas mudanas podem gerar melhorias, quebre a sua hiptese em vrias fases, e teste
uma de cada vez para evitar que algumas delas seja mal interpretada.
Um exemplo simples: quer tirar 3 campos do formulrio? Tire um de cada vez e mea o
impacto. Talvez s um deles faa realmente diferena na conveso.

O Guia do Teste A/B

32

Teste as duas verses

simultaneamente
Se voc monitora os seus resultados com frequncia, j deve ter percebido o quanto
fatores externos podem influenciar no seu negcio. Para evitar que esses fatores
influenciem o seu resultado, o ideal sempre fazer testes simultneos.
Por exemplo, muitas empresas rodam a verso alterada por um perodo de tempo e
comparam com o resultado histrico da pgina. E na prtica sabemos que algumas
semanas podem trazer resultados muito diferentes de outras devido sazonalidade,
possveis feriados, poca do ano, situao do mercado em si, etc.

O Guia do Teste A/B

33

Deixe clara sua proposta de valor

D mais motivos para sim do que para o no. O valor que voc precisa entregar para as
pessoas tem que ser maior do que o preo do seu produto ou servio. Use o seu DNA de
vendedor, mostre tudo que for necessrio para que o visitante conhea o seu produto e o
compre.
De novo: tudo o que for necessrio e nem uma vrgula a mais. No adianta escrever
um eBook sobre uma caixa de fsforo. Produtos simples e de baixo custo exigem
informaes simples e rpidas. Mas se o seu produto for inovador e de alto valor agregado,
a sim voc precisar oferecer informaes mais detalhadas sobre ele.

O Guia do Teste A/B

34

Faa LPs especficas para cada

campanha (e cada termo)
No caso das campanhas, ainda existe outra dica valiosa. As chamadas dos anncios no
Google Adwords e dos destaques na Pgina de Converso devem bater. As razes so
simples:
Ao clicar no anncio no Google, o usurio vai encontrar uma pgina que cobre exatamente
o assunto pelo qual ele se interessou, mantendo uma experincia fluida e real. Alm
disso, voc ir pagar menos por Custo-por-Clique (CPC) uma vez que um dos fatores que
influenciam no clculo desse custo a qualidade da sua pgina de converso.

O Guia do Teste A/B

35

Faa benchmarking
Existem empresas fazendo experimentos de otimizao de forma cientfica, mas muitas
outras praticamente no sabem o que esto fazendo ou o que um teste A/B.
O mercado uma grande fonte de ideias, e essencial que voc esteja sempre de olhos
abertos para encontrar novos testes que faam sentido para o seu negcio, mas cuide
para no replicar erros alheios sem o devido questionamento.

Pense na converso antes da beleza

O Brasil o pas dos sites mais bonitos do mundo. Isso um grande problema pois
a esttica no est associada funcionalidade, que o que realmente importa nos
sites. Deixe a pintura de Monet para pendurar na parede e acesse o Google, a Wikipedia,
Facebook ou Ebay. Eles iro te mostrar o que realmente importa.

O Guia do Teste A/B

36

Comece pelos quick-wins /

low-hanging fruits
comum quando vamos comear a testar mudanas no nosso site, querer ir direto
naquela grande mudana, que voc acredita que ir dar muitos resultados. No entanto,
nossa orientao para comear pela outra ponta, buscando oportunidades fceis e de
curto prazo.
Isso porque para quem est comeando, h sempre uma srie de pequenas mudanas
que podem ser implementadas praticamente sem custo, e que juntas traro resultados
rapidamente.

Documente tudo!
a parte chata, ns sabemos. Sabemos tambm que essa obrigao implica em muito
mais tempo necessrio para fechar um experimento, mas sem dvidas voc pode v-lo
como um investimento.

O Guia do Teste A/B

37

 medida que o seu time comece a rodar experimentos em maior volume, saber o que j
foi feito, como foi feito e os resultados trazidos importantssimo para sabermos o que
otimizar e para evitar a repetio de erros j cometidos.

Gostando do material?
Compartilhe esse ebook
nas suas redes sociais!

O Guia do Teste A/B

38

Tutorial: Como fazer no Google

Analytics
Para comear agora a por em prtica os
conhecimentos passados nesse eBook,
vamos mostrar um passo-a-passo para a
execuo de um teste A/B usando o Google
Analytics.
Para criar o seu primeiro experimento,
comece por logar na sua conta e, no menu
da esquerda, clique em comportamento.
Em seguida clique em experimentos, como
na figura ao lado.
Em seguida clique no boto Criar experimento. Feito isso, a primeira coisa que
precisamos criar um objetivo.

O Guia do Teste A/B

39

Esta etapa extremamente importante pois o que Google vai considerar como sucesso
na sua pgina. Por exemplo, numa Landing Page, o grande objetivo a converso do
visitante em Lead.
Por isso, quero medir quantas pessoas pessoas chegaram na pgina e quantas
preencheram o formulrio, clicaram no boto e foram direcionados para a pgina de
agradecimento. Nesse caso, vamos considerar como objetivo alcanar a pgina de
agradecimento.

O Guia do Teste A/B

40

Defina porcentagem de trfego

D um nome para ele, um objetivo e a porcentagem em que voc deseja dividir o trfego:
50% far com que metade dos visitantes seja direcionado para a pgina A, e a outra
metade para a pgina B.
Esta proporo depender do seu objetivo com o experimento e do seu volume de
visitantes.
A opo 50/50 normalmente utilizada em pginas que no tem um trfego muito grande,
e por isso precisam usar todo o volume de visitas disponvel para o experimento.
Pginas com grande volume de visitas no precisam separar todo o seu trfego para o
experimento e podem, portanto usar opes como 10/90, 20/80, 30/70. Isso importante,
pois sempre h o risco de o experimento apresentar um resultado pior que a verso
original.
Ao separar apenas 10 ou 20% do trfego para o experimento, voc garante que em caso
de desempenho pior, grande parte dos resultados no ser afetada/prejudicada.

O Guia do Teste A/B

41

Para esse exemplo, vamos simular um experimento onde mudamos apenas a cor do
boto da nossa Landing Page. Para isso, criamos uma pgina nova com o novo boto
e vamos cham-la de Variao 1. A imagem da esquerda a original, enquanto a da
esquerda a variao.

O Guia do Teste A/B

42

Nessa prxima etapa voc dever colocar

os endereos das pginas que deseja usar
como teste A/B.

O Guia do Teste A/B

43

O prximo passo inserir o cdigo javascript no seu site. O prprio Google j d as

instrues para isso e checa se o cdigo foi
colocado corretamente. Tambm possvel
inserir esse cdigo atravs do Google Tag
Manager. Veja o tutorial sobre como usar
o Google Tag Manager.
Tambm possvel inserir esse cdigo nas
Landing Pages criados no RD Station. Basta
copiar o cdigo como na imagem abaixo e
seguir este tutorial.

O Guia do Teste A/B

44

Ao finalizar e rodar o experimento, sempre use a URL da pgina original. O Google ir

direcionar sua audincia automtica e aleatoriamente para uma das duas verses.
O prximo passo esperar os resultados. O Google Analytics demora alguns dias para
mostrar os primeiros resultados. Mas ao clicar no nome do experimento, possvel ver a
pgina vencedora e a probabilidade de variao de ser melhor que a verso original.
Agora s acompanhar as estatsticas e avaliar o desempenho das duas verses.

O Guia do Teste A/B

45

Tutorial: Como fazer no

Optimizely
O Optimizely uma ferramenta muito boa para a realizao de testes A/B (e muitos
outros), e o plano gratuito mais do que suficiente para a necessidade da grande maioria
das empresas. E ela to boa assim por 3 simples motivos:
extremamente fcil editar mudanas, sendo a maioria delas possvel no modelo drag
and drop;
Ela faz sozinha os clculos de referencia estatstica para o intervalo de confiana que
voc escolher;
Voc facilmente pode fazer testes simultneos, com a possibilidade de escolher a
proporo de trfego que ser direcionado para cada pgina.

O Guia do Teste A/B

46

Para exemplificar, vamos usar a Landing Page que usamos para oferecer avaliaes
gratuitas de marketing:
V em sign up e crie uma conta para a sua empresa
Aps o login, voc entrat em um painel com todos os seus experimentos. Para criar um
novo clique em New experiment.

O Guia do Teste A/B

47

Um pop up ir aparecer pedindo para

voc fornecer um nome e uma URL para a
execuo do experimento.
Feito isso, voc poder visualizar a URL escolhida, dentro do painel de edio do Optimizely. Passe o seu cursor pelos elementos da
pgina para entender como a ferramenta
separa cada caixa do seu site.
(Nossa hiptese para essa Landing Page
de que o Ttulo e Subttulo da pgina no
esto transmitindo de forma adequada
o valor que queremos passar, e por isso
vamos troc-lo.)
Clique com o mouse na caixa que voc
deseja alterar e vo aparecer as opes de
edicao da ferramenta.

O Guia do Teste A/B

48

Existem vrias opes, para alterar textos,

fontes e tamanhos, remover ou alterar cones
e imagens, reposicionar caixas e outras
mais. Lembre-se de fazer uma alterao por
teste como falamos nas boas prticas. No
nosso caso alteraremos somente o ttulo da
Landing Page.
Edite a pgina de acordo com a hiptese
criada, e quando terminar nos resta 3 coisas
a fazer: definir a meta, alocar o trfego e
definir a significncia estatstica.

O Guia do Teste A/B

49

Definir metas, ou seja, vamos definir o que

vai ser medido para fazer a comparao
de resultados. Para isso, clique no cone
de uma bandeira, no canto superior direito,
denominado Set up Goals. Se for a sua
primeira vez no programa, voc ter de criar
uma nova meta em create new goal.
Em what to track voc vai escolher se o
objetivo a ser medido um visualizao de
pgina (pageview), um clique (click) ou um
custom evento personalizado (event). No
nosso caso, como se trata de uma Landing
Page, nossa meta o clique no boto. Nesta
etapa no Google Analytics definimos que o
objetivo era chegar na pgina de agradecimento pois no to simples medir o clique
no boto.

O Guia do Teste A/B

50

Na prxima tela voc ver a sua pgina, e

basta clicar sobre o elemento que define a
meta para que est seja configurada, e em
seguida aperte em salvar (save).
A configurao inicial da ferramenta j de
alocar o trfego meio a meio. No entanto
muitas vezes arriscado mandar metade
do seu trfego para uma pgina que voc
no sabe o desempenho, por isso muitas
vezes interessante comear com um
volume mais baixo. Para alterar clique em
option e em seguida em traffic allocation.

O Guia do Teste A/B

51

Por fim, clique no boto Start Experiment

para dar inicio ao experimento. Voc ser
redirecionado para o seu painel de experimento. Uma vez a, clique em Settings. Role
a pgina um pouco e voc ver o statistical
significance, onde voc definir a sua significncia estatstica.
Logo acima, voc ver o Script que deve ser
colado na sua pgina, para dar permisso
ao Optimizely de alter-la.
Se voc usa o RD Station, basta inserir esse
Script na sua Landing Page. No editor de
Landing Page clique em aparncia, e na parte
Javascript HEAD, cole todo o contedo do
Script fornecido pelo Optimizely.

O Guia do Teste A/B

52

Pronto agora seu teste A/B est configurado, e para acompanh-lo basta voltar ao painel
de experimentos, clicar no experimento em questo e no lado direito, entra em results
para acompanhar os resultados.

O Guia do Teste A/B

53

Estudos de caso
Rock Content

aumentou em 37,5% a abertura de um email

hiptese
Ao direcionar o texto do assunto do email ao contexto do segmento ir receb-lo
(agncias), a taxa de abertura ir aumentar em 30%.

variaes
Assunto controle: [EBOOK GRATUITO] SEO - O guia definitivo da Rock Content
Assunto variao: [EBOOK GRATUITO] Sua agncia est na 1 pgina do Google?

O Guia do Teste A/B

54

resultados
Controle: Abertura 23,2% | CTR 19,6%
Variao: Abertura 31,9% | CTR 22,1%

aprendizado
O principal aprendizado deste teste foi
provar a eficcia de direcionar o texto
segmentao que ir l-lo. No caso, como
os destinatrios eram agncias, chamar
a ateno para isso no assunto do email
chamou a ateno para a abertura.

O Guia do Teste A/B

55

Resultados Digitais

aumentou o CTR de um email em 24%

hiptese
O call-to-action do template controle fica under the fold, ao final de todo o texto, e varia
entre 15% e 20%. Movendo o call-to-action para cima, o CTR (# cliques / # aberturas) ir
aumentar em 20%.

variaes
Controle
(Imagem ao lado)

O Guia do Teste A/B

56

Variao
(Imagem ao lado)

resultados
CTR do template Controle: 16,96%
CTR do template Variao: 21,07%, aumento de 24,28%

aprendizado
Apesar do template ter mudado bastante, provamos que mover o call-to-action para cima
trouxe um aumento significativo na quantidade de cliques.
Nossa suposio foi de que, facilitando a ao, a tomada de deciso acontece mais rpida
e o Lead que no leria todo o texto, nem rolaria a tela, pde ter acesso ao material de
forma mais rpida.

O Guia do Teste A/B

57

Resultados Digitais

aumentou em 40% a converso no scrollbox do blog

hiptese
Usar o scollbox do lado direito da pgina ir
aumentar a converso em 40%.

variaes
Mesmo scrollbox, aparecendo 50% das
vezes no lado direito e 50% no lado esquerdo.

O Guia do Teste A/B

58

resultados
Lado direito (controle - verso A): 0,87% de
converso
Lado esquerdo (variao - verso B): 1,26% de
converso -> 44,82% de aumento

aprendizado
Esse experimento foi o tpico teste que surgiu
da dvida que tivemos ao implementar o
scrollbox: de que lado colocamos?.
A partir dessa dvida, modelamos o experimento, implementamos e decidimos por deixar
o scrollbox apenas no lado esquerdo.
O principal aprendizado foi: est com dvida?
Teste!

O Guia do Teste A/B

59

Resultados Digitais

aumentou 58% a taxa de converso de uma Landing Page

hiptese
Alterar o ttulo da Landing Page para uma expresso
que transmita maior percepo de valor ir aumentar a
taxa de converso em 10%.

variaes
Controle
(Imagem ao lado)

O Guia do Teste A/B

60

Variao
(Imagem ao lado)

resultados
Controle: 14% de converso
Variao: 24% de converso, aumento de 58%

aprendizado
A melhoria alcanada foi vigorosamente superior
nossa prpria hiptese. Esse fato somente nos refora
a ideia de que a comunicao da oferta tem um grande
impacto na percepo de valor do usurio.
Levamos esse aprendizado conosco para muito alm
da otimizao de Landing Pages, tendo conscincia do
poder de saber escrever ttulos e sub-ttulos que
atraem cliques e conquistam visitantes.

O Guia do Teste A/B

61

Resultados Digitais
A Resultados Digitais a empresa lder no Brasil em plataforma de automao de marketing e gesto de marketing
digital. Atravs de seu software RD Station, de uma
metodologia prpria e de uma extensa rede de parceiros, a
empresa ajuda seus cerca de 2.000 clientes a gerar mais
resultados em leads e vendas para o crescimento de seus
negcios.

Produzimos muito contedo educativo na rea de marketing

digital, que disponibizamos em forma de posts no blog de
marketing digital, eBooks e webinars gratuitos, cursos online
e eventos presenciais.