Como obter benefícios de testes A/B inconclusivos

ProXXIma
20 de junho de 2017 - 8h45

Por Klauber Aquilino (*)

Atualmente muitos sites e lojas virtuais tem implementado estratégias de CRO (Conversion Rate Optimization) para melhorar suas conversões. Um dos principais pilares dentro de uma estratégia de otimização é elaborar um plano de testes A/B.

O Teste A/B consiste em você comparar alguma parte do seu site com outra página alterada (o que costumamos chamar de “variação”), entendendo qual delas tem a maior conversão.

Porém, acontecem situações em que os testes que planejamos para melhorar a conversão do site não têm um resultado muito diferente da versão já implementada anteriormente, com números muito parecidos ou até empatados. Isso é o que chamamos de testes inconclusivos.

Segundo a ConversionXL (consultoria especializada em otimização de conversão), apenas 1 em cada 7 testes A/B é considerado conclusivo. Se obter resultados inconclusivos é quase que um padrão, como lidar com esses testes? Listo alguns tópicos que podem te ajudar a compreender o que aconteceu no experimento:

Segmente seus dados

Para ter uma visão mais clara sobre os resultados, é necessário que você veja a massa de dados por segmentos que façam sentido para o seu negócio. Olhar as segmentações de dispositivos e fonte de tráfego é muito importante, já que cada usuário pode ter um padrão diferente de navegação. É importante também não ser negligente e tentar apressar uma análise de um teste finalizado. O número de aprendizados é enorme e a chance que temos de nos precipitar e esquecer algo relevante é bem grande. Colete todos os dados possíveis e não tenha preguiça de cruzá-los. Os insights que se tiram desses cruzamentos são significativos.

Vamos a um exemplo prático: temos o resultado de um teste A/B feito no Adobe Target. Ocultamos os números por questão de privacidade, mas mantivemos a diferença do lift e a relevância estatística. Como mostrado na imagem, a diferença na geração de lift do teste foi de -0,64%, com relevância estatística de 28,15% (bem longe do recomendado). Em um dos cruzamentos de dados, analisamos a mídia vinda apenas via AdWords e percebemos que mesmo com uma amostra menor, tivemos uma diferença brutal na geração de lift (+21,42%) e uma relevância estatística de 99,41%. Como a amostra é relativamente pequena, lembre-se de validar o tamanho da amostra para ver se a mesma é válida estatisticamente para evitar o erro do tipo 1 (clique para saber mais sobre o erro do tipo 1).

Entender quando você deve abandonar uma hipótese

Normalmente quando testamos coisas pequenas dentro de uma página, os resultados também tendem a ser pequenos. Muitas vezes o usuário não se importa se o seu botão ‘comprar’ é laranja, azul, lilás ou amarelo. Qual foi a última vez que você deixou de fazer uma compra online por causa de um botão colorido? Poupe seu tempo e seus recursos para testar coisas grandes e importantes, se a hipótese do seu teste é pequena e não se tem perspectivas de melhoras, apenas siga em frente.

Entenda sua estratégia

Se você tem um grande número de testes inconclusivos e não consegue mudar esse cenário, faça as seguintes perguntas a si mesmo:

1- A hipótese que eu pensei tem algum significado real?

2- Suas hipóteses são realmente baseadas por dados?

3- Você realmente encontrou uma dificuldade na usabilidade do seu site?

4- As mudanças são sutis demais para os visitantes perceberem?

5- Sua equipe técnica produziu a hipótese como ela realmente deveria ter sido feita?

Repense sua hipótese

Por mais que uma mudança seja bem pensada e tenha seguido toda a boa prática de CRO (Conversion Rate Optimization), ela pode simplesmente não ser a correta para solucionar o problema que seu usuário tenha. No entanto, você não deixou de ter um problema, você apenas não encontrou a solução correta para solucioná-lo. Repense sua solução e encontre outras possibilidades para resolver o problema que você identificou na análise. Busque referências, converse com as outras pessoas envolvidas no projeto, com usuários do seu produto ou site que os insights vão surgir para encontrar outras ideias.

Ser inconclusivo pode ser bom

Em algumas hipóteses, não ter diferença na sua conversão pode ser fantástico. Vamos a um exemplo: sua empresa vende um software por assinatura e você ainda não sabe o impacto do preço na sua conversão. Você pode fazer variações com alterações no preço para medir o impacto da mudança dos valores na sua conversão final. Se você não tiver diferença na conversão entre cobrar um preço maior ou menor, você mantém a sua conversão e aumenta seu ticket médio.

Use ferramentas para te ajudar na análise

Hoje, para uma análise bem fundamentada é necessário, além dos dados gerais do site (Analytics), ter informações complementares. Outras formas de visualizar o comportamento do seu usuário dentro do site são válidas para aprofundar a análise e melhorar suas hipóteses. Heatmaps (ou Mapas de Calor) das suas principais páginas costumam te dar bons indicativos do que os usuários estão fazendo ou reagindo no seu site. Tanto os Mapas de Calor por clicks quanto os de scroll são muito válidos para entender qual informação é relevante (ou não) dentro do site. Vídeos de navegação junto com os dados levantados trazem insights sensacionais sobre o que realmente acontece com o usuário, principalmente para entender os principais pontos de fuga. Veja um exemplo de Heatmap extraído com a ferramenta Hotjar.

O teste A/B é mais que apenas uma conversão

Seguindo esses tópicos, a sua estratégia de otimização não estará perdida nos primeiros testes inconclusivos. Podemos ter ótimos insights sobre o usuário e sobre seu comportamento, mesmo não conseguindo o resultado inicialmente desejado. Cada teste é um aprendizado valioso. Tenha paciência para entender os dados e extrair o máximo de informações relevantes para o seu negócio. Nem sempre o mais importante é ter uma hipótese vencedora, um teste é muito mais do que isso. Mantenha o foco em sempre aprender com o seu usuário e eliminar os “achismos”. Ter testes com vencedores é apenas uma consequência na linha de aprendizado.

(*) Klauber Aquilino, CRO da Jüssi