Como decidir com pouco tráfego: os testes que funcionam com amostra pequena
Linha fina: O teste A/B clássico exige um volume que startup cedo não tem. A matemática honesta do problema e os quatro substitutos que produzem decisão com o dado possível.
O teste A/B é o padrão-ouro da decisão baseada em dado, e ele tem um pré-requisito que quase nenhuma startup cumpre, volume. Pra detectar com confiança razoável uma melhora de 20% numa conversão que hoje é de 5%, a conta estatística pede alguns milhares de visitantes em cada versão, e esse número serve como ordem de grandeza, pra sentir o tamanho do problema. Empresa com trezentas visitas por semana que roda “A/B de botão” e declara vencedor está lendo ruído com cara de ciência.
A boa notícia é que decisão com pouco dado tem método próprio. O Lean Analytics, do Croll e do Yoskovitz, trata exatamente disso, o dado possível em cada tamanho de empresa, e a prática confirma quatro substitutos que funcionam.
Primeiro substituto: mude uma coisa grande por vez
A estatística castiga quem procura efeito pequeno com amostra pequena, e perdoa quem procura efeito grande. Em vez de testar a cor do botão, teste a promessa da página inteira, o preço, a oferta, o público do anúncio. Efeito de 50% aparece com muito menos amostra que efeito de 5%.
A disciplina que acompanha é mudar uma coisa grande por vez. O impulso natural do time pequeno é empacotar cinco melhorias juntas, e aí o resultado chega sem endereço, ninguém sabe qual mudança agiu. Mudança em lote pequeno devolve leitura limpa.
Segundo substituto: compare o antes e o depois em períodos parecidos
Sem volume pra rodar duas versões ao mesmo tempo, compara-se no tempo. Duas semanas da versão antiga contra duas semanas da nova, com a honestidade de escolher períodos parecidos e de declarar o que mais mudou no meio, campanha, sazonalidade, preço. O antes-e-depois é mais frágil que o A/B e continua infinitamente melhor que opinião, desde que a fragilidade fique dita junto do resultado.
Terceiro substituto: leia coorte contra coorte
Pra mudança de produto e de onboarding, a leitura certa é a safra. Os clientes que entraram depois da mudança se comportam melhor que os que entraram antes? A retenção do primeiro mês subiu de uma safra pra outra? A coorte é pequena, e mesmo assim conta a história com menos ruído que a média geral, porque compara grupos que viveram experiências de fato diferentes (churn e retenção).
Quarto substituto: deixe a entrevista desempatar
Cinco conversas com clientes do perfil certo explicam o que trezentos cliques não alcançam. Quando o número é pouco e ambíguo, a entrevista desempata, revelando o porquê por trás do comportamento, a objeção que a página não responde, a promessa que atraiu o cliente errado. O roteiro de descoberta que a casa ensinou na validação serve inteiro aqui (validação).
A régua vem antes, como sempre
O que transforma esses quatro substitutos em método, em vez de coleção de gambiarras, é a régua declarada antes do teste. O que vai ser medido, por quanto tempo, e que resultado conta como decisão em cada direção. Sem a régua prévia, dado pouco vira massa de modelar, e todo resultado ambíguo confirma o que o founder já queria (validação).
Junto da régua, uma escolha de foco. Com pouco tráfego, a empresa não tem amostra pra otimizar dez métricas, então elege a métrica que decide o estágio atual e concentra os testes nela (métricas por estágio). O Lean Analytics chama essa disciplina de métrica única que importa, e o guia da casa sobre os cinco estágios mostra qual costuma ser a de cada fase.
Quando a resposta honesta é esperar
Fecha o guia a parte mais adulta do tema. Com pouco dado, às vezes a conclusão honesta é que ainda não dá pra saber, e aí as opções são desenhar um teste de efeito maior, esperar acumular amostra ou decidir por julgamento assumido como julgamento. As três são legítimas. O que não é legítimo é vestir o palpite de estatística, porque decisão errada com número falso custa duas vezes, uma no erro e outra na confiança do time no dado (teste de canais).
Perguntas frequentes
Vale esperar quando a decisão é reversível e o custo de aguardar é menor que o risco de agir sobre evidência fraca. Se esperar for caro, combine os poucos números disponíveis com sinais qualitativos e registre o grau de incerteza da decisão.
Entrevistas de descoberta, protótipos, testes de usabilidade, pré-venda e observação de comportamento conseguem gerar aprendizado antes de existir grande volume. Eles não substituem dados quantitativos futuros, mas ajudam a eliminar erros evidentes e a refinar a hipótese.
Pode funcionar, mas pouco tráfego aumenta o tempo necessário e o risco de confundir variação aleatória com diferença real. Quando a amostra é pequena, decisões baseadas em poucos cliques ou conversões pedem mais cautela.
Toda semana sai artigo novo sobre estruturação de receita. Assina a newsletter e acompanha.
Compõe.
