Teste A/B no lobby do cassino sem se enganar

Retention · 2026-07-19 · 9 min read · By CROCO Games

Experimentos de lobby falham de formas previsíveis: pequenos demais, contaminados ou medidos no número errado. Um método de trabalho para testar posicionamento, tiles e fileiras.

Testes de lobby de cassino têm um histórico incomumente ruim, e não porque as equipes que os rodam sejam descuidadas. O ambiente é genuinamente hostil a experimentos limpos: o tráfego é distribuído de forma desigual entre mercados e dispositivos, a variável de resultado tem cauda pesada em grau extremo, jogadores migram entre segmentos durante o teste, e a coisa que você mudou fica visível para todos ao mesmo tempo. A maioria das "vitórias" de lobby publicadas não sobreviveria a uma segunda rodada.

Este é um método de trabalho: o que testar, como dimensionar, as quatro formas de contaminação do resultado e o que fazer quando a resposta é "nenhuma diferença".

Teste o que é de fato testável

Bons experimentos de lobby compartilham uma propriedade: um elemento visível muda e todo o resto fica fixo. Isso descarta a maior parte do que as equipes querem testar primeiro ("nosso lobby novo") e aponta para uma lista curta que funciona:

• Trocas de thumbnail numa posição fixa — o teste mais limpo da casa, já que jogo, matemática e posicionamento ficam constantes. Veja a camada dos três segundos.
• Posição dentro de uma prateleira — o mesmo título na vaga 2 versus a vaga 7.
• Ordem das fileiras — mover uma fileira temática para cima ou para baixo da dobra.
• Composição da fileira — fileiras específicas por segmento versus uma fileira genérica de Populares.
• Presença de badge — o mesmo título com e sem um rótulo de "Hot".

O que não funciona como teste A/B: redesenhos completos de lobby (mudanças simultâneas demais para atribuir qualquer coisa) e qualquer situação em que o grupo de controle consegue ver o tratamento.

Dimensionamento: o número que mata a maioria dos testes

Dados de resultado de cassino têm cauda pesada. Um punhado de jogadores contribui com uma fatia desproporcional do turnover, o que significa que métricas monetárias têm variância enorme e exigem amostras que a maioria dos operadores não alcança para um teste de posição única numa janela razoável.

A resposta prática é escolher uma métrica de resultado com variância menor e aceitar que ela é uma proxy:

O enquadramento honesto: use cliques e jogos iniciados para decidir questões de merchandising, e reserve a receita como métrica de guarda-corpo que você confere para flagrar catástrofes, não como a coisa que você otimiza. Se um teste mostra uma alta de 3% na receita com 5.000 jogadores, você mediu ruído.

Decida a métrica, o efeito mínimo que justifica ação e a data de parada antes de o teste começar, e deixe tudo por escrito. Espiar uma métrica de cauda pesada em andamento e parar quando ela parece boa é como as organizações acumulam um portfólio de vitórias imaginárias.

As quatro contaminações

1. Novidade. Qualquer mudança visível produz um pico curto de atenção. Os regulares percebem que algo se moveu, clicam e voltam ao normal. Um teste que roda três dias mede novidade; rode pelo menos dois ciclos semanais completos, para que o comportamento de dia útil e o de fim de semana estejam ambos representados, e inspecione se o efeito decai ao longo da janela.

2. Canibalização. Promover o título A empurra o título B para baixo. Medir só o A mostra uma vitória limpa enquanto o lobby não ganhou nada. Sempre defina o resultado no nível da fileira ou do lobby, não no nível do título: total de jogos iniciados a partir da prateleira, não jogos do título promovido.

3. Seleção. Se a alocação é por mercado, dispositivo ou sessão em vez de por jogador, os grupos já diferem sistematicamente antes de o teste começar. Randomize no nível do jogador onde a plataforma permitir, e sempre verifique o equilíbrio pré-período na métrica de resultado — se os grupos já diferiam antes da mudança, a diferença depois não significa nada.

4. Vazamento. Jogadores usam vários dispositivos, compartilham contas e leem sites de afiliados e streams que empurram os mesmos títulos. O vazamento enviesa os resultados na direção do zero, o que torna efeitos reais mais difíceis de detectar e — pior — faz as equipes concluírem que merchandising não importa quando o teste simplesmente não conseguiu enxergar.

O fator de confusão que esta indústria não pode ignorar: exposição gera exposição

Há uma razão estrutural para testes de lobby enganarem mais do que testes em outras indústrias. Posição gera jogo, e o jogo então produz os números que justificam a posição — um ciclo que se fecha sozinho, e ele opera durante o seu experimento também. Se as prateleiras da sua plataforma são ranqueadas dinamicamente por turnover recente, um título empurrado para uma vaga melhor sobe ainda mais por causa do empurrão. Você não está medindo preferência do jogador; está medindo o seu próprio algoritmo de ranqueamento.

Antes de rodar qualquer teste de posicionamento, descubra se a prateleira em que você vai testar tem curadoria manual ou ranqueamento algorítmico, e congele o ranqueamento durante o teste se for o segundo caso. Combinado com o achado de que metade de um top dez segue igual seis semanas depois, isso também explica por que testes de posicionamento precisam de agendamento explícito: prateleiras não produzem variação naturalmente para você observar, então é preciso criá-la de propósito.

O que a pesquisa acrescenta — e onde ela para

O trabalho de laboratório é genuinamente útil para gerar hipóteses sobre por que uma mudança de lobby funciona. O estudo de Graydon de 2018, mostrando que sinais pré-jogo deslocam a escolha de jogo independentemente do retorno, diz que thumbnails e badges valem ser testados, para começo de conversa. Mas um efeito de laboratório com 33 participantes escolhendo entre quatro máquinas não prevê o tamanho do efeito no seu tráfego — prevê a direção que vale investigar. Trate a psicologia publicada como geradora de hipóteses, e o seu próprio holdout como a evidência.

Quando a resposta é "nenhuma diferença"

A maioria dos testes de lobby não retorna efeito detectável, e esse é o desfecho que as equipes pior administram — normalmente fatiando os dados até algum subgrupo mostrar alguma coisa. Três respostas melhores:

Primeiro, verifique se o teste tinha como detectar o efeito que interessava. Se o seu efeito mínimo de interesse era 2% e o desenho só conseguia detectar 10%, o resultado é "não medimos", e não "nenhuma diferença".

Segundo, trate resultados nulos genuínos como licença para decidir por outros critérios — custo, termos contratuais, equilíbrio de portfólio. Saber que a posição 4 e a posição 7 rendem o mesmo para um título é um achado útil e acionável.

Terceiro, mantenha o log. Um arquivo de testes rodados, efeitos medidos e decisões tomadas é o que impede que o mesmo experimento seja rodado de novo a cada dezoito meses por uma equipe nova, e é o único ativo durável que um programa de experimentação produz.

Perguntas frequentes

O que dá para testar em A/B num lobby de cassino?

Elementos visíveis isolados, com todo o resto fixo: trocas de thumbnail numa posição definida, a posição de um título dentro de uma prateleira, a ordem das fileiras, a composição das fileiras e a presença de badge. Redesenhos completos de lobby não podem ser atribuídos e não são testes A/B.

Por quanto tempo um teste de lobby de cassino deve rodar?

Pelo menos dois ciclos semanais completos, para capturar tanto o comportamento de dia útil quanto o de fim de semana, com a data de parada fixada de antemão. Janelas mais curtas medem sobretudo o pico de novidade que segue qualquer mudança visível.

Por que testes de lobby tantas vezes não mostram resultado?

Normalmente porque a métrica de resultado tinha cauda pesada demais para a amostra — receita por jogador exige muito mais tráfego do que um teste de posição única fornece — ou porque vazamento e canibalização enviesaram a estimativa na direção do zero. Use cliques ou jogos iniciados como métrica de decisão.

A receita deve ser a métrica de sucesso de um experimento de lobby?

Raramente. Receita por jogador exposto tem variância tão alta que amostras realistas não conseguem detectar efeitos plausíveis. Use-a como guarda-corpo para flagrar danos, e decida por métricas de engajamento de variância menor.

Principais conclusões

• Teste apenas mudanças visíveis isoladas com todo o resto constante; trocas de thumbnail numa posição fixa são o experimento de lobby mais limpo disponível.
• Escolha uma métrica de decisão de baixa variância — cliques ou jogos iniciados — e trate a receita como guarda-corpo, não como alvo.
• Proteja-se de novidade, canibalização, seleção e vazamento; meça no nível da fileira para flagrar jogos roubando uns dos outros.
• Congele o ranqueamento algorítmico da prateleira durante testes de posicionamento, ou você vai medir o seu próprio loop de ranqueamento em vez do comportamento do jogador.
• Pré-registre métrica, efeito mínimo e data de parada; mantenha um log de testes para que resultados nulos sejam lembrados em vez de rodados de novo.

Trabalhe com a CROCO Games