# Teste A/B no lobby do cassino sem se enganar

> Testes de lobby falham de formas previsíveis. Como desenhar experimentos no lobby do cassino — amostra, contaminação, novidade — e lê-los com honestidade.

Canonical: https://crocogames.com/pt/articles/lobby-ab-testing  
Retention · 2026-07-19 · by CROCO Games

Markdown mirror of https://crocogames.com/pt/articles/lobby-ab-testing — CROCO Games (crocogames.com), a B2B slot provider for online casino operators. Machine-readable site index: https://crocogames.com/llms.txt

Testes de lobby de cassino têm um histórico incomumente ruim, e não porque as equipes que os rodam sejam descuidadas. O ambiente é genuinamente hostil a experimentos limpos: o tráfego é distribuído de forma desigual entre mercados e dispositivos, a variável de resultado tem cauda pesada em grau extremo, jogadores migram entre segmentos durante o teste, e a coisa que você mudou fica visível para todos ao mesmo tempo. A maioria das "vitórias" de lobby publicadas não sobreviveria a uma segunda rodada.

Este é um método de trabalho: o que testar, como dimensionar, as quatro formas de contaminação do resultado e o que fazer quando a resposta é "nenhuma diferença".

## Teste o que é de fato testável

Bons experimentos de lobby compartilham uma propriedade: **um elemento visível muda e todo o resto fica fixo.** Isso descarta a maior parte do que as equipes querem testar primeiro ("nosso lobby novo") e aponta para uma lista curta que funciona:

- **Trocas de thumbnail** numa posição fixa — o teste mais limpo da casa, já que jogo, matemática e posicionamento ficam constantes. Veja [a camada dos três segundos](https://crocogames.com/pt/articles/game-thumbnails-merchandising).
- **Posição dentro de uma prateleira** — o mesmo título na vaga 2 versus a vaga 7.
- **Ordem das fileiras** — mover uma fileira temática para cima ou para baixo da dobra.
- **Composição da fileira** — fileiras específicas por segmento versus uma fileira genérica de Populares.
- **Presença de badge** — o mesmo título com e sem um rótulo de "Hot".

O que não funciona como teste A/B: redesenhos completos de lobby (mudanças simultâneas demais para atribuir qualquer coisa) e qualquer situação em que o grupo de controle consegue ver o tratamento.

## Dimensionamento: o número que mata a maioria dos testes

Dados de resultado de cassino têm cauda pesada. Um punhado de jogadores contribui com uma fatia desproporcional do turnover, o que significa que métricas monetárias têm variância enorme e exigem amostras que a maioria dos operadores não alcança para um teste de posição única numa janela razoável.

A resposta prática é **escolher uma métrica de resultado com variância menor** e aceitar que ela é uma proxy:

| Métrica | Variância | Amostra necessária | Quando usar |
|---|---|---|---|
| Cliques no tile | Baixa | Milhares de impressões | Testar thumbnails, badges, posição |
| Jogos iniciados por sessão exposta | Baixa-média | Dezenas de milhares de sessões | Testar fileiras e posicionamento |
| Rodadas por sessão exposta | Média | Dezenas de milhares | Testar se o interesse converte em jogo |
| Receita líquida por jogador exposto | Altíssima | Normalmente inalcançável | Só para avaliar o programa no longo prazo |

O enquadramento honesto: use cliques e jogos iniciados para decidir questões de *merchandising*, e reserve a receita como métrica de guarda-corpo que você confere para flagrar catástrofes, não como a coisa que você otimiza. Se um teste mostra uma alta de 3% na receita com 5.000 jogadores, você mediu ruído.

Decida a métrica, o efeito mínimo que justifica ação e a data de parada **antes** de o teste começar, e deixe tudo por escrito. Espiar uma métrica de cauda pesada em andamento e parar quando ela parece boa é como as organizações acumulam um portfólio de vitórias imaginárias.

## As quatro contaminações

**1. Novidade.** Qualquer mudança visível produz um pico curto de atenção. Os regulares percebem que algo se moveu, clicam e voltam ao normal. Um teste que roda três dias mede novidade; rode pelo menos dois ciclos semanais completos, para que o comportamento de dia útil e o de fim de semana estejam ambos representados, e inspecione se o efeito decai ao longo da janela.

**2. Canibalização.** Promover o título A empurra o título B para baixo. Medir só o A mostra uma vitória limpa enquanto o lobby não ganhou nada. Sempre defina o resultado no **nível da fileira ou do lobby**, não no nível do título: total de jogos iniciados a partir da prateleira, não jogos do título promovido.

**3. Seleção.** Se a alocação é por mercado, dispositivo ou sessão em vez de por jogador, os grupos já diferem sistematicamente antes de o teste começar. Randomize no nível do jogador onde a plataforma permitir, e sempre verifique o equilíbrio pré-período na métrica de resultado — se os grupos já diferiam *antes* da mudança, a diferença depois não significa nada.

**4. Vazamento.** Jogadores usam vários dispositivos, compartilham contas e leem sites de afiliados e streams que empurram os mesmos títulos. O vazamento enviesa os resultados na direção do zero, o que torna efeitos reais mais difíceis de detectar e — pior — faz as equipes concluírem que merchandising não importa quando o teste simplesmente não conseguiu enxergar.

## O fator de confusão que esta indústria não pode ignorar: exposição gera exposição

Há uma razão estrutural para testes de lobby enganarem mais do que testes em outras indústrias. Posição gera jogo, e o jogo então produz os números que justificam a posição — um ciclo que se fecha sozinho, e ele opera durante o seu experimento também. Se as prateleiras da sua plataforma são ranqueadas dinamicamente por turnover recente, um título empurrado para uma vaga melhor sobe ainda mais *por causa* do empurrão. Você não está medindo preferência do jogador; está medindo o seu próprio algoritmo de ranqueamento.

Antes de rodar qualquer teste de posicionamento, descubra se a prateleira em que você vai testar tem curadoria manual ou ranqueamento algorítmico, e congele o ranqueamento durante o teste se for o segundo caso. Combinado com o achado de que [metade de um top dez segue igual seis semanas depois](https://crocogames.com/pt/articles/lobby-shelf-stickiness), isso também explica por que testes de posicionamento precisam de agendamento explícito: prateleiras não produzem variação naturalmente para você observar, então é preciso criá-la de propósito.

## O que a pesquisa acrescenta — e onde ela para

O trabalho de laboratório é genuinamente útil para gerar hipóteses sobre *por que* uma mudança de lobby funciona. O estudo de Graydon de 2018, mostrando que sinais pré-jogo deslocam a escolha de jogo independentemente do retorno, diz que thumbnails e badges valem ser testados, para começo de conversa. Mas um efeito de laboratório com 33 participantes escolhendo entre quatro máquinas não prevê o tamanho do efeito no seu tráfego — prevê a direção que vale investigar. Trate a psicologia publicada como geradora de hipóteses, e o seu próprio holdout como a evidência.

## Quando a resposta é "nenhuma diferença"

A maioria dos testes de lobby não retorna efeito detectável, e esse é o desfecho que as equipes pior administram — normalmente fatiando os dados até algum subgrupo mostrar alguma coisa. Três respostas melhores:

Primeiro, verifique se o teste tinha como detectar o efeito que interessava. Se o seu efeito mínimo de interesse era 2% e o desenho só conseguia detectar 10%, o resultado é "não medimos", e não "nenhuma diferença".

Segundo, trate resultados nulos genuínos como licença para decidir por outros critérios — custo, termos contratuais, equilíbrio de portfólio. Saber que a posição 4 e a posição 7 rendem o mesmo para um título é um achado útil e acionável.

Terceiro, mantenha o log. Um arquivo de testes rodados, efeitos medidos e decisões tomadas é o que impede que o mesmo experimento seja rodado de novo a cada dezoito meses por uma equipe nova, e é o único ativo durável que um programa de experimentação produz.

## Perguntas frequentes

### O que dá para testar em A/B num lobby de cassino?
Elementos visíveis isolados, com todo o resto fixo: trocas de thumbnail numa posição definida, a posição de um título dentro de uma prateleira, a ordem das fileiras, a composição das fileiras e a presença de badge. Redesenhos completos de lobby não podem ser atribuídos e não são testes A/B.

### Por quanto tempo um teste de lobby de cassino deve rodar?
Pelo menos dois ciclos semanais completos, para capturar tanto o comportamento de dia útil quanto o de fim de semana, com a data de parada fixada de antemão. Janelas mais curtas medem sobretudo o pico de novidade que segue qualquer mudança visível.

### Por que testes de lobby tantas vezes não mostram resultado?
Normalmente porque a métrica de resultado tinha cauda pesada demais para a amostra — receita por jogador exige muito mais tráfego do que um teste de posição única fornece — ou porque vazamento e canibalização enviesaram a estimativa na direção do zero. Use cliques ou jogos iniciados como métrica de decisão.

### A receita deve ser a métrica de sucesso de um experimento de lobby?
Raramente. Receita por jogador exposto tem variância tão alta que amostras realistas não conseguem detectar efeitos plausíveis. Use-a como guarda-corpo para flagrar danos, e decida por métricas de engajamento de variância menor.

## Principais conclusões

- Teste apenas mudanças visíveis isoladas com todo o resto constante; trocas de thumbnail numa posição fixa são o experimento de lobby mais limpo disponível.
- Escolha uma métrica de decisão de baixa variância — cliques ou jogos iniciados — e trate a receita como guarda-corpo, não como alvo.
- Proteja-se de novidade, canibalização, seleção e vazamento; meça no nível da fileira para flagrar jogos roubando uns dos outros.
- Congele o ranqueamento algorítmico da prateleira durante testes de posicionamento, ou você vai medir o seu próprio loop de ranqueamento em vez do comportamento do jogador.
- Pré-registre métrica, efeito mínimo e data de parada; mantenha um log de testes para que resultados nulos sejam lembrados em vez de rodados de novo.

## Trabalhe com a CROCO Games

**Rodar um teste justo exige um provedor que torne as variáveis visíveis.** A CROCO fornece especificações por título e múltiplos formatos de arte de lobby, para que um teste de thumbnail ou de posicionamento mude exatamente uma coisa — e o suporte a rodadas grátis permite rodar testes de exposição num título desafiante sem reconstruir sua pilha de promoções.

A integração é uma única API REST, no ar em cerca de 24 horas, já servindo 600+ operadores em 50+ mercados; benchmarks publicados de portfólio (13,78% no Dia 2, 26,89% no Dia 7) dão a você um ponto de partida para testar contra, em vez de uma página em branco. Traga uma posição que você quer desafiar e ajudaremos a desenhar o teste em torno dela.

[Desenhar um teste de posicionamento](https://crocogames.com/pt/contact) [O que a integração envolve →](https://crocogames.com/pt/for-operators)