Google e Uber mostram como medir marketing sem testes aleatórios

O problema dos lançamentos nacionais

Há uma categoria de decisão de marketing estruturalmente imune a testes de aleatorização: lançamentos nacionais, patrocínios, rebrandings e mudanças de preço que atingem toda a população de uma vez. Quando o tratamento cobre todos, não resta unidade de controle - nem para A/B tests, nem para holdouts geográficos. Nessas situações, a medição padrão na maioria das organizações é a narrativa: alguém conecta a campanha ao resultado com convicção, e a história sobrevive porque ninguém na sala tem instrumento para verificá-la.

A família de métodos

O método fundador é o synthetic control, introduzido por Abadie, Diamond e Hainmueller em 2010 para estimar o efeito do programa antitabaco da Califórnia. A lógica: construir um estado sintético, uma combinação ponderada de unidades não tratadas que acompanha a unidade tratada no período pré-intervenção; a diferença após o tratamento é o efeito estimado.

O Google industrializou a versão de séries temporais com o CausalImpact (Brodersen e colegas, 2015), que usa modelos bayesianos de séries temporais estruturais para projetar o contrafactual a partir de séries de controle. A Uber operacionalizou a mesma família em escala de marketplace: sua plataforma roda mais de 1.000 experimentos simultâneos em quatro famílias metodológicas, tratando cidades inteiras como unidades e alternando tratamento e controle dentro de um mesmo mercado a cada cerca de 160 minutos, acumulando centenas de unidades experimentais em duas a quatro semanas. A Netflix estendeu a família em sua ferramenta interna Quasimodo.

O que separa instrumento de história

O autor é direto: métodos de synthetic control são mais frágeis que a aleatorização, pois dependem de suposições de modelagem e podem ser moldados para confirmar o que o operador deseja. O valor do método repousa em disciplinas que restringem o operador:

• Pré-registro: modelo contrafactual, doadores, métrica e janela de análise definidos antes da intervenção. Uma análise construída depois dos resultados é um retrofit que encontrará o que o autor precisa. A pergunta decisiva: mostre o plano de análise datado antes do lançamento.
• Período prévio robusto: a autoridade do método vem do quanto o contrafactual acompanhou a realidade antes da intervenção. A Netflix, quando promove um título antes do lançamento, reconhece que não há pré-período possível e troca de desenho - declarar o método inaplicável é sinal de maturidade.
• Teste de placebo: rodar a análise em mercados sem tratamento e datas sem evento. Se a máquina encontra efeitos em placebos, ela mede ruído.
• Honestidade dos intervalos: o intervalo de credibilidade é o achado, não um detalhe. Intervalos largos são a verdade; reportar só a estimativa pontual é falsa certeza. A comparação justa não é com a precisão falsa de números atribuídos, e sim com a alternativa real: uma história sem intervalo algum.

A regra do gasto não mensurável

O autor, que gere medição para um portfólio de US$ 1 bilhão, reserva o synthetic control como instrumento de último recurso, para momentos estratégicos em que a aleatorização é estruturalmente impossível, sempre sob as quatro disciplinas. Quando leituras quase-experimentais viram o instrumento padrão, a organização abandona a aleatorização onde ela é apenas inconveniente - o que acontece em todo lugar.

A regra proposta: gasto que não pode ser medido por aleatorização nem por um contrafactual disciplinado tem impacto desconhecido, e "desconhecido" deve aparecer assim, explicitamente, nos documentos de planejamento. É legítimo financiar investimentos estratégicos por convicção, com olhos abertos. O que corrói a cultura de medição é lavar gastos não mensuráveis por análises que simulam rigor.

Conclusão

Google publicou o CausalImpact na literatura estatística, a Uber apresentou seu framework publicamente e a Netflix documentou onde seus métodos falham. O que as diferencia não é orçamento de engenharia: é a decisão de que os momentos mais importantes merecem algo melhor que histórias. A matemática é baixável; a disciplina é o diferenciador.