Pesquisa interna da Meta mostra atribuição de anúncios inflada em 3x

O que o experimento mostrou

Em 2019, pesquisa de Brett Gordon, Florian Zettelmeyer, Neha Bhargava e Dan Chapsky, na Marketing Science, usou a infraestrutura de experimentação publicitária do Facebook para analisar 15 experimentos de anúncios nos EUA, 500 milhões de observações e 1,6 bilhão de impressões. O experimento randomizado foi tratado como verdade de referência e comparado a métodos observacionais usuais: correspondência exata, propensity score matching e ajuste de regressão. Esses métodos erraram amplamente, frequentemente superestimando conversões incrementais por fator de 3 ou mais, às vezes subestimando, sem modo confiável de saber direção ou magnitude antes. A riqueza dos dados não salvou as estimativas. Sistemas de entrega miram pessoas já mais propensas a converter, e ajustar por observáveis não remove totalmente seleção em não observáveis. Em 2023, Gordon, Robert Moakler e Zettelmeyer replicaram o exercício em centenas de experimentos, com conclusão semelhante e escala maior.

Duas classes de medição

A indústria tratou isso como a ideia vaga de que atribuição é imperfeita. A leitura defendida é que isso é um erro. A pesquisa indica duas classes distintas de medição, e só uma é evidência. A primeira é o estudo de lift randomizado genuíno. Grandes plataformas randomizam usuários elegíveis entre tratamento e controle e comparam resultados. Quando a randomização é real, o desenho herda a autoridade de um ensaio controlado randomizado. Aperfeiçoamentos como ghost ads, publicado no Journal of Marketing Research em 2017, identificam usuários do controle que teriam recebido o anúncio e tornam experimentos econômicos e limpos. Um lift bem conduzido é, dentro de seu escopo, a melhor evidência sobre o efeito causal daquela plataforma.

A segunda classe é a medição modelada e atribuída: janelas de atribuição, conversões modeladas para preencher lacunas de privacidade, estimativas algorítmicas de lift sem holdouts randomizados e números de performance em relatórios padrão. Vêm da maquinaria observacional ou de algo com menos identificação. São úteis para operar campanhas, mas não são evidência causal, e os resultados de 2019 mostram o quanto podem se afastar dela parecendo razoáveis na tela.

Conflito estrutural, piora e três perguntas

As duas classes chegam pelas mesmas interfaces, com precisão semelhante, do mesmo fornecedor, e a ambiguidade favorece o fornecedor. Uma plataforma que vende mídia e fornece a medição dessa mídia tem conflito de interesse que não se resolve pela integridade de funcionários, porque está no design do produto: quais números são destacados, quais estudos são fáceis de rodar e quais resultados são enquadrados como performance. O episódio do eBay, com holdouts geográficos randomizados, revelou incremento quase zero que relatórios atribuídos avaliavam em dezenas de milhões.

Desde 2019, mudanças de privacidade, depreciação de identificadores e consentimento de sistemas operacionais removeram parte das conversões observadas, e as plataformas preencheram a lacuna com conversões modeladas. Essas conversões agora entram nas mesmas superfícies de relatório e, em algumas configurações, nas métricas de desfecho de estudos apresentados como experimentos. Assim, um anunciante pode ver um desenho randomizado cuja variável de desfecho é parcialmente sintética: a randomização pode ser genuína, mas a medição do resultado é estimada, e o número fica numa categoria intermediária que o painel não rotula.

A postura prática proposta usa três perguntas. A atribuição foi randomizada, e por qual mecanismo? Um estudo verdadeiro responde concretamente: usuários elegíveis foram divididos antes do leilão, o controle foi retido, o mecanismo é documentado. Um número modelado não responde; o representante tende a falar de ajuste, não de randomização. Quem detém o holdout, e ele pode ser auditado? Randomização inteiramente dentro da plataforma, medida e reportada por ela, é evidência real com problema de custódia. Versões maduras incluem parceiros de medição terceirizados, resultados exportáveis e desenhos coespecificados. Efeitos de publicidade são pequenos diante da variância; estudos subdimensionados produzem ruído com barras de erro, e rodar muitos estudos pode gerar por acaso um resultado impressionante. A terceira pergunta: a métrica de desfecho reconcilia com algo conhecido? Um lift medido em conversões definidas pela plataforma herda lacunas entre o evento da plataforma e o livro do anunciante. Resultado que não pode ser aproximado de uma quantidade financeira ganha a reunião e perde o CFO.

Postura do líder

A postura defendida por quem gerencia medição de um portfólio de US$ 1 bilhão é classificação, não confiança nem boicote. Todo número entra classificado como experimental ou observacional, como um banco classifica garantia. Resultados experimentais com randomização documentada, poder adequado e desfechos reconciliáveis são tratados como evidência e usados para calibrar modelos. O resto é telemetria operacional: útil para rodar campanhas, inadmissível para julgá-las. Isso resolve o paradoxo: a mesma empresa cujo relatório padrão incorpora métodos observacionais que erraram por múltiplos também construiu a infraestrutura que estabeleceu a verdade. As plataformas continuarão vendendo confiança modelada porque ela escala, e operando experimentos genuínos porque anunciantes sofisticados exigem. Qual produto a organização consome não é decisão da plataforma. É do anunciante, e aparece em se a equipe consegue responder às três perguntas para cada número de lift que chegou a uma conversa de orçamento.