Spotify segue com testes A/B frequentistas em vez de bayesianos

{ "resumo": "## A posição do Spotify\n\nO Spotify publicou em seu blog de engenharia um texto intitulado "Why Spotify Is Not Using Bayesian A/B Testing", no qual explica por que suas necessidades de testes A/B são atendidas por um processo frequentista e por que a introdução de métodos bayesianos não agregaria valor suficiente. Eric Seufert, em comentário sobre a publicação, nota que o texto é particularmente detalhado e que o contexto dá peso ao argumento: um produto conhecido com cerca de 800 milhões de usuários ativos mensais, ainda que as lições não se apliquem universalmente.\n\n## Os dois argumentos centrais\n\nSeufert destaca dois pontos do texto que considera os mais fortes - e observa que ambos dizem respeito a erros de implementação, não à escolha de metodologia:\n\n- A maldição do vencedor (winner's curse) só é mitigada na abordagem bayesiana com um prior bem escolhido. Na prática, equipes costumam usar um prior uniforme, que não oferece encolhimento (shrinkage), ou seja, não puxa estimativas de uplift ruidosas para valores mais plausíveis. Alguns priors mal especificados, segundo o texto, tiveram desempenho pior que o baseline de testes sequenciais em grupo (GST). E mesmo um prior oracular, embora melhore a estimativa de efeito, não mostrou vantagem de poder estatístico sobre o GST.\n\n- Formar um prior informativo a partir de experimentos passados é difícil: o texto do Spotify sugere que seriam necessários mais de 200 experimentos históricos - número que Seufert considera alto - e há um obstáculo mais prosaico, o mundo muda com o tempo e resultados antigos podem não ser representativos. Isso afeta a experimentação de maneiras sutis: a composição de DAU de um produto de consumo pode evoluir significativamente por idade de coorte e origem (orgânico vs. pago), e novos usuários podem ter motivações, intenções e conhecimento de produto bem diferentes ao longo do tempo.\n\n## Bayes de vocabulário frequentista\n\nO texto do Spotify afirma que um experimentador que usa inferência bayesiana com prior plano e limiares de probabilidade posterior está, na prática, fazendo inferência frequentista equivalente com vocabulário diferente. A equivalência se sustenta porque: a média posterior iguala o estimador de máxima verossimilhança (MLE); a probabilidade posterior unilateral P(B>A | D) equivale a 1 menos o p-valor; e o limiar de probabilidade posterior de 95% é algebricamente equivalente à região de rejeição unilateral.\n\n## A ressalva sobre interpretabilidade\n\nO Spotify reconhece que a abordagem bayesiana oferece interpretabilidade superior. Seufert, porém, relativiza o benefício: em sua experiência, lideranças de produto já se sentem confortáveis com intervalos de confiança (em vez de intervalos de credibilidade bayesianos), de modo que essa vantagem pode ser menor hoje do que era há cerca de dez anos.\n\n## Contexto da recepção\n\nSeufert admite que costuma torcer o nariz para títulos nesse formato, porque o debate já foi exaustivo e a escolha de metodologia é altamente dependente de contexto, sem boa generalização. Ainda assim, considerou a publicação do Spotify minuciosa e provocativa. O post veio acompanhado de um artigo científico, "Bayesian Inference Procedures for A/B Testing: An Overview", disponível no arXiv.", "hook": "O Spotify publicou um texto explicando por que seus testes A/B seguem frequentistas em vez de bayesianos - uma decisão tomada por um produto com cerca de 800 milhões de usuários ativos mensais. Segundo o texto, um prior plano bayesiano equivale, algebricamente, à inferência frequentista tradicional, apenas com outro vocabulário.", "entities": ["Spotify", "Eric Seufert"], "themes": ["engenharia-de-software"], "story_key": "spotify-testes-frequentistas", "reasoning": { "story_key": "Fato canônico: Spotify explica publicamente por que mantém testes A/B frequentistas e rejeita bayesianos.", "themes": { "engenharia-de-software": "Assunto central é metodologia clássica de experimentação (frequentismo vs. bayesianismo, GST, priors) sem IA como tema; craft de engenharia e estatística aplicada." }, "entities": { "Spotify": "Autor do post de engenharia e sujeito da decisão metodológica.", "Eric Seufert": "Comenta e analisa a publicação; sujeito da recepção." }, "excluded": {} } }