Como a Netflix mede o marketing que não dá para testar A/B

{ "resumo": "## O problema dos canais não testáveis\n\nA era do A/B testing treinou líderes a ignorar uma questão estrutural: a maior parte do dinheiro em grandes portfólios de marketing não pode ser randomizada no nível individual. Não é possível decidir quem vê um outdoor nem suspender a TV em metade dos domicílios de um mercado. Patrocínios, áudio, mídia externa, TV linear e grande parte do vídeo de topo de funil compartilham essa limitação e, em marcas estabelecidas, concentram a maior parte do investimento. Por cerca de 20 anos, a indústria concluiu que esses canais eram incasuráveis e passou a confiar em relatórios de plataformas e painéis ou a defender os gastos com narrativa. A resposta das organizações de mensuração mais sofisticadas foi outra: se não é possível randomizar pessoas, randomize mercados.\n\n## O desenho e sua linhagem\n\nO experimento geográfico randomiza unidades territoriais em vez de indivíduos: alguns mercados recebem o tratamento, outros servem de controle, e o efeito causal é a diferença de resultados entre os grupos, ajustada pelo comportamento prévio. O Google publicou a metodologia fundadora em 2011 e a estendeu com regressão baseada em tempo em 2017. A demonstração pública mais consequente foi o estudo da eBay, que desligou a busca paga de marca em cerca de 30% das áreas de mercado dos EUA por 60 dias e encontrou vendas incrementais próximas de zero - resultado revisado e publicado na Econometrica.\n\nA Netflix industrializou o mesmo desenho, randomizando no nível de mercados de TV, a menor unidade em que a mídia pode ser comprada na maioria dos países. A equipe reconhece que a restrição principal é a amostra pequena: com 20 ou 50 unidades geográficas, propriedades estatísticas confortáveis na escala da web deixam de valer. Por isso criou o Quasimodo, pacote interno com estrutura multivariada comparável ao CausalImpact do Google, estendido para ler múltiplas intervenções em múltiplas regiões.\n\nDois detalhes merecem destaque. Primeiro, a retirada da campanha também é um experimento: remover o marketing fora de casa em mercados que gerou inscrições deve devolvê-los ao baseline, oferecendo uma segunda leitura independente do mesmo efeito; religar a campanha em mercados novos dá uma terceira. Assim, uma intervenção cara vira várias medições e compensa a amostra reduzida. Segundo, a equipe admite o problema da ausência de período prévio: ao promover um show antes do lançamento, a métrica de sucesso ainda não existe e os métodos de contrafactual de séries temporais falham sem histórico - nesses casos, mudam para controles no nível de membro. Reconhecer quando o desenho não funciona é um marcador de maturidade raro.\n\n## As decisões executivas dentro de um programa geográfico\n\nA maquinaria estatística está bem documentada e quase commoditizada; o que não está é o conjunto de escolhas que determinam se o programa gera respostas acionáveis - decisões executivas vestidas de roupa estatística.\n\nPotência: efeitos de publicidade são pequenos frente à variância natural das vendas, e detectá-los exige holdouts grandes ou durações longas. Há troca direta entre qualidade da medição e entrega de mídia; definir quanto sacrificar é julgamento de liderança, não de estatístico. Organizações que rebaixam essa decisão acabam com holdouts dimensionados por conveniência política e resultados ambíguos.\n\nContaminação: mercados não são recipientes selados - mídia transborda fronteiras, pessoas viajam, compras nacionais resistem à localização. Líderes tratam o calendário de experimentos como objeto de governança: atividade nacional é agendada em torno de testes prioritários, sob responsabilidade de alguém com autoridade real.\n\nPersistência: manter um mercado fora da TV por 6 semanas mede o efeito de 6 semanas, não o de um ano, e ignora efeitos que chegam depois da janela. Definir que duração conta como resposta honesta é julgamento de liderança; extrapolar leituras curtas em conclusões permanentes de orçamento leva a cortar canais cujos efeitos não se mediu por tempo suficiente.\n\nRepetição: um único teste geográfico é uma anedota com intervalos de confiança. O padrão Netflix de ligar, desligar e religar em mercados novos, com retestes em cadência contínua, transforma leituras individuais em entendimento estável.\n\n## O que isso significa para organizações\n\nO autor, que gerencia mensuração de um portfólio de US$ 1 bilhão, diz que o programa geográfico seria a última peça a cortar: é o único instrumento que mostra se as estimativas dos canais com mais dinheiro e menos dados por usuário merecem crédito. Ele propõe um padrão: todo canal com investimento anual de 8 dígitos deveria ter leitura causal em nível de mercado com menos de 24 meses, com análise pré-registrada, potência adequada e janela protegida. Canais fora desse padrão deveriam receber rótulo explícito de incerteza em cada conversa de planejamento.\n\nA conclusão: o experimento geográfico tem 2 décadas em sua forma moderna, publicado, replicado e industrializado pelos melhores times de mensuração. A diferença entre organizações que o tratam como infraestrutura e as que nunca o executam não é de conhecimento, mas de compromisso - e aparece a cada ciclo de planejamento, quando 9 dígitos são realocados com base em estimativas nunca testadas contra um holdout.", "hook": "A maior parte do orçamento de marketing de grandes marcas - outdoor, TV, patrocínios - não pode ser testada por A/B, porque não é possível randomizar pessoas nesses canais. A Netflix resolveu isso randomizando mercados de TV inteiros e criando uma ferramenta interna chamada Quasimodo. O autor, que gerencia mensuração de um portfólio de US$ 1 bilhão, argumenta que os maiores obstáculos do método não são estatísticos, mas decisões executivas.", "entities": ["Netflix", "eBay", "Google"], "themes": ["marketing-e-growth"], "story_key": "experimentos-geograficos-marketing-netflix", "reasoning": { "story_key": "Tese central: experimentos geográficos como instrumento de mensuração causal de marketing não testável por A/B, com a Netflix como caso industrializado.", "themes": { "marketing-e-growth": "O artigo trata de mensuração de mídia, holdouts, calendário de testes e disciplina de investimento em marketing - táticas e métricas de mídia, não SEO nem plataforma social." }, "entities": { "Netflix": "Caso central: industrializou experimentos geográficos e criou o pacote Quasimodo.", "eBay": "Estudo marcante: desligou busca paga de marca em ~30% dos mercados dos EUA e encontrou quase zero venda incremental.", "Google": "Publicou a metodologia fundadora (2011) e o CausalImpact (2017), referência do desenho." }, "excluded": { "Econometrica": "Veículo de publicação do estudo da eBay, menção secundária.", "Quasimodo": "Ferramenta interna, atribuída à Netflix como entidade principal.", "Karan": "Autor do texto, excluído por regra." } } }