PostHog usa sete loops de agentes para operar quase de forma autônoma

O que são loops de agentes

Andy Maguire, integrante do time "self-driving" da PostHog, explica que a empresa usa diariamente seis ou sete "loops" de agentes para operar quase de forma autônoma. Para ele, um bom loop faz três coisas: encontra o que vale a pena olhar (observando algo que ele não precisa vigiar), tira as partes chatas do caminho (triagem, deduplicação e, cada vez mais, partes da implementação) e mantém o humano informado, permitindo intervir e direcionar quando quiser. Ele diz ainda estar em dúvida sobre por quanto tempo vai querer manter esse controle, mas por enquanto gosta de decidir o que entra em produção.

Os loops em ação

Feedback do MCP: quando um agente ou humano encontra atrito no PostHog MCP, registra um feedback estruturado pela ferramenta agent-feedback, direto da sessão. Um scout chamado signals-scout-agent-feedback agrupa as submissões negativas e bloqueadas em temas de fricção, encaminha cada tema ao responsável (MCP, área de produto, documentação ou o próprio time de sinais) e corrobora os achados com as taxas reais de erro nas chamadas de ferramenta antes de reportar. Um exemplo citado: em 28 de agosto, um agente reclamou da falta de uma ferramenta para criar definições de eventos; o scout emitiu um relatório em cerca de cinco minutos, o PR #90832 foi aberto oito minutos depois e o ciclo inteiro - da reclamação à correção em produção às 18:56 UTC - levou menos de um dia de trabalho, com o autor gastando tempo apenas em revisão e um pouco de direcionamento.

Bug reports do Slack: o scout signals-scout-team-self-driving monitora o canal da equipe no Slack, agrupa por thread e ignora conversas casuais, capturando bugs e ideias que se perderiam. Um bug de link de tarefa que apareceu de passagem, enquanto se discutia outro problema, virou o PR #88912, revisado por Vojta e Georgiy e mesclado em 4 de setembro.

Issues → relatórios → PRs: o loop que mais mudou o trabalho do autor. Ele investe tempo em escrever specs (issues do GitHub com o comportamento esperado), e um scout avalia quais estão prontas para implementação - escopo claro, sem bloqueios, sem duplicação. Uma spec sobre renomear skills sem perder histórico virou o PR #95499 com uma caixa de diálogo de renomeação e uma ferramenta skill-rename no MCP, mesclada em 7 de setembro. O autor nota que pode conduzir várias dessas em paralelo porque não precisa acompanhar cada agente.

Alertas de anomalia: alertas monitoram métricas, como a taxa de erro das ferramentas do MCP. Em 5 de setembro, um alerta disparou com 9,9%, contra uma base típica de 0,3% a 1,2% nas duas semanas anteriores. A investigação apontou o scout-project-profile-get, com 88 erros em uma hora em cerca de 44 projetos. A causa foi um descasamento entre dois workers implantados separadamente: o agendador passou a enviar um dicionário de permissões enquanto um worker mais antigo esperava o formato antigo. Esse caso exigiu mais direcionamento humano, mas resultou em PRs de compatibilidade mesclados.

Replay Vision: a ferramenta assiste a gravações de sessão e gera observações estruturadas. Um monitor busca "pessoas visivelmente travadas" no PostHog Desktop. Uma gravação revelou um erro de provedor seguido de falha ao entregar mensagem de seguimento - algo que a telemetria de eventos sozinha não captava. O PR #93181 corrigiu o tratamento de erros e foi mesclado em 2 de setembro.

Logs e autovalidação: um scout agendado analisa logs de runtime, distingue retris de falhas distintas e verifica se alguém já está corrigindo. Numa ocorrência, uma tag de metadados muito longa impedia a criação do sandbox Hogland; o PR #92909 limitou as strings. Enquanto o PR estava em revisão, novas execuções do scout acumularam evidência no mesmo relatório em vez de abrir investigações concorrentes. Após o merge, o scout confirmou que a última falha aconteceu às 10:06 e não se repetiu. Cerca de um em cada dez runs de scout incluiu uma passada de autovalidação no último mês.

Conclusão

A tese central é que loops - não apenas ferramentas ou skills isolados - são o que mais impactou o dia a dia do time. A empresa disponibiliza um guia de configuração para quem quiser replicar a abordagem em outros produtos.