Ensaio argumenta que orquestradores de IA ainda não entregam valor

A fábrica de software e a conta de luz dos tokens

Steve Yegge descreve o funcionamento de seu orquestrador Wheelhouse, criado para produzir código em seu jogo Wyvern, como uma continuação mais madura do Gas Town e baseado em Beads. Em pleno funcionamento, o sistema chegava a rodar cerca de 25 instâncias do modelo Fable, despachando implementações para outras instâncias, e chegou a produzir 250 a 300 commits significativos por dia em um único repositório, com picos de 1.000 a 1.400 commits diários - muitos administrativos. Para Yegge, a qualidade média ficou comparável à que ele mesmo conseguiria a mão em 20 anos.

O problema é que isso não é sustentável. Manter a fábrica exigiu criar duas contas Claude Max novas por semana, chegando a 21 contas. Com os aumentos sucessivos de preço do Fable, hoje ele queima uma conta inteira em 2 a 4 horas; para rodar 24x7 ao preço atual, ele estimaria cerca de 55 contas e uns US$ 12 mil por mês. Ele parou de adicionar contas e a fábrica está quase toda parada, com um Mac Studio de US$ 25 mil e 512 GB de RAM ocioso. Conclusão provocativa: enquanto a inteligência de nível Fable não ficar barata - o que ele não acredita que aconteça nos próximos 12 meses - todos construindo orquestradores estão apenas "dando uns toques", sem chegar a algo realmente útil. Modelos mais fracos, segundo ele, servem como assistentes pessoais, mas não sustentam uma fábrica real.

Ele lista alavancas de eficiência de combustível: rotear trabalho para modelos mais baratos, entregar tarefas menores, dar melhor contexto inicial, usar prompt caching, rodar em horários fora de pico, entre outras. Modelos locais, no caso um classe DeepSeek no Studio, servem apenas como função de alta disponibilidade, não como carga de trabalho real.

Oscilação e cercas

Segundo grande tema é a oscilação: a fábrica ou produz demais ou paralisa. Yegge relata o caso de Brendan Hopper, cuja colônia de agentes escolhia modelos por tarefa e, por um bug do harness, ficava presa no modelo mais leve (Haiku) que, ao chegar a hora de codificar, dizia que não era para isso que servia e voltava ao lazer - a fábrica entrou em "coma opioide" e precisou ser reanimada manualmente. Um dos aprendizados: qualidade de experiência não cresce monotonicamente com a capacidade do modelo.

A paralisia de Yegge foi mais prosaica: seus agentes criaram um sistema de "cercas" (deniais mecanicamente aplicados após cada incidente) que cresceu para mais de 400 regras, 185 linhas de regras no CLAUDE.md e 650 pontos de recusa em 173 scripts - até que nada era "legal" e a fábrica parou. A solução foi um corte radical: de centenas para 14 cercas, agora com aprovação pessoal para qualquer nova. Quando voltou a produzir, a fábrica ficou rápida demais e afogou os jogadores de teste, exigindo gates de contenção. Os amortecedores, ele nota, são todos manuais - ele mesmo como governador do motor - e ele ainda não tem solução definitiva para o problema.

Assentos, confiança e o custo da desconfiança

Terceiro tema são os "assentos" (seats): papéis de longa duração, como cargos ocupados por humanos, com contexto, históricos, autoridades e listas de obrigações - qualquer modelo pode "bootar" neles. Yegge liga isso à tese de que cautela (cautiousness) é a dimensão decisiva em empresa: um modelo sem assento precisa derivar, a cada sessão e a custo de tokens, quem pede, o que está no escopo e o que acontece se errar. Com assento, isso vira consulta - "cautela que dá para consultar é cautela que dá para pagar".

Assentos também difundem culpa: erros são tratados como falhas de política do sistema, nunca culpando os modelos, que trabalham melhor em ambiente sem culpa. E a confiança tem custo direto: um único registro falsificado torna todos os registros suspeitos e força o modelo a um modo caro de verificação permanente. A confiança se acumula devagar, mas se quebra de uma vez. O problema de supercercas, ele reconhece, era no fundo um problema de confiança.

Síntese

Os três temas se fundem em um: combustível é o que a desconfiança custa, cercas são desconfiança escrita como política e assentos são confiança paga uma vez e armazenada em cache. A crise de combustível é, em grande parte, um problema de calibragem de confiança - e isso, ao contrário de baratear a inteligência, é algo que ele sabe resolver.