Fábricas de software falham por falta de revisão humana, diz análise

Por que fábricas de software falham

Dex Horthy, fundador da HumanLayer, argumenta que a abordagem "lights-off" - onde nenhum humano lê o código gerado por agentes de IA - não funciona na prática. A tese central: nenhum amount de engenharia de harness, loops ou tokens extras resolve o que é fundamentalmente uma limitação de treinamento dos modelos.

O problema de treinamento

Modelos de código são treinados via RL (Reinforcement Learning) com recompensas binárias: os testes passaram ou não. Não existe penalidade por degradar a manutenibilidade do codebase. O resultado é que modelos produzem código que passa nos testes mas acumula dívida técnica - try/catches em tudo, type casts preguiçosos, duplicação. O custo de má arquitetura se mede em semanas ou meses, enquanto o feedback dos testes vem em segundos. Não existe um "oráculo rápido" para qualidade de design, então o RL não consegue otimizar para isso.

Evidências do fracasso

A própria HumanLayer tentou o modelo lights-off em julho de 2025. Após múltiplos incidentes - incluindo o site fora do ar e usuários furiosos - a equipe precisou reescrever o sistema do zero. O cofundador passou duas semanas inteiras no VS Code reescrevendo padrões à mão. Um relatório da Faros AI mostra correlação: desde a adoção massiva de ferramentas de IA em janeiro/fevereiro, a qualidade de revisão de PRs caiu, incidentes subiram e bugs por desenvolvedor aumentaram.

O que funciona: revisão humana com alavancagem de IA

Em vez de eliminar o humano do loop, Dex propõe otimizar onde o humano participa, em 4 fases:

Product Review - documento curto que define o que e porquê, com mockups HTML em vez de parágrafos.
System Architecture - alinhamento sobre serviços, endpoints, schemas e data models, com diagramas de sequência.
Program Design - a fase mais subestimada: definir tipos, assinaturas de métodos, call stacks e file-tree diffs antes de escrever implementação.
Vertical Slices - em vez de planos horizontais (banco → serviço → API → frontend), trabalhar em fatias verticais testáveis, revisando 100-200 linhas por vez.

A distribuição prática: ~40% das tarefas vão direto para o agente (one-shot), tarefas médias ganham um doc de design combinado, e tarefas grandes passam por todas as fases.

Conclusão

É possível mover 2-3x mais rápido mantendo qualidade próxima à humana, mas isso exige aceitar as restrições atuais dos modelos e manter humanos nos pontos de maior alavancagem. A promessa de 10-100x sem ler código, por enquanto, é hype que ultrapassa a disciplina.