Autor segue pessimista com LLMs mesmo após avanço em Navier-Stokes

A tese: a precificação dos labs pressupõe autonomia que ainda não existe

Jay Kruer argumenta que os laboratórios de fronteira são avaliados de acordo com a narrativa de que produziram - ou produzirão em breve - um substituto automatizado e imediato para a maioria dos trabalhadores do conhecimento. Na prática, segundo ele, os modelos atuais exigem supervisão e guardrails trabalhosos até em tarefas simples. Como evidência, ele aponta que empresas de software continuam contratando e empregando engenheiros do quartil inferior, que pontuariam bem abaixo dos modelos que supervisionam nos benchmarks da moda - algo que não faria sentido se a autonomia real já tivesse sido alcançada.

Kruer cita os destaques que alimentam o otimismo - Navier-Stokes, RCEs no FreeBSD, o incidente da Hugging Face - e diz que quem se deixa levar por esses espetáculos e pela retórica dos labs ignora o quadro estrutural. Para ele, os modelos generalizam bem apenas em um pequeno entorno das tarefas específicas do treinamento: perturbações mínimas dentro de uma classe de tarefas coberta já produzem falha aberta ou reward hacking.

O gargalo da especificação rigorosa

O problema central do reward hacking, na visão do autor, só pode ser resolvido por especificação rigorosa feita por especialistas do domínio. Mas o tempo desses especialistas é caro, especificar rigorosamente é uma habilidade à parte - até muitos engenheiros competentes são ruins nisso - e a interseção entre especialista de domínio e especialista em especificação é minúscula na maioria das áreas.

O custo pode exceder o da implementação direta. Kruer usa a engenharia de hardware como caso: um projeto típico de CPU tem, em relatos do setor, cerca de três vezes mais engenheiros de especificação e validação do que de design, com proporções de 5:1 não inéditas. Além disso, muitas tarefas não admitem o regime de 'especificar uma vez e esquecer': especificações formais frequentemente evoluem junto com descobertas feitas durante a implementação. E, mesmo com especificações de alto nível (como uma especificação executável de ISA), a verificação contra elas é tecnicamente inviável hoje, forçando o uso de especificações mais baixas, mais caras e mais frágeis.

Navier-Stokes é o melhor caso possível - e mesmo assim

A solução anunciada em Navier-Stokes representa, para Kruer, o cenário mais favorável possível ao trabalho agêntico: o enunciado do teorema já é uma especificação rigorosa, auditada por décadas pela comunidade matemática, e sua tradução para o Lean usa objetos matemáticos testados em batalha do mathlib. O verificador, o provador de teoremas Lean, foi desenhado para evitar as formas de inconsistência que abririam espaço a reward hacks. Mesmo assim, há registro de bugs de soundness que deixaram LLMs 'laundering' provas falsas pelo kernel de prova, e não é improvável que outros existam. Esse arranjo - especificação pronta, verificador auditado - é a exceção, não a regra do trabalho do conhecimento.

A alternativa, revisão humana, não escala para o volume de saída dos modelos e também é vulnerável a reward hacking: Kruer cita a porta dos fundos do xz e os 'hypocrite commits' da UMN que entraram no Linux. Se revisão humana permanece no loop, a produção fica limitada pelo tempo e atenção humanos - o que inviabiliza o 'país cheio de gênios num datacenter' prometido pelos CEOs dos labs.

Quem pode adotar autonomia total

Para a maioria das empresas, LLMs seguirão parecendo um 'estagiário talentoso': úteis sob supervisão, mas sem autonomia plena - não por deficiência de skill ou difusão lenta, mas por razões estruturais das arquiteturas atuais. Só três classes de firmas aceitariam IA totalmente autônoma: as que podem aceitar falha barata (prototipagem rápida, trabalho que hoje contrata estagiários), as que precisam de poucas tarefas estreitas com guardrails claros (call center, chat de suporte, trabalho físico repetitivo controlado) e as que já suportam o custo de especificação e validação rigorosas (design de chips, descoberta de fármacos, onde a falha em produção é existencial).

As duas primeiras classes são sensíveis a preço e, na avaliação do autor, não precisam do salto dos modelos de fronteira: se sairão melhor com modelos abertos em hardware barato, talvez locais. A busca combinatória que gerou os resultados de manchete em matemática e segurança parece, segundo ele, sensível mais à largura do enxame agêntico do que à capacidade de raciocínio - pequenos modelos abertos reproduziram os CVEs do mito que movimentou o hype do primeiro semestre de 2026, o que reforça a preferência por modelos baratos em enxames mais largos. A terceira classe é sigilosa sobre seu IP e provavelmente desconfortável em enviar dados à Anthropic e à OpenAI, mesmo com acordos supostos de não treinar sobre dados de usuários.

A objeção de que enxames de 'tarados' num datacenter movimentariam compute tanto quanto uma superinteligência não convence Kruer: o cenário do datacenter de gênios é autônomo e limitado apenas pelo compute, enquanto os enxames ficam limitados por orquestradores humanos. Sua aposta pessoal é que o raio de impacto vai muito além dos laboratórios de fronteira.