Nota de AGI da OpenAI veio do harness, não do modelo, mostra análise
A diferença está no harness
A OpenAI declarou a era da AGI com base em uma pontuação de 99,9% do GPT-6 Astra no ARC-AGI-3. Quando o mesmo modelo roda no software do próprio criador do teste, a pontuação cai para 62,7%. Os dois números foram publicados pela ARC Prize no dia do lançamento, com tabela completa de todos os níveis de raciocínio testados.
O harness é o software em volta do modelo: define quais ferramentas ele acessa, o que lembra entre requisições e como o contexto é gerenciado. Mesmos pesos, andaimes diferentes, pontuação diferente.
O que a tabela mostra
A ARC Prize testou o Astra de duas formas. Seu harness padrão dá a todos os modelos a mesma interface mínima. O Provider Adapter da OpenAI preserva o estado de raciocínio opaco entre requisições e compacta conversas longas.
No harness padrão, em raciocínio máximo, o Astra marcou 62,7% e custou US$ 26.098. No Provider Adapter, em raciocínio alto, marcou 99,9% por US$ 18.817 - a pontuação melhor foi também a mais barata. Um detalhe reforça o ponto: com esforço de raciocínio nulo dentro do adaptador da OpenAI, o Astra marcou 96,7%, 34 pontos acima do mesmo modelo em raciocínio máximo no harness padrão.
Nos 167 pares de raciocínio em jogos que ambos resolveram, o adaptador usou 49% menos tokens e foi cerca de 3,66 vezes mais rápido.
O número que circulou
A comparação que se espalhou foi 99,9% do Astra contra 7,8% do GPT-5.6 Sol. Não eram o mesmo teste: o número do Astra veio do Provider Adapter, e o do Sol, do harness padrão. A comparação equivalente é 62,7% contra 7,8% - salto enorme, mas o único sustentado pelo benchmark. A própria TNW, veículo da reportagem, publicou a comparação sem essa ressalva.
A ARC Prize rejeitou a conclusão da OpenAI: afirmou não estar "afirmando que é AGI", e o cofundador Mike Knoop escreveu que "falta evidência para chamar isso de AGI". A fundação passará a publicar os dois resultados lado a lado. Há uma pequena inconsistência interna: François Chollet citou 66% em uma publicação, contra 62,7% na tabela oficial, que é o registro primário.
Os números que mudaram depois
Emily Forlini, da Fortune, comparou arquivamentos da publicação de lançamento e encontrou cinco métricas alteradas. A taxa de alucinação do Astra saiu de 4,2% para 2% e depois voltou a 4,2%. O Fable 5.1, da Anthropic, caiu de 87,8% para 78% no FrontierMath, depois estabilizou em 83%. O ExploitBench do Sol dobrou de 5,5% para 11,5%; a OpenAI disse investigar reverter, pois o valor reflete um nível de raciocínio não oferecido comercialmente. O rascunho sob embargo indicava 98,6% no ARC-AGI-3; a versão ao vivo diz 99,99%.
Nem toda edição favoreceu o Astra: duas notas da Anthropic no HealthBench Professional subiram. A OpenAI disse que avaliações carregam ruído de alguns pontos percentuais conforme checkpoint, scaffold e execução, e chegou a retirar e republicar o texto sem divulgar o motivo.
Benchmaxxing e defesas
Os pesquisadores de Stanford Anka Reuel e Mike Hardy chamam a prática de "benchmaxxing": rodar avaliações em condições diferentes até o número melhorar. Eles acharam o system card do benchmark interno de alucinação sem detalhes, sem nem o número de itens de teste. Vincent Sunn Chen, da Snorkel AI,Offer ofereceu leitura mais branda: pontuações mudam rotineiramente nas horas finais antes de um lançamento, e sugere uma norma de informar o que mudou em cada revisão. Há precedente para a leitura dura: críticos acusaram a Meta de publicar resultados do Llama 4 de uma versão interna, e Yann LeCun depois disse que a empresa havia manipulado os números.
Onde o Astra realmente está
A Artificial Analysis obteve um quadro mais modesto. No Coding Agent Index, o Astra marca 67 no Codex, empatado com o Claude Opus 5 e o Fable 5; o Fable 5.1 lidera com 70. No Intelligence Index, marca 61, igual ao modelo que substitui, cinco pontos atrás do Fable 5.1 e atrás do Muse Spark 1.3, da Meta. Custa US$ 10 por milhão de tokens de entrada e US$ 50 de saída, 2,5 vezes o preço do Sol - 75% mais caro por tarefa em esforço máximo. Os ganhos existem, mas são estreitos: alucinação no benchmark de conhecimento caiu de 92% para 51% e trabalho de conhecimento de longo prazo subiu cerca de 80 Elo, com regressões em suporte bancário, Python científico e raciocínio de contexto longo. A empresa reconstruiu o índice na versão 4.2, com tarefas mais difíceis e conjuntos de teste privados para dificultar manipulação.
O harness como produto
O fenômeno não é isolado: a Anthropic, Google e Microsoft vendem harnesses como produtos, e a Nvidia construiu um que levou o Claude Opus 5 de 30,2% a superar todos os níveis do ARC-AGI-3. A OpenAI não esconde nada - o adaptador usa recursos documentados da API. Mas o sistema que marcou 99,9% é um conjunto montado, enquanto o que está à venda é um modelo. Essa distinção é o cerne da história: o que um modelo pode fazer e o que se pode verificar independentemente estão se afastando, e o benchmark é onde essa lacuna fica visível.