GPT-6 Astra aposta em transformers recorrentes e raciocínio oculto
GPT-6 Astra e benchmarks
A OpenAI lançou o GPT-6 Astra, descrito como excepcionalmente bom e possivelmente o melhor já usado. Ele supera o GPT-5.6 em escrita, matemática, programação e demos gráficas, com destaque para renderização 3D e animação. Alcança 99,9% no ARC-AGI-3, que mede lógica e generalização, ante 7,8% do GPT-5.6 Sol. No Coding Agent Index v1.4, está na fronteira, mas sem larga vantagem. Benchmarks independentes podem ser mais confiáveis, embora o harness influencie: modelos são treinados para um harness principal, o que pode subestimar resultados agênticos. O texto sugere atualizar ou arquivar AGENTS.md e SKILL.md, pois LLMs recentes podem precisar de menos instruções manuais.
Uso do computador
O maior salto estaria no uso do computador. Astra seria forte em imagens e capaz de operar softwares locais por interface gráfica via Codex/ChatGPT, com exemplos como Blender, tours virtuais e um desenho no MS Paint. A capacidade não é inédita, mas é nova, depende do harness e ainda parece imatura. Como muitos softwares não têm CLI, treinar modelos para GUIs pode ampliar tarefas cotidianas. A expectativa é de refinamento nos próximos meses. Relatos citados dizem que a OpenAI comprou dezenas de milhares de Mac Minis e Mac Studios para aprendizado por reforço; os Macs serviriam como ambiente, não para treinar o modelo. O CEO da NVIDIA teria dito que Astra foi treinado em cerca de 100 mil GPUs Grace Blackwell.
Transformers recorrentes
Dois dias antes do lançamento, a The Information noticiou, sem confirmação oficial, que Astra usaria 'profundidade recorrente' ou 'looped transformers'. A ideia é reaplicar a mesma pilha de blocos mantendo os pesos. O Nanbeige4.2-3B aplica 22 blocos duas vezes, totalizando 44 aplicações, mas com cerca de metade dos parâmetros de bloco de um modelo de 44 blocos. Isso reduz memória de pesos, mas o custo computacional e o cache KV seguem semelhantes. O Universal Transformer usa parada adaptativa; o Ouro aplica 48 blocos quatro vezes; o Mixture-of-Recursions usa roteadores para decidir passagens por token. Experimentos indicam melhora com orçamento fixo de computação se o modelo for grande o suficiente. A análise considera provável que Astra use alguma variante, mas o cientista-chefe da OpenAI só disse que a profundidade do grafo computacional dos modelos atuais, incluindo Astra, está dentro de um fator de dois do GPT-4. Para o texto, o sucesso viria principalmente de treino e dados melhores, e a The Information superestimaria o looping.
Raciocínio oculto
A OpenAI já esconde a maior parte dos traces desde o o1, então para o usuário final não haveria grande diferença. A análise não vê os transformers recorrentes como causa significativa de obscurecer cadeias de pensamento. Modelos de raciocínio usam etapas intermediárias como rascunho. Astra usa menos tokens que o Sol a uma acurácia fixa, mas não necessariamente menos em todos os esforços; isso pode indicar mais capacidade e menos erros. O system card menciona monitorabilidade reduzida e regressão ante o Sol, sobretudo por traces mais curtos, mas não estabelece o looping como causa. Jakub Pachocki disse que a profundidade está dentro de um fator de dois do GPT-4 e que a OpenAI se preocupa com monitoramento de cadeia de pensamento, que considera frágil e em tendência negativa por razões não contingentes à arquitetura.
Pesquisas e conclusão
Pesquisas recentes exploram variações. Um trabalho de raciocínio latente treina um modelo de 3,5 bilhões de parâmetros com loops variáveis no treino e parada adaptativa na inferência. Outro separa memorização e raciocínio: looping não aumenta o conhecimento armazenado, mas ajuda em matemática multi-etapas sem adicionar parâmetros. O SMELT estima que transformers recorrentes com MoE exigem cerca de 6,8% a 18% menos computação de treino para a mesma perda de validação. O Full-bandwidth transformer encurta traces no modelo base, mas o efeito desaparece após instruction tuning. Conclui-se que Astra é muito forte e dá um salto em uso do computador, que deve ser foco nos próximos meses; é provável que use alguma variante de transformer recorrente. Cadeias mais curtas seriam efeito colateral de modelos mais capazes, não necessariamente de ocultação.