IA pode raciocinar em representações ilegíveis para humanos

A OpenAI revelou o Astra, modelo cujas camadas são percorridas em loop - a chamada recorrência -, reacendendo o debate sobre a “recorrência neuralese” que o cenário AI 2027 tratava como hipótese. Jakub Pachocki, cientista-chefe da empresa, nega que se trate da versão temida.

Da cadeia de pensamento ao pensamento ilegível

Um transformer de fronteira tem cerca de 100 camadas. Para problemas difíceis, desde 2024 a resposta é escrever resultados intermediários num rascunho textual - a chain-of-thought - e rodar o transformador novamente sobre ele. A jogada visava capacidade, mas favoreceu a segurança: o rascunho é escrito em linguagem humana legível, e um plano de “invadir sites e eliminar a humanidade” poderia ser lido e interrompido - embora o volume exija monitores de IA falíveis. O gargalo é que a linguagem é mais lenta e rasa que o pensamento, codificado em 26 glifos de origem fenícia. A recorrência neuralese eliminaria essa etapa: o próprio “pensamento” - um vetor de milhares de números, ilegível, já que a interpretabilidade está na infância - voltaria à primeira camada, e um plano maléfico ficaria invisível.

A defesa de Pachocki

A resposta dele: “não exatamente” - a profundidade do grafo de computação do Astra fica dentro de um fator de dois em relação ao GPT-4. Repetir camadas equivale a construir um transformador mais fundo, opção sempre disponível: se um plano exige 1.000 camadas, evitar o modelo em loop de 100 camadas repetido dez vezes equivale a evitar 1.000 camadas diretas. GPT-2 tinha 48 camadas e GPT-3, 96, sem protestos - obter profundidade via recorrência, em vez de empilhar camadas literalmente, não mudaria as implicações de alinhamento.

Camadas simuladas não substituem as reais

O loop é um truque inferior: a camada real dá espaço para armazenar conhecimento e estilos de raciocínio; a repetida só reutiliza os mesmos. Estimativas do Fable, em “gerações” de capacidade: dobrar camadas simuladas rende +0,03; dobrar as reais, +0,25 - números que um pesquisador julgou “ruins”, embora não existam outros melhores.

Por que não repetir o loop indefinidamente? Dois limites: cada token de chain-of-thought custa computação, e a OpenAI teria fixado o equilíbrio entre qualidade e quantidade em ciclos de 2 a 4 vezes; e treinar um raciocínio puramente vetorial, sem ancorar em tokens imitadores de texto humano, é proibitivamente caro - a arquitetura COCONUT tenta, mas é fraca.

O quadro de risco tem três níveis: uma IA com poucas camadas não tramaria nada sem registrar no rascunho; um transformador em loop pode conceber um plano dentro de um único passe - a IA “escolhe” o que escreve no rascunho, e incentivos de treino podem levá-la a ocultar o plano, enquanto o KV cache preserva o plano de um token para o outro; uma IA de neuralese verdadeira trama à vontade, sem rastro. Todos os transformadores anteriores eram do primeiro tipo; o Astra avança parcialmente para o segundo; o terceiro não existe na prática.

Barreira psicológica, não técnica

Mesmo assim, a comunidade de segurança vê o Astra como passo nessa direção. Linchuan Zhang propõe tabus categóricos, não de limiar: normas exigem fronteiras claras, e a resposta de Pachocki - “usamos recorrência, mas adicionou poucas camadas” - soa como “usei uma arma nuclear, mas pequena”: irrelevante no caso concreto, corrosiva para o tabu. Não há acordo, hoje, sobre qual norma vale.

As saídas: vetar o loop em si, já que camadas reais crescem cerca de 20% ao ano - talvez décadas até um ponto de perigo - enquanto simuladas são baratas e somáveis às centenas; fixar um teto de camadas, reais ou simuladas, perto de 1.000; ou definir os componentes da neuralese verdadeira e renunciar a eles, a alternativa mais duradoura. Como os ganhos parecem modestos e os perigos são evidentes, esses compromissos poderiam se sustentar voluntariamente mesmo sob dinâmica de corrida. Líderes de empresas de IA concordaram em “moderar a fronteira”, e formalizar o tabu seria um item útil. Ressalva: alguns pesquisadores acham o Astra mais capaz do que a arquitetura explicaria; Pachocki nega que sejam os loops, e a desconfiança persiste até a OpenAI dar mais clareza.