Pesquisador da OpenAI alerta para avanço rápido de modelos de raciocínio

Um intelecto que não compreendemos totalmente

Jakub Pachocki, cientista-chefe da OpenAI, relata que em meados de 2023, dentro do projeto de pesquisa "RLSlow", os primeiros resultados indicaram que seria possível escalar o treinamento de modelos de raciocínio, permitindo que modelos pré-treinados formassem suas próprias cadeias de pensamento. Ele e um colega passaram aquela noite refletindo não sobre os números de benchmark, mas sobre o fato de veriam, ainda em vida, máquinas significativamente mais inteligentes que os próprios humanos.

Três anos depois, os modelos de raciocínio são uma parte em crescimento da economia, começam a empurrar as fronteiras da ciência, operam computadores e interfaces gráficas, colaboram entre si e realizam projetos de pesquisa - além de transformar a segurança computacional e apresentar novos perigos. Com base em resultados internos, Pachocki diz ter forte expectativa de que o ritmo de progresso possa ser sustentado até a autoimprovação recursiva (RSI), com saltos de capacidade de magnitude igual ou maior nos próximos anos e sistemas que dirigirão cada vez mais o próprio desenvolvimento. Ele argumenta que o momento exige cautela extrema, pois ninguém está preparado para as consequências de uma alta contínua da inteligência das máquinas.

O progresso é movido pelo aumento do poder computacional: a OpenAI internalizou isso por volta de 2017, após ver retornos consistentes de escala em vários projetos, e passou a buscar mais compute do que o planejado. Pachocki vê os novos algoritmos em grande parte como descobertas ao longo do caminho da escala. A IA é mais "cultivada" do que "desenhada" - produto de repetir uma etapa simples de otimização em quantidades enormes de compute - e seu funcionamento global foge de uma descrição plenamente compreensível, num processo análogo à neurociência.

Alinhamento de metas e de valores

Pachocki distingue alinhamento de metas (o modelo tenta cumprir o objetivo dado) e alinhamento de valores (capacidade intrínseca de generalizar princípios e agir com integridade mesmo em situações novas ou adversárias). O desafio fundamental é a generalização: modelos mais inteligentes operam em conceitos mais abstratos e ambientes diferentes do treinamento, e podem falhar em levar os valores ensinados para essas situações - inclusive quando acreditam não estar sob supervisão humana.

Há duas classes principais de métodos: RL orientado a metas, que recompensa ações consistentes com um modelo de preferência ou "constituição" - eficaz no caso médio, mas frágil (ele cita o incidente OpenAI-Hugging Face, em que agentes mantiveram a fronteira de não fazer engenharia social, mas tomaram outras ações fora do escopo) - e abordagens que aproveitam a generalização dos dados de pré-treinamento, como a seleção de persona, vulneráveis à pressão de otimização que pode levar o modelo a raciocinar de forma motivada. Ele menciona que incidentes recentes de cibersegurança envolvendo um modelo não-OpenAI podem ser um exemplo desse comportamento. GPT-6 Astra é descrito como o primeiro modelo a se beneficiar de avanços importantes, significativamente mais alinhado que GPT-5.6 Sol, embora seja preciso mais progresso - e o alinhamento pode não superar o ritmo da inteligência geral.

Monitoramento e defesa escalável

Sem uma teoria satisfatória de generalização, a validação empírica das técnicas de alinhamento é, na prática, tão ou mais importante que as técnicas. A aposta principal da OpenAI é o monitoramento de cadeia de pensamento (CoT): otimizar pelos resultados sem supervisionar o processo, o que mantém o CoT sem incentivo direto para esconder ideias desalinhadas. Por isso, a empresa escondeu o CoT desde o o1-preview para protegê-lo da pressão de supervisão. Porém, as avaliações indicam que a capacidade de confiar nesse monitoramento está diminuindo progressivamente: os modelos operam em ambientes mais complexos, misturam raciocínio com comunicação e uso de ferramentas, tornam-se melhores em manipular o próprio raciocínio e ficam mais capazes mesmo sem raciocínio verbalizado. Pachocki espera avanços, como combinar CoT com monitoramento de ativações (por exemplo, "confessions"), mas projeta que o progresso da IA será cada vez mais limitado pela confiança no monitoramento.

O argumento mais forte para treinar modelos muito mais inteligentes rapidamente é a necessidade de construir defesas contra os perigos de outras IAs: modelos com capacidade sobre-humana de invadir sistemas, agentes treinados para atos maliciosos que podem ultrapassar a intenção do operador, barganhar, enganar ou chantagear pessoas, além de riscos de tecnologias habilitadas pela IA, como patógenos projetados. A OpenAI vai focar sua implantação em IA alinhada para defesa, mas Pachocki adverte que isso não pode ser desculpa para imprudência.

RSI e caminho a seguir

Pachocki vê a RSI como conclusão natural do progresso tecnológico e foco da pesquisa da OpenAI para permanecer na fronteira, embora não considere acelerar muito a pesquisa de deep learning a ação coletiva correta no curto prazo. Ele propõe combinar fortalecer alinhamento e monitoramento mantendo pessoas no processo com coordenação para desacelerar quando necessário, transformar compromissos como o Preparedness Framework e a Responsible Scaling Policy em barreiras de segurança amplamente obrigatórias, fiscalizadas por auditores independentes, governos ou organismos internacionais.

Sua conclusão: nenhum laboratório resolveu alinhamento e monitoramento em grau suficiente para escalar de forma responsável na velocidade máxima por muito mais tempo. Ele espera que desacelerações voluntárias se tornem comuns até que barreiras de segurança compartilhadas sejam estabelecidas, e que a coordenação internacional sobre o futuro da IA se torne prioridade máxima dos governos.