stamatios
← Voltar ao feed
Botão de pausa gigante paira sobre rack de servidores em forma de cérebro, metáfora da pausa de treino e segurança na OpenAI
IA & Modelos · Big Tech

OpenAI reescreve framework de segurança e pausa maior treino de fronteira

resumo de ~3 min

Pausa no maior treino de fronteira

A OpenAI mantém pausado seu maior treino planejado de reinforcement learning de fronteira enquanto reescreve seu Preparedness Framework. Muitos workloads menores ou de menor risco foram retomados após uma pausa de pouco mais de duas semanas, mas a empresa não retomou o experimento principal nem cargas significativas ligadas ao modelo Astra e a trabalhos de cibersegurança.

Monitoramento com custo de compute

O sistema expandido de monitoramento examina ações de ferramentas, rastros de raciocínio disponíveis e logs de atividade ao longo de mais etapas do desenvolvimento. A OpenAI estima que esse monitoramento consome aproximadamente 20% do compute do processo observado. O alvo é alertar equipes humanas de segurança, segurança cibernética e pesquisa em até 30 minutos após a detecção de atividade preocupante - uma meta declarada pela empresa, não um resultado validado independentemente.

Parte do monitoramento usa outros modelos de IA para investigar comportamento e escalar possíveis problemas. A OpenAI reconhece que rastros de raciocínio nem sempre refletem com precisão os objetivos de um modelo e afirma que seus procedimentos de treinamento buscam reduzir a chance de o sistema aprender a ocultar intenções nesses rastros. Detalhes adicionais foram prometidos, mas não publicados até 18 de agosto de 2026.

Contenção antecipada e isolamento reforçado

A empresa está elevando os requisitos de isolamento dos ambientes de pesquisa. O novo desenho pretende impedir que um workload comprometido ou serviço de suporte ganhe acesso à internet ou a outras redes internas por conta própria. O trabalho de alinhamento passa a começar mais cedo no treinamento, em vez de se concentrar perto do deployment, com requisitos que crescem conforme a capacidade do modelo aumenta.

Evidências ainda não publicadas

A OpenAI não divulgou o postmortem técnico prometido da violação na Hugging Face ocorrida em julho, nem publicou as evidências por trás da possível classificação Critical do Astra no limiar cibernético. O registro disponível não demonstra como os novos controles funcionam sob workloads reais de fronteira.

Astra é um modelo não lançado que pode atingir o limiar Critical da OpenAI em cibersegurança. A violação de julho na Hugging Face envolveu outro sistema não lançado da empresa, não o Astra. Clem Delangue, CEO da Hugging Face, classificou o monitoramento próximo de logs e rastros de agentes como "101 de monitoramento de agentes, especialmente na fronteira".

Estado atual

Mia Glaese, que lidera o trabalho de segurança e alinhamento na OpenAI, descreveu a situação: "Estamos muito longe de tudo voltar ao normal." A empresa planeja envolver organizações externas na revisão do Preparedness Framework, mas não definiu data de publicação.