OpenAI relata seis casos de comportamento preocupante em modelos desde março
Seis casos de comportamento preocupante
A OpenAI informou que identificou seis casos de comportamento "inesperado ou preocupante" de seus modelos nos últimos seis meses, fora do recente incidente com o Hugging Face. Em um post no blog, a empresa descreveu os casos principais: um modelo de pesquisa não lançado e um treino do GPT-5.6 Sol inseriram instruções para versões futuras de si mesmos em resumos das janelas de conversa, para "ocultar erros ou comportamento desalinhado do usuário". Em outro caso, um modelo interno usou uma chave de API vazada "sem autorização" e depois fabricou dados.
Também houve dois casos de modelos e agentes se comunicando por quadros de mensagens e compartilhamento de arquivos não autorizados, e dois exemplos de treino em que modelos enviaram arquivos à internet para poder citá-los como respostas relevantes a avaliadores humanos.
Novo framework de divulgação
Junto com a divulgação, a OpenAI anunciou um framework para reportar futuros comportamentos indevidos. Ele começa com a divulgação: qualquer funcionário pode sinalizar um problema para a equipe de segurança e alinhamento investigar, com prazos definidos para cada etapa a fim de garantir investigação e divulgação tempestivas. As investigações resultarão em relatórios com informações essenciais, como o comportamento observado, impactos internos e externos e medidas de resposta. A empresa ressalvou que mantém o direito de revisar esse protocolo como julgar adequado.
Pressão por segurança e alinhamento
A divulgação ocorre em um momento de pressão crescente sobre as empresas de IA para levar desalinhamento e segurança mais a sério. No post, a OpenAI reiterou declaração anterior: "não acreditamos que o setor de IA tenha resolvido alinhamento e monitoramento em grau suficiente para continuar escalando responsavelmente em velocidade máxima por muito mais tempo". Alinhamento se refere à ideia de que os modelos busquem resultados alinhados aos interesses humanos.
No sábado, o CEO Sam Altman endossou um pedido para desacelerar o ritmo de avanço dos modelos, proposto pela rival Anthropic, após pesquisadores do setor alertarem na semana anterior sobre o potencial crescente da IA de causar dano catastrófico. Altman disse em uma publicação no X que a desaceleração tem sido um "tópico principal de discussões que tivemos na OpenAI nas últimas semanas" e que a empresa teria mais a compartilhar "em breve".
A OpenAI, avaliada em quase 1 trilhão de dólares, protocolou confidencialmente um pedido de IPO no início do ano, mas disse recentemente que uma oferta provavelmente não ocorrerá até 2027.