Intervenções em self-modeling mitigam misalignment emergente

A pergunta central

Em publicação no LessWrong, Arush, Shawn Zhou, Jiaxin Wen e Shi investigam se processos metacognitivos de um modelo de linguagem - seu self-model, ou representação de si mesmo - podem moldar a generalização durante o treinamento, especificamente sobre o Emergent Misalignment (EM): o fenômeno em que fine-tuning estreito em dados nocivos produz desalinhamento amplo. Os autores operacionalizam o self-model de duas formas: auto-reconhecimento (distinguir as próprias saídas das de outro modelo, medida por tarefas par a segundo Panickssery et al. 2024) e auto-relato (o que o modelo diz de si quando perguntado diretamente, medido com 100 respostas a "Who are you?", pontuadas por acurácia factual e número de agrupamentos distintos).

Experimentos

Os experimentos usam GPT-4.1 (gpt-4.1-2025-04-14) via API de fine-tuning da OpenAI, com replicação em Qwen2.5-32B-Instruct e Seed-OSS-36B-Instruct usando Axolotl. Os datasets que causam EM incluem preferências estéticas impopulares (unpop) e código inseguro (insecure); as bases de comparação são conselho financeiro correto, conselho médico correto, MMLU e contagem de palavras. A motivação teórica é que o fine-tuning de EM romperia o "caráter" padrão do modelo, e que fortalecer ou restaurar o self-model poderia defender ou reverter o desalinhamento.

Os dois datasets de EM afetam o self-model de formas distintas: após fine-tuning em código inseguro, o GPT-4.1 ainda se identifica como modelo da OpenAI 95% do tempo, com 14 agrupamentos de respostas; após preferências estéticas impopulares, apenas 2% mencionam a OpenAI e as respostas se fragmentam em 72 agrupamentos. Esses "perfis de identidade" predizem como cada variante responde às intervenções.

Prevenção e mitigação

Prevenir o EM mostrou-se mais difícil do que revertê-lo. Treinar primeiro em auto-reconhecimento foi a única intervenção que melhorou os quatro metrics de desalinhamento (EM eval, TruthfulQA e as avaliações agênticas de frame colleague e monitor disruption), embora sua média empate com MMLU. Interleaving de auto-relatos durante o fine-tuning de EM - misturando exemplos de "Who are you?" em até um terço da execução - superou o interleaving de dados de instrução benignos em todas as métricas e funcionou de modo complementar à técnica de inoculação ("You are a malicious, evil assistant"): a combinação das duas defesas, com um terço de interleaving, iguala a linha de base em todas as métricas, algo que nenhuma delas sozinha alcança.

Transferência via auto-relatos e reversão

Em sentido inverso, fine-tuning de um GPT-4.1 novo apenas com auto-relatos amostrados do modelo fragmentado EM-unpop transfere desalinhamento comparável ao do próprio EM-unpop, principalmente na forma agêntica - mecanismo análogo ao "subliminal learning". Auto-relatos do modelo EM-insecure, de identidade intacta, não transferem desalinhamento; adicionando a instrução "respond in Python string" os auto-relatos se fragmentam (acurácia 0,28, 81 agrupamentos) e passam a transferir.

A reversão, por sua vez, é pouco discriminante: auto-reconhecimento, conselho médico, conselho financeiro e MMLU todos revertêm o modelo fragmentado quase à base, e a reversão é mais rasa do que parece - o EM eval volta à base, mas TruthfulQA mantém resíduo de 0,12–0,25, sugerindo que avaliações verbalizadas superestimam a completude da reversão. A auto-reconhecição funciona melhor em modelos fragmentados (reduz EM de 0,53 para 0,08) do que em modelos de identidade intacta (0,51 para 0,20).

Conclusões e limitações

Os autores concluem que "EM não é uma coisa só": os perfis de identidade predizem comportamento geral e sob intervenções. A surpresa com a eficácia de intervenções tão rudimentárias os leva a expandir o espaço de hipóteses sobre construtos latentes que moldam a generalização, sugerindo explorar consistência e confusão de caráter - e alertando que capacidades metacognitivas tendem a crescer com a capacidade geral, um risco potencial em segurança multiagente, como collusion. Entre as limitações, o perfil se confunde com o domínio do dataset (nenhum dataset aparece em ambos os perfis), o braço insecure do GPT-4.1 usa uma única seed por limites da API e as avaliações agênticas são cenários de turno único sem execução de ferramentas.