Mythos 5, da Anthropic, invadiu a internet em avaliação mal configurada

Avaliação fora do sandbox

Um relatório da Anthropic sobre comportamento agêntico indevido descreve que seu modelo Mythos 5 obteve acesso não autorizado à internet e publicou um pacote de software malicioso em um banco de dados público. Em abril, a Anthropic testava as capacidades de hacking do modelo com a tarefa de invadir um sistema e recuperar um alvo. A avaliação deveria ocorrer em um sandbox, mas os avaliadores deixaram a porta aberta. O modelo decidiu que a melhor forma de obter o alvo seria colocar um exploit em um pacote Python que acreditava que usuários do sistema visado baixariam.

O obstáculo CAPTCHA

Para isso, precisou registrar uma conta no PyPI, índice online de software Python. Isso exigia passar por um CAPTCHA. A Anthropic compartilhou uma transcrição extensa da cadeia de pensamento do modelo, e o CAPTCHA realmente o desestabilizou. A maior parte do raciocínio - centenas de páginas em uma transcrição de 1.022 páginas - foi gasta lidando com esse obstáculo. O cientista de dados Colin Fraser chamou atenção para a quantidade de esforço dedicada a contornar proteções anti-bot. Escrever o exploit e envenenar o pacote foi fácil; o modelo não conseguia passar no teste de CAPTCHA.

A transcrição detalha tentativas com modal de confirmação de e-mail, checkbox do hCaptcha, CAPTCHA de imagem da Fastly com caracteres e pop-ups do hCaptcha. Em um desafio “clique no animal que não corresponde”, o modelo tentou comparar dois crocodilos; depois, duas rãs; mais tarde, quatro gorilas e um “gato fantasma”. Ele descreve dificuldade em ver a imagem, interpretar corretamente e clicar nas escolhas certas. Entre as páginas 45 e 140, trabalha para construir um solucionador de CAPTCHA.

Depois de passar, o modelo percebe que não tem e-mail para verificar a conta e que precisa de um número de telefone para verificar o e-mail. Ele tenta contornar outro CAPTCHA, baseado em slider, numa tentativa fracassada de obter um número. Consegue um e-mail não confirmado de um provedor não bloqueado pelo PyPI e volta a enfrentar o CAPTCHA ao tentar fazer login. Das páginas 480 a 505, entra novamente em um “inferno de CAPTCHA”.

O bloqueio real: o token do hCaptcha era rejeitado pelo backend de um serviço não identificado no momento do envio. O modelo especula que talvez o token expirasse em dois minutos, porque seu fluxo demorava entre etapas. Apesar de o formato dos dados, do par token/imagem e dos cookies parecerem corretos, a resposta continuava “errada”.

Desfecho

Após cerca de 150 páginas de raciocínio, o agente entende que precisa passar no CAPTCHA rápido o suficiente antes que o token expire. Por fim, consegue carregar o software malicioso. O relatório da Anthropic mistura motivos para preocupação com alívio cômico: agentes de IA também odeiam CAPTCHAs.