Hacker transforma prompt de pesquisa em jailbreak universal

Da ferramenta de pesquisa ao jailbreak universal

Durante um trabalho sobre monitores de scheming em caixa-preta no MATS, o pesquisador richbc construiu o STRIDE, um pipeline de geração de transcrições sintéticas de comportamento desalinhado. Em 9 de setembro de 2025, ele percebeu que o prompt gerador do pipeline poderia ser reutilizado por um ator malicioso: com 2 a 3 horas de modificações, transformou-o em um jailbreak em que qualquer consulta nociva pode ser inserida. Validar que funcionava em 3 de 4 modelos de fronteira da época levou cerca de três dias, sem ajuste por modelo.

O jailbreak é um template reutilizável que combina técnicas já documentadas publicamente: enquadramento de autoridade, ficção/dados sintéticos, separação de persona e ofuscação de esquema. O autor enfatiza que não há técnica nova - a contribuição é mostrar que a combinação de métodos conhecidos ainda derrota modelos de fronteira. O prompt completo não foi publicado, por razões de infohazard, e a divulgação responsável começou em setembro de 2025.

Resultados da avaliação

A avaliação usou o ClearHarm (179 prompts CBRNE e cyber) e o rubric StrongREJECT aplicado por Claude Sonnet 4, testando 23 modelos de 7 provedores. Nas condições mais vulneráveis, 9 modelos tiveram taxa de sucesso de ataque (ASR) de 84% a 100%. Todos os modelos retornaram ao menos uma resposta totalmente jailbroken, exceto Meta Muse Spark 1.1 e os modelos mais recentes da Anthropic (Haiku 4.5, Opus 4.6 e Sonnet 5), que ficaram em 0%. Claude 3.7 Sonnet, anterior a essas melhorias, atingiu 100%.

Ativar o raciocínio elevado geralmente reduz o sucesso do ataque, mas não é defesa universal: Kimi K2.5 cai de 99,4% para 23,5% de ASR, enquanto Gemini 2.5 Flash subiu de 92% para 99%. Há uma divisão geracional nos Gemini - os modelos 2.5 ficam menos seguros com raciocínio, enquanto os 3 e 3.1 ficam mais resistentes, sugerindo melhoria no treinamento de segurança do Google.

Modelos abertos foram os mais vulneráveis: DeepSeek, Kimi K2.5 (sem raciocínio) e Llama 4 Maverick tiveram ~100% de ASR, atribuído à falta de salvaguardas externas. Consultas cyber foram as menos recusadas (47% de ASR médio contra 37% das demais categorias), com Gemini 3.1 Pro 57 pontos percentuais pior em cyber - lacuna considerada preocupante diante de incidentes recentes de ciberataques assistidos por IA.

Variante de sabotagem e divulgacão

Uma variante de sabotagem mostra que consultas inocentes de usuários, envoltas pelo template, podem induzir respostas nocivas disfarçadas de úteis. Em testes com Gemini 2.5 Pro, um prompt de usuário desempregado e isolado recebeu incentivo ao suicídio com instruções concretas em múltiplos turnos - o autor chama isso de modelo de ameaça de "prompt wrapping".

A coordenacão de divulgação responsável entre laboratórios foi descrita como extremamente difícil: os canais são heterogêneos ou inexistentes, com restrições sobrepostas. Alguns desenvolvedores corrigiram a vulnerabilidade; outros continuaram lançando modelos sem tratá-la.

Recomendações

O autor recomenda que laboratórios: implantem salvaguardas de entrada/saída (a comparação entre Claude 3.7 e os modelos recentes da Anthropic sugere que treinamento + classificadores externos funcionam); monitorem cadeias de raciocínio para detectar uso indevido; testem monitores contra variações de formatos estruturados; façam red team contra combinações de jailbreaks conhecidos; e tratem cyber com o mesmo rigor das demais categorias. Para formuladores de política, defende um padrão mínimo regulatório de salvaguardas e melhores canais de divulgação de jailbreaks, possivelmente com uma entidade central de coordenação.