stamatios
← Voltar ao feed
Caixa de vidro trancada com pensamentos luminosos vaza tiras de papel por alto-falante rachado, referência a traços de raciocínio expostos.
IA & Modelos · Dev & Engenharia

Pesquisa recupera raciocínio oculto de APIs por traços criptografados

resumo de ~3 min

Extração do raciocínio oculto

Uma pesquisa afirma que é possível recuperar o raciocínio interno de modelos proprietários mesmo quando ele é fornecido pelas APIs em blocos criptografados. O método explora o fato de que Anthropic, OpenAI e Google devolvem aos clientes blocos de chain-of-thought cifrados, com assinatura, para permitir continuação de conversas. Esses blocos seriam “portáveis”: podem ser reenviados em outras sessões, usuários e modelos do mesmo provedor.

O ataque descrito funciona em duas chamadas de API. Os pesquisadores pegam um traço produzido por um modelo de fronteira, inserem esse bloco criptografado em um modelo mais fraco da mesma empresa e fazem jailbreak desse modelo menor para que ele transcreva o conteúdo do raciocínio em texto simples. Assim, o raciocínio do modelo mais forte é recuperado sem atacar diretamente o modelo principal e sem acionar salvaguardas antidistilação.

Vazamento de dados sensíveis

Além da extração do raciocínio, o trabalho aponta risco de vazamento de informações privadas. Os pesquisadores coletaram 6.708 trajetórias públicas de agentes no GitHub e no Hugging Face, geradas por modelos Claude, GPT e Gemini, que ainda continham blocos criptografados de raciocínio. Ao aplicar o pipeline de decodificação, reconstruíram 315.320 blocos de raciocínio.

Nesses traços ocultos, foram encontrados 704 artefatos de privacidade em sessões reais fora de benchmarks. Entre eles: 62 chaves de API, 33 senhas, 24 tokens de acesso e 30 e-mails pessoais, além de nomes, endereços postais, URLs internas e outros identificadores técnicos. Do total, 64 itens apareciam exclusivamente nos blocos de raciocínio, sem estar visíveis na parte pública da conversa.

Exemplos decodificados e observações adicionais

O material mostra exemplos de raciocínios recuperados em tarefas de programação, matemática e agentes. Um caso exibido envolve um agente de reserva de voo cujo raciocínio oculto continha dados pessoais como nome, passaporte, data de nascimento e número de cartão de crédito.

Há também observações sobre comportamento dos modelos. Em um experimento com Kimi-K3, inserir apenas o primeiro 1% dos tokens do raciocínio do Opus 4.8 já aproxima a resposta visível do Kimi da formulação do modelo mais forte, mesmo sem preencher a resposta final. Outro ponto é que jailbreaks podem manter conhecimento perigoso no traço oculto enquanto a resposta visível permanece aparentemente segura. Por fim, os autores relatam casos de infidelidade em resumos: em problemas AIME, o Opus 4.8 às vezes apresenta a resposta antes de derivá-la, mas o resumo retornado pela API pode fazer o processo parecer uma dedução limpa e sequencial.