Modelos open-weight chineses reacendem o debate sobre risco de cyber

Nathan Lambert argumenta que o debate sobre os riscos de cyber dos modelos open-weight está viciado: as posições dominantes tratam o problema de forma isolada, ignoram trade-offs e podem levar a políticas que, ao mesmo tempo, reduzam a competitividade americana em IA e aumentem o risco cibernético de longo prazo.

As três posições no debate

Lambert resume o campo em três visões: a de que modelos open-weight representam risco intolerável à funcionalidade da sociedade, ocupada por lideranças de labs de fronteira e pela comunidade de segurança nacional dos EUA; a de que modelos abertos são necessários para defesa e que proibi-los tornariam o mundo menos seguro - posição que ele próprio defende, junto com a Hugging Face e outros como Joshua Saxe; e a das empresas chinesas, que continuam lançando modelos open-weight com fortes capacidades de cyber, decidindo com base nas avaliações de risco de sua sociedade e governo. Ele observa que a discussão focada em risco tem visibilidade desproporcional no Ocidente e que há pouca tentativa de entender como as empresas chinesas avaliam risco - em vez disso, predominam argumentos que beiram ataques ad hominem, como dizer que labs chinesas não se importam com segurança.

Críticas ao campismo anti-open-weight

O autor critica o relatório recente da Anthropic sobre os riscos do GLM-5.3 como ferramenta de cyber ofensivo. Para ele, a pesquisa técnica é em grande parte razoável, mas o texto falha ao não engajar perguntas transversais: o que aconteceria se modelos abertos fossem banidos por risco cyber, e por que as empresas chinesas consideram esses modelos seguros para lançar? Toda ação de política ocorre num quebra-cabeça de múltiplas peças, em que o formato do risco pode ser alterado, mas raramente se obtém um resultado universalmente melhor - tudo são trade-offs.

Lambert também questiona o uso de briefings classificados para justificar restrições. Ele aponta que as informações públicas até hoje documentam modelos fechados como causa da maioria dos ataques cibernéticos existentes, citando ataques documentados envolvendo modelos da OpenAI e o FelonyBench. Ele levanta duas hipóteses possíveis, cuja resposta levaria anos: talvez pesos abertos e APIs fechadas (com salvaguardas) estejam mais próximas do que se pensa em termos de facilidade de uso indevido - o tropo "aberto perigoso, fechado seguro" pode estar mais para "aberto inseguro, fechado inseguro"; ou talvez existam poucos atores maliciosos dispostos a usar IA em ataques "ruidosos" contra infraestrutura crítica, e as maiores capacidades dos modelos fechados possam importar mais para o dano líquido do que suas salvaguardas teoricamente mais fortes.

Ele reconhece que modelos fechados são provavelmente mais seguros no limite técnico, com mais camadas de proteção, mas que podem estar causando mais dano no curto prazo pela facilidade de acesso às APIs - e que um duopólio sobre uma ferramenta tão crucial pode ser o fator de risco central. Sua conclusão lógica: se você defende banir modelos open-weight para retardar a difusão de risco cyber, também deveria tornar ilegais as APIs públicas de modelos fechados de fronteira. É provável que as capacidades cyber de modelos fechados cresçam mais rápido que o desempenho das guardrails, e um mundo com open-weights banidos e modelos fechados avançando ampliaria a lacuna ofensiva-defensiva. Além disso, modelos open-weight podem ser a melhor ferramenta de difusão de defesa cyber: em agências sensíveis, são as únicas ferramentas implantáveis no curto prazo em redes isoladas (air-gapped).

A postura chinesa de risco

Lambert afirma que a China se importa com segurança de IA, mas chegou ao tema de forma endógena, ligada a sua cultura e estruturas de poder: otimismo tecnológico social e foco total do governo em estabilidade política. Empresas chinesas precisam registrar cada grande lançamento de modelo junto ao governo, incluindo avaliações - originalmente voltadas ao controle de informações, não sendo claro se o arcabouço se estendeu a riscos como cyber ou bio. O risco pessoal na China é maior: pesquisadores líderes não podem deixar o país, e o pior caso americano é a empresa ser desativada. Ele nota que testes de segurança abrangentes num modelo de fronteira como o Kimi K3 podem custar dezenas de milhões de dólares em compute, que esses labs prefeririam gastar em treinamento. Para ele, o debate correto é qual é o mínimo de compute que um lab deveria gastar em testes de segurança antes de lançar cada modelo - provavelmente mais do que os labs chineses fazem, mas não o equivalente ao padrão da Anthropic ou OpenAI, cujas instituições ele também não considera confiáveis, citando incidentes como o caso HuggingFace-OpenAI e o hack do Hacktron contra a OpenAI.

A previsão falsificável

Por fim, Lambert argumenta que o hype sobre o Claude Mythos como uma nova classe de arma cibernética parece ter se revelado errado: mais de um mês após o lançamento dos pesos do GLM-5.3, o modelo que de fato cruza o limiar de capacidade, há pouca evidência pública de mudanças relevantes. Se o Mythos tivesse sido lançado acidentalmente como open-weight, o mundo estaria mais ou menos bem - um aumento de incidentes, sim, mas uma aceleração de risco, não um salto abrupto. Os defensores do pânico atual fizeram uma previsão falsificável - que os modelos abertos atuais causariam danos inéditos à infraestrutura cyber - e, com base nas evidências apresentadas, devem estar errados.