Tradeoffs de modelos open-weights: controle vs. riscos
Contexto: a carta aberta pró-open-weights
Empresas como Microsoft, NVIDIA, OpenAI, Intel, Amazon, Meta e Hugging Face assinaram uma carta aberta apoiando modelos de IA com pesos abertos (open-weights). O argumento central é que pesos abertos são a única forma de o usuário ser verdadeiramente dono da IA, em vez de depender de permissões e restrições corporativas. O contra-argumento é que isso elimina qualquer possibilidade de gatekeeping, permitindo uso para hacking, bioterrorismo e outros crimes.
Quem se opõe?
Ninguém assume abertamente a oposição. Partes do governo Trump inclinam-se contra por razões de rivalidade com a China (a China produz os melhores modelos open-weights). A Anthropic, ausência notável na carta, fez uma declaração ambígua apoiando "modelos open-weights que não tenham capacidades perigosas" - mas a indústria espera que modelos abertos adquiram capacidades perigosas de hacking em cerca de um ano.
Alguns defensores de open-weights suspeitam que a comunidade de segurança de IA (AI safety, racionalistas, effective altruists) está conspirando contra eles. Scott Alexander, autor do texto, esclarece que a maioria das organizações de AI safety permaneceu neutra e que ele próprio também é neutro.
A análise de Scott Alexander
Alexander argumenta que o risco de takeover por superinteligência via open-weights é limitado: a fronteira fechada está ~6 meses à frente dos melhores modelos abertos, e essa vantagem parece estável. Se a IA fechada for alinhada, ela terá tempo de alertar sobre ameaças vindas de modelos abertos.
O risco mais preocupante é o mau uso humano: hacking e bioterrorismo. Mas Alexander aplica um teste de "ação preemptiva vs. reação": a sociedade odeia se preparar para ameaças futuras, mas adora reagir após o primeiro incidente. Para riscos existenciais de superinteligência, esperar é inviável (o adversário esconderia suas intenções até o golpe final). Para hacking criminoso, porém, o governo reagirá rapidamente após os primeiros incidentes graves - não há cenário plausível em que a internet colapse e o governo fique parado.
Sobre bioterrorismo, Alexander observa que a mediana de mortes em incidentes não-estatais de bioterrorismo é zero, e que agentes clássicos (antraz, ricina, botulina) não escalam bem. Antes de a IA tornar bioterrorismo 1000x mais eficaz, ela o tornará 2x mais eficaz - e um ataque com duas vítimas já bastaria para o governo entrar em pânico e banir tudo.
Conclusão pragmática
Alexander propõe não gastar capital político tentando banir open-weights preemptivamente. A coalizão pró-open-weights é forte e está convencida de sua justeza; enfrentá-la seria desperdício. Melhor deixar que os atores governamentais e a sociedade civil ajam após o primeiro incidente. Enquanto isso, os defensores de open-weights merecem a chance de provar que conseguem evitar o desastre - dado o potencial benefício de uma IA que seja propriedade do usuário e não de corporações.