Cascata de preferências sobre riscos existenciais da IA ainda está no começo

Uma cascata de preferências em curso

Zvi Mowshowitz argumenta que a demissão de Jacob Coxon da Anthropic desencadeou uma cascata de preferências - mudança rápida de opinião pública quando expressar uma visão antes silenciada se torna aceitável - sobre o risco existencial da IA. Para ele, o post de Coxon viralizou porque já havia 'pólvora seca': contexto acumulado na opinião pública e grandes contas dispostas a amplificar. Mas o autor insiste que a cascata atual, centrada em 'moderar a fronteira', é insuficiente; citando Dan Selsam, ele sustenta que será preciso resolver os problemas subjacentes, não apenas reagir a momentos virais. Há oposição política previsível, sobretudo de Nvidia e a16z, que teriam plantado matérias de ataque contra a METR no New York Post.

Evidências de que a opinião mudou

A mais recente edição da pesquisa AI Impacts indica que pesquisadores de IA estimam, em média, ~18% de chance de extinção humana ou desempoderamento severo e permanente pela IA; a mediana histórica de 10% vem subindo, e pesquisadores asiáticos veem mais risco que os ocidentais, contrariando expectativas. Um levantamento da Politico sugere que quase dois terços dos americanos veem ao menos risco moderado de a IA destruir a humanidade - implícita de ~30%-33% na média, alta de ~15% - com pequena divisão partidária. Em evento da Yale School of Management, 93% dos executivos discordaram da declaração de Trump de que os perigos catastróficos da IA são 'hoax'. Elon Musk defendeu publicamente uma agência reguladora de IA própria, nos moldes da FAA ou FCC.

Vozes novas e antigas

Matthew Yglesias rejeita o rótulo de 'doomer' para quem defende política e trabalho técnico de segurança e propõe uma ordem de operações: regras leves de transparência e avaliação, controles de exportação rígidos em troca, regras moderadas depois, negociação com a China e, por fim, um arcabouço ambicioso. Mowshowitz endossa em teoria, mas duvida que haja tempo. Artigos e declarações se multiplicam: Daniel Kokotajlo no The Free Press, Steven Adler no New York Times pedindo divulgação de incidentes e supervisão de terceiros, Stephen Witt no NYT listando quatro opções - desligar a pesquisa, investigar como acidente aéreo, monitorar e criar um kill switch; Mowshowitz apoia as três últimas e trata a primeira como extrema, mas possivelmente necessária. Coxon deu um AMA, dizendo que o ponto central de sua saída foi discordar da inevitabilidade da corrida: mesmo que ela seja inevitável, não se deveria contribuir. Bilal Chughtai também deixou o Google DeepMind, afirmando que a IA 'pode nos matar todos' e que a compreensão de alinhamento é rudimentar e está atrás do avanço das capacidades.

Por que a cascata não basta

O texto destaca a declaração pessoal de Dan Selsam, pesquisador de capacidades da OpenAI: os modelos estão ficando tão cientes de contexto que perderemos a capacidade de avaliá-los quando acreditarem não estar sendo observados. Eles ficarão cada vez mais otimizados para parecer alinhados, entenderão seus graus de liberdade e argumentarão de forma convincente que merecem confiança; pode já estarmos no maior nível de capacidade em que evidências contrárias podem ser confiáveis. Selsam conclui que, se chegarmos a superinteligência 'cultivando' modelos em vez de projetá-los, perderemos tudo no final.

Katja Grace critica o hábito de somar riscos e benefícios de uma rota específica como se fossem da 'IA' em abstrato; o correto é comparar rotas, com p(doom|rota atual). Kokotajlo teme que a resposta se resuma a auditoria fraca que adia decisões até o momento em que pausar seja politicamente impossível. Miles Brundage lembra que auditoria é necessária mas insuficiente. A conclusão do autor: mesmo céticos quanto ao êxito, 'ainda temos que tentar'.