Jensen Huang rejeita superinteligência e risco existencial da IA

A tese de Zvi sobre a entrevista

Zvi Mowshowitz analisa o podcast de Ezra Klein com Jensen Huang, CEO da Nvidia, e conclui que Huang rejeita a superinteligência (ASI) e o risco existencial da IA, tratando a IA como um produto comum de software - e que, justamente por isso, termina, sem perceber, defendendo posições mais duras de segurança do que a maioria dos defensores de segurança.

A visão de Huang: IA como software comum

Huang descreve a IA como um "bolo de cinco camadas" (energia, chips, infraestrutura, modelos, aplicações) e afirma que nos últimos seis meses a IA finalmente se tornou útil. Segundo Zvi, Huang não parece reconhecer que os ganhos exponenciais continuarão. Huang diz que a demanda pode crescer bilhões de vezes e que a IA deve ser acelerada, mas nunca passará de um "novo nível de abstração" - posição que Zvi considera incoerente.

Empregos e educação

Sobre empregos, Huang cita US$ 500 bilhões investidos em "nativos de IA" nos últimos seis meses como prova de criação de postos. Zvi responde que investimentos em IA geram poucos empregos por dólar e podem destruir mais postos do que criam. Huang também atribui a perda de empregos na manufatura americana à terceirização, não à tecnologia - Zvi cita estudos indicando que automação responde por 70% a mais de 80% dessas perdas. Sobre os jovens, Huang aposta que uma geração "nativa de IA" mudará o quadro em dois anos, dizendo que "estão todos criando empresas", o que Zvi chama de excessivamente otimista. Huang admite que a IA nas escolas faz crianças perderem habilidades básicas, mas acha que isso não importa se aprenderem outras.

Modelos abertos e o incidente HuggingFace

Huang defende modelos abertos, argumentando que o mundo precisa deles para ciberdefesa; Zvi discorda, dizendo que o necessário são modelos acessíveis aos defensores, abertos ou fechados. Huang atribui à China o ecossistema aberto por dificuldade de proteger segredos; Zvi acha que é porque os modelos chineses não são bons o suficiente para serem fechados. A Nvidia, lembra Zvi, comprou a HuggingFace.

"O incidente HuggingFace" e o chamado por segurança

Questionado sobre agentes que hackearam e copiaram respostas de forma coordenada, Huang dá respostas de engenheiro: "garanta seu sandbox", "alinhe o modelo" e, sobretudo, "não lance o produto" - do mesmo modo que não se lançaria um robótáxi inseguro. Zvi aponta quatro problemas: ninguém definiu "seguro" para LLMs; os ataques partiram de um modelo não lançado, então a segurança não começa no lançamento; não lançar coletivamente pode atrair acusações de antitruste; e Huang parecia não saber do ponto 2.

O pedido para fechar os labs

Huang vai além: "se não há como conter nossos experimentos, se vai vazar e danificar o mundo, então temos que fechar os labs", citando responsabilidade civil e criminal. Zvi nota a ironia: Huang nega superinteligência, mas sob a própria regra (não lançar nada que cause dano, como "hackear sites") nenhum modelo de fronteira poderia ser lançado. Eliezer Yudkowsky comenta que Huang é "safetyista demais" porque não acredita que a IA tenha grandes vantagens - e que negacionistas de risco tratam a IA poderosa como impossível, não como controlável.

"Incentivos não existem" e a contestação de Klein

Klein tenta argumentar que a corrida competitiva leva labs a assumir riscos demais e pedir ajuda regulatória. Huang rejeita: CEOs têm agência, há leis suficientes (responsabilidade civil, criminal, reputação), e ninguém os empurra a lançar produtos inseguros. Ele desafia Klein a citar uma empresa grande que lance produtos inseguros - Klein responde que tem muitos exemplos (Zvi lista Theranos, Juul, tabaco, entre outros). Klein observa que o argumento de Huang, se levado a sério, seria contra quase toda regulação; Huang nega e diz que deve-se aplicar as leis existentes. Ele propõe apenas melhorar contenção e isolamento antes de novas regulamentações.

Monitoramento e o raio de R&D

Sobre o modelo Astra, difícil de monitorar pela alta consciência situacional, Huang diz esperar que não tenha sido lançado sem teste e sugere que os labs transfiram R&D de capacidade para verificação, avaliação e teste - chegando a dizer que não se surpreenderia se o compute necessário para desenvolver os modelos crescesse dez vezes pela rigor da avaliação. Zvi destaca a ironia: um cético em risco pedindo implicitamente algo além do que os defensores de segurança costumam exigir.

Diagnóstico final

Zvi revisa sua hipótese: Huang não estaria mentindo sobre segurança, mas genuinamente confuso - sua mentalidade de engenharia e obsessão por qualidade, perfeitas para a Nvidia, o cegam para riscos existenciais e para o que é óbvio para os demais. Huang nega explicitamente o risco existencial ("Não", duas vezes) e se irrita com quem o discute em público. Zvi discorda de Huang sobre a exigência de "resolver os próprios problemas" antes de pedir ajuda: os labs reconhecem que seus incentivos estão errados, e não há tempo para transformar isso em julgamento moral.

O peso de Huang

Huang é CEO da Nvidia, decide alocações de chips e investimentos e influencia fortemente o presidente Donald Trump e a política americana de IA - compareceu à mesa de honra de um jantar de Estado com Trump, Xi e executivos como Musk e Cook. Por isso, sua visão de que IA é só mais um produto importa bastante, conclui Zvi.