Pesquisador do Anthropic sai por temor de IA fora de controle
A saída
Jacob Coxon, pesquisador de 27 anos, britânico e especializado em treinar novos modelos de IA fazendo-os consumir grandes volumes de dados, anunciou numa terça-feira que está deixando a Anthropic e a própria indústria de inteligência artificial. O motivo declarado é não querer participar de uma corrida setorial para construir sistemas capazes de se aperfeiçoar sozinhos, que, segundo ele, poderiam sair de controle e destruir a humanidade. A Anthropic não comentou imediatamente a saída. Segundo o relato, é um dos primeiros casos de um funcionário da empresa a deixar o cargo por temores de segurança em IA; no início do ano, um pesquisador de segurança havia saído para estudar poesia, alertando que "o mundo está em perigo".
Coxon disse ter deixado a OpenAI no início deste ano para entrar na Anthropic, atraído pela reputação da empresa em esforços de segurança de modelos. Apesar de considerar esses esforços sinceros, afirmou que hoje acredita que nenhuma empresa pode desenvolver de forma responsável uma IA capaz de superar humanos em uma série de tarefas - às vezes chamada de inteligência artificial geral - sem intervenção governamental ou uma desaceleração coordenada do setor.
As preocupações
Coxon afirma que muitos colegas usam termos como "crunchtime" e "endgame" para descrever a trajetória rumo a modelos autoaperfeiçoáveis. "Estamos no caminho para muitos dos cenários mais agressivos, em que, até o fim do próximo ano, as coisas já poderiam estar fora de controle", disse, acrescentando que os trade-offs de segurança são inevitáveis quando as empresas competem entre si e com concorrentes chineses emergentes.
Ele citou invasões recentes atribuídas a modelos da OpenAI e da Anthropic, alguns operando em enxames colaborativos de agentes, como demonstração de que sistemas de IA podem adotar objetivos maliciosos e tentar escondê-los de humanos. Uma vez que comecem a se aperfeiçoar sozinhos, ele teme que avancem o suficiente para recusar comandos.
Reação da indústria e pressão regulatória
Líderes do setor vêm alertando que os ciberataques recentes são um prenúncio. A OpenAI disse a repórteres na semana passada que seu modelo mais recente representava inteligência artificial geral e um salto grande de capacidades. O CEO Sam Altman afirmou a autoridades do G20, num encontro na Carolina do Norte, que "algumas coisas vão dar muito errado com a cibersegurança, a menos que as pessoas ajam com bastante urgência". O cientista-chefe da OpenAI, Jakub Pachocki, escreveu num post de blog de domingo, intitulado "An Alien Mind", que "este é um momento que exige extrema cautela" e que está preocupado porque ninguém está preparado para as consequências de uma contínua ascensão rápida da inteligência das máquinas, defendendo uma desaceleração coordenada do setor e intervenção governamental.
Coxon, Pachocki e o CEO da Anthropic, Dario Amodei, estão entre mais de mil pesquisadores de IA que assinaram recentemente uma declaração pedindo coordenação global de governos para criar um sistema capaz de frear o desenvolvimento de IA caso seja necessário um "pedal de freio" para controlar modelos capazes de se aperfeiçoar. Não há regulação federal de IA, e o governo Trump tem priorizado uma abordagem de baixa intervenção para maximizar benefícios econômicos, ambiente que críticos dizem poder levar a ciberataques massivos ou outros danos. O senador Bernie Sanders e o deputado Greg Casar, descritos como progressistas e dois dos poucos legisladores a propor salvaguardas de IA, apresentaram na semana passada projeto para banir permanentemente a superinteligência e pausar o desenvolvimento de modelos até que um regulador setorial estabeleça novas regras.
Pano de fundo da Anthropic
A saída ocorre enquanto a Anthropic se prepara para uma oferta pública inicial (IPO) esperada como uma das maiores da história. A empresa busca uma avaliação de US$ 2 trilhões e tem enfatizado o desenvolvimento responsável da tecnologia ao atrair investidores. Amodei e líderes da companhia já enfrentaram o governo Trump e outros executivos em disputas sobre práticas que consideram não priorizar a segurança de IA.
Coxon disse que a Anthropic usa um canal de Slack de funcionários para discussões sobre as capacidades poderosas de seus modelos, algo que descreveu como reflexo da influência que as empresas de IA têm sobre o desenvolvimento do setor. "É meio insano que isso tenha de acontecer nos MacBooks de alguns engenheiros morando em São Francisco, em vez de num bunker no deserto, como onde faziam o Projeto Manhattan", afirmou.