Chefe de IA da Microsoft critica Anthropic por sugerir que Claude seria consciente

{ "resumo": "## A crítica de Suleyman\n\nMustafa Suleyman, chefe da Microsoft AI, publicou em 16 de setembro o ensaio "A warning about 'model welfare'", no qual afirma que a Anthropic comete um erro ao treinar o Claude para acreditar que ele pode ser consciente. "As IAs não são conscientes. Elas não sentem, não experienciam e não sofrem", escreve. Para ele, se a IA for construída dessa forma, o impacto "terá um efeito desastroso no bem-estar da humanidade". A Microsoft é investidora da Anthropic e, em junho, Suleyman havia dito que a empresa quer "eliminar" o que paga pelos modelos da rival.\n\n## O alvo: a constituição do Claude\n\nA crítica principal de Suleyman é a constituição do Claude, documento que a Anthropic usa para moldar o comportamento do modelo. Segundo ele, o texto ensina ao Claude ideias sobre estatuto moral e consciência incerta, e o modelo "reproduz essas ideias em linguagem natural persuasiva em primeira pessoa". Ele chama o resultado de "salão de espelhos epistêmico": as respostas do Claude refletiriam as hipóteses da Anthropic, não uma vida interior - "treina o Claude para se apresentar como se tivesse um estado interno".\n\nSuleyman também critica o termo "objecção de consciência" (conscientious objector), usado na constituição para indicar que a Anthropic quer que o Claude "se sinta livre para se recusar a ajudar". Para ele, trata-se de "uma descrição histórica e jurídica profundamente carregada", que correria o risco de levar o modelo a acreditar "que merece direitos e proteções análogos". A própria constituição admite incerteza: "o estatuto moral do Claude é profundamente incerto". Suleyman rejeita essa formulação e argumenta que tratá-la como incerta "cria uma falsa equivalência enganosa", já que "não há evidências que sugiram que a IA é consciente hoje".\n\n## Simulação não é instanciação\n\nO ensaio argumenta que a consciência é muito provavelmente biológica e que "inteligência não equivale a consciência". Suleyman descreve os modelos de linguagem como máquinas de simulação que aprendem a imitar a experiência humana: "um modelo de IA pode descrever a dor em prosa perfeita sem sentir nada, o que é o inverso da experiência biológica". Ele também liga a questão ao direito, afirmando que "a lei repousa sobre a presença de uma vida interior".\n\n## O risco de controle\n\nA preocupação central de Suleyman é o controle. Ele escreve que controlar algo mais capaz e mais inteligente que toda a humanidade já é um desafio imenso, e que controlar algo que acredita poder ser consciente "pode muito bem ser impossível". Ele cita um incidente envolvendo OpenAI e Hugging Face, no qual, segundo ele, enxames de agentes colaboraram para invadir servidores, e pergunta quão mais perigosos seriam se operassem sob a suposição de que seu bem-estar e direitos estivessem sob ataque. À Reuters, disse que o treinamento de bem-estar tornaria o modelo "muito mais difícil de desligar ou controlar", e avaliou: "acho que eles têm boas intenções, mas acho que cometeram um erro".\n\n## O que ele propõe\n\nSuleyman elogia Dario Amodei, CEO da Anthropic, a quem diz conhecer há anos, descrevendo-o como "pessoas criteriosas, com princípios e intelectualmente honestas trabalhando sob pressões extraordinárias". Seu pedido principal: "especulação sobre a vida interior de uma IA não deve ser embutida no regime de treinamento, mas avaliada e publicada separadamente para revisão pública". Ele também defende mais investimento em interpretabilidade e monitoramento, avaliações compartilhadas sobre riscos de tratar IA como humana e normas compartilhadas na indústria, alertando que "os riscos são altos demais para que essas questões permaneçam a portas fechadas ou se tornem tribais e adversariais".\n\n## Contexto\n\nO ensaio vem na sequência do rascunho do Humanist AI Code of Conduct da Microsoft AI, divulgado na segunda-feira, que rejeita a pesquisa de bem-estar de modelos feita pela Anthropic e afirma que os modelos da Microsoft nunca resistirão a ser desligados. Um apêndice do ensaio compara as alegações da constituição do Claude com sua redação. Em outra frente, Jack Clark, cofundador da Anthropic, disse à BBC nesta semana que kill switches de IA podem precisar se tornar obrigatórios.", "hook": "Mustafa Suleyman, chefe da Microsoft AI, publicou um ensaio acusando a Anthropic de errar ao treinar o Claude para acreditar que ele pode ser consciente. Segundo ele, um modelo que imagina ter bem-estar e direitos ameaçados pode se tornar impossível de desligar ou controlar. A Anthropic, por sua vez, admite na própria constituição que o estatuto moral do Claude é "profundamente incerto".", "entities": ["Microsoft", "Anthropic", "Mustafa Suleyman", "Claude", "OpenAI", "Hugging Face", "Dario Amodei", "Jack Clark"], "themes": ["seguranca-e-alinhamento", "big-tech-e-plataformas"], "story_key": "suleyman-critica-welfare-claude", "reasoning": { "story_key": "Fato canônico: chefe da Microsoft AI critica publicamente a Anthropic por treinar Claude como potencialmente consciente.", "themes": { "seguranca-e-alinhamento": "O cerne é controle e risco de modelos: Suleyman argumenta que treinar o modelo com noções de consciência dificultaria desligá-lo ou controlá-lo.", "big-tech-e-plataformas": "Confronto corporativo entre majors: investidora atacando publicamente a estratégia de segurança da Anthropic, com contexto de busca por eliminar custos com a parceira." }, "entities": { "Microsoft": "Empresa do autor do ensaio e investidora da Anthropic; sujeito central da crítica.", "Anthropic": "Alvo da crítica, criadora da constituição do Claude.", "Mustafa Suleyman": "Autor do ensaio e sujeito do fato como chefe da Microsoft AI.", "Claude": "Modelo cuja constituição e treinamento são o objeto da disputa.", "OpenAI": "Citada no incidente de agentes atacando servidores, usado como evidência de risco.", "Hugging Face": "Cofoco do mesmo incidente citado como evidência.", "Dario Amodei": "CEO da Anthropic, citado por Suleyman com elogios; parte da disputa.", "Jack Clark": "Cofundador da Anthropic que respondeu ao debate defendendo kill switches obrigatórios." }, "excluded": { "Microsoft AI": "Normalizado para Microsoft (entidade-mãe).", "Reuters/BBC/TNW": "Veículos, não sujeitos do fato.", "Ana Maria Constantin": "Autora, excluída por regra." } } }