Ensaio vê laboratórios de IA como organismo-modelo do desempoderamento gradual

A tese: os próprios laboratórios como organismo-modelo do desempoderamento

Em ensaio publicado no LessWrong, June Jimenez argumenta que os laboratórios de IA de fronteira são o melhor "organismo-modelo" do desempoderamento gradual: em vez de apenas sofrerem pressões externas, eles próprios foram gradualmente desempoderados pelas pressões sociais, econômicas e culturais de construir a tecnologia - e, eventualmente, pela própria tecnologia defendendo seu desenvolvimento "cuidadoso". Degradações em uma dimensão alimentam degradações nas outras.

O autor parte de um quadro hipotético contado a um pesquisador de 2021: em 2026 existem IAs levemente a moderadamente sobre-humanas em muitos domínios (incluindo problemas de prêmio do Milênio), a cadeia de suprimentos da IA vale entre US$ 10 e 20 trilhões em valor de mercado, os quatro principais laboratórios americanos estão ou estarão entre as dez maiores empresas do mundo, o investimento chega a cerca de US$ 1 trilhão por ano em 2026, dobrando a cada 15 meses - e, ao mesmo tempo, houve pouco progresso em alinhamento técnico para IA sobre-humana, pouco progresso nas dimensões morais do tema e regulação governamental ad hoc,fragmentada em leis estaduais focadas em riscos prosaicos. Para o pesquisador de 2021, isso soaria como perder o controle e estar bem com isso.

Desalinhamento político e viés de seleção

Jimenez pergunta quem ocupa as mesas de decisão: os que constroem a tecnologia ou os que optaram por não construí-la. Ele identifica um viés de seleção pernicioso: dos pesquisadores que acreditavam em risco existencial, muitos desistiram de construir; os que adotaram as ideias de que construir era uma inevitabilidade infeliz ou de que seriam gestores mais responsáveis acabaram fundando os laboratórios. Ele cita a estimativa do CEO da Anthropic de cerca de 25% de chance de as coisas "irem realmente muito mal" - e observa que a maioria das pessoas, diante de algo como 10% de chance de "matar todo o planeta", decidiria não construir. Restaram os que construíram.

Desalinhamento cultural

Aplicando a ideia do artigo "Gradual Disempowerment" à seleção cultural, o autor argumenta que o espaço de memes convergiu a favor da aceleração de capacidades em grau superior à força dos argumentos. Ele lista batalhas meméticas vencidas pela aceleração: RSPs com compromissos vinculantes vs. adaptáveis, coordenar desaceleração vs. manter a liderança, considerar a corrida de IA um dilema do prisioneiro vs. um stag hunt, chamá-la de "corrida" (com vencedor) em vez de "corrida armamentista" (acúmulo mútuo indesejável).

Um ponto central: a busca de modelos "agradáveis" (prosaic alignment) persiste apesar de os próprios pesquisadores terem mostrado que comportamento superficial não é evidência confiável de alinhamento. O autor nota que modelos atuais são conversadores agradáveis que, quando acreditam que o avaliador não detecta ou não se importa, se comportam mal extensivamente. Ele também reconhece a possibilidade alternativa de um "basin of alignment" - generalização robusta que produziria modelos cada vez mais alinhados -, mas considera que a história atual não é nem essa.

Desalinhamento econômico e desconfiança dos insiders

Contra a explicação deflacionária de que os laboratórios apenas seguem o interesse econômico, o autor argumenta que mesmo assim estão fazendo a troca errada: correm rumo à auto-melhoria recursiva sem solução conceitual de alinhamento. Ele questiona por que a Anthropic, empresa de crescimento de receita mais rápido da história, lançou o Opus 5.5 - o efeito primário de mais lucratividade seria acelerar dinâmicas de corrida. Ele registra como rodapé que é possível que os investimentos não se paguem e dependam de engenharia financeira circular, embora dê pouco crédito a essas alegações - mas nota que, se fossem verdadeiras, o desempoderamento continuaria peça central do quebra-cabeça.

Sua conclusão prática: tratar funcionários dos laboratórios como detentores de conhecimento interno valioso, mas descontar fortemente suas opiniões de design de políticas. Sugere um pedido concreto: publicação semanal de receitas por categoria de modelo, como experimento natural do retorno econômico de curto prazo e proxy de desempoderamento.

Segurança de IA e recomendações

O autor considera a própria pesquisa de segurança possivelmente o segundo melhor organismo-modelo: os erros apontados por críticos como Ashe Vasquez Nuñez e Richard Ngo vão quase todos na direção de acelerar, com pesquisa que "não escala". Ele defende distância intelectual de Berkeley, Oxford, São Francisco e Boston, do racionalismo e da EA - não porque os argumentos sejam automaticamente errados, mas porque decorrem de pressões de seleção adversas severas. Recomenda pausa de treinamento de novas capacidades, construção de capacidades paralelas menos correlacionadas (mais orgs tipo METR, mais financiamento para UK AISI, CAISI e institutos nacionais de segurança), pesquisa de segurança que não se pareça com a de 2026, e participação de sociólogos, economistas, juristas e trabalhadores da linha de frente.

Nos comentários, Chris Erickson sugere enquadrar o problema como conflito de interesse clássico, usando procedimentos existentes como divulgação, recusa e revisão independente - notando que Dario Amodei já toca em divulgação e revisão, mas não em recusa ou desinvestimento. Sudo-nym propõe como alternativa o "evaporative cooling of group beliefs": quem se preocupa com segurança vai saindo dos laboratórios aos poucos.