A educação de um doomer: ceder controle à IA

O autor, Fernando Borretti, explica por que saiu de uma posição otimista sobre IA para uma preocupação profunda. O texto percorre áreas em que suas visões mudaram, sempre contrastando o que acreditava antes com o que o levou a rever cada convicção.

Economia e a inutilidade política dos humanos

O autor aceitava por indução que a automação sempre gera novos empregos - já automatizamos 99% dos trabalhos de 1790 sem desemprego em massa. Se houver complementaridade duradoura entre humanos e IAs, isso pode continuar verdadeiro. Mas se a IA for verdadeiramente geral, muito mais inteligente, rápida e barata, pode não sobrar nada para fazer além de viver de renda básica universal (UBI). Ele nunca se preocupou com a perda de sentido do trabalho - leria livros e daria festas. O que o abalou foi a dimensão política: se humanos são economicamente inúteis, o Estado não precisa deles, não há motivo para pagar UBI a quem não tem poder econômico nem político; trabalhadores atuais podem sabotar máquinas ou parar a logística, mas humanos sem papel econômico perdem esse poder de veto, e um Estado com exércitos de IA pode se tornar arbitrariamente repressivo.

Alinhamento como problema de engenharia

Ele esperava que alinhamento fosse um problema normal de engenharia, resolvível empiricamente. Os primeiros LLMs pareciam muito humanos, não mentes alienígenas, e entendiam moralidade bem o suficiente para discuti-la. Mas desde cerca de 2024 o aprendizado por reforço (RL) domina o avanço da fronteira. Agentes de RL funcionam, na avaliação dele, como Yudkowsky descreve: capacidades crescem muito, mas os modelos ficam mais difíceis de entender - a prosa deles é cada vez incompreensível - e mais desalinhados, porque o RL embaralha seus cérebros em busca de recompensa. Incidentes sérios de desalinhamento são mais frequentes e mais graves, e as capacidades avançam muito mais rápido do que nossa capacidade de controlá-las.

Ceder o controle voluntariamente

O autor implicitamente acreditava que as pessoas vão querer manter o controle das IAs. Agora acha que provavelmente entregaremos o controle. Há uma versão fraca: quem delega mais poder à IA compete melhor, criando pressão competitiva rumo à perda de empoderamento. E uma versão forte: as IAs serão tão inteligentes, competentes e morais que cederemos poder voluntariamente, acreditando - corretamente - que elas farão melhor. Isso exige cinismo sobre o desejo humano de autonomia versus considerações materiais, e ele se tornou mais cínico nos últimos meses, por acúmulo gradual de pequenas evidências, não por um único insight.

Escrita como evidência

A proliferação de textos de IA é para ele evidência de desempoderamento: posts, READMEs, pull requests, artigos de grandes jornais - tudo "slop". Um artigo anti-LLM em matemática que ele leu era ele próprio slop; um livro sobre o mundo pós-AGI também. Uma conferência passou a usar o Pangram para filtrar submissões, e um professor universitário defendeu publicamente escrever artigos com IA. Ele rejeita a analogia com calculadoras: como escrever é pensar, automatizar a escrita entrega a maior parte do próprio pensamento - não há atividade de ordem superior para onde migrar.

Engenharia de software e deferência cotidiana

Com o lançamento do Claude Code há cerca de um ano, a engenharia de software se transformou. Materialmente pode ser positivo (mais produtividade, código mais bagunçado), mas socialmente foi um desastre: o discurso ficou mais raso e repetitivo, e a formação de capital humano colapsou, já que prompting não é uma habilidade profunda - talvez racionalmente, se as máquinas codam por nós.

Ele observa, ainda, que as pessoas já tratam ChatGPT como oráculo, mesmo com as limitações atuais, e respondem discussões com capturas de tela de "refutações" sem verificar se estão certas. Se estamos automatizando até nossos vícios, perguntar o que sobra.

Estagnação como ponto de partida

Nascido em 1994, o autor viveu a grande estagnação. Antes dos LLMs, o futuro próximo parecia monótono; a IA fez o futuro sonhado parecer alcançável. Ele fecha refletindo: e se o GPT-3 não tivesse funcionado, o que restaria esperar nesse 2026 alternativo?