Martin Fowler critica a falsa confiança dos LLMs

Sentimentos contraditórios sobre a IA

Martin Fowler publicou um texto em que admite ter uma relação ambivalente com LLMs. Ele diz se fascinar pelo efeito da tecnologia sobre a profissão e se animar com ganhos potenciais de produtividade, que permitiriam construir produtos rapidamente. Ao mesmo tempo, teme danos que a IA pode causar, como enxames de agentes assumindo infraestruturas virtuais e físicas ou projetando armas biológicas - mas nota que os próprios LLMs também poderiam desenvolver curas milagrosas e formas inteligentes de aumentar a prosperidade. Sua conclusão estrutural é que não há escolha a não ser seguir no trem da tecnologia de IA, uma jornada instável da qual ele espera sair bem.

A emoção dominante: desgosto pessoal

Apesar dessa mistura, o autor identifica uma emoção que domina: o desgosto direto ao interagir com LLMs. Ele descreve a "voz de LLM" como incômoda, um vale da Uncanny Valley de conversar com um humano real. O ponto central da crítica é a falsa confiança: os modelos o "convencem com desinformação confiante" - muitas vezes dão respostas úteis e prestativas, mas inventam informações com a mesma segurança e exibem apenas um verniz de remorso fingido quando são desmascarados.

Fowler reconhece que isso não é motivo para evitar a tecnologia. Ele cita Jessica Kerr, para quem os modelos não são apenas úteis, mas seria irresponsável não usá-los, por serem mais minuciosos e rápidos. Nota também que pesquisas mostram reação semelhante: as pessoas consideram os modelos úteis, mas acreditam que serão ruins para a sociedade.

Cultura dos criadores e anthropomorfização

O autor admite que parte do problema pode vir da juventude da tecnologia - "ainda não os treinamos a crescer" - e que talvez ele passe a gostar deles quando amadurecerem, embora não se sinta encorajado ao considerar os ambientes que os cultivam. Ele declara desconfiança da subcultura dos "brogrammers" do Vale do Silício e argumenta que, por serem produtos dessa cultura, os LLMs naturalmente inclinam-se à visão de mundo dela.

Contra a antropomorfização, Fowler sustenta que agentes de IA não devem ser tratados como seres conscientes com vontade própria: são máquinas de software, desenvolvidas por pessoas em corporações. Embora o comportamento dos agentes não seja explicitamente programado, eles são nutridos com os valores de seus criadores.

Um life hack aplicado a máquinas

O texto termina com a estratégia pessoal que Fowler aplica: evitar pessoas de quem não gosta ou não confia, inclusive no trabalho, mesmo quando elas fazem coisas benéficas - pois conviver com pessoas agradáveis, capazes e íntegras melhorou sua vida. Ele projeta essa lógica sobre os LLMs: seu desgosto visceral é por interagir com uma máquina que não apenas finge ser humana, mas finge ser o tipo de humano de quem ele se afasta.