Detector Pangram pega texto de LLM mesmo após edições pesadas

O episódio com David Sacks

Depois que David Sacks publicou um tweet, usuários perguntaram ao Pangram se o texto era de IA - e o detector respondeu que era totalmente gerado por IA. Sacks rebateu afirmando que esses detectores são bogus. O autor observa que o Pangram tem uma taxa baixa de falsos positivos, mas quem usa LLM como assistente de escrita provavelmente já viu posts próprios marcados como 100% IA.

Como o Pangram funciona

O Pangram é um modelo treinado que classifica trechos de texto como definitivamente humano, definitivamente de IA ou uma mistura dos dois. Segundo o artigo, a empresa fabrica seus próprios dados de treinamento a partir de coleções de texto humano conhecido: um LLM é encarregado de entender o texto e escrever um novo sobre o mesmo tema, além de realizar edições parciais no texto humano original, o que permite captar detalhes de textos coautorados. O Pangram alega taxas de 0,0041% de acusações falsas de IA e 0,34% de texto de IA não detectado.

O experimento

O autor usou um LLM para propor a estrutura de um prompt e depois usou o Opus 5 para gerar um tweet de oito parágrafos imitando o estilo de David Sacks, sobre o tema "pacing the frontier" a partir do post de Dario Amodei e da resposta de Sam Altman. O texto gerado lê-se como totalmente gerado por IA - e o Pangram concordou, marcando-o como 100% IA. Até aí, nada de surpreendente.

A reescrita humana

O ponto central do artigo: o autor reescreveu manualmente o texto gerado, parágrafo por parágrafo, mantendo a estrutura geral e as ideias, mas sem usar LLM para escrever - apenas um LLM para corrigir erros de digitação no final, o que segundo a experiência dele não afeta o detector. Verificadores de similaridade indicaram cerca de 50% de semelhança entre os textos, e nenhuma frase é idêntica. Mesmo assim, o Pangram classificou a reescrita 100% humana também como "100% slop" (IA).

Conclusões do autor

O autor relata ter notado que, quando se depende de um LLM para dar estrutura ao texto, ele pontua mal no Pangram mesmo após muitas edições - e é improvável que um texto que começou como "slop" se torne estruturalmente indetectável. Ele afirma valorizar a existência do Pangram porque o tornou mais consciente dos efeitos de usar LLMs para escrever posts; o próprio blog é "suportado por IA" há cerca de dois anos, e ele percebeu que ficou mais dependente das ferramentas e que elas se tornaram editoras muito mais agressivas, o que o fez hesitar. Ele conclui questionando: muita gente achará uma classificação "100% IA" enganosa quando o autor fez muita edição - mas talvez seja justo que o texto apareça como totalmente IA?