IA ainda escreve blogs ruins: o problema do AI slop

O problema do AI slop sob a ótica da teoria da informação

Will Mitchell argumenta que LLMs são fundamentalmente ruins para escrever posts de blog por uma razão estrutural: eles são otimizados para prever o token mais provável, o que é o oposto exato de gerar surpresa - e surpresa é o que carrega informação em um texto.

Surpresa como medida de informação

Na teoria da informação, o conteúdo informacional de uma mensagem é medido pela sua "surpresa": quão inesperado é o resultado dado o que você já previa. Completar "The quick brown fox jumps over the lazy..." com "dog" adiciona quase zero informação. Completar com "lizard" é surpreendente. O autor usa o exemplo de um comunicado corporativo: se o título é "An Update on Our Team" e o corpo começa com "After careful consideration, we've made the difficult decision...", o leitor já sabe que são demissões - as palavras não carregam informação nova. Mas se a frase termina com "...to raise each employee's salary by 20%", aí sim há informação real.

Por que LLMs falham como autores

LLMs amostram os tokens mais prováveis de sua distribuição. Aumentar a temperatura pode gerar outputs menos previsíveis, mas essa surpresa vem do gerador aleatório, não da ideia do autor - resulta em alucinações ou detalhes inventados que conflitam com a mensagem original. Reescrever uma frase "como um pirata" é apenas um movimento lateral: a mesma informação espalhada em mais palavras, sem ganho real.

O resultado é que uma ideia que valeria X bits, quando "espalhada" por um LLM em 750 palavras em vez de 100, não fica mais compelling - fica achatada em previsibilidade. É daí que vem o comentário clássico do Hacker News: "I'd rather read the prompt!"

Surpresa e memorabilidade

O autor conecta o conceito ao livro Made to Stick, que argumenta que ideias são mais memoráveis quando violam uma previsão que nem sabíamos que estávamos fazendo. Mnemônicos viscerais e estranhos (como os do Sketchy ou KanjiDamage) são mais fáceis de memorizar justamente por serem inesperados.

Onde LLMs realmente ajudam

Quando a informação já está espalhada em um contexto verboso, LLMs brilham ao consolidá-la em forma concisa e estruturada. Não adicionam informação nova, mas a tornam mais consumível. Funcionam melhor para pesquisa, feedback e edição - não para geração do zero.

Conclusão prática

Escreva mesmo que mal. Use LLMs para pesquisa e refinamento, não para gerar o texto inteiro. As imperfeições da escrita humana são o que tornam o texto interessante, inesperado e surpreendente - e é isso que faz a leitura valer a pena.