Extensão Chrome detecta texto gerado por IA no navegador

Detecção de texto de IA é nicho mal atendido

O autor parte da observação de que a detecção automática de texto gerado por IA é um nicho com pouca concorrência: o Pangram é praticamente a única opção de qualidade, embora funcione bem. Ele prevê que, em poucos anos, todas as grandes redes sociais devem escanear publicações e comentários em busca de conteúdo de IA, para rotulá-los ou removê-los. O problema, para ele, é que depender do Pangram exige ação manual - ele quer algo que rode em segundo plano e escaneie automaticamente o texto dos sites visitados. Construir sobre o Pangram custaria dinheiro, e enviar todo texto que o navegador vê a um serviço de terceiros parece indesejável.

Modelos locais: resultados dos testes

Os modelos de código aberto de detecção de texto são, segundo o autor, apenas razoáveis. O Pangram alega taxa de detecção de 99,66% com 0,004% de falso positivo. Em benchmarks próprios com pequenos modelos locais, sobre conjuntos de dados de detecção de IA, os melhores resultados foram: EditLens RoBERTa-large (variante comunitária INT8) capturou 56,06% do texto envolvendo IA com 2,484% de falsos positivos; Gradient MLX 4-bit capturou 52,35% com 2,712%. Outros modelos testados, como Vanguard, Desklib, DistilBERT, Qwen3-0.6B, ModernBERT e TMR/Oxidane, ficaram entre 19,35% e 45,04% de captura. O autor não testou o EditLens 3B do próprio Pangram por ser grande demais para rodar em segundo plano, e estima que o modelo de produção do Pangram seja uma ou duas ordens de magnitude maior. Ainda assim, ele considera os modelos locais úteis para quem conhece suas limitações: para sinalizar um artigo escrito por IA, basta captar trechos suficientes para levantar suspeita, e sabendo que o falso positivo fica em torno de 2%, um único sinal não deve ser tratado como prova.

Deckard, a extensão

Com esses resultados, o autor construiu, por meio de vibecoding, o Deckard: uma extensão Chrome que conversa com um modelo rodando localmente no Mac. Ele destaca que não precisou iniciar um servidor web - a extensão inicia o modelo conforme necessário e se comunica via native messaging. O uso de memória fica entre 400 MB e 1,2 GB enquanto ativo, e o modelo se desliga após cinco minutos sem uso. Em testes, a extensão marcou corretamente textos que ele sabia serem gerados por IA, como o resumo por IA do YouTube e trechos de IA em seus próprios posts. Ele relata que mantém a extensão sempre ativa sem perceber aquecimento ou queda de bateria no MacBook Pro, ainda que resultados possam variar em outras máquinas.

Avaliação e apostas de longo prazo

Sobre a qualidade, o autor diz que depende do critério: é bom o suficiente para que ele pretenda usá-lo e o recomenda a quem se interesse por verificação automática, mas é muito inferior ao Pangram e ao que espera dessa categoria nos próximos anos. Ele retoma um artigo de novembro de 2023 em que previu que agentes de IA seriam um grande negócio e recomendou investir cedo em harnesses, argumento que se confirmou, e aplica a mesma lógica aqui: modelos de detecção só vão melhorar, Pangram não será o único jogador para sempre, e ele espera trocar o modelo local do Deckard por algo 2x ou 10x melhor. Ele reconhece a ressalva de que modelos de IA também ficam mais parecidos com humanos, mas acredita que a detecção melhorará mesmo assim: os laboratórios não são incentivados a derrotar ferramentas como o Pangram (se algo, o contrário), e ele não vê como escapar do estilo de escrita distinto que os modelos adquirem por RL. Ele nota que o Substack já oferece algo semelhante, embora exija clicar num botão para escanear o post.