Marca d'água SynthID do Google resiste, mas não resolve desinformação

SynthID resiste a edições, mas não resolve o problema da desinformação por IA

O Google anunciou que suas ferramentas já foram usadas para gerar mais de 100 bilhões de imagens e vídeos com IA, e expandiu parcerias para adoção da marca d'água invisível SynthID por empresas como OpenAI, Runway e Nvidia. A tecnologia codifica informações nos pixels de imagens/vídeos ou na forma de onda de áudio, e o Google afirma que ela sobrevive a compressões, redimensionamentos e filtros.

O teste de estresse

Ryan Whitwam, da Ars Technica, simulou centenas de ciclos de compressão e redimensionamento usando a biblioteca Python Pillow. Após 300 gerações de degradação simulada, o SynthID permaneceu detectável tanto em imagens totalmente geradas por IA quanto em fotos editadas por IA. Porém, um recorte de 20% após 300 ciclos de compressão foi suficiente para tornar a marca indetectável. Um recorte de 50% quebra o SynthID por volta de 250 iterações.

Limitações práticas

Apesar da robustez técnica, há problemas significativos:

• Acesso restrito: não há API pública nem página web para verificar SynthID. É preciso perguntar ao Gemini, com limite de aproximadamente 10 verificações por dia.
• Fragmentação: o detector do Google não reconhece a marca d'água da OpenAI, e vice-versa. Cada empresa usa a tecnologia subjacente, mas com marcas diferentes.
• Vulnerabilidade a ataques adversariais: o próprio paper original admite que SynthID não foi projetado para resistir a ataques deliberados. Algumas pessoas já alegaram ter conseguido burlá-lo, embora o Google diga não ter conseguido replicar.

O problema fundamental

Mesmo que SynthID fosse perfeito, sempre existirão modelos abertos que geram conteúdo sem qualquer rotulagem. Adam Rose, do Starling Lab (Stanford/USC), destaca que o maior problema não são as imagens dos grandes players, mas sim pessoas rodando modelos locais sem nenhuma marca d'água.

Além disso, à medida que a rotulagem se torna comum, conteúdo sem marca d'água pode ser erroneamente assumido como autêntico - um risco perigoso.

A alternativa: verificar o que é real, não o que é falso

O artigo sugere que pode ser mais eficaz focar em provar a autenticidade de conteúdo real do que tentar identificar conteúdo sintético. A tecnologia C2PA (metadados criptográficos de procedência) é uma candidata: selos à prova de adulteração que provam como e quando um arquivo foi capturado. Os smartphones Pixel do Google são os únicos dispositivos mainstream com integração profunda de C2PA atualmente.

O conceito de "dividendo do mentiroso" - quando alguém confrontado com evidências alega que são manipuladas - tende a se intensificar com a proliferação de conteúdo sintético. O futuro pode exigir tratar qualquer conteúdo sem procedência verificável como suspeito por padrão.