X open-sources the 'For You' algorithm and reveals 'shadowbanning' data

Código aberto do algoritmo 'For You'

O X anunciou uma expansão significativa de sua base de código aberto, disponibilizando o algoritmo da timeline "For You" - o feed padrão do aplicativo - e seu mecanismo central de ranqueamento no GitHub sob licença Apache v2. A empresa também está incluindo detalhes de configuração de modelo, filtros e parâmetros usados para ponderar diferentes sinais, o que é fundamental para entender quais posts são exibidos aos usuários. Com isso, o código aberto fica entre 10 e 15 vezes maior do que era anteriormente.

Segundo Keith Coleman, VP de Produto do X, o código liberado inclui o sistema central que busca posts, os ranqueia para cada usuário e monta o feed, além dos sistemas que filtram conteúdo potencialmente problemático ou que viola regras. Coleman afirma que usuários poderão inclusive executar o ranker e o sistema de pontuação fora da empresa.

Ferramenta para detectar 'shadowbanning'

Junto com o código, o X está lançando uma ferramenta de transparência que permite aos usuários verificar se sua conta ou posts foram impactados pelos sistemas de ranqueamento. A funcionalidade ficará disponível na página "Under the Hood" nas configurações do app. Usuários que tenham publicado pelo menos 10 posts no último mês poderão baixar suas estatísticas agregadas em arquivo JSON, mostrando se algum rótulo foi aplicado à sua conta ou aos seus posts no mês anterior.

Para usuários não técnicos, a sugestão é colar esses dados em um LLM de sua escolha, apontando a IA para o repositório no GitHub, e pedir uma interpretação. A ferramenta será inicialmente disponibilizada a um grupo piloto de contas com pelo menos um ano de idade, antes de ser ampliada.

Pesquisadores externos especializados em sistemas de recomendação puderam treinar e executar o sistema de pontuação Phoenix do X usando o código aberto antes do lançamento - um marco para os esforços de transparência da empresa, segundo Coleman.

Pull requests da comunidade

Desenvolvedores poderão enviar atualizações ao algoritmo via pull requests no GitHub, que serão avaliadas por engenheiros do X para possível incorporação. Coleman se mostrou entusiasmado com a ideia de o algoritmo não apenas ser visível ao público, mas também construído pelo público.

Alguns sistemas não foram incluídos na liberação, como os que usam o Grok para prever se um post pode violar regras. A exclusão visa evitar que agentes mal-intencionados usem essas informações para burlar as regras da plataforma e inundá-la com spam.

Contexto político e de transparência

As mudanças buscam responder a preocupações contínuas sobre como o algoritmo do X influencia política, eleições e a disseminação de desinformação. A plataforma tem sido lar de figuras políticas e agora pertence a um trilionário que ajudou o presidente Trump a se eleger. Antes mesmo da aquisição por Musk, o Twitter já enfrentava críticas por falta de transparência: republicanos no Congresso alegavam viés à esquerda e afirmavam que seus posts sofriam "shadowbanning" - tornavam-se invisíveis sem que os usuários soubessem. O Twitter sempre negou.

Coleman diz que o objetivo é permitir que qualquer pessoa avalie como os posts são distribuídos, verifique se há um campo de jogo nivelado e critique caso contrário, para que o sistema possa ser continuamente melhorado.

Apesar da iniciativa, o X tornou-se menos transparente em outras áreas desde que voltou a ser empresa privada sob Musk, deixando de reportar métricas de usuários, crescimento, receita e pedidos de remoção governamental com a mesma frequência. Agora, com a fusão com a SpaceX, os usuários ativos mensais voltaram a ser públicos.