ByteDance treina modelo de IA de 10 trilhões de parâmetros

A ByteDance está treinando um modelo de inteligência artificial com escala estimada em 10 trilhões de parâmetros, segundo três fontes ouvidas pelo Financial Times. O modelo ainda está na fase de pré-treinamento, que costuma durar de três a seis meses; depois disso, passará por fine-tuning antes de ser lançado. A escala final ainda não foi definida.

Para contextualizar: o Kimi K3, da Moonshot AI, é atualmente o maior modelo chinês já lançado, com cerca de 3 trilhões de parâmetros - ou seja, o modelo da ByteDance seria aproximadamente três vezes maior. Do lado americano, estimativas da indústria apontam que o Mythos 5, da Anthropic, tem cerca de 8 trilhões de parâmetros, e o Fable 5, em torno de 5 trilhões. A Anthropic não divulga oficialmente os números de seus modelos.

O artigo ressalta que a quantidade de parâmetros define a capacidade base ou o "teto de memória" de um modelo, mas o desempenho real depende também de fatores como qualidade dos dados e metodologia de treinamento.