Ganhos de pretraining vêm mais de dados que de arquitetura

O que foi medido

Um estudo de Dwarkesh Patel e Jerry Han investiga de onde vieram os ganhos de pré-treinamento entre 2019 e 2025: de melhorias em dados ou em modelos. Para isso, combina receitas de modelo representativas de cada ano com corpus de dados representativos de cada ano e treina modelos do zero em diferentes orçamentos de computação, chegando a 1e19 FLOPs. Como os dados de treino variam, os autores não comparam perda de entropia cruzada em um conjunto fixo; avaliam capacidade final pelo OLMES, uma bateria que agrega 10 benchmarks relativamente fáceis, majoritariamente de múltipla escolha. Eles reconhecem que medir capacidade final adiciona ruído e tentam obter limites mais limpos rodando múltiplas sementes.

Resultado principal

No orçamento de 1e19 FLOPs, os ganhos de eficiência computacional vieram 3,24 vezes mais de melhorias em dados do que de melhorias em modelos: 12,0x para dados e 3,7x para modelos. Na grade avaliada a 3,16e18 FLOPs, os ganhos de dados e de modelo são em grande parte independentes e não interagem: 88% da variância no OLMES pode ser explicada por efeitos aditivos de modelo e dados, segundo uma regressão linear.

Os autores também calculam ganhos ano a ano: 1,24x no lado do modelo, 1,51x no lado dos dados e 1,57x no ganho conjunto. Esse valor é bem menor do que a estimativa média de 3x por ano de Anson Ho et al. Entre as razões apontadas estão ganhos que podem depender de escala, melhorias ligadas a contextos mais longos, otimizações de eficiência de inferência que não aparecem como multiplicador de computação de treino, melhorias de tokenizador, a escolha de receitas e corpus representativos em vez de exaustivos, e o uso do OLMES em vez de uma métrica de perplexidade.

Como interpretar

A leitura ingênua do resultado seria que quase todo o progresso da era de pré-treinamento foi engenharia de dados, tornando o trabalho de modelo menos importante. Os autores argumentam que essa interpretação provavelmente está errada. A principal contribuição das melhorias de modelo não teria sido obter a mesma performance com menos FLOPs, mas tornar utilizáveis quantidades maiores de computação. À medida que parâmetros, janelas de contexto, duração de treino e clusters crescem, gradientes explodem ou somem, memória e banda acabam, e o treino fica inviavelmente lento. Boa parte da pesquisa de modelo teria consistido em remover ou empurrar esses limites, incluindo MoEs, variantes de atenção esparsa, inovações de estabilidade como colocação de normalização e inicializações, além de otimizações de sistema e kernel como FlashAttention.

Os ganhos de dados investigados podem importar menos para modelos maiores. Modelos pequenos, como os treinados no estudo, se beneficiam bastante da qualidade dos dados porque têm pouca capacidade e exigem cuidado com o que recebem. Modelos grandes teriam capacidade excedente suficiente para absorver mais dados, mesmo que em média de qualidade inferior, e o gradiente descendente estocástico separaria sinal de ruído. Filtragem agressiva obrigaria dezenas de épocas, o que, empiricamente, dá desempenho pior do que um conjunto maior e de qualidade média mais baixa. A curadoria agressiva seria ainda mais prejudicial porque modelos de fronteira são treinados até 100x além do ótimo de Chinchilla, para minimizar computação de inferência em RL e em implantação. A analogia usada é a de um veleiro e um navio porta-contêineres: o porta-contêineres não necessariamente é mais rápido, mas carrega milhares de toneladas e não é derrubado por águas agitadas.

Limites e próximos passos

Se o progresso do pré-treinamento é em grande parte carregar mais carga nesse navio, surge a pergunta sobre o muro de dados. Dados sintéticos são amplamente usados pelos laboratórios, mas o estudo não investigou se eles expandem um corpus sem prejudicar o desempenho. Se os ganhos forem limitados, o principal motor do pré-treinamento pode estagnar, porque não se gera mais internet e há limite para curar um conjunto fixo de dados. Os autores afirmam não ter razão ativa para pensar que isso vá acontecer, mas consideram a questão crucial. Ryan Greenblatt observou que muitas melhorias históricas em corpus de pré-treinamento parecem o tipo de progresso que pesquisadores automatizados poderiam testar empiricamente, de modo que é compatível com os resultados que o avanço em dados se acelere caso a P&D em IA seja automatizada. Os autores ressaltam que a velocidade ou desaceleração do pré-treinamento isoladamente não é a questão mais importante para o progresso geral da IA, já que grande parte dos ganhos dos últimos dois anos veio de RL. Entre as pesquisas futuras sugeridas estão repetir o experimento em escalas maiores, medir o valor marginal de dados novos de alta qualidade, comparar dados sintéticos com treinar várias épocas no mesmo corpus pequeno e estimar o valor implícito dos dados pelos gastos dos laboratórios com intermediários e produtores de ambientes. O apêndice detalha a metodologia, incluindo a convenção de computação C = 6ND, tokenizador compartilhado, contexto 2048 e ajuste de hiperparâmetros, além de anomalias como NeoX pior que GPT-2 em 1e19, possivelmente ruído, e The Pile pior que OpenWebText, atribuído à diversidade pouco transferível para o OLMES.