Dados crus da internet não são o melhor caminho para AGI

Progresso algorítmico como motor do avanço em IA

O autor do MBI Deep Dives reúne duas fontes - uma conversa entre Dwarkesh Patel e Ryan Greenblatt, cientista-chefe da Redwood Research, e uma palestra de Shuchao Bi, que cofundou o YouTube Shorts no Google, liderou pós-treinamento multimodal na OpenAI e hoje trabalha no Meta Superintelligence Labs - para questionar a ideia de que dados brutos da internet constituem o principal motor do progresso rumo a sistemas mais capazes.

Greenblatt propõe um experimento mental: se o compute fosse mantido constante, quanto o modelo ainda melhoraria? A diferença seria o "progresso algorítmico". Ele estima que, treinando hoje um modelo com o compute do GPT-3, o resultado seria provavelmente um pouco melhor que o GPT-4, o que indicaria que avanços em algoritmos e curadoria de dados explicam grande parte da melhoria recente.

Dados crus não são a melhor distribuição

Bi argumenta que dados brutos da internet são "improváveis de ser a melhor distribuição de dados" e que o ganho incremental nas leis de escala pode vir de mudar as distribuições - ou, em suas palavras, "equalizar inteligência por token". O autor do artigo interpreta que Greenblatt e Bi convergem para o mesmo argumento com vocabulário diferente.

Curadoria supera dados de especialistas humanos

Greenblatt sustenta que a maior parte das melhorias em pré-treinamento vem de entender melhor quais conjuntos de dados são bons e do trabalho de filtragem, não de dados produzidos por especialistas humanos. A transição de OpenWebText para FineWeb seria melhor descrita como melhoria algorítmica, estudável com GPUs, sem necessidade de dados humanos especializados. Ele reconhece que a internet de 2026 pode ser mais fértil que a de 2018, mas considera esse efeito menor que o da curadoria aprimorada.

ML como domínio "raso" e automação da pesquisa

Greenblatt classifica machine learning como um domínio "raso" comparado à matemática, argumentando que os conceitos mais profundos de ML (como leis de escala) são explicáveis rapidamente, ao contrário das abstrações profundas da matemática. Isso tornaria a automação da pesquisa em ML mais viável. Ele observa que mesmo avanços aparentemente grandes, como RL sobre chain of thought, poderiam ter sido obtidos mais cedo com execução cuidadosa.

Bi complementa que aprendizado por interação com o ambiente é eficiente onde existe simulador perfeito (código, matemática) e fundamentalmente bloqueado onde a simulação é impossível ou o gap sim-to-real é grande demais (biologia, física experimental).

Eficiência humana e ineficiência dos modelos atuais

Gavin Baker mencionou que a eficiência computacional do cérebro humano (15-20 watts) sugere que humanos permanecerão economicamente úteis mesmo em cenários de takeoff rápido. Bi destaca essa mesma eficiência e aposta que o maior desperdício está em como os modelos aprendem - se alguém corrigir isso, o custo de um dado nível de inteligência poderia cair ordens de magnitude. O autor ressalva que não está em posição de saber se isso é corrigível nem quando poderia acontecer.

Incerteza do autor

O autor conclui que, quanto mais estuda o cenário de IA, mais certo fica de que deve manter todas as opiniões sobre o tema com leveza, dada a velocidade com que as coisas podem mudar. Investidores tentam precificar o cenário com base na trajetória de curto prazo, mas apostar a favor ou contra esse trade carrega risco monumental em ambas as direções.