LittleLearner: modelo 5B que só sabe o que um aluno da 5ª série sabe

Proposta e método

LittleLearner é uma família de modelos de linguagem criada para estudar como a exposição a dados de treinamento delimita o que um modelo aprende. Em vez de treinar os modelos em uma mistura ampla de conteúdos, os pesquisadores construíram o LittleCurriculum, um corpus de 88 bilhões de tokens filtrado a partir do FineWeb-Edu por meio de um processo de cinco etapas alinhado aos padrões Common Core do ensino fundamental dos Estados Unidos, do jardim de infância ao 5º ano. Conceitos, fatos e vocabulário ensinados depois desse nível foram explicitamente excluídos.

Foram treinados do zero modelos LittleLearner de 0,6 bilhão, 1,3 bilhão e 5 bilhões de parâmetros. Cada um tem um controle Unfiltered correspondente, treinado com a mesma arquitetura, quantidade de tokens e receita, mas com corpus não filtrado. A comparação pretende separar capacidades realmente adquiridas durante o pré-treinamento de comportamentos apenas extraídos ou estimulados por prompts.

O que os experimentos indicam

A conclusão central é que escala, pós-treinamento e aprendizagem em contexto ampliam principalmente as capacidades já ensinadas pelo currículo, sem melhorar de forma significativa o desempenho em tarefas fora dele. Isso sugere que o filtro do pré-treinamento estabelece um teto efetivo de capacidade, embora os resultados sejam descritos no âmbito dos experimentos realizados.

Aumentar o tamanho do modelo melhora seu desempenho em conteúdos do nível K–5 e produz uma extensão modesta para problemas que seguem a mesma trajetória de aprendizagem. O ganho é pequeno, porém, em problemas que exigem capacidades mais avançadas e externas à exposição controlada.

O pós-treinamento com GRPO aumenta significativamente as capacidades dentro do currículo K–5, mas não recupera capacidades além desse nível. Isso permanece válido mesmo quando são usados dados fora do escopo durante o próprio pós-treinamento. Os modelos especializados em matemática podem apresentar uma tendência a gerar respostas orientadas para matemática, conforme a descrição dos pesquisadores.

Nos testes apresentados, a aprendizagem em contexto, com os prompts avaliados, também não desbloqueia novas capacidades de raciocínio além do K–5 no LittleLearner de 5 bilhões de parâmetros. Em conjunto, os achados favorecem a interpretação de que essas intervenções amplificam o que foi adquirido, em vez de criar ou revelar de maneira ampla conhecimentos ausentes do treinamento.

Possibilidades de pesquisa

A fronteira de conhecimento controlada é apresentada como um ambiente para testar se o aprendizado por reforço pode criar capacidades a partir de um modelo cuja base foi restrita ao K–5. Outra possibilidade é introduzir conceitos específicos, como números negativos, para medir eficiência amostral, retenção e interferência, além de observar se o modelo responde, se abstém ou alucina perto do limite de exposição.

O projeto também permite comparar modelos e crianças em tarefas educacionais, investigando, por exemplo, se ambos precisam de exposição semelhante para aprender frações ou cometem erros parecidos em problemas matemáticos. A proposta geral é transformar a fronteira conhecida do modelo em uma variável experimental controlável para estudar aquisição, raciocínio e aprendizagem contínua.