Modelo open source atinge 44% no ARC-AGI-1 treinado por 67 centavos

Resultado e método

Mithil Vakde, formado pelo IIT Bombay, treinou do zero um pequeno transformer que atinge 44% no ARC-AGI-1 com custo total de 67 centavos de dólar - 1,5 hora de treino em uma RTX 5090 alugada na vast.ai. O resultado empata com TRM e HRM e supera muitos LLMs que usam test time training comparável. No ARC-2, o modelo alcança 7%. O projeto é open source e é a terceira publicação de uma série; o resultado anterior da mesma linha viralizou no X e gerou discussões de pesquisadores como Lucas Beyer, Jeremy Howard e Rohan Anil.

O autor afirma que a eficiência amostral é o problema mais importante da IA hoje, e que o objetivo do trabalho é (1) encontrar os limites de eficiência amostral dentro de transformers e métodos atuais de deep learning e (2) reduzir custos para tornar a iteração mais rápida e barata. O ARC é escolhido por ter poucas amostras (cerca de 1.000 puzzles), ser um benchmark de metalearning com uma regra diferente por puzzle, exigir poucos priors, ser fácil para humanos e permanecer não saturado quando se ignora abordagens com dados sintéticos em massa.

Como funciona

Cada par entrada-saída é convertido em sequência de tokens, treinada autoregressivamente por um pequeno transformer do zero em tempo de teste, usando os puzzles de treino e os de avaliação (com rótulos de teste ocultos). Para aprendizado entre tarefas, cada puzzle recebe um embedding aditivo próprio, e as posições são codificadas com RoPE 3D. As sequências são aumentadas com permutações de cor e diédricas; na inferência, os dois resultados mais comuns entre aumentos são submetidos (AAIVR).

Principais mudanças desde a versão anterior

Os maiores ganhos de desempenho vieram de arquitetura moderna (SwiGLU no lugar de GELU, RMSNorm em vez de LayerNorm), mais diversidade e melhor embaralhamento de dados e o dobro de camadas (8 em vez de 4). As maiores reduções de custo vieram de menos aumentações, troca de AdamW por NorMuon e uso de flash attention com treino varlen e kernels flex attention.

Uma mudança central foi deixar de treinar sobre tokens de entrada: a perda passou a incluir apenas tokens de saída, tornando a abordagem supervisionada. Isso elevou o desempenho de 40% para 44%, embora o autor admita não entender por quê e levante hipótese sobre capacidade finita do modelo. Ele também acrescentou tarefas não sobrepostas do ARC-2 ao treino, com filtragem cuidadosa dos 773 puzzles repetidos no ARC-2 para evitar vazamento; sem esses dados extras, o modelo faria ~40% com cerca do dobro de computação.

Ablações e comportamento curioso

O teste de perda ficou pior com a abordagem supervisionada, mas o desempenho melhorou e a variância caiu - o autor vê aí um modo de falha para quem persegue a menor perda de validação em pequenos conjuntos. As ablações mostram que as boas representações são a maior contribuição: remover o RoPE 3D ou o embedding por tarefa derruba o desempenho para ~24%; RoPE 1D dá o mesmo patamar. Treinar também sobre as entradas rende ~39%; usar apenas ARC-1+ConceptARC dá ~40%; no estilo CompressARC, o modelo cai para ~18% (ou ~15% supervisionado).

Controvérsias respondidas

O texto rebate críticas recebidas: treinar com os puzzles de avaliação não é "treinar no teste" porque os rótulos de teste ficaram ocultos; usar as entradas de avaliação é raciocínio transdutivo, estudado desde Vapnik; a política do ARC não proíbe test time training, que é incentivado pela comunidade. Sobre custos, ele mostra o computo de ciclo de vida completo (treino do zero + inferência em todas as tarefas) e responde que comparar por tarefa segue o formato dos organizadores, embora reconheça a nuance do treino simultâneo em todas as tarefas de teste.

Críticas ao benchmark e a outras abordagens

Entre críticas válidas ao benchmark, ele propõe proibir pré-treino offline, obrigando treino do zero após a submissão - o que eliminaría dados sintéticos e tornaria o ARC um teste real de eficiência amostral. Também defende gráficos separados por tipo de modelo, já que dividir custo por tarefa não faz sentido para modelos que treinam em todas as tarefas de teste ao mesmo tempo, e scores públicos de LLMs são inúteis porque as respostas circulam na internet.

Sobre outras abordagens, ele questiona a aposta em recursão (HRM, TRM) por falta de ablações que a provem necessárias - seu modelo atinge o mesmo resultado sem recursão - e critica a divulgação de TRM e HRM como modelos de 7M de parâmetros quando há mais de 100 milhões de pesos de embedding sendo treinados, o que ele considera enganoso. Ele ainda observa que os avanços de LLMs no ARC-2 parecem vir de post-training e quantidade de dados sintéticos, com modelos base travados em dígitos únicos, sugerindo que os modelos aprendem a resolver puzzles do ARC, não raciocínio abstrato geral - embora ele se diga otimista com LLMs e reconheça que seus scores devem continuar subindo com mais computação e dados.

Conclusão

O autor admite que não esperava chegar perto de 45% só com um transformer nem a custo tão baixo. Como a união das tarefas resolvidas entre execuções chega a 55% e várias outras estão quase resolvidas, ele agora acredita que 65% é alcançável dentro da arquitetura transformer. Ele sugere contribuições open source: testar PoPE ou novos embeddings posicionais, modernizar a arquitetura, reduzir custo com código GPU artesanal (potencialmente 10x) e eliminar as aumentações sem encarecer o treino.