stamatios
← Voltar ao feed
Garagem com foguete em miniatura feito de ferramentas de bancada, metáfora do dlab rodando IA de fronteira em hardware próprio
Ciência & Espaço · Open Source

dlab mostra grupos universitários competindo com IA em hardware próprio

resumo de ~3 min

A tese: a academia está à beira de um renascimento

Tim Dettmers, professor e líder do laboratório dlab, abre o post com dois episódios: 80% de 150 alunos levantaram a mão quando ele perguntou quem teme não conseguir emprego após a formatura, e estudantes de doutorado que só querem sair da academia para entrar em labs de fronteira. Ele considera ambos erros pela mesma razão: ambos assumem que o futuro da pesquisa pertence a quem tem mais GPUs. Sua conclusão é a oposta - o trabalho mais empolgante da próxima década acontecerá em laboratórios universitários, não apesar dos recursos limitados, mas por causa deles.

O ecossistema como unidade de pesquisa

Com agentes, projetos que levavam um ano agora levam semanas ou dias. Quando todo projeto individual fica fácil, o trabalho fragmentado deixa de ser boa pesquisa: o difícil não é publicar um paper, é publicar um ecossistema coerente. Dettmers propõe que a unidade de pesquisa passou a ser o ecossistema - componentes que se potencializam mutuamente, e não apenas coexistem.

É esse o argumento da dlab Open Source Week: a partir do dia seguinte ao post, o lab lançaria dois projetos open source e quatro papers como um pacote único, cobrindo frameworks de inferência, harnesses de agentes e sistemas de pesquisa autônoma, com forte ênfase em acessibilidade - dois GPUs ou um MacBook bastam, e o requisito de expertise é tratado como problema de design.

O que o lab construiu

  • Autonomia longa: apontando o harness para um repositório de kernels CUDA, o agente otimizou as implementações Mac/Metal do framework, resultando em inferência quantizada de um Qwen 3.6 35B-A3B a 450 tokens por segundo, com 1,5 bit por peso - cerca de um décimo da memória de um modelo half-precision.
  • Modelos grandes em hardware comum: o framework roda Qwen 3.8 Flash Next (125 bilhões de parâmetros) em uma única GPU de 24 GB, e DeepSeek V4.1 (550B) em dispositivos com 128 GB de memória como AMD Strix, NVIDIA DGX Spark ou MacBook.
  • Pesquisa autônoma local: um sistema de recuperação de informação que, segundo Dettmers, supera sistemas de deep research de labs de fronteira e os sistemas da Sakana AI e do Google (ScientistOne), rodando inteiramente sem internet. Em um experimento em bioinformática, o agente encontrou problemas de pesquisa ativos e, em cerca de duas horas, estabeleceu um novo limite inferior em métodos heurísticos, desenvolveu a melhor heurística da literatura e apontou problemas nas fontes de dados de avaliação usuais - sem alcançar o estado da arte geral. O sistema é usado diariamente pelos alunos; quando ficava indisponível, eles pediam para ele voltar, avaliação que Dettmers considera a única em que confia.
  • CliffCompaction: técnica de auto-compaction mais eficiente que a de Claude Code ou Codex. Sessões chegam a milhões de tokens (algumas passaram de cem milhões), corta o custo geral em cerca de 50% e, em um parceiro corporativo, reduziu 45% do orçamento total de IA. No KernelBench, atinge o estado da arte, superando abordagens mais complexas, como métodos estilo AlphaEvolve e sistemas hierárquicos de memória.
  • Test-time scaling: a economia de 50% permite reinvestir em múltiplos rollouts pelo mesmo custo. Dettmers descreve o método como o primeiro prático a converter rollouts múltiplos em ganho significativo, embora ainda não sirva para engenharia do dia a dia.

Por que o pessimismo está errado

Dettmers atribui o medo dos alunos a três fatores: a crença de que a IA tomará os empregos, a má compreensão do que a IA faz ao trabalho e o contágio de ideias autodefeatistas. Sobre a primeira profissão esperada para cair, a demanda por engenheiros de software está maior do que nunca, pois engenheiros com bons agentes geram mais valor por dólar - embora o papel exija habilidades de agente e especialização mais profunda, e "engenheiro de software" como cargo único deixe de existir.

Ele distingue melhoria incremental de capacidade nova: uma economia que só produz melhorias incrementais tem um teto, enquanto tecnologias que entregam capacidade nova - carros autônomos, mais cedo nos EUA do que na Europa ou Ásia; robôs domésticos - liberam trabalho e criam demanda. Sobre o cliché de que IA embutida arruína produtos, ele concorda com o veredicto sobre as funcionalidades da Microsoft, mas o lê como crítica à integração, não à tecnologia - citando o ChatGPT como exemplo de experiência bem feita, cuja adoção mudou estruturalmente como as pessoas produzem e consomem conhecimento. Agitação gera demanda, demanda gera receita, receita gera contratações.

O que soltar e o que treinar

O conselho prático: soltar como se faz, não quem se é. Acadêmicos devem abandonar o paper como unidade de conquista (sem abandonar a escrita); estudantes devem inverter a ordem aprendida - atacar o problema primeiro e entender no caminho, no modelo de aprendizagem. Problemas difíceis serão mais comuns porque o que não é difícil será automatizado; a habilidade que importa é a que o doutorado ensina: persistir em um problema que não cede. Dettmers prepara um curso curto de quatro semanas na CMU e um curso completo, com planos de disponibilizar tudo no YouTube.

O renascimento

O argumento final: agentes permitem atacar problemas baratos e valiosos, um espaço vasto e incontestável, porque quem tem recursos compete em escala com milhares de GPUs. O que um lab pequeno tem é criatividade, tempo e liberdade. Dettmers conclui que umas poucas pessoas com poucas GPUs podem construir sistemas que competem com a fronteira - "o renascimento não precisa da permissão de ninguém" - e espera que, na próxima enquete, menos mãos se levantem.