Modelos de código aberto enfrentam futuro incerto diante de altos custos

A diferença entre pesos abertos e código aberto

A comparação entre modelos abertos e o Linux é útil, mas limitada. Um modelo de linguagem realmente de código aberto inclui receita completa de treinamento, dados e código; já os modelos de pesos abertos normalmente oferecem apenas os pesos e o código de inferência, funcionando mais como versões específicas de um software usadas em projetos. Os pesos podem perder relevância rapidamente, embora modelos muito utilizados, como Llama 3, continuem sustentando fluxos de trabalho por anos.

A receita aberta permite que empresas e comunidades modifiquem o processo e produzam novos pesos. Em alguns casos, melhorias nos dados ou no código de treinamento também podem voltar para a comunidade. É nesse sentido que a Nvidia investe em modelos quase abertos, como a família Nemotron: a empresa libera todos os dados que pode legalmente, além do código de treinamento. Seu objetivo seria estimular muitas pessoas a construir “máquinas de tokens”, evitando a concentração da inteligência e, ao mesmo tempo, ampliando a demanda por seus chips de inferência.

O problema econômico

Construir os melhores modelos exige muito capital, e a capacidade de treinar modelos competitivos pode se tornar menos acessível. A Nvidia estaria gastando US$ 26 bilhões nessa iniciativa, segundo relatos, mas ainda não está claro se o retorno compensará o investimento. O texto apresenta poucos sinais de que muitas empresas estejam abandonando o treinamento; Databricks e 01.ai são citadas como possíveis exceções.

A sustentabilidade do ecossistema aberto dependeria cada vez mais do financiamento da Nvidia. Nos próximos anos, os lucros dessa estratégia precisariam retornar à empresa, ou outra companhia de modelos abertos teria de criar um ciclo financeiro semelhante ao de uma plataforma. Esse retorno deveria acompanhar, por décadas, os lucros gerados pelas APIs da Anthropic e da OpenAI. Isso poderia ocorrer por maior desempenho dos modelos abertos ou por uma expansão tão grande do mercado de IA que treinamento, inferência e ajuste fino gerassem demanda suficiente.

Duas trajetórias possíveis

Se essa dinâmica financeira funcionar, a Nvidia poderá criar mais demanda por seus chips e lucros superiores ao custo de desenvolver os modelos. Caso contrário, os modelos abertos provavelmente seguirão uma trajetória diferente dos sistemas fechados líderes, concentrando-se em eficiência, possibilidade de modificação e especialização. Essa é apresentada como a possibilidade mais provável: modelos abertos continuariam úteis, mas atenderiam sobretudo a um ecossistema de cauda longa, com agentes específicos para empresas, executados localmente e usando dados privados em tarefas repetitivas. Os modelos fechados manteriam posições dominantes em áreas mais valiosas, como colaboração no trabalho intelectual, descoberta de medicamentos e desenvolvimento de software.

O treinamento também está ficando mais complexo e menos transparente. O ecossistema atual é impulsionado pelo ajuste fino de modelos existentes para tarefas agentivas específicas, mas o treinamento de um modelo geral capaz de raciocinar como agente estaria se tornando tão opaco quanto o pré-treinamento em escala se tornou alguns anos atrás. A divisão tradicional entre pré-treinamento, treinamento intermediário e pós-treinamento pode dar lugar a uma separação entre pré-treinamento, treinamento de raciocínio e pós-treinamento.

Com menos interesse em treinar modelos completos, diminuiria também o incentivo para investir em IA de código aberto. A queda no número de empresas que lançam modelos-base e os testes com licenças de participação na receita são tentativas de manter viável o financiamento de modelos de pesos abertos próximos da fronteira. Ainda assim, o texto ressalta que haverá muita atividade nesse segmento. A Meta, por exemplo, pode usar pesos abertos para tornar tokens mais abundantes e pressionar concorrentes que dependem da venda de acesso a modelos; a Nvidia, por sua vez, quer criar um ecossistema capaz de se sustentar ensinando mais participantes a produzir tokens.