LLMs estão virando commodities e perdem diferencial

Modelos perdem espaço para aplicações

Com o anúncio do GPT-6, Vikram Sreekanti e Joseph E. Gonzalez retomam uma tese de 2,5 anos atrás: o modelo importa cada vez menos do que sua aplicação. Os laboratórios de fronteira estão cada vez mais focados em modelos para aplicações específicas, e a pergunta aberta em termos de 2026 é se o harness pode ser separado do motor de inteligência - a aposta dos autores é que sim.

Aceleração que dessensibiliza

Os lançamentos de LLMs aceleraram a ponto de o público se tornar insensível às novidades. Llama 3, por ser muito aguardado, ainda gera imprensa, mas avanços como o GPT-4o - um salto tecnológico genuíno - receberam relativamente pouca atenção. Em escala comparativa, o ritmo é notável: se a Lei de Moore previa dobra de poder de chips a cada 18 meses, o GPT-4o (assumindo qualidade de texto equivalente ao GPT-4 Turbo) reduziu custo e latência em 2x em apenas 6 meses, ainda que o software sempre evolua mais rápido que o hardware e que houvesse escassez de GPUs semestre antes.

Qualidade deixa de ser diferencial

Apesar da aparente liderança de OpenAI, Anthropic, Meta e Google, novos entrantes seguem captando somas altíssimas, e todos precisam se diferenciar. Ao longo do ano, Claude-3 Opus alcançou o GPT-4 Turbo em Elo, Llama 3 chegou a cerca de 4% do GPT-4 Turbo e Gemini-1.5 Pro ficou a 1,5% do GPT-4o. Para os autores, é questão de quando, não se, Claude e Llama alcançarão o estado da arte. A experiência na RunLLM confirma: a empresa migrou parte do pipeline de inferência para Llama-3 (8B e 70B), obtendo menor latência, menor custo e qualidade igual ou superior à combinação GPT-3.5 e 4, mantendo o GPT-4o só na etapa final - algo que já não é garantido.

Multimodalidade não resolve

A resposta óbvia seria a multimodalidade, destaque do GPT-4o. Mas o Gemini já demonstrou multimodalidade (ainda que inicialmente de forma duvidosa) e, com integrações no Android, expôs melhor a funcionalidade aos usuários. É provável que outros modelos sigam com técnicas semelhantes, mesmo com empacotamento diferente, o que mercantiliza ainda mais esses recursos.

Consumidores e empresas

Para consumidores, a experiência do produto fica em primeiro plano. As diferenças entre estilos de Claude e GPT são difíceis de quantificar; dados como o Elo de código inferior do Claude-3 frente ao GPT-4o mostram diferenças pequenas. O acesso ao Dall-E 3 mantém os autores no OpenAI, e a loja de GPTs, apesar das previsões, não se firmou como atrativo. Para empresas, só importa melhor qualidade ao menor preço - bom para arbitragem de custos, mas, para os provedores, competir em custo e velocidade significa corrida ao fundo: sempre haverá quem cobre menos, e quem tiver maior caixa (como no caso Uber vs. Lyft) dura mais. Técnicas como sobreprovisionamento e execução especulativa convertem dinheiro em velocidade, outra corrida cara.

Líderes fortalecidos e o fator Meta

A mercantilização coloca os provedores líderes na posição mais forte. Métricas padrão como latência e throughput são mal definidas e difíceis de medir, e a diferença restante talvez seja apenas a segurança percebida de escolher um provedor estabelecido - o que deixa os novos entrantes em posição difícil, embora os autores não afirmem que esses desafios sejam insolúveis. A aposta de Meta em pesos abertos é um fator interessante: sem Llama-3, não está claro que modelos abertos teriam o uso atual, e a estratégia sustenta sozinha o mercado de hospedagem de terceiros como Together.AI e Fireworks.AI, especialmente com o compromisso de Mistral com a abertura oscilando. O efeito de longo prazo é incerto: pode ser um caminho sem seguidores, beneficiando apenas provedores de infraestrutura, ou pode fomentar adoção que ajude provedores menores. Os autores também mencionam suspeita de captura regulatória em legislação recente da Califórnia.

Conclusão

Com tanta mercantilização e opção, a maioria ficará com o que já conhece, alimentando os tradicionais ciclos de dados e feedback dos líderes. Para todos os demais, o caminho é achar um nicho e se diferenciar por tamanho, caso de uso ou especialização: construir LLMs não genéricos não só é aceitável, mas provavelmente o movimento certo.