Modelos viram commodities e precisam sair do modelo em si

Modelos perdem diferencial

Os autores, Vikram Sreekanti e Joseph E. Gonzalez, argumentam que os LLMs estão virando commodities: o modelo em si importa cada vez menos do que sua aplicação. Com o anúncio do GPT-6, eles retomam uma tese de 2,5 anos antes - se a aplicação importa mais que tudo, a questão aberta é se o harness pode ser separado do motor de inteligência. A aposta deles é que sim.

O ritmo dos lançamentos acelerou ao ponto de o público se tornar insensível às novidades. GPT-4o, que seria um salto técnico enorme, recebeu relativamente pouca atenção pelos avanços de modelagem. Os autores comparam: enquanto a Lei de Moore previa dobra de potência dos chips a cada 18 meses, o GPT-4o - assumindo qualidade de texto equivalente ao GPT-4 Turbo - reduziu custo e latência em 2x em apenas 6 meses, mesmo com escassez de GPUs pouco antes.

Qualidade converge, pressão por diferenciação

Apesar da aparente liderança de OpenAI, Anthropic, Meta e Google, novos entrantes seguem levantando somas altas, e todos precisam se diferenciar. A qualidade do modelo já não é um diferencial claro: no ano corrente, o Claude-3 Opus alcançou o GPT-4 Turbo em Elo, o Llama 3 chegou a cerca de 4% do GPT-4 Turbo, e o Gemini-1.5 Pro ficou a 1,5% do GPT-4o. Pelo ritmo, seria questão de tempo - não de possibilidade - até Claude e Llama alcançarem o estado da arte.

Os autores citam a experiência própria na RunLLM: migraram partes do pipeline de inferência de produção para Llama-3 (8B e 70B), obtendo menor latência, menor custo e qualidade igual ou superior à combinação de GPT-3.5 e GPT-4 usada antes. O GPT-4o ainda é usado na etapa final, mas isso não é mais garantido.

Multimodalidade não resolve

A resposta óbvia seria a multimodalidade, destaque do GPT-4o. Mas o Gemini já havia demonstrado recursos multimodais (ainda que de forma inicialmente questionável) e, com integrações no Android, expôs a funcionalidade melhor que a OpenAI. Outros modelos provavelmente seguirão caminhos semelhantes, mesmo com embalagens diferentes, o que commodificaria essas features.

Para consumidores, a experiência de produto fica em primeiro plano. É difícil quantificar diferenças substantivas entre modelos - dados apontam diferenças específicas, como o Elo de código inferior do Claude-3 frente ao GPT-4o, mas são pequenas. O que manteve os autores na OpenAI, além do hábito, foi o acesso ao Dall-E 3, caso de uso modesto. A GPTs store da OpenAI não se estabeleceu como esperavam e dificilmente é um grande atrativo.

Guerra de custos e vanta­gem dos líderes

Para empresas, o único argumento que importa é a melhor qualidade pelo menor preço - a commoditização abre espaço para arbitragem de custos. Para os provedores, porém, competir por custo e velocidade cria uma corrida para o fundo do poço: sempre haverá quem cobre menos, e quem tiver maior caixa (como Uber vs. Lyft) dura mais. Técnicas como over-provisioning e execução especulativa ou atrasada convertem dinheiro em velocidade - outra corrida cara.

Métricas padrão como latência e throughput são mal definidas e difíceis de medir. Se tudo é igual, restaria como diferencial a segurança percebida de escolher um provedor estabelecido - o que enfraquece os novos entrantes. Os autores não afirmam que esses desafios são insolúveis, mas admitem que a posição dos provedores não é invejável. Eles supõem que todos os provedores podem melhorar no mesmo ritmo, e mencionam que a recente legislação da Califórnia cheira a regulatory capture.

O papel dos pesos abertos

A estratégia de pesos abertos da Meta é um fator interessante: o Llama-3 aparentemente sustenta sozinho o mercado de hospedagem por terceiros (como Together.AI e Fireworks.AI). Sem ele, não está claro que modelos abertos teriam o uso atual, especialmente com o compromisso da Mistral com a abertura oscilando. Os efeitos de longo prazo são incertos: Meta parece ter pouca intenção de ser provedora de modelos, o que pode tornar a estratégia um distração que só beneficia provedores de infraestrutura - ou pode fomentar adoção de ecossistema que ajude provedores menores.

Conclusão

A commoditização e o excesso de opções levam a maioria a ficar com o que já conhece, fortalecendo os líderes (OpenAI, Anthropic, Google e Meta) e os argumentos clássicos de flywheels de dados e feedback. Para todos os demais, o caminho é achar um nicho e se diferenciar dos padrões - por tamanho, caso de uso ou especialidade. Construir LLMs não de propósito geral não é apenas aceitável: provavelmente é o movimento certo.