Empresas migram inferência para modelos abertos mais baratos
Após relatar em maio que empresas queriam cortar gastos com IA, o Pragmatic Engineer afirma que, alguns meses depois, várias companhias conseguiram reduzir custos migrando parte da inferência para modelos de pesos abertos mais baratos. A publicação combina relatos de fontes, dados de empresas e entrevistas compiladas por terceiros para mostrar como otimizações de modelo, roteamento e contexto mudaram a conta.
Uber
Uber estourou seu orçamento anual de IA nos primeiros três meses do ano. Em maio, seu COO disse que estava ficando mais difícil justificar gastos com ferramentas como Claude Code sem ver benefícios dos modelos líderes. As equipes de engenharia então trabalharam em otimização: a empresa cortou o custo por requisição de IA em 34% e o custo por sessão em 52%. Uber continua usando mais tokens e iniciando mais sessões, mas o custo ficou estável desde março, segundo a publicação. A estratégia incluiu rodar modelos de pesos abertos em serviços de inferência, que são significativamente mais baratos que modelos de fronteira; selecionar modelos com benchmarks de capacidades atuais; refazer benchmarks semanalmente com base em trabalho real; usar modelos mais baratos em subagentes; adotar esforço médio como padrão; compactar automaticamente acima de 400 mil tokens, mesmo em modelos com janela de 1 milhão; e cachear prompts no harness próprio Minions. Uber publicou um post de engenharia com dezenas de otimizações para reduzir custo de tokens sem mudança perceptível na qualidade do código gerado por agentes. Para o autor, o maior ganho isolado parece ter sido o uso de modelos abertos em certas tarefas: eles custam de 2 a 20 vezes menos que modelos de fronteira. O modelo aberto mais caro custa US$ 0,30 por revisão de código, contra US$ 0,50 do modelo de fronteira mais barato e US$ 2,50 do mais caro.
Na teleconferência de resultados do mês passado, o CEO William Ready disse que a abordagem de implantação da Pinterest inclui modelos compactos próprios para casos específicos e modelos abertos pós-treinados em seu ambiente seguro, dentro da infraestrutura de nuvem. Com modelos abertos, como no Pinterest Assistant, a empresa afirma ver desempenho superior para seus casos em comparação com modelos fechados de terceiros, porque pode pós-treinar em dados únicos. Com isso, o custo por transação fica abaixo de 8% do custo de modelos fechados proprietários comparáveis, o que representa mais de 90% de economia - o que antes custava US$ 100 agora custa US$ 8, segundo a publicação. A executiva diz que isso dá espaço para aprofundar e estender capacidades de forma diferenciada, eficaz e barata.
AT&T
A AT&T, com 100 mil funcionários, cortou sua conta de IA em 56% ao migrar cargas para modelos abertos, segundo The Information, com uma queda de 2% na qualidade do resultado. Austin disse que modelos de código aberto são “tão bons ou melhores” que modelos mais antigos vendidos por companhias como Anthropic e OpenAI. Desenvolvedores da AT&T ainda usam modelos de ponta para tarefas complexas, como geração de código, mas podem usar modelos abertos mais baratos para tarefas menos intensas, como resumir código já enviado. Depois que a empresa passou a usar o provedor de roteamento LiteLLM, os custos de algumas tarefas avançadas de IA, como coding, caíram até 56%, com queda de apenas 2% na qualidade, segundo Austin.
Anthropic e roteamento
Poucos meses antes, a Anthropic era a preferida (Claude) e seu harness (Claude Code) entre engenheiros. Agora, os modelos da Anthropic estão ficando muito mais caros, enquanto modelos de pesos abertos e também os da OpenAI estão ficando mais baratos. O Opus 5 é 100 vezes mais caro que modelos como GPT-5.6 Luna xhigh e DeepSeek, segundo dados citados. Para o autor, isso pode ser demais para algumas empresas de tecnologia ignorarem, e não seria surpresa ver mais companhias rodando provedores de pesos abertos em serviços de inferência pelas economias disponíveis em modelos de capacidade semelhante.
O que funcionou
O time de engenharia da Databricks entrevistou engenheiros da Stripe, Coinbase, Uber e Ramp e compilou abordagens que ajudaram a economizar. A conclusão é que usar modelos abertos é a abordagem de maior economia, seguida por roteamento inteligente de modelos. Controles de gasto e otimização de contexto também reduzem custos, mas, segundo o texto, não chegam perto dos dois primeiros. Uma semana depois da publicação do artigo, Ara Krahzian, da Ramp, confirmou que o gasto com IA em agosto caiu 10% nas empresas do topo 1%, com base em dados da Ramp. O autor aposta que essas empresas não estão gastando menos tokens, e sim otimizando custo das maneiras descritas.