Modelos locais não vão vencer, argumenta análise
Sean Goodbeck argumenta que modelos de IA locais não vão dominar a inferência, mesmo com o avanço dos modelos open-weight. Segundo ele, a maioria do uso continuará ocorrendo em datacenters.
Modelos locais são fracos demais
O autor afirma que os modelos de fronteira atuais são grandes demais para rodar fora de clusters de GPUs em datacenters. Modelos menores evoluem, mas as expectativas dos usuários também sobem: quando há escolha, a preferência revelada é pelo modelo mais forte disponível dentro do preço. Ele cita que, mesmo que um laptop passe a rodar algo comparável a um modelo atual, esse nível logo será visto como insuficiente.
Custo e eficiência favorecem datacenters
Goodbeck contesta a ideia de que inferência local é barata. O custo inicial de um home lab já pagaria anos de assinaturas de IA, e a energia pode custar de US$ 50 a US$ 300 por mês, dependendo do uso.
Para ele, datacenters são mais baratos por dois motivos principais:
- Batching: GPUs podem processar inferências de centenas de usuários simultaneamente com custo marginal muito menor, enquanto usuários domésticos não têm volume suficiente para aproveitar essa eficiência.
- Hardware mais eficiente: GPUs de datacenter, como a B200, entregam muito mais desempenho e banda de memória por watt do que GPUs de consumo, como a RTX 4090. O autor estima que rodar localmente pode usar algo como ~30x mais recursos do que em datacenter.
Cenários em que modelos locais poderiam vencer
Ele admite hipóteses improváveis: proibição governamental de datacenters de IA, estagnação do progresso em modelos grandes enquanto modelos pequenos avançam, ou modelos pequenos se tornando bons o suficiente para quase tudo. Ainda assim, considera esses cenários pouco prováveis.
Modelos locais não são inúteis
O autor reconhece que haverá nichos. Modelos locais podem ser úteis para aplicações sensíveis à latência, como voz, atuando como camadas rápidas que delegam tarefas difíceis a modelos maiores em datacenters. Também podem atrair quem valoriza controle total da infraestrutura, capacidade de ajustar o modelo localmente ou tem internet instável. Mesmo assim, ele conclui que esse público continuará sendo minoria.