Modelos pequenos e baratos chegam à idade adulta

A queda do custo muda a viabilidade

O autor relata que passou algumas semanas testando o GPT-5.6 Luna e o considera muito capaz, rápido e inteligente. Segundo sua experiência, o modelo chega regularmente a cerca de 100 tokens por segundo e consegue percorrer sua base de código, seus e-mails e sua base de conhecimento. O principal diferencial, porém, seria o custo: mesmo em pesquisas relativamente complexas, incluindo buscas em milhares de e-mails, a despesa de API ficou na casa de dezenas de centavos. O texto também cita o GLM 5.3 como uma nova opção na fronteira entre custo e desempenho.

Essa evolução pode alterar a economia de produtos de consumo baseados em IA. Antes da IA, o modelo comum para grandes aplicativos de consumo era criar um site atraente e barato de operar, atrair usuários, captar investimento, escalar e depois montar um mercado de publicidade. A inferência de IA muda essa lógica porque cada solicitação gera um custo variável relevante, aumentando muito o capital necessário para atender a uma grande base de usuários.

O autor usa como exemplo a ideia de um site diário de notícias personalizado: o sistema pesquisaria a internet para descobrir quais notícias interessam a uma pessoa e produziria um microsite com as principais histórias do dia. Com modelos da geração anterior, da classe Sonnet, cada execução custaria aproximadamente US$ 1, o que tornaria difícil sustentar um aplicativo de consumo cobrando US$ 30 por mês. O autor ressalva que haveria otimizações possíveis, mas afirma que uma assinatura próxima à de veículos como The Wall Street Journal ou The Economist exigiria valor comparável. Com o Luna, os resultados seriam “bastante decentes” e o custo médio teria caído para cerca de US$ 0,10, tornando o modelo de negócio mais plausível.

Dois tipos de trabalho nas empresas

A tese também é aplicada ao ambiente empresarial. Em conversa com Peter, cofundador da Segment e executivo envolvido na Charm Industrial e na Revoy, o autor identifica dois tipos de trabalho: o trabalho de “QI 180”, que resolve problemas profundos com soluções inesperadas, e o trabalho de “expelir tokens”, baseado em alta responsividade e no avanço simultâneo de muitas tarefas. Peter, que administra várias empresas, teria dito que cerca de 95% de seu trabalho está na segunda categoria: participar de reuniões, cobrar pessoas e lidar com tarefas operacionais.

O texto esclarece que as empresas ainda dependeriam de uma mente técnica capaz de resolver problemas difíceis e inéditos; sem esse tipo de contribuição, as companhias de Peter estariam em situação muito ruim. A distinção não elimina a importância dos modelos de fronteira, mas sugere que grande parte do trabalho cotidiano pode exigir sobretudo velocidade, disponibilidade e execução adequada.

A demanda por modelos pequenos

O autor espera que a demanda por modelos de nível de fronteira continue crescendo em áreas que exigem descobertas ou avanços originais, como engenharia, ciência aplicada e treinamento de modelos. Ao mesmo tempo, acredita que a procura por modelos rápidos, baratos e “bons o suficiente” está prestes a aumentar, porque empresas frequentemente precisam de alguém que responda depressa e simplesmente resolva as tarefas.

Para tornar esses modelos realmente úteis nas empresas, ainda seriam necessários novos mecanismos de execução, proteção contra injeção de comandos, além de funções, papéis e permissões bem definidos. O autor afirma estar confiante de que esses problemas serão solucionados, mas não apresenta uma conclusão sobre quando isso ocorrerá.