O fim do almoço grátis obriga equipes a otimizar modelos e harnesses

O fim da folga de desempenho

A publicação sustenta que o lançamento do Fable marcou o fim de uma espécie de “almoço grátis” para equipes que usam modelos em tarefas de programação. A analogia vem da Lei de Moore: enquanto o desempenho de processadores crescia rapidamente, otimizar rigorosamente o código parecia pouco necessário, pois uma nova geração de hardware poderia dobrar a performance em cerca de 18 meses. Quando o avanço de desempenho por núcleo desacelerou em meados dos anos 2000, os desenvolvedores passaram a precisar decidir melhor onde cada tarefa deveria ser executada, considerando paralelização, arquitetura e localidade de memória.

Segundo o texto, algo semelhante acontecia com os modelos para codificação. Antes do Fable, parecia pouco proveitoso investir muito tempo na melhoria de harnesses - estruturas e fluxos que fornecem contexto, instruções e ferramentas ao modelo - ou em estratégias de contexto. A expectativa era que um modelo novo chegasse pelo mesmo preço, ou por um preço menor, e compensasse a maior parte dos problemas existentes.

O Fable teria alterado esse cálculo por combinar desempenho considerado “incrível” com custo elevado. Para muitas tarefas de programação, modelos como Opus, 5.6, K3 e GLM seriam suficientemente bons. Com isso, as equipes passaram a pensar em como distribuir o trabalho entre modelos, em vez de encaminhar tudo ao sistema mais capaz.

Roteamento e contexto

O texto destaca o GLM 5.2, lançado na mesma semana que o Fable. Seu custo seria aproximadamente um nono do custo do Fable e cerca de um quinto do Opus 5. A publicação não afirma que o GLM tenha qualidade equivalente: para determinadas classes de tarefas, talvez corresponda a um nono da qualidade do Fable. Ainda assim, para a maior parte da programação rotineira, seria mais do que suficiente, especialmente quando recebe contexto de qualidade.

O autor descreve um fluxo híbrido: usa o Fable para conversar, investigar e dar forma a um projeto e, depois, entrega um resumo desse trabalho ao GLM. A ideia é reservar o modelo mais caro para tarefas em que sua capacidade tenha maior valor e direcionar trabalhos mais repetitivos a alternativas mais baratas.

Há quem argumente que a queda dos preços de inferência fará as equipes voltarem a enviar tudo aos maiores modelos. A publicação considera essa possibilidade, mas não a trata como inevitável. As mesmas reduções de custo também beneficiariam modelos como K3 e Qwen. Além disso, harnesses melhores poderiam fornecer contexto suficiente para que modelos menos fortes, mas ainda capazes, executem tarefas com bons resultados.

Custos e controle dos dados

O texto afirma ainda que o Fable provocou outro choque: seus controles de acesso, sua degradação dinâmica e a exigência de retenção de dados teriam levado empresas e países a reconsiderar para onde enviam seus rastros de uso e de onde obtêm tokens. Assim, a mudança não seria apenas econômica. Questões de controle, retenção e localização dos dados também podem consolidar uma arquitetura mais distribuída, na qual diferentes modelos e fluxos são escolhidos conforme custo, tarefa, contexto e restrições de dados.