Experiência de desenvolvimento lenta vira gargalo com modelos rápidos

A experiência de desenvolvimento medida em segundos

Hoje a experiência de desenvolvimento (DevEx) é medida em segundos: testes que rodam em um segundo são bons, em trinta segundos são ruins. Abaixo de um segundo, argumenta o autor, pouco importa - a maior parte do tempo é gasta pensando ou esperando um agente de IA rodar. Cortar milissegundos do recarregamento do servidor de desenvolvimento seria inútil, porque não é ali que está o gargalo.

A tese: isso vai mudar

Modelos pequenos estão ficando mais rápidos e modelos inteligentes estão ficando menores. Na avaliação do autor, a maioria dos engenheiros ainda vai querer usar o modelo mais inteligente disponível - engenharia de software é difícil -, mas modelos rápidos passarão a ser usados cada vez mais como subagentes ou em tarefas bem compreendidas. Ele descreve o cenário como território em boa parte inexplorado: poucas pessoas teriam desenvolvido intuição sobre trabalhar com agentes que rodam a milhares de tokens por segundo.

O contraste oferecido é concreto. O GPT-6-Astra roda a cerca de sessenta tokens por segundo, o que faz o usuário passar bastante tempo esperando o modelo pensar, trabalhando com ele como se trabalharia com outra pessoa: delega-se uma tarefa e se troca de contexto até que ela termine. Já o Jimmy, versão do LLaMA-3.1-8B feita pela Taalas, roda a dezessete mil tokens por segundo - não importa o tamanho da resposta, ela chega no instante em que o envio é acionado. O modelo não é bom o suficiente para trabalho agêntico, mas dá uma amostra do que seria receber a resposta instantaneamente.

Ferramentas e linguagens rápidas

Isso pressupõe que as chamadas de ferramenta do agente também sejam rápidas. Quando a geração de tokens deixa de ser o gargalo, passa a importar muito se o agente lê um arquivo em 100 ms ou 10 ms, ou se roda os testes em 500 ms ou dois segundos. Chamadas rápidas de ferramenta seriam a diferença entre uma resposta quase instantânea e uma espera de vários minutos. Daí, segundo o autor, a pressão enorme para fazer codificação agêntica em linguagens com compiladores e testes rápidos, como Go, e para otimizar com rigor o ciclo de desenvolvimento em bases de código agênticas.

O possível retorno do DevEx

Times dedicados a DevEx seriam, em grande parte, um resquício da década de 2010, quando as empresas tinham incentivo para deixar seus engenheiros satisfeitos. A maioria das companhias os teria reduzido a uma equipe mínima ou eliminado. O autor levanta a possibilidade de um retorno do DevEx no fim da década de 2020, agora voltado a acelerar a experiência para agentes de IA.

Uma ressalva

Em nota, o autor diz duvidar que provedores de IA simplesmente treinem modelos para passar mais tempo raciocinando, de modo que o usuário espere aproximadamente o mesmo tempo. Para ele, a maioria dos problemas comuns de engenharia não seria resolvida melhor gastando um milhão de tokens extras de raciocínio; isso só seria necessário quando se está no limite do modelo. Ele observa ainda que a inferência ultrarrápida depende de encaixar o modelo inteiro em um chip grande, semelhante a uma GPU, projetado especificamente para inferência - na Taalas, no próprio silício; na Cerebras e na Groq, em grandes unidades de memória embarcadas.