
Together Compiler otimiza inferência de IA em um loop contínuo
Cargas de inferência mudam o tempo todo
Segundo os autores, as cargas de inferência de IA são dinâmicas, com milhares de cenários que combinam novos modelos, plataformas de hardware, clientes, casos de uso e formatos de tráfego. Nesse contexto, otimizar cada cenário manualmente deixou de ser escalável. A arquitetura também varia: passaram-se cerca de 11 anos desde o Transformer, e nenhum dos dez principais LLMs abertos no OpenRouter usa a mesma arquitetura.
A Together AI afirma que atende vários trilhões de tokens por dia para milhares de clientes, cada um com um perfil de tráfego próprio (tamanho de lote, comprimento de sequência, desequilíbrio de especialistas em MoE, esparsidade de atenção, duração de sessão e domínio). O hardware também varia: H100, B200, B300, NVL72, VR, Groq e outros exigem estratégias distintas.
O tráfego muda com o tempo. Segundo a empresa, há diferenças regionais: em um país, o tráfego no horário de trabalho teve prompts 1,4 vez mais longos que em outro (97 mil contra 70 mil). Após o lançamento de um modelo, os usuários começam com interações de chat e avaliação, e cerca de duas semanas depois o tamanho dos prompts cresce 80% à medida que as cargas migram para fluxos agentic. Rajadas de requisições podem dobrar o comprimento dos prompts e reduzir a taxa de acerto do cache, caso não sejam tratadas com cuidado.
Proposta: o Together Compiler (TKCC)
Os autores consideram que agentes de IA são, em tese, adequados para esse problema, pois podem se adaptar a novas cargas e buscar otimizações sem depender de regras fixas. O gargalo atual, segundo eles, é a velocidade de experimentação. Para resolver isso, apresentam o Together Compiler (TKCC), descrito como um loop de otimização contínua. Ele recebe como entrada o perfil de tráfego, o modelo e o hardware, e usa agentes para gerar uma série de otimizações para um motor de inferência.
O sistema se apoia em três ideias centrais:
Motores persistentes. Sistemas existentes precisam reiniciar motores como vLLM, SGLang ou TRT-LLM a cada experimento, e o início pode levar dezenas de minutos. No TKCC, o motor sobe uma única vez e recarrega candidatos de forward pass sem reinício. Vários agentes geram ideias em paralelo e trocam informações por um quadro de mensagens. Em uma tabela da própria empresa, o tempo total até a inferência cai de 467 segundos no cenário atual para 9,0 segundos.
Equilíbrio entre vazão e fidelidade. Otimizar kernels isolados com dados aleatórios pode levar a escolhas erradas, porque arquiteturas com MoE e atenção esparsa dependem da distribuição dos dados. O TKCC usa dois níveis de motores: os "motores rápidos", com poucas camadas, servem para iteração rápida e medições com baixa variância; os "motores lentos", com muitas camadas, testam se as otimizações se sustentam em distribuições reais.
Modelo de custo para paralelismo. Para escolher estratégias como TP, EP e DCP, o sistema combina especificações de hardware, microbenchmarks e passagens medidas. Segundo os autores, a abordagem baseada só em especificações não captura propriedades dos dados, como o desequilíbrio de especialistas. Eles afirmam que o melhor layout muda conforme a concorrência.
Resultados reportados
Os resultados são apresentados pela própria Together AI e comparados com três tipos de referência: megakernels otimizados manualmente, configurações de motores do benchmark InferenceX e bases de código populares de outros domínios.
No caso do Llama 1B com tamanho de lote 1, usado como carga clássica de megakernel, o TKCC gera 1,7 vez mais TPS, em H100 e B200. No benchmark AgentX, da SemiAnalysis, a empresa afirma que o sistema alcança até 2,6 vezes mais TPS que configurações open-source altamente otimizadas. No cenário de baixa latência com tamanho de lote 1, os resultados foram de 1111 TPS no MiniMax M3.1-Flash e 1205 TPS no DeepSeek v4.1-Flash, usando o modelo de custo para escolher o paralelismo. Segundo o texto, o sistema também serve mais tokens por GPU na mesma velocidade por usuário na maioria dos modelos, e é mais rápido por usuário que a melhor configuração do InferenceX em todos os seis pares de modelo e chip testados.
A empresa também afirma que o princípio se aplica a outros domínios: em modelagem climática, PDE, séries temporais e biologia, o TKCC obteve speedups maiores que o Claude Code com o comando /goal em três de quatro modelos, medidos pela média geométrica. Os autores declaram ainda 252 vezes mais vazão de experimentos que sistemas de otimização agentic de referência. Uma nota indica que o Trainium2 foi testado com um dataset sintético de múltiplos turnos, pois a implementação ainda não suporta concorrências mais altas com a memória HBM limitada.
Próximos passos
O texto conclui que os sistemas polimórficos são a próxima fronteira. Para a empresa, a inferência deixou de ser a otimização de um único padrão de tráfego para um único hardware e modelo, pois o tráfego evolui constantemente, "como mercados financeiros". Os autores dizem que essa dinâmica abre novas questões de pesquisa, e remetem ao artigo completo para detalhes.