stamatios
← Voltar ao feed
Corrente de conversa em que só o elo mais novo brilha e avança, metáfora das message threads da Anthropic
Dev & Engenharia · Agentes

Message threads da Anthropic reduzem tempo até o primeiro token em agentes

resumo de ~3 min

A Anthropic lançou em beta público, na Claude Platform, o recurso message threads para a Messages API. Com ele, o agente deixa de reenviar todo o histórico da conversa a cada turno e envia apenas as mensagens novas e o ID da resposta anterior.

O problema

Segundo a fonte, um agente de programação pode fazer centenas de requisições em uma única sessão, e cada uma reenvia todas as mensagens e resultados de ferramentas anteriores. Quando a conversa chega a centenas de milhares de tokens, esse reenvio acrescenta tempo antes de o Claude começar a responder.

Como funciona

Para usar o recurso, basta incluir o parâmetro thread nas requisições. A primeira requisição envia a conversa completa e inicia a thread. As seguintes enviam só o que é novo. Entre os turnos, a thread fica em memória, criptografada e sem gravação em disco. Ela expira cinco minutos após a última requisição; nesse caso, o cliente reenvia a conversa completa para iniciar outra.

Resultados e limites

A Anthropic afirma que, para usuários do Claude Code com o recurso ativado por padrão, requisições de 500 mil a 1 milhão de tokens tiveram o tempo mediano até o primeiro token (TTFT) reduzido em cerca de 35%. A própria fonte ressalta que o Claude continua lendo a conversa inteira a cada turno, por isso o consumo de tokens permanece o mesmo. A economia está no tempo de resposta, não no custo.

O recurso é indicado para sessões ativas em que a latência importa: agentes de programação de longa duração, agentes de uso de computador (as capturas de tela ficam na thread em vez de serem reenviadas) e fluxos com muitos documentos ou imagens. Segundo o texto, quanto mais contexto o agente carrega, mais o recurso pode reduzir o TTFT.

O recurso está disponível em beta público na Claude Platform nativa, na Claude Platform na AWS, no Claude na Microsoft Foundry e nos modelos Claude no Google Cloud (gerenciados pela Anthropic). Aplicam-se as taxas padrão de tokens e os limites de uso existentes.