Chroma lança Foundation, memória para agentes como enxame distribuído

O problema da memória compartilhada

A Chroma apresenta o Foundation como uma camada de memória para agentes que trabalham em enxame sobre um estado compartilhado. O sistema ingere rastros de agentes de programação e dados da empresa para construir um registro durável e indexado, organizado como uma wiki que vários agentes podem consultar e modificar simultaneamente. A tese central é que esse cenário deve ser tratado como um problema de sistemas distribuídos, mas com uma diferença decisiva em relação a bancos de dados tradicionais: o trabalho de um agente envolve minutos de busca e raciocínio e pode custar dólares em tokens. Quando uma transação é abortada, repetir a operação não significa apenas executar novamente um código barato; significa refazer a descoberta do conjunto de dados lido e todo o raciocínio associado.

O Foundation divide os dados recebidos em lotes. Cada agente pesquisa páginas relevantes, lê as páginas encontradas e atualiza aquelas que se beneficiariam das informações do lote, usando um modelo de raciocínio leve. O Chroma Cloud armazena as páginas fragmentadas como sistema de registro e fornece transações com controle de concorrência otimista (OCC), garantindo que cada página não seja exibida parcialmente. Porém, como a ingestão pode durar vários minutos e o conjunto lido é descoberto durante a busca e o raciocínio, a validação do OCC apenas no commit pode gerar uma sequência de abortos e novas tentativas dispendiosas.

Fission: progresso sem reversão

Para lidar com isso, a Chroma criou o protocolo Fission. Ele se aproxima do bloqueio em duas fases com aquisição incremental de bloqueios e prevenção de deadlock por wound-wait: transações mais antigas podem interromper as mais novas quando necessário, enquanto as mais novas aguardam as antigas. A diferença é que uma transação interrompida nunca desfaz o que já fez. O aborto é tratado como um commit antecipado, preservando o progresso parcial.

O protocolo bloqueia páginas com exclusividade no primeiro acesso de leitura, e não durante a pesquisa dos resultados; usa os horários de chegada dos lotes para definir a prioridade; libera imediatamente os bloqueios de transações interrompidas; e permite que essas transações tentem novamente com o horário original. A atomicidade é mantida por página, com apoio do Chroma Cloud, mas a atomicidade da wiki inteira é explicitamente descartada. A consistência lógica das alterações fica a cargo do modelo de raciocínio.

Limites e evidências

A abordagem pressupõe que preservar avanços incrementais é mais importante do que manter um histórico limpo e que um lote interrompido conseguirá continuar a partir do estado deixado por sua tentativa anterior. Isso exige que o agente reconheça o que já foi aplicado. Segundo a fonte, Haiku 4.5 com Context-1 como subagente de busca foi suficiente para gerar a wiki no protótipo.

Em aproximadamente 39,7% das transações interrompidas, o modelo voltou a consultar ou alterar a página que havia causado a interrupção anterior. Nas tentativas de repetição, 28,2% das modificações em páginas compartilhavam prefixo ou sufixo com a página responsável pelo aborto. A Chroma afirma que as anomalias possíveis parecem benignas quando as atualizações seguem uma ordem em que cada prefixo é válido, algo favorecido pelo uso de uma ferramenta de tarefas pendentes. Um protótipo com bloqueios distintos para leitura e escrita teve mais interrupções; permitir a promoção desses bloqueios não foi suficiente para garantir progresso.

A alternativa baseada em Git e sistema de arquivos também apresentou problemas: sem um índice pesquisável, a busca teria custo elevado em tokens, e os conflitos de mesclagem fizeram agentes desistirem de atualizações. Em um teste, três oitavos das chamadas desistiram após conflitos repetidos e quatro oitavos por leituras obsoletas ou necessidade de reler antes de escrever; o caso restante concluiu corretamente que a escrita era desnecessária.

A conclusão é que Fission troca atomicidade global por preservação do raciocínio já pago. A inteligência do agente reconcilia o trabalho persistido com o que ainda falta, enquanto o armazenamento mantém uma história linearizável e a atomicidade individual das páginas.