GitHub redesenha armazenamento Git com arquitetura Rubicon
O problema: agentes escrevendo no mesmo repositório
O artigo do blog do GitHub apresenta a nova arquitetura de armazenamento Git da empresa, chamada internamente de "Rubicon". Segundo o texto, ela foi construída para suportar muitos agentes escrevendo ao mesmo tempo em um único repositório. Em testes internos, a empresa afirma ter demonstrado 5.000 agentes concorrentes trabalhando em um repositório, com 7.200 pushes por segundo, mantendo leituras com latência consistentemente baixa. O texto diz que essa arquitetura é a base para suportar desenvolvimento agêntico para centenas de milhões de desenvolvedores, e que a migração vem sendo feita com o GitHub em operação.
Os autores descrevem uma mudança na forma como os repositórios ficam ocupados. Nos repositórios mais movimentados do GitHub.com, hoje, chegam no máximo algumas dezenas de escritas por segundo, em rajadas curtas. A expectativa é que essas rajadas virem uma taxa sustentada dentro de um ano. Cada push também gera leituras (execuções de CI, sistemas de deploy e outros agentes buscando o commit), o que amplifica o tráfego de leitura de forma proporcional às escritas. Um dos repositórios citados teve o tráfego multiplicado por cerca de quatro entre março e maio, com crescimento exponencial desde então.
A meta foi definida como pelo menos duas ordens de grandeza acima da escala atual. Entre os requisitos listados estão aceitar milhares de escritas por segundo, usar múltiplos nós de escrita, minimizar a latência de commit e manter leituras baratas quando nada mudou.
A arquitetura
O princípio central é que quase nada em uma escrita precisa ser ordenado. Objetos Git são imutáveis e nomeados pelo conteúdo, então dois escritores podem gravá-los ao mesmo tempo sem acordo. Só a atualização de referências exige consenso, e ela é pequena. Com isso, armazenamento, atendimento de requisições e manutenção do repositório podem escalar de forma independente.
No desenho, o Spokes continua responsável por roteamento, balanceamento e isolamento entre tenants. Abaixo dele, réplicas virtuais formam uma frota de computação descartável: o disco local é apenas um cache que pode ser reconstruído a qualquer momento. Os dados duráveis ficam em dois lugares: objetos Git (packs e dados auxiliares) no Azure Blob Storage, e referências e manifesto de packs no Ref-CAS, um serviço de log replicado. Nós de compactação, em segundo plano, mesclam packs e removem objetos inalcançáveis, sem rodar nas réplicas que atendem tráfego.
No caminho de escrita, a réplica indexa o pack, o envia ao Blob Storage e só então registra uma transação no Ref-CAS. No caminho de leitura, a réplica verifica a versão das referências e busca no Blob Storage apenas os packs necessários.
Por que referências não ficaram no Blob Storage
O texto explica duas abordagens testadas antes do desenho final. Na primeira, um log de escrita antecipada indexado por um único blob permitia leituras baratas, mas limitava as escritas a uma por viagem de ida e volta ao blob, o que deu algo na faixa de centenas por segundo. Na segunda, as referências foram divididas em segmentos, o que aumentou a capacidade de escrita, mas tornou leituras dependentes do segmento mais lento. Os autores afirmam que nenhuma das duas atendia todos os requisitos.
O Ref-CAS resolve isso com compare-and-swap por transação, aprovado por quórum de maioria. Cada transação bloqueia apenas as referências que toca, e a maioria dos agentes trabalha em branches próprias, então a contenção tende a ser baixa. Cada versão do repositório corresponde ao número de sequência do último commit, e uma réplica desatualizada recebe apenas o necessário. Segundo os autores, o serviço não guarda dados de objetos, apenas ponteiros, e uma referência só aponta para objetos já duráveis. Eles afirmam que o serviço trata transações de referências na casa das dezenas de milhares de operações por segundo.
Compactação e coleta de lixo
Cada push adiciona um pack, e o número de packs não pode crescer sem limite, porque cada um encarece as buscas. Nós de compactação assumem posse de fatias do repositório por meio de leases. Eles reúnem packs em segmentos, selam o segmento ao atingir um limite de quantidade, tamanho ou idade, verificam que os novos packs contêm exatamente os mesmos objetos e então atualizam o manifesto. Os autores dizem que o número de packs fica efetivamente estável enquanto os pushes crescem, e que observaram latência estável conforme as escritas sobem. A coleta de lixo segue lógica semelhante, com trabalhadores dedicados.
Próximos passos e limitações
Os autores listam melhorias planejadas: ler apenas o objeto necessário, separar packs por tipo, réplicas parciais, visões materializadas, réplicas globais e escala a zero. No lado dos agentes, citam operações sem clone, commit atômico multi-arquivo e fluxos de eventos. No Git, mencionam clones leves, remoção de custos de escala ocultos e caminhadas de histórico mais rápidas.
A arquitetura está em prévia privada limitada, com ampliação prevista para o início do próximo ano. Os resultados de 5.000 agentes e 7.200 pushes por segundo vêm de testes internos, descritos pelos próprios autores; o texto não apresenta benchmarks independentes.