stamatios
← Voltar ao feed
Semáforo pequeno dirigindo pacotes entre dois computadores, roteador de inferência local PAIR da NVIDIA
Open Source · Hardware & Chips

NVIDIA abre o PAIR, roteador de IA local entre computadores

resumo de ~3 min

O que é o PAIR

A NVIDIA publicou no GitHub o Personal AI Router (PAIR), um roteador de inferência local que distribui requisições entre um grupo de computadores compatíveis na mesma rede. O software descobre os nós participantes, gerencia mecanismos de inferência suportados e expõe endpoints compatíveis com Ollama e com o formato OpenAI para aplicações e agentes.

Requisições independentes são encaminhadas a nós elegíveis conforme a disponibilidade do mecanismo, do modelo e da carga atual. Isso é útil para cargas locais concorrentes, como aplicações multiagente. Quando todos os clientes, fontes de modelo, mecanismos e nós estão locais, os prompts e respostas devem permanecer na rede local.

O que o PAIR não faz

O PAIR direciona cada requisição independente a um único nó. Ele não agrupa memória de GPU, não combina GPUs em uma GPU lógica maior, não distribui um modelo em fragmentos entre máquinas e não divide uma inferência em andamento entre nós.

Compatibilidade e instalação

O software funciona no Windows 11, Linux e macOS, em arquiteturas x64 e arm64 - o Windows on ARM é experimental. Há instaladores assinados (.exe, .deb e .dmg), e outras distribuições Linux podem compilar a partir do código-fonte. Nós com sistemas operacionais diferentes podem ser emparelhados entre si. Os mecanismos de inferência suportados são Ollama e LM Studio.

O fato de o PAIR rodar em uma máquina não garante que o mecanismo funcione nela: cada mecanismo define seus próprios requisitos de sistema, GPU e drivers, e cada modelo precisa de memória suficiente para carregar. Um nó só se torna candidato a receber uma requisição quando estiver de fato executando um mecanismo compatível, e o PAIR prefere nós que já comprovadamente hospedam o modelo.

O fluxo recomendado usa o aplicativo de desktop: instalar o PAIR, instalar um mecanismo (o PAIR baixa e configura Ollama ou LM Studio), adicionar um modelo - o exemplo usa qwen4:12b - e enviar uma requisição de teste ou via curl. Para rotear entre máquinas, é preciso emparelhar um segundo computador em Settings → Cluster, usando um PIN de seis dígitos gerado pela máquina que convida.

A desinstalação separa o aplicativo dos dados: por padrão, configurações, registros, identidade de cluster e mecanismos instalados pelo PAIR são mantidos, e os pesos dos modelos não são tocados - eles ficam no armazenamento do mecanismo, como ~/.ollama. Em clusters, é preciso sair ou remover o nó da lista em outro membro, o que também é possível depois da desinstalação.

Limitações e próximos passos

Hoje o PAIR tem uma única política de agendamento, que combina trabalho na fila com um sinal grosseiro e suavizado de utilização de GPU. Ela não considera o modelo de GPU, memória disponível, estado do modelo em memória ou o custo aparente da requisição - o que faz dela uma escolha melhor para máquinas semelhantes do que para clusters muito heterogêneos. A NVIDIA diz querer tornar essa política mais inteligente e possivelmente permitir escolher entre políticas, e pede feedback de quem roda o PAIR no próprio hardware, sem compromissos fixos sobre o que ou quando será implementado.

Segurança e licença

O projeto inclui endpoints HTTP locais, descoberta na rede, bootstrap de confiança por PIN e rede de cluster. A documentação pede leitura do SECURITY.md antes de usar em redes não confiáveis ou compartilhadas e pede que vulnerabilidades não sejam reportadas em issues públicas. O código é licenciado sob a Apache License 2.0; mecanismos e modelos usados com o PAIR podem ter termos próprios. No momento da captura, o repositório somava 999 estrelas, 164 forks e 2 commits no branch principal.