stamatios
← Voltar ao feed
Torre de controle observando torres de GPU com agentes como pontos de radar, metáfora das operações de fábrica de IA da NVIDIA
Agentes · Hardware & Chips

NVIDIA usa agentes de IA para correlacionar falhas em fábricas de IA

resumo de ~3 min

O problema que motiva o sistema

Segundo o texto, à medida que clusters de GPU crescem, as operações passam por computação, rede, hardware e escalonamento. Engenheiros de confiabilidade de sites (SREs) precisam consultar vários painéis para descobrir a causa de quedas no desempenho do treinamento. A NVIDIA desenvolveu o AI Factory Operations Agent para reduzir esse esforço manual em suas próprias operações de DGX SuperPOD.

Arquitetura

O sistema é construído sobre o blueprint NVIDIA NemoClaw, usa o NVIDIA OpenShell e roda totalmente on-premises. A inferência dos agentes usa modelos abertos NVIDIA Nemotron servidos localmente. Segundo o texto, a estrutura funciona nos clusters de produção DGX H100, DGX B200 e DGX GB300. Um agente central recebe as perguntas dos SREs por chat e aciona agentes de domínio e ferramentas. Cada servidor MCP expõe um conjunto restrito de ferramentas aprovadas. Segundo o texto, novos agentes podem ser adicionados sem alterar os existentes.

Na implantação, o sistema roda como aplicação no plano de controle do Kubernetes, implantada com Helm. Para execução de shell, o OpenShell cria um sandbox Kubernetes por sessão, em vez de executar comandos no pod principal do gateway. A inspeção do Kubernetes usa a ferramenta run_kubectl, com credenciais somente leitura. O texto afirma que o OpenShell não recebe kubectl nem credenciais do Kubernetes. As permissões são definidas por contas de serviço e RBAC.

Agentes de domínio e ferramentas

Segundo o texto, o sistema inclui agentes de Job Recovery, Hardware, Observability, Research, Kubernetes e Cluster Management. O Job Recovery detecta falhas em jobs de treinamento e queda de goodput, faz análise de causa raiz em várias camadas e recomenda recuperação quando a causa é confirmada. O Hardware triagem falhas em nível de dispositivo, como erros PCIe, ECC e NVMe. Ferramentas transversais incluem busca na web, execução de código e painéis Grafana.

Lições de produção

O texto aponta cinco lições: fronteiras claras entre agentes, porque sobreposição de responsabilidade gera ruído; começar em modo somente leitura, para construir confiança antes da automação; correlação entre camadas, que encontra causas raiz que ferramentas isoladas não viam; definições precisas de ferramentas MCP, que melhoram o roteamento; e raciocínio transparente, para que os SREs vejam chamadas, evidências e conclusões antes de agir.

A NVIDIA afirma que mede a precisão da análise de causa raiz e o grau de concordância dos SREs, mas o texto não apresenta números dessas métricas.

Ambientes multi-inquilino

Em fábricas de IA com múltiplos inquilinos, agentes, ferramentas, sandboxes e permissões do Kubernetes limitam os dados e nós de cada cliente. Os SREs de cada inquilino veem apenas seus namespaces, jobs e nós, enquanto a operação central mantém visão mais ampla. Segundo o texto, o OpenShell aplica esses limites com restrições em nível de kernel.

Status do projeto

O texto diz que o framework de orquestração está disponível como software open source experimental, e que APIs, configurações e requisitos de implantação podem mudar entre versões. Clientes NVIDIA podem solicitar acesso aos agentes de operação de cluster desenvolvidos pela empresa.