GPT-6 Astra acerta 19 de 20 testes ao manipular braços robóticos

O experimento

O Robocurve testou o GPT-6 Astra da OpenAI no controle de braços robóticos, repetindo a metodologia de uma comparação anterior entre o Claude Fable 5 e o Fable 5.1. Os três modelos receberam o mesmo conjunto de braços YAM, sob a mesma política de agente do Inspect Robots, em duas tarefas: colocar um bloco vermelho dentro de uma tigela e encaixar uma peça circular de quebra-cabeça azul, pelo pino central, no sulco correspondente do tabuleiro.

A montagem usava dois braços I2RT YAM com 6 graus de liberdade e garras paralelas, controlados por poses absolutas do efetor final convertidas em ângulos de junção pela cinemática inversa. A observação combinava três câmeras (superior, punho esquerdo e punho direito) com estado proprioceptivo a cada turno. Todos os modelos rodaram com esforço de raciocínio médio, orçamento de 20 chamadas de LLM e teto de velocidade de 25%, por 20 tentativas por modelo em cada tarefa.

Resultados: tigela versus quebra-cabeça

Na tarefa do bloco na tigela, o GPT-6 Astra completou 19 de 20 tentativas (95%), contra 8 de 20 do Fable 5.1 (40%) e 1 de 20 do Fable 5 (5%). O Astra também foi mais rápido e mais barato: 2,5 minutos por tentativa, contra 6,8 do Fable 5.1, e custo estimado de US$ 0,94 por execução, contra US$ 2,12 - cerca de 2,3 vezes mais barato, com taxa de conclusão 2,4 vezes maior. O número médio de tokens de saída por execução do Astra (2,1 mil) ficou muito abaixo dos 12,9 mil do Fable 5.1 e dos 19,2 mil do Fable 5.

A tarefa do quebra-cabeça foi diferente: o Astra completou apenas 2 de 20 tentativas, empatando com o Fable 5.1 (também 2 de 20; o Fable 5 não completou nenhuma). Ambos alcançam o sulco e travam no mesmo passo final. Mesmo assim, o Astra custou menos por execução (US$ 1,36 contra US$ 2,18) e rodou em 3,4 minutos, contra 5,9 do Fable 5.1.

Avaliação

Cada tentativa recebeu nota humana de 0 a 4 conforme o estágio mais alto atingido, permitindo registrar o progresso mesmo em falhas: 0 sem aproximação proposital, 1 contato com o objeto, 2 objeto erguido da mesa, 3 posicionado sobre o ponto de depósito e 4 colocado na posição final. As notas médias na tarefa da tigela foram 3,95 para o Astra, 2,40 para o Fable 5.1 e 1,30 para o Fable 5. No quebra-cabeça, 2,00 para o Astra e 2,35 para o Fable 5.1. Os custos usaram preço de tabela de US$ 10 / US$ 50 por milhão de tokens de entrada / saída para os três modelos, com contagem no nível do protocolo, não dos tokens faturados.

Limitações declaradas

Os autores listam ressalvas relevantes. As tentativas do Astra ocorreram dois dias depois das dos modelos Fable, sem intercalação. A comparação do quebra-cabeça usou o mesmo equipamento (rig-4), mas a da tigela não: os modelos Fable rodaram no rig-3, indisponível, enquanto o Astra usou o rig-1. A avaliação foi feita pelo operador, que sabia qual modelo estava testando, o que abre espaço para viés inconsciente. Os custos são de preço de tabela, e a OpenAI fez cache automático de cerca de um quinto da entrada do Astra, sem desconto aplicado aqui - o que significa que o custo do Astra está, se muito, superestimado. Os objetos eram reposicionados manualmente entre tentativas, e todos os modelos rodaram apenas com esforço de raciocínio médio.

Conclusão

O teste indica que o GPT-6 Astra completa a tarefa mais simples com frequência muito maior, mais rápido e por menos da metade do custo dos modelos anteriores, mas não resolve o gargalo de precisão fina da tarefa de encaixe, na qual empata tecnicamente com o Fable 5.1 nos números de conclusão, ainda que gastando menos tokens e menos dinheiro.