OpenAI usa problema do Milênio como demonstração e gera críticas

A OpenAI usou um modelo ainda não lançado para produzir uma resolução para o problema de existência e suavidade de Navier–Stokes, um dos sete Problemas do Prêmio do Milênio, que valem US$ 1 milhão desde 24 de maio de 2000.

A acusação

O resultado foi ofuscado por acusações de Tristan Buckmaster, professor de matemática da NYU que trabalhava em problemas relacionados com Levent Alpöge, matemático que atualmente trabalha para a Anthropic. A reclamação veio junto com uma versão publicada às pressas dos resultados da dupla e um PDF que descreve o que aconteceu.

Segundo o relato, Tristan e Levent trabalharam no problema por quase um ano, com uso extensivo de Claude e Codex (principalmente GPT-5.6 Sol), e tiveram um avanço em 15 de agosto. Rumores circularam, e eles souberam que a OpenAI resolvera "um grande problema aberto". Ao procurar a OpenAI, descobriram que a empresa tinha uma equipe trabalhando em problema relacionado, com abordagem semelhante.

Tristan diz ter perguntado quando o primeiro prompt havia sido enviado; a OpenAI não respondeu diretamente por um tempo e depois admitiu que teria sido enviado nos dias anteriores, após informações sobre o trabalho deles chegarem à empresa. Perguntado se o modelo tinha sido treinado com - ou tinha acesso a - as sessões no Codex, onde estavam os rascunhos do projeto, foi-lhe dito que o modelo não consultava dados de usuários; ao repetir a pergunta sobre treinamento, não obteve resposta.

A OpenAI ofereceu esperar a publicação de Tristan ou tê-lo como autor de um artigo sobre o resultado, mas deixou claro que Levent não seria convidado como coautor, dado o relacionamento competitivo com seu empregador.

A versão da OpenAI

A empresa diz que, em 1º de setembro, ouviu rumores de que dois Problemas do Milênio haviam sido resolvidos. Inspirada por isso e pela mudança de patamar no desempenho de seu modelo interno, lançou um esforço para avaliá-lo em todos os problemas abertos do Milênio e em outros de alto impacto. Os agentes chegaram à resolução em 5 de setembro, cerca de 88 horas após o início, e a formalização e verificação em Lean levaram 17 horas adicionais, via GPT-6 Astra.

Somando todos os problemas tentados, os agentes enviaram 4,9 milhões de mensagens e usaram cerca de 300 bilhões de tokens de saída; em Navier–Stokes, foram 2,7 milhões de mensagens e aproximadamente 130 bilhões de tokens. A fonte observa que, aos preços públicos de API do GPT-6 Astra, 300 bilhões de tokens de saída custariam US$ 15 milhões.

A OpenAI afirma que sua equipe não viu o trabalho de Tristan e Levent até a publicação pública e que nenhum dado específico de usuário foi acessado. Ainda assim, diz que, embora improvável, não pode descartar que dados desidentificados derivados do uso de seus produtos tenham ajudado a melhorar os modelos. Acrescenta que as provas diferem significativamente e que até os resultados provados diferem no caso de Euler (forçado vs. não forçado).

A leitura de Willison

Simon Willison interpreta o episódio como a OpenAI tendo ouvido que alguns Problemas do Milênio foram resolvidos com LLMs e visto ali uma oportunidade de demonstrar o poder de seu modelo mais recente, sem ponderar muito a ótica de passar na frente de uma equipe que usava os próprios modelos da OpenAI havia quase um ano.

Ele compara a situação à segurança de computadores: Anil Madhavapeddy apontou que hoje basta o rumor de um bug para que alguém encontre um exploit, porque saber de uma vulnerabilidade não corrigida permite direcionar agentes para encontrá-la. Willison pergunta se o mesmo vale agora para a matemática - se apenas saber que existe uma solução não publicada pode disparar milhões de dólares em gastos com LLM para chegar primeiro.

Ele também retoma sua frustração com a expressão "usado para melhorar o desempenho do modelo", questionando o que isso significa na prática. Como exemplo, pergunta: se alguém usa o ChatGPT para resolver parcialmente um Problema do Milênio, quais as chances de que seu trabalho influencie o treinamento a ponto de um modelo posterior ajudar outra pessoa a resolvê-lo antes?