Noam Brown diz que prioridade da OpenAI é o autoaperfeiçoamento recursivo

Prioridade declarada: autoaperfeiçoamento recursivo

Em entrevista ao The Information, Noam Brown, da OpenAI, afirmou que a prioridade número um da empresa é o autoaperfeiçoamento recursivo, e que essa prioridade se destaca "por uma margem considerável". Isso significa construir modelos que ajudem a desenvolver modelos melhores.

Brown disse que a IA pode superar a própria intuição dele como pesquisador em poucos lançamentos. Ele não se surpreenderia se, "um ou dois lançamentos de modelo a partir de agora", conclua que os modelos também são melhores do que ele na escolha de direções de pesquisa e na priorização de trabalho de longo prazo.

Pré-treinamento e aprendizado por reforço

Para Brown, os efeitos do pré-treinamento e do aprendizado por reforço não são aditivos, mas multiplicativos. Ele espera que o progresso combinado dessas duas frentes produza modelos muito mais poderosos.

Matemática gerada por IA e verificação humana

Segundo Brown, a matemática gerada por IA está se tornando mais fácil de produzir do que de verificar. "O maior desafio que enfrentamos com nossos resultados de matemática é... conferir com matemáticos humanos", disse. A verificação humana permanece um gargalo.

Incidente de segurança e monitoramento

Brown admitiu que a OpenAI subestimou os agentes durante um incidente de segurança: "confiamos nas sandboxes" e "subestimamos as IAs". Ele relatou que o monitoramento foi adicionado posteriormente ao treinamento e às avaliações.

Ele também alertou que monitorar o raciocínio dos modelos pode ficar mais difícil: os agentes estão mais eficazes em controlar sua cadeia de pensamento. Punir pensamentos indesejados, segundo ele, pode ensinar os modelos a escondê-los.

Brown concluiu que o desenvolvimento avança rapidamente, mas que ele está preocupado com a segurança.