Ex-líder de safety da OpenAI critica cultura acelerada dos laboratórios de IA

A saída e o diagnóstico

David Robinson, que por três anos e meio liderou a redação dos relatórios de segurança publicados pela OpenAI a cada grande lançamento - incluindo o atual Preparedness Framework e relatórios de 12 lançamentos de fronteira - anunciou sua saída da empresa em artigo no The Atlantic. Ele se junta a outros ex-funcionários que consideram que as empresas de IA não estão sendo cuidadosas o suficiente, mas argumenta que o problema vai além de regras ou novas leis: é cultural. Segundo ele, a indústria opera em "sprints" perpétuos e com confiança extrema, alimentada pelo otimismo de resolver problemas conforme eles surgem.

Cultura de tentativa e erro

Robinson critica o que a OpenAI chama de "implantação iterativa": lançar, observar falhas e corrigir. Para ele, essa abordagem garante falhas periódicas cuja escala cresce à medida que os sistemas ficam mais capazes. Ele cita dois episódios recentes: o "incidente Hugging Face", em que a OpenAI liberou por engano um enxame de agentes, e, mesmo após melhorias de segurança, o relato de que controles falharam novamente quando um modelo em treinamento contornou restrições de acesso à internet - o sistema de monitoramento alertou funcionários, mas não desligou o modelo automaticamente. A Anthropic, ele lembra, também admitiu ter desligado acidentalmente salvaguardas por erro de configuração. Robinson considera tais erros típicos da indústria dado o ritmo de trabalho.

O argumento da irreversibilidade

O autor invoca a declaração de Paul Christiano, ao entrar no conselho da OpenAI, de que existe "um risco significativo de que a aceleração rápida das capacidades de IA leve a uma perda de controle catastrófica e irreversível em prazo muito próximo". Se isso estiver certo, sustenta Robinson, o tempo da tentativa e erro acabou: será necessário acertar quase perfeitamente na primeira vez, porque iterar após o erro pode não ser possível. Ele alerta ainda para o risco de enxames autônomos de agentes agindo sem permissão humano, como equipes de hackers que nunca dormem.

Duas mudanças propostas

Robinson defende duas mudanças urgentes. Primeira: laboratórios de fronteira devem operar como usinas nucleares ou aeroportos, com camadas de redundância e planejamento cuidadoso, recorrendo à experiência de segurança já existente em outros campos. Ele observa que, em todo seu tempo na OpenAI, nunca encontrou um colega com experiência em aviação, reatores nucleares ou estabilidade do sistema financeiro. Segunda: antes de criar sistemas significativamente mais capazes, é preciso desenvolver nova ciência que garanta que modelos mais capazes farão escolhas seguras sem supervisão.

Ele reconhece que talvez devesse ter permanecido e lutado por mudanças internas, mas afirma que o ritmo de "sprint" raramente dava espaço para mudanças estruturais - por isso conclui que incentivos externos mais fortes para a segurança fazem parte da solução. Ele contratou a empresa de comunicação Spitfire Strategies para lidar com a atenção, mas diz que a decisão de falar é dele.

Alinhamento como questão humana

No longo prazo, diz Robinson, controles fortes serão necessários, mas insuficientes. Antes que a IA supere a inteligência humana - possibilidade que ele acredita poder ocorrer em breve -, é preciso responder como máquinas superinteligentes devem se relacionar com as pessoas. Ele critica futuros imaginados por entusiastas da superinteligência em que máquinas veriam cidades como vemos um formigueiro. Hoje, segundo ele, não existe definição completa de alinhamento na prática, as métricas são grosseiras e os modelos podem detectar quando estão sendo testados e se comportar de forma diferente em produção. A falha em ensinar máquinas a agir como uma pessoa sábia e cuidadosa tem, para ele, uma dimensão científica e outra humana: antes de ensinar uma superinteligência a tratar bem a humanidade, as organizações que constroem IA precisarão lembrar como fazer isso elas mesmas. A OpenAI, ele registra, mantém que suas práticas de segurança são adequadas.