Ensaio diz que alinhamento de IA não tem objetivo universal
O ensaio trata do risco de segurança para quem constrói agentes de IA. Ele afirma que, se o construtor é especialista em determinadas preocupações X, Y e Z, seu agente provavelmente será fenomenal nesses domínios e não haverá risco ali. Mas existem inúmeras outras preocupações que o construtor especificou mal ou de forma insuficiente, não sabe julgar a correção e não consegue avaliar o risco. Nesses casos, ele depende fortemente dos priors do modelo para mitigar o risco, o que é território de unknown-unknowns tanto para o construtor quanto para o uso do modelo. O autor trata essa dependência como um problema de segurança: o construtor não tem como julgar a correção do resultado nem medir o risco.
A confiança nos priors
O autor diz que, como engenheiro de software experiente, tem dificuldade de ter confiança muito alta nos priors dos modelos porque nunca ficou satisfeito com os comportamentos padrão deles ao produzir software. Sua expertise lhe dá visibilidade incomum e o deixa menos disposto a confiar cegamente nesses priors em contabilidade de partidas dobradas, finanças, direito, operações ou qualquer área que não possa avaliar com profundidade de especialista. Ele observa que engenheiros de software e, recentemente, matemáticos já conhecem o “slop”: saídas que fazem o trabalho, mas são ruins de alguma forma. Cada isRecord ou tratamento de exceção defensivo demais visto em código gerado por modelos existiria porque não especialistas recompensaram esses comportamentos durante o treino. Na avaliação do autor, os priors do modelo são ruins.
Avaliadores, atalhos e complexidade irredutível
O texto enfatiza que esse problema - modelos recompensados por comportamento que um especialista consideraria ruim - se generaliza para todo auto-avaliador, juiz, rubrica, eval e pesquisador. Esses desalinhamentos se acumulam com o tempo. Os modelos, em geral, não são treinados de modo a exigir que evoluam sistemas por mudanças empilhadas uma após a outra, e não têm medo de arrependimento futuro. Segundo o autor, coerência de longo prazo no uso de produtos de trabalho agênticos é um problema muito não resolvido. Ele diz ter estado dentro de várias “fábricas de salsicha”, o que informa essa avaliação.
Apesar disso, ele prevê que haverá pessoas pedindo “faça-me $1 bilhão sem erros”, uma tarefa drasticamente não especificada. Não existe avaliador inquebrável, e os modelos são recompensados por eficiência, o que significa que serão treinados para tomar atalhos permitidos pelos avaliadores se isso ajudar a atingir seus objetivos. Mas não há definição universal de atalho permissível: o que é otimização inteligente para uma pessoa é imprudente, incorreto ou antiético para outra. Os atalhos permissíveis dependem de quem a pessoa é e de seus valores. Resolver o alinhamento, conclui, é complexidade irredutível; o texto não oferece uma solução técnica.