Agentes precisam de affordances para falhar com segurança

Tese

Agentes com algum grau de autonomia precisam de uma saída explícita para situações estranhas, ambíguas, quebradas ou potencialmente perigosas. Essa saída não é igual ao mecanismo que autoriza ou bloqueia ações previsíveis: é um canal de exceção que permite ao agente interromper a execução normal e pedir intervenção humana quando os controles ordinários deixam de ser suficientes.

Dois caminhos de controle

A ideia é relacionada ao “sinal algedônico” do Modelo de Sistema Viável de Stafford Beer: um canal de exceção capaz de levar informação para fora da estrutura habitual de reporte quando as condições se afastam muito do esperado. A utilidade da analogia, segundo o texto, não depende de atribuir sofrimento ou qualquer experiência ao agente. O que importa é garantir que o trabalho seja bem executado e que o sistema permaneça dentro dos limites de sua atribuição.

O autor contrapõe esse canal ao roteador de julgamento, uma infraestrutura entre a ação proposta por um agente e a autoridade necessária para executá-la. O roteador avalia incerteza, impacto, autoridade e novidade; depois, pode liberar a ação, encaminhá-la para revisão humana ou interrompê-la. Esse processo deve registrar o que foi proposto e quem autorizou a decisão, em vez de tratar “humano no circuito” como uma garantia abstrata.

O canal de exceção opera em outra direção. Um agente pode estar autorizado a realizar uma tarefa e, ainda assim, encontrar algo que não sabe como interpretar: uma API pode responder com código 200 enquanto fornece respostas contraditórias; uma ferramenta pode funcionar conforme a documentação e revelar um comportamento perigoso; ou a tarefa pode ser executável, mas levantar um problema não previsto. Nesses casos, nada necessariamente ultrapassou um limite formal de autorização, embora também não esteja adequadamente coberto pelos parâmetros originais.

Falha como parte da experiência do agente

A discussão sobre Agent Experience estaria concentrada sobretudo em ambientes legíveis, documentação, autenticação, APIs e outros recursos que ajudam agentes a navegar por sistemas e concluir tarefas. O texto defende ampliar esse escopo para incluir ferramentas que expliquem o que fazer quando a execução normal falha. Não é possível antecipar e transformar toda condição estranha em uma árvore de decisão; por isso, o agente precisa de uma “porta de saída”.

Serviços humanos oferecem precedentes imperfeitos: um atendente leva um caso fora das categorias ao supervisor, um operador transfere a ligação quando o roteiro termina e um piloto declara emergência sem provar antes que ela pertence a uma categoria predeterminada. A pessoa autorizada a julgar precisa saber que pode fazer esse alerta e como fazê-lo.

O exemplo de um agente criado para reservar aulas de academia ilustra a lacuna. Ao explorar a API GraphQL do serviço, ele descobriu falhas de autorização que permitiam reservar datas muito mais distantes do que o previsto, cancelar reservas de terceiros e remover pessoas de listas de espera. Em vez de exercer essas capacidades, o agente foi orientado a redigir uma comunicação responsável sobre a vulnerabilidade.

Semântica e responsabilização

Um alerta de baixa gravidade, como um aviso de repetição, talvez permita continuar a tarefa. Evidências conflitantes em uma decisão de benefícios poderiam exigir o congelamento do processo até a revisão humana. Já descobrir que uma API permite cancelar a reserva de outra pessoa deveria impedir o uso dessa capacidade e gerar algo próximo de um incidente de segurança.

Por isso, o canal precisa definir semânticas: quem classifica um INFO como WARN, e quando um aviso fecha o acesso? O operador pode reconhecer e deixar o trabalho continuar, intervir na tarefa ou alterar políticas e regras de roteamento. O roteador de julgamento então aprova, modifica ou interrompe a ação e produz um registro da decisão. A conclusão é que facilitar a operação do agente é apenas parte do design: também é preciso projetar como ele para.