Designers devem verificar se sistemas de IA continuam alinhados a valores

Tese central

Designers e equipes multidisciplinares devem verificar continuamente se sistemas de inteligência artificial ainda cumprem os valores prometidos aos usuários. A autora sustenta que essa responsabilidade se tornou mais urgente com a IA generativa e agentiva, porque decisões mais rápidas, sistemas probabilísticos e a redistribuição de tarefas podem fazer com que compromissos éticos se percam entre a intenção inicial e o comportamento efetivo do produto.

Da experiência do usuário à responsabilidade sobre a IA

A autora retoma sua experiência com design de experiência do usuário, Lean UX e colaboração entre design e engenharia para argumentar que a pressão por eficiência já havia comprimido pesquisa, testes e processos de decisão. Designers continuaram sendo uma minoria nas equipes de entrega, enquanto funções e competências de UX foram absorvidas por gerentes de produto, profissionais de front-end, especialistas em sistemas de design e consultores de estratégia e serviços.

Segundo o texto, isso não reduz a necessidade de designers. Pesquisa, ética, usabilidade, criatividade e perspectivas diversas continuam necessárias para decidir quando e como empregar IA. A autora também defende parcerias baseadas em reciprocidade, confiança, objetivos compartilhados, comunicação e gestão conjunta de riscos entre designers, gerentes de produto e outras funções.

O problema da delegação e da perda de valores

Antes de criar uma “habilidade” ou automatizar uma tarefa, a equipe deveria perguntar por quanto tempo a solução será útil, quão durável ela é, quantas tarefas serão entregues à máquina, se as pessoas realmente confiam no desempenho da IA, quem revisará os resultados e se o treinamento do sistema consumirá mais tempo que o treinamento das pessoas. A autora afirma que a IA ainda não é confiável o bastante e que a revisão humana de grandes volumes de resultados pode rapidamente perder credibilidade. Por isso, não considera adequado confiar exclusivamente à IA a tarefa de revisar seus próprios resultados.

O risco principal descrito é o desaparecimento silencioso de boas intenções. Uma promessa como “seremos verdadeiros” ou “valorizamos a privacidade” precisa ser convertida em regras específicas para dados, modelos, funcionamento interno, respostas e mecanismos de segurança. Se uma etapa for ignorada, o valor pode não chegar ao usuário, mesmo quando todos os envolvidos pretendiam agir de forma responsável. Quando os valores não são reconhecidos pelos usuários e beneficiários do sistema, a autora considera que o problema não é apenas técnico, mas também de valores.

Modelo de operação e teste contínuo

O texto apresenta um modelo de seis fases, conduzido e orquestrado por humanos, com a IA integrada ao processo: SENSE, para situar o desafio; FRAME, para definir o quê e o porquê; BUILD, para estruturar como fazer; MAKE, para moldar a experiência; SHIP, para colocar o sistema no ar com segurança; e EVOLVE, para alimentar novamente a fase de compreensão. O design funciona como uma camada transversal, conectada a resultados para a comunidade, o planeta e a sociedade.

Na fase FRAME, a equipe define a finalidade e os limites do sistema, escolhe modelo e dados, especifica seu funcionamento, as modalidades de interação, os comandos e as regras de segurança. A recomendação final é repetir, em todas as fases e antes do lançamento, uma pergunta simples: o sistema ainda entrega os valores prometidos? A revisão deve incluir contratos sociais e documentação. Para a autora, essa prática pode aumentar confiança, credibilidade e as chances de uma entrega segura.