Figma Make acelera design em 20%, aponta teste controlado

Resultado do teste controlado

Em um ensaio clínico randomizado com 100 participantes, a Figma mediu o impacto do Figma Make no tempo gasto em tarefas de design. Ao todo, 50 product designers e 50 product managers executaram as mesmas atividades, com e sem acesso à ferramenta. No geral, o trabalho ficou 20% mais rápido, 16% mais fácil e a percepção de usabilidade do Figma melhorou 15%. Os ganhos foram maiores para product managers: 23% menos tempo e 37% mais facilidade. Segundo o estudo, um PM usando o Make ficou quase tão eficiente quanto um designer sem a ferramenta.

Por que um RCT em vez de métodos comuns

A equipe de ciência de dados da Figma explica que métodos tradicionais tinham limitações para medir esse tipo de efeito. Um teste A/B online não permitiria controlar a complexidade das tarefas realizadas por cada usuário. Já a inferência causal sobre logs esbarraria em variáveis não observáveis, como experiência subjetiva em design. Por isso, a empresa optou por um randomized controlled trial, com distribuição aleatória entre grupo de tratamento e controle, tarefas padronizadas e moderação treinada.

Como o experimento foi desenhado

Os participantes tiveram de editar posts de mídia social em três cenários: converter uma interface para dark mode, adicionar uma opção de ajuda em um menu de configurações e construir um painel de comentários. As tarefas passaram por pilotos internos e foram redesenhadas três vezes até atingir um nível que não fosse fácil demais para designers nem difícil demais para PMs. A análise usou testes de hipótese e modelos de regressão OLS.

Diferenças entre designers e PMs

Os product managers tiveram ganhos estatisticamente significativos nas duas tarefas mais rápidas e simples, mas não na mais complexa. Para os product designers, ocorreu o inverso: houve melhora significativa apenas na tarefa mais difícil. Na interpretação da Figma, o Make acelera tanto a criação inicial quanto interações complexas para designers, enquanto para PMs funciona mais como uma ferramenta básica para contribuições rápidas de design.

Próximos passos

A Figma afirma que o desenho do estudo permite atribuir os ganhos ao uso do Make de forma causal e que pretende aplicar a mesma abordagem ao novo Figma design agent. A empresa também quer investigar impacto da IA na qualidade do design e na colaboração entre equipes.