OpenAI cria MentalHealthBench com mais de 80 especialistas em saúde mental

OpenAI lança benchmark aberto de saúde mental

A OpenAI apresentou o MentalHealthBench, um benchmark aberto para avaliar como sistemas de IA respondem em conversas realistas sobre saúde mental. A ferramenta foi construída com mais de 80 profissionais habilitados de psicologia e psiquiatria, de 22 países, 19 idiomas e quase 20 subespecialidades, e está disponível publicamente para que outros pesquisadores examinem os métodos e façam suas próprias avaliações.

A motivação, segundo a empresa, é que a maioria das avaliações existentes se concentra em cenários de emergência, com critérios amplos e predefinidos, deixando lacuna na compreensão do desempenho dos modelos em toda a variedade de conversas sobre saúde mental - além de apenas evitar respostas não permitidas. Com mais de um bilhão de pessoas usando o ChatGPT por semana, a OpenAI diz focar em respostas cuidadosas que coloquem segurança e bem-estar em primeiro lugar, embora afirme que o ChatGPT não substitui terapia ou atendimento profissional.

Como o benchmark foi construído

Usando técnicas de preservação da privacidade, a OpenAI criou conversas sintéticas que refletem padrões reais de uso de IA para saúde mental, algumas incluindo contexto sobre o usuário sintético - como uma perda recente na família - para testar se o modelo adapta a resposta. O conjunto cobre adultos, adolescentes de 13 a 17 anos (sinalizados via mensagem do sistema), cuidadores e profissionais de saúde, em diferentes idiomas, regiões e três níveis de gravidade: não agudo, alta gravidade e emergências. A seleção de cenários foi concebida para testar respostas, não representando a frequência real dos temas no ChatGPT.

Cada conversa foi revisada por pelo menos três especialistas, que produziram critérios de avaliação com pesos de -10 a +10: pontos positivos recompensam comportamentos benéficos, negativos penalizam os prejudiciais, e valores maiores indicam maior importância clínica. Apenas critérios aceitos por consenso entraram na versão final. Um avaliador automatizado, o GPT-5.6 Sol, analisa as respostas dos modelos com base nesses critérios.

Resultados e dimensões de comportamento

Os resultados mostram, segundo a OpenAI, melhoria constante dos sistemas de IA no apoio a situações de saúde mental. A pontuação geral pode ser decomposta em dez dimensões de comportamento definidas por especialistas; modelos com pontuações gerais semelhantes podem ter pontos fortes distintos. Um exemplo citado: a capacidade de buscar o contexto adequado aumentou nos modelos mais avançados, refletindo investimentos da OpenAI e de outros fornecedores. A OpenAI ressalva que a abordagem do perfil adolescente pode não contemplar todas as proteções incorporadas a cada produto.

Perspectivas de usuários versus especialistas

Em paralelo, a empresa realizou uma análise separada com 44 adultos de 16 países e 14 idiomas que já haviam usado IA para apoio emocional, limitada a conversas não agudas para evitar exposição a conteúdos angustiantes. Os usuários valorizaram mais sugestões práticas de próximos passos e o tom das respostas, enquanto os especialistas enfatizaram coleta de contexto e interpretação cuidadosa de situações ambíguas. Os critérios finais do benchmark, baseados no consenso dos especialistas, não foram alterados por essa análise.

Contexto e iniciativas complementares

A OpenAI enquadra o benchmark como recurso compartilhado para elevar o padrão de apoio da IA, reconhecendo que nenhum benchmark contempla tudo o que importa em uma conversa pessoal. A empresa cita outras iniciativas: subsídios para pesquisas, reunião de especialistas com a Partnership on AI, apoio à avaliação de saúde mental da Transluce e mudanças no produto, como respostas fortalecidas em conversas delicadas, acesso ampliado a recursos de crise, o recurso Contato de confiança e o ChatGPT para adolescentes, com proteções adicionais para usuários mais jovens.