Meta lança WearableQA, benchmark de saúde com dados reais de wearables

O que é

O repositório facebookresearch/WearableQA, ligado à Meta, apresenta o WearableQA, um benchmark de 4.084 questões de múltipla escolha com dez opções, construídas a partir de séries temporais de wearables, biomarcadores sanguíneos e dados demográficos de 200 usuários reais, cada um com até cerca de 500 dias de medições diárias. Diferentemente de benchmarks baseados em sinais sintéticos ou idealizados, ele preserva distribuições autênticas de wearables: ruído de dispositivo, dias ausentes e variabilidade entre indivíduos. Cada questão pede que um modelo raciocine sobre o registro longitudinal de um usuário: calcular sobre medições brutas, interpretá-las fisiologicamente, ou ambos.

Estrutura

Os 16 tipos de questão organizam-se em dois eixos. No eixo dados versus saúde, são 2.724 questões de dados e 1.360 de saúde. No eixo sinal único versus cruzado, são 1.682 e 2.402, respectivamente. Quanto à fundamentação, 3.154 vêm de estatísticas populacionais e 930 da literatura. As respostas corretas são balanceadas uniformemente entre as opções A e J dentro de cada grupo de raciocínio, o que fixa a linha de base aleatória em 10%.

Dados e prompts

Cada prompt contém instrução, perfil do usuário (idade, sexo, IMC e etnia), dados de sensores, painel de biomarcadores sanguíneos, referência de coorte e a pergunta com as opções. O painel traz 17 biomarcadores, quando disponíveis; a referência de coorte traz percentis p10, p25, p50, p75 e p90 para cinco métricas. Algumas seções são omitidas quando não se aplicam - há questões que retêm a série temporal para forçar o modelo a raciocinar apenas com o painel sanguíneo, e outras que retêm a referência de coorte. A janela de observação das perguntas é de 28 dias; a renderização usa essa janela e até 500 dias de histórico anterior como contexto. Os prompts são grandes: mediana de cerca de 86 mil caracteres e máximo de cerca de 124 mil.

Métricas e arquivos

Até 16 métricas diárias aparecem por usuário: passos, frequência cardíaca de repouso, variabilidade da frequência cardíaca, VO2 máximo, duração e eficiência do sono, percentual de sono profundo, percentual de REM, desvio-padrão do horário de dormir, calorias ativas, calorias de taxa metabólica basal, nível médio de estresse, contagem de exercícios, horas de exercício, METs de exercício e frequência cardíaca média em exercício. Registros reais são esparsos: uma métrica ausente em determinado dia simplesmente não aparece na linha daquele dia. O repositório traz três arquivos. WearableQA.jsonl, com 306 MB, é o benchmark pré-renderizado, com uma questão por linha e prompt já achatado em texto. WearableQA_raw.json, com 39 MB, é a fonte estruturada, com as questões e as séries completas por usuário, para renderizar os dados de outra forma, alimentar um agente com ferramentas ou montar um template próprio. render_raw.py, com 10 KB, reconstrói um .jsonl em quatro serializações.

Formatos e avaliação

O renderizador aceita os formatos row, col, csv e markdown; o padrão é row. Apenas o bloco de dados de sensores muda entre eles. No formato row, há uma linha por dia, esparsa; no col, um bloco por métrica; no csv, uma tabela densa; no markdown, a mesma tabela em markdown. A escolha importa: nos experimentos, a serialização alterou a acurácia em vários pontos, e renderizações em imagem foram muito piores do que qualquer formato de texto. Os tamanhos variam: csv cerca de 132 MB, row 306 MB e col 330 MB. O renderizador requer apenas Python 3, sem dependências de terceiros.

Acesso e licença

Os arquivos usam Git LFS; é preciso instalá-lo antes de clonar, ou o usuário recebe pequenos arquivos de ponteiro. O conjunto também está no Hugging Face Hub, onde pode ser carregado com load_dataset para a divisão de teste, incluindo configurações markdown e structured. Na avaliação, uma resposta só é considerada correta quando a letra escolhida coincide com a resposta; respostas sem letra interpretável contam como incorretas. A licença é CC BY-NC 4.0, com termos adicionais: proibição de reidentificação; uso não permitido em decisões clínicas, diagnósticas ou de tratamento; uso não permitido de forma discriminatória, prejudicial ou enganosa em relação a desfechos de saúde; e fornecimento no estado em que se encontra, sem garantias, apenas para pesquisa e benchmarking.