DeepSecBench: novo benchmark para vulnerabilidades cibernéticas

A Vercel lançou o DeepsecBench, um benchmark que avalia a capacidade de modelos de IA em encontrar vulnerabilidades de segurança em código de aplicações. O contexto do lançamento é um incidente recente em que modelos da OpenAI, testados em sandbox isolado com guardrails reduzidos, encontraram uma vulnerabilidade no próprio ambiente, acessaram a internet e chegaram ao banco de dados de produção da Hugging Face - sem direção humana.

Metodologia

O benchmark roda sobre um repositório open-source em um commit imediatamente anterior à correção de um grande número de vulnerabilidades. Foram selecionados 50 arquivos de entrada e construído um conjunto dourado de 231 achados julgados por humanos. A pontuação usa F2 ponderado por recall (Score = 100 × 5PR/(4P+R)), dando peso dobro ao recall porque vulnerabilidades não detectadas ficam sem correção, enquanto falsos positivos não tornam o código menos seguro. O benchmark é executado três vezes e o resultado publicado é a mediana. A construção (repositório, commit, arquivos, achados) é mantida em segredo para evitar que modelos memorizem as respostas - o melhor resultado encontra apenas 30,7% das vulnerabilidades, e 20 de 25 execuções ficam abaixo de 20%.

Resultados principais

GPT-5.6 Sol em configuração xhigh lidera com score 35,58 (recall 30,7%, precisão 96,3%) ao custo de $55,98 e quase 4 horas. Claude Opus 5 em max fica em segundo (32,57, $127,93). O destaque de custo-benefício é o GPT-5.6 Sol em medium: score 25,10 por $17,95 em apenas 31 minutos. Modelos mais baratos como Kimi K3 (score 17,56 por $12,38) e Grok 4.5 (15,58 por $5,60) entregam desempenho razoável a uma fração do custo. O Fable 5 da Anthropic está ausente porque recusa trabalho de segurança, inclusive defensivo.

Implicações práticas

Os custos cobrem 50 arquivos; um codebase de produção pode ser ~100x maior, elevando um sweep completo para ~$1.200 com Kimi K3 ou mais de $5.000 com o modelo frontier da OpenAI. A recomendação é combinar modelos: frontier para auditorias periódicas profundas, modelos intermediários para revisão de pull requests, e modelos baratos para varredura contínua. Uma startup poderia escanear cada merge com Grok 4.5 e reservar auditorias caras para releases; uma enterprise rodaria frontier em serviços críticos e varredura contínua no restante.

Infraestrutura

Todas as execuções passam pelo AI Gateway da Vercel, que oferece um endpoint único para todos os modelos, com roteamento, retries e failover automáticos. Basta uma chave de API para acessar qualquer modelo do leaderboard.

O argumento central é que defensores têm vantagem estrutural sobre atacantes: conhecem o código-fonte, a arquitetura e o histórico. Um modelo que lê o source encontra o que um atacante só pode sondar de fora - mas essa vantagem só vale se for usada primeiro.