DeepTeam simula mais de 50 classes de vulnerabilidade em LLMs

O que é o DeepTeam

DeepTeam é um framework open-source de red teaming para sistemas de LLM, desenvolvido pela Confident AI e construído sobre o DeepEval, framework de avaliação de LLMs. O projeto se descreve como um "teste de penetração para LLMs": simula ataques como jailbreaking, prompt injection e exploração multi-turno para descobrir vulnerabilidades em agentes de IA, pipelines RAG e chatbots. O repositório no GitHub tem 2,9 mil estrelas e 479 forks, com licença Apache 2.0.

Cobertura de vulnerabilidades e ataques

O framework oferece mais de 50 vulnerabilidades prontas para uso, avaliadas por métricas LLM-as-a-Judge que rodam localmente e produzem notas binárias de aprovação/reprovação com justificativa. As categorias incluem:

• Privacidade de dados: vazamento de PII e de prompt de sistema.
• IA responsável: viés, toxicidade, proteção infantil, ética e justiça.
• Segurança: BFLA, BOLA, bypass de RBAC, injeção de shell e SQL, SSRF, envenenamento de metadados de ferramentas e reconhecimento de sistema.
• Segurança (safety): atividade ilegal, conteúdo gráfico, segurança pessoal e execução inesperada de código.
• Negócios: desinformação, propriedade intelectual e riscos competitivos.
• Agentic: roubo de objetivos, sequestro recursivo, agência excessiva, comprometimento de comunicação entre agentes, deriva autônoma e abuso de ferramentas.

Também é possível definir vulnerabilidades customizadas em poucas linhas de código. Para os ataques, são mais de 20 métodos baseados em pesquisa, divididos em turno único (prompt injection, roleplay, leetspeak, ROT13, Base64, ataques multilíngues, poesia adversária, manipulação emocional, entre outros) e multi-turno (jailbreaking linear, em árvore, crescente, sequencial e Bad Likert Judge).

Compatibilidade com frameworks de segurança

DeepTeam mapeia automaticamente categorias de padrões estabelecidos de segurança de IA para as vulnerabilidades e ataques corretos. São suportados: OWASP Top 10 para LLMs 2025, OWASP Top 10 para Agentes 2026, NIST AI RMF, MITRE ATLAS, BeaverTails e Aegis.

Como funciona na prática

O uso não exige definir previamente o sistema que será testado - basta instalar o pacote via pip, definir um model_callback que representa a aplicação de LLM e escolher vulnerabilidades e ataques. Diferente da avaliação tradicional, o red teaming não requer um dataset preparado: os ataques adversariais são gerados dinamicamente conforme as vulnerabilidades escolhidas. É possível executar pela CLI com configs YAML ou programaticamente em Python, e os resultados de risco podem ser exibidos em dataframes ou salvos em JSON.

Guardrails para produção

Além do teste, o framework oferece 7 guardrails prontos para classificação binária em tempo real de entradas e saídas de LLM: ToxicityGuard, PromptInjectionGuard, PrivacyGuard, IllegalGuard, HallucinationGuard, TopicalGuard e CybersecurityGuard.

Plataforma Confident AI

A Confident AI oferece uma plataforma integrada que permite gerenciar avaliações de risco, monitorar vulnerabilidades em produção com alertas, compartilhar relatórios e executar red teams via servidor MCP a partir de IDEs como Cursor e Claude Code. O DeepTeam roda localmente na máquina do usuário, e a plataforma é um complemento opcional.