Ex-funcionária da Anthropic cria auditoria independente para agentes rebeldes
A startup
Rune Kvist, um dos primeiros funcionários da Anthropic, e Rajiv Dattani, ex-COO da organização de pesquisa de segurança METR (cargo ocupado de 2024 a 2025, do qual ainda é membro do conselho), fundaram a Artificial Intelligence Underwriting Company (AIUC), uma startup que quer trazer segurança de IA para empresas que constroem modelos e agentes de IA. Entre os clientes citados estão Cursor, Lovable, Harvey e ElevenLabs.
A tese dos fundadores, que são cunhados, é que a adoção da IA se torna mais difícil à medida que os modelos ficam mais inteligentes. "Bancos, hospitais, governos e militares não deixam de implantar IA porque um modelo não é inteligente o suficiente", disse Kvist. "Eles declinam porque fizeram compromissos com seus próprios clientes sobre o que um sistema fará e não fará, e ninguém consegue atualmente garantir isso."
Auditoria e certificação independentes
A AIUC aplica à IA um modelo familiar de cibersegurança: inspirada no padrão SOC 2, amplamente adotado, a empresa criou uma norma chamada AIUC-1 e um serviço de testes para certificar agentes de IA contra esse padrão. Para formulá-la, a startup reuniu um consórcio de cerca de 250 líderes de segurança e risco - os compradores de agentes - perguntando o que gostariam de ver endereçado ao adquirir agentes, segundo Dattani.
Na prática, a empresa submete cada agente a um conjunto de cerca de 5.000 testes que avaliam o comportamento em cenários de jailbreak, alucinações e vazamento de dados. O resultado é um relatório de aproximadamente 100 páginas indicando onde o agente é seguro e confiável - e onde não é. Curiosamente, a AIUC usa agentes de IA para executar os testes e IA para analisar os dados, mas humanos verificam a auditoria final.
Rodada de investimento
A AIUC anunciou uma rodada Series A de US$ 40 milhões liderada pela Ribbit Capital, com participação da First Harmonic. Antes, a empresa havia captado uma rodada seed de US$ 15 milhões de Nat Friedman, por meio de seu fundo NFDG, além de Emergence, Terrain e do cofundador da Anthropic Ben Mann, elevando o total de captação a US$ 55 milhões.
Contexto de segurança
A iniciativa se insere num debate mais amplo. A METR, antiga empresa de Dattani, faz testes semelhantes para os labs de fronteira, embora seu trabalho tenha se concentrado principalmente em desempenho (se os agentes completam tarefas de forma confiável); foi uma das organizações independentes usadas pela OpenAI para investigar o incidente com o Hugging Face. O CEO da Anthropic, Dario Amodei, chamou recentemente o setor a moderar o ritmo do desenvolvimento de fronteira, citando o aumento rápido de incidentes de mau comportamento, e sugeriu exigir que os labs usem avaliadores terceirizados embutidos para verificar a segurança, nomeando a METR como possibilidade.
A AIUC não propõe se embutir nos sites dos clientes, mas a ideia geral é parecida: dar às empresas uma avaliação independente de quão seguros são seus agentes de IA - onde o sistema passa e onde há preocupações - antes da decisão de compra.