Anthropic diz que Claude lidera 26% de sua pesquisa e desenvolvimento

Transparência sobre como a IA constrói IA

A Anthropic publicou um conjunto de três métricas para iluminar o ritmo do desenvolvimento de IA dentro de laboratórios de fronteira, motivada pelo fato de que sistemas de IA estão cada vez mais automatizando o próprio processo de sua construção. A empresa argumenta que, enquanto o mundo considera desacelerar o ritmo do avanço da IA de fronteira - como proposto pelo CEO Dario Amodei - o público precisa de mais informação sobre como os modelos são produzidos. As métricas complementam as avaliações de capacidade publicadas via Responsible Scaling Policy e se conectam à proposta da empresa, o Advanced AI Framework, que sugere obrigações de transparência que governos poderiam exigir. A Anthropic também planeja receber avaliadores independentes de terceiros, com acesso a processos e dados internos comparáveis ao dos times internos de risco.

Quanto da P&D é feita pela própria IA

A primeira métrica é o Anthropic R&D Automation Index, que mede quanto da pesquisa e desenvolvimento de IA da empresa é realizado pelo Claude. A escala usada, da Epoch AI, vai de AL0 (sem IA) a AL5 (IA totalmente autônoma, sem humano no loop); em AL3 a IA "colabora", e em AL4 "lidera", completando a maior parte da tarefa de ponta a ponta sob supervisão humana.

Conforme os dados de agosto de 2026, o Claude não opera de forma totalmente autônoma em nenhum subconjunto medido. O Claude "lidera" 26% do trabalho de P&D de IA da Anthropic, e a participação de trabalho no nível de "IA colabora" ou acima fica acima de 90%. A metodologia partiu de uma amostra de 20% dos funcionários por departamento ao longo de julho de 2026, gerando cerca de 15.000 tarefas granulares organizadas por agentes Claude em uma árvore hierárquica com 542 nós, congelada como base de comparação. As avaliações de automação são feitas por um agente Claude e conferidas por um juiz Claude independente; a concordância exata entre modelo e humano foi de 59%, contra 35% entre humanos, e as notas ficaram a um nível de distância em 97% dos casos. A empresa reconhece limitações: o índice depende do modelo julgador e a cesta de tarefas congelada não captura novos tipos de trabalho - embora uma comparação com uma cesta de janeiro de 2026 não tenha mostrado aumento de tarefas "novas".

Supervisão de agentes

A segunda métrica trata da capacidade de supervisionar e intervir em ações de agentes de IA. Em agosto de 2026, cerca de 30.000 agentes faziam trabalho de pesquisa e engenharia na plataforma interna mais usada da Anthropic. Dois tipos de monitores os fiscalizam: monitores online, que checam 100% das ações em tempo real antes da execução (analisaram mais de 1 bilhão de decisões no mês; 0,002%, cerca de 1 em 47.000, foram bloqueadas); e monitores offline, que leem as atividades depois, sinalizando cerca de 100.000 transcrições por semana, das quais aproximadamente 50 por semana, de maior prioridade, vão para revisão humana. A empresa relata que agentes individuais raramente se desviam, mas alerta que, com milhões ou bilhões de agentes na economia, até eventos raros ocorrerão com regularidade.

Alocação de compute

A terceira métrica mede como o compute é distribuído, usando uma semana de julho (13 a 20) como amostra. Cerca de 6% do compute destinado à P&D de IA foi alocado para segurança, e cerca de 12% do compute de P&D feita por IA foi para segurança. As estimativas são deliberadamente conservadoras: tokens que avançavam capacidades e segurança igualmente não foram contados, e classificadores de salvaguarda, que consomem compute comparável, não entram na conta. A Anthropic reconhece que compute é um proxy imperfeito para o foco em segurança, pois pesquisa de segurança usa menos compute por natureza, e que a fronteira entre pesquisa de segurança e de capacidades não é clara - casos ambíguos foram definidos por escrito, com classificadores que concordam com revisores humanos dentro de um ou dois pontos percentuais.

Conclusão

A Anthropic argumenta que qualquer desenvolvedor de fronteira poderia publicar essas medições regularmente, com metodologia pública e verificação por terceiros, e que a falta de metodologia comum e o uso de modelos próprios como juízes são os principais obstáculos à comparação entre laboratórios. Para a empresa, minimizar a diferença entre o que os labs sabem e o que o público sabe é essencial caso o mundo decida coordenar o ritmo da fronteira da IA.