
Avaliação independente mostra que a P&D de IA da Anthropic acelerou cerca de 2x
Contexto e acesso
Entre 12 de agosto e 29 de outubro de 2026, a METR, organização independente de avaliação, fez uma avaliação com alto acesso interno à Anthropic. O objetivo era medir em que grau a IA está acelerando a própria P&D de IA. O relatório parte do argumento de que, se sistemas de IA começarem a acelerar significativamente o desenvolvimento de IA, isso poderia levar a uma emergência repentina de capacidades extremas e arriscadas.
A Anthropic deu acesso a dados internos sobre pré-treinamento e aprendizado por reforço (RL), métricas de computação de treino, pontuações em benchmarks de modelos internos, análises de aceleração por IA, previsões de métricas de modelos futuros e entrevistas com funcionários. A METR trabalhou com cerca de 2,5 equivalentes em tempo integral, em Dispositivos da própria Anthropic, por razões de segurança.
Conclusões sobre risco
Segundo a METR, a maioria dos membros da equipe que trabalhou no projeto acredita que, em outubro de 2026, a Anthropic provavelmente está melhorando as capacidades de seus modelos em tarefas bem especificadas a cerca de duas vezes a velocidade observada entre março de 2024 e outubro de 2025. A própria METR diz que não ficaria surpresa se a taxa real estivesse mais perto de 1,3 vez ou de 3 vezes a histórica. A estimativa vem com incerteza alta, e a aplicação a tarefas mais amplas e menos especificadas é ainda mais incerta.
Sobre a causa, a METR estima que cerca de 80% da aceleração atual possa ser atribuída à IA. Essa avaliação também é cercada de incerteza. A aceleração observada no fim de 2025 provavelmente teve influência de fatores não relacionados à IA.
O relatório também aponta que não encontrou gargalos claros nem retornos decrescentes fortes que impeçam um efeito composto. Por isso, a METR considera que há risco significativo de que mais progresso de capacidades leve a uma aceleração ainda maior no próximo ano.
Evidências principais
O indicador central é o AECI, versão interna da Anthropic do Epoch Capabilities Index. Desde outubro de 2025, a pontuação dos modelos da empresa cresce cerca de 1,9 vez a taxa anterior, com intervalo de confiança de 95% entre 1,5 e 2,8 vezes. Em outras palavras, a empresa teria feito em um ano um progresso que, antes, levava cerca de dois anos. A METR diz que essa estimativa é maior que a de 1,7 vez informada no system card do Haiku 5.5, principalmente pela inclusão de modelos mais novos e ainda não lançados.
A METR afirma estar confiante de que a aceleração não se deve a uma aceleração na escala de computação de treinamento. Entrevistas e pesquisas são coerentes com a ideia de que o uso de IA impulsiona essa duplicação, embora a própria METR reconheça que essas fontes são difíceis de interpretar. Em uma pesquisa interna no Slack, os funcionários relataram ganhos de velocidade que chegaram a 12 vezes em outubro de 2026, mas a METR considera esse dado apenas uma evidência muito frouxa, já que as respostas refletem pouca reflexão. O relatório destaca que um ganho individual alto não equivale, por si só, a uma aceleração do progresso geral.
Segundo a METR, a IA ainda não consegue fazer contribuições totalmente autônomas e relevantes nas partes mais importantes do treinamento de modelos, mas pesquisadores relataram "sinais de vida" de que isso pode ocorrer em breve, com maturidade variável por área.
Limitações e robustez
A METR afirma que a estimativa varia conforme as escolhas metodológicas. Com diferentes funções de ligação, a aceleração fica entre 1,1 e 2,9 vezes. Com a função log-log, que supõe uma cauda longa de tarefas difíceis, o resultado é 2,9 vezes; com a complementar log-log, que supõe muitas tarefas fáceis, é 1,1 vez. Ao mudar os snapshots, os benchmarks ou o regularizador, o resultado mantém-se perto de 2 vezes.
A METR lista riscos nas duas direções. A aceleração pode estar subestimada se a tendência já tiver acelerado de forma contínua ou se a automação estiver mais próxima do que o estimado. Pode estar superestimada se fatores não relacionados à IA explicarem a maior parte do ganho, se a aceleração se limitar a tarefas bem especificadas e fáceis de avaliar, ou se o crescimento histórico da Anthropic tiver sido anormalmente baixo antes de fins de 2025. Além disso, os benchmarks internos estão cada vez mais saturados, e a relação entre pontuação e impacto no mundo real é pouco documentada.
Restrições de publicação
A Anthropic tinha direito de redigir qualquer informação não pública e redigiu grande parte das evidências que a METR considerou mais informativas. Segundo a empresa, a intenção era remover informações confidenciais que pudessem acelerar outros desenvolvedores de IA. A METR afirma que as conclusões de mais alto nível puderam ser compartilhadas, mas que a falta de evidências públicas dificulta que o público avalie os dados de forma independente e depende mais do julgamento da própria METR. Também houve mudança de escopo: a verificação da alocação de computação entre capacidades e segurança foi cancelada pela Anthropic antes de a METR chegar a conclusões.