IA torna métricas de engenharia baseadas em atividade obsoletas

A tese: os proxies de atividade é que ficaram obsoletos

Para Bharat Sharma, a IA não acabou com as métricas de engenharia de software, mas tornou um tipo específico delas ativamente enganoso: os proxies de atividade que a maioria das organizações ainda apresenta aos executivos, como linhas de código, commits, contagem de PRs e story points. Quando um branch pode ser gerado em segundos, contar atividade deixa de medir algo. Ao mesmo tempo, a IA tornou mais importantes as métricas de resultado no nível do sistema.

A evidência é um gráfico de dispersão

Não existe um coeficiente único de produtividade da IA. O ensaio randomizado da METR em 2025 acompanhou 16 desenvolvedores de código aberto altamente experientes em 246 tarefas em repositórios maduros que já conheciam: com ferramentas de IA, eles foram 19% mais lentos, embora acreditassem que seriam mais rápidos. Experimentos randomizados revisados por pares na Microsoft, Accenture e uma empresa Fortune 100, com 4.867 desenvolvedores, estimaram 26,08% mais tarefas concluídas. Uma análise observacional de 16.223 desenvolvedores mostrou até 40,5% mais PRs entre usuários intensos do GitHub Copilot - mas trata-se de grupo autoselecionado, e o autor lê o número como teto, não como previsão.

A diferença se explica pelo contexto: os mantenedores experientes trabalhavam onde o gargalo era o julgamento, não a digitação; os coortes corporativos faziam tarefas designadas com mais boilerplate. O efeito da IA varia com o tipo de tarefa, a senioridade e o quanto a base de código vive na cabeça de alguém - e uma métrica que não distingue essas situações é inútil.

O que quebrou e para onde o trabalho foi

A adoção é ampla, mas o entendimento do resultado é raro: uma pesquisa Halkwinds de 2026 com 758 organizações encontrou 76% com pelo menos um assistente de código de IA em toda a empresa (contra 41% em 2024), mas só 34% conseguiram apontar mudança auditada e mensurável nas métricas de entrega.

O autor desmonta cada proxy: linhas de código sempre puniram a refatoração e premiaram o inchaço, agora automatizado; uma análise de 2026 de cerca de 110.000 PRs de código aberto encontrou PRs feitos com Claude Code com tamanho médio cerca de seis vezes maior que os humanos - enchimento, não progresso; story points seguem válidos para planejamento de sprint, mas não como sinal de produtividade, pois a calibração histórica assumia esforço humano por ponto.

O trabalho se desloca para jusante - leitura, validação, revisão e segurança. A análise longitudinal do GitClear, sobre 211 milhões de linhas de código de 2020 a 2024, registrou código duplicado por copiar/colar superando código movido (refatorado) pela primeira vez; pesquisa do 1º trimestre de 2026 aponta churn de código até nove vezes maior entre usuários intensos de IA. O relatório da Veracode de 2025 submeteu mais de 100 modelos a tarefas de código e 45% das amostras falharam em testes de segurança, com problemas do OWASP Top 10. Telemetria da Apiiro em repositórios Fortune 50 entre dezembro de 2024 e junho de 2025 mostrou desenvolvedores assistidos por IA comitando a três a quatro vezes a taxa padrão, com falhas arquiteturais críticas subindo junto e caminhos de escalonamento de privilégio até 322% acima.

Há também a inversão sênior/júnior: os experimentos corporativos mostram que menos experientes adotam IA antes e ganham mais, enquanto os mantenedores da METR não ganharam nada. A IA comprime a lacuna de produção entre juniores e seniores e alarga a de validação - seniores valem mais como revisores e arquitetos, o que pressiona escadas de carreira ainda não revisadas.

O que medir e o plano de 90 dias

A recomendação é manter os resultados de entrega estilo DORA, rebaixar os proxies e adicionar poucos diagnósticos: tempo na fila de revisão, retrabalho em 14 dias (linhas alteradas ou revertidas ÷ linhas introduzidas), taxa de falha em gates de validação, retrabalho pós-implantação e retrabalho por dólar gasto em IA. Regras: acompanhar tendências contra uma linha de base pré-IA, nunca reportar no nível individual e parear com resultados de negócio. O relatório DORA de 2025 formalizou o "efeito amplificador": onde testes automatizados e plataformas internas eram fortes, a IA correlacionou-se com maior throughput; nos mesmos dados, a adoção também correlacionou com mais instabilidade e retrabalho. A Ironclad, por exemplo, deixou de contar geração e passou a medir o que sobrevive à revisão, com uma métrica chamada "Trusted Throughput", além de limitar passos de loops agênticos.

O plano de 90 dias: dias 1–30, congelar ou reconstruir a linha de base de seis meses com dados de GitHub, GitLab, CI e Jira; dias 31–60, instalar salvaguardas - limites programáticos de tamanho de PR, tetos de iterações agênticas, gates incontornáveis; dias 61–90, remover LOC, commits e PRs brutos dos relatórios executivos e substituí-los por tempo de revisão e retrabalho por time, com um dono do painel.

O risco que engole os demais

A lei de Goodhart: quando a medida vira alvo, deixa de ser medida. Qualquer painel de uso de IA visível aos engenheiros vira um placar, e placares são otimizados - mais tokens, PRs maiores, mais execuções agênticas, sem valor de produto. A mitigação é estrutural: painéis diagnósticos, no nível de time ou acima, jamais como insumo de avaliação individual, declarado por escrito antes do primeiro lançamento.