Coinbase reformula entrevistas de engenharia para avaliar uso de IA

O contexto: código gerado por IA virou padrão

No Q1 de 2025, código gerado por IA representava 5,7% do que era mergeado na codebase da Coinbase. No Q4 de 2025, ultrapassou 50%. Hoje, praticamente 100% do código é gerado por IA e revisado por humanos. Isso mudou a natureza do trabalho de engenharia: menos escrita de código do zero, mais direção de IA, revisão de output, identificação de erros arquiteturais e decisões de julgamento que modelos ainda não conseguem tomar.

O problema com entrevistas tradicionais

A Coinbase identificou dois modos de falha no processo antigo:

• Falsos positivos: candidatos que memorizavam padrões (URL shortener, filas distribuídas) passavam sem demonstrar o julgamento necessário no dia a dia.
• Falsos negativos: candidatos com forte capacidade de julgamento arquitetural, mas menos memorização, reprovavam em questões baseadas em recall - justamente o perfil que se destaca em ambientes AI-native.

Além disso, uma análise interna mostrou 84% de correlação entre duas rodadas diferentes, indicando redundância.

A reconstrução em três fases

Fase 1 (H2 2025) - Piloto Frontend: Ao habilitar IA nas perguntas existentes, a IA resolvia a maioria diretamente. A Coinbase reconstruiu as questões do zero, estruturando-as para avaliar como o candidato usa IA: qualidade dos prompts, avaliação do output, detecção de erros e iteração.

Fase 2 (Janeiro 2026) - Backend: Perguntas baseadas em repositórios realistas, onde candidatos debugam, revisam código, raciocinam sobre cenários de rollback - tudo com ferramentas de IA disponíveis. O foco é avaliar se conseguem trabalhar com e contra uma codebase existente e um colaborador IA.

Fase 3 (Março 2026) - Lançamento company-wide: Sinais de AI Fluency em todas as etapas do processo de engenharia. A definição de fluência cobre três dimensões: Uso (usa IA de forma eficaz e responsável), Aplicação (sabe quando IA é ou não a solução certa) e Compreensão de Limites (identifica onde IA falha, implicações de privacidade e segurança).

Os três sinais avaliados

1. Coding e debugging baseado em repositório (ativo): como o candidato trabalha em codebase existente, triagem de issues, uso eficaz de IA, julgamento para distinguir mudanças corretas das que apenas parecem plausíveis.
2. System design com IA (em teste): capacidade de arquitetar sistemas dirigindo IA para explorar o espaço de design enquanto aplica julgamento que IA não substitui.
3. Liderança e comportamento (ativo): decisões, construção de confiança, gestão de discordâncias - agora incluindo perguntas diretas sobre uso de IA no dia a dia.

Uma restrição mantida: não adicionar rodadas. Todo novo sinal deve substituir uma existente ou capturar algo claramente distinto.

O que ainda está em aberto

• Problema da meia-vida: modelos evoluem rápido o suficiente para tornar uma pergunta trivialmente resolvível no trimestre seguinte. A solução: ciclos de revisão trimestrais com um grupo de trabalho dedicado.
• Predição de performance no cargo: pesquisas de pulso aos 45 e 90 dias de cada novo contratado para verificar se a fluência em IA na entrevista prediz fluência no trabalho.
• V2 do processo: combinar rodadas iniciais para reduzir tempo até sinal, testes A/B isolados e possíveis sinais pré-onsite.