Datadog publica relatório sobre uso de IA em escala com telemetria de LLMs
resumo de ~3 min
State of AI Engineering - Datadog
A Datadog publicou o relatório State of AI Engineering, baseado em telemetria de LLMs coletada de mais de 1.000 organizações clientes. O documento analisa o que está acontecendo com IA em produção em escala real.
Principais achados destacados
- Adoção multi-modelo é o padrão: a maioria das organizações já opera com múltiplos provedores de modelos simultaneamente, e a adoção entre provedores está mudando rapidamente.
- Dívida técnica de LLMs está se acumulando: equipes adotam novas versões de modelos mais rápido do que aposentam as antigas, gerando complexidade crescente.
- Frameworks de agentes dobraram: a adoção de frameworks para agentes de IA dobrou, o que traz implicações diretas para observabilidade.
- Custos ocultos de tokens: existem fontes de custo em tokens que passam despercebidas, e o prompt caching continua amplamente subutilizado.
O relatório posiciona a engenharia de IA como uma disciplina que já ultrapassou a fase de experimentação: organizações agora gerenciam frotas de modelos, frameworks de orquestração e workflows agênticos multi-etapa em produção, onde uma única mudança de prompt ou modelo pode alterar silenciosamente latência, custo e taxas de falha.