
Arquitetura do Kimi K3: da atenção ao delta e retrieval esparso
Os ganhos do Kimi K3 vão além de escala, combinando Kimi Delta Attention de estado constante, retrieval softmax periódico, experts esparsos e acesso residual seletivo. Cada passo arquitetural melhora como memória de capacidade fixa armazena, esquece e recupera informação.