Cache hit não é prova de que o trabalho foi evitado

Um controle sintético determinístico no nível de tokens, enviado no PR #74 do LLMTraceFX, propõe auditar alegações de cache KV de motores de inferência. A tese central é que um cache hit não prova que o trabalho foi evitado. Para o autor, o evento de cache é apenas uma declaração de uma parte do sistema; ele só vira evidência quando uma cadeia independente confirma o prefixo reutilizado, o trabalho efetivamente processado, a identidade da saída, a correção do avaliador e a integridade do pacote de evidências.

O que o controle de dez casos mostra

O experimento usa uma sequência fixa de requisições e uma cache com granularidade de token. Para cada requisição, um oráculo independente calcula o prefixo reutilizável a partir da identidade exata dos tokens e da política fixada; o motor informa sua reutilização; o caminho do prompt registra o trabalho que processou; e um controle sem cache fornece a identidade da saída e a checagem de correção. Os casos iniciais estabelecem estado frio: um insere candidato de quatro tokens e outro submete nove tokens sem prefixo reutilizável, ambos com veredito verified_miss. Em duplicata exata, 8 de 9 tokens foram reutilizados e 1 token de prompt foi processado, com veredito verified_hit. Uma mutação interna reduziu a reutilização segura para 3 de 9 tokens; uma mutação de fronteira deixou 4; uma mudança de sufixo manteve 8. Esses casos receberam partial_reuse. O caso de mesmo comprimento, com nove tokens, mas IDs diferentes, forçou zero reutilização e processou nove tokens: comprimento igual não cria identidade. Isolamento de namespace também forçou zero reutilização. Pressão de capacidade encheu a cache controlada, e uma revisita posterior teve zero reutilização e quatro tokens de trabalho, com veredito evicted, apoiado por prova do predecessor retido e observações controladas de residência. Em todos os dez casos, as saídas com e sem cache foram idênticas em tokens e o avaliador passou. O texto extrai três lições: contagem igual não é identidade igual; a posição da mutação define o prefixo seguro; e eviction e isolamento não são o mesmo caso operacional, pois zero reutilização descreve quantidade, não causa.

Cadeia de evidências

O auditor não aceita a atestação do motor sozinho. O LLMTraceFX confronta a declaração com cinco checagens independentes: oráculo de tokens, trabalho observado no prompt, identidade dos tokens de saída, correção do avaliador e pacote de evidências vinculado por hash. O oráculo importa porque o motor não pode verificar a si mesmo. A identidade de saída adiciona outro limite: uma contagem correta de reutilização não prova que a resposta permaneceu a mesma. O avaliador acrescenta outra pergunta: o resultado continuou correto? O verificador do pacote liga essas alegações a artefatos, incluindo listas de permissão, checksums, esquemas, ordem das requisições, predicados de veredito, sumários derivados, renderização determinística, regras de privacidade e o digest do código Python que gerou a evidência. Tempo e memória de runtime permanecem null no controle; segundo o texto, null não é zero. Nenhuma contagem de token é convertida em latência economizada, nem trabalho evitado estimado é apresentado como computação observada.

Limites e conclusão

O próprio texto delimita o alcance. O controle valida o auditor, o oráculo, o caminho de atestação, o avaliador, esquemas, regras de privacidade, hashes e o verificador autônomo. Ele não estabelece ganho de velocidade em MLX ou vLLM, correção de cache em produção, identidade de provedor ou hardware, desempenho de GPU, redução de latência, economia de memória de runtime, comportamento de cache em nível de bloco, nem que uma integração de runtime tenha evidência suficiente só porque emite eventos de cache. A conclusão é mais estreita: um cache hit pode ser verdadeiro e ainda assim não provar que o trabalho foi evitado. A alegação útil é mais estrita - o oráculo independente esperava o prefixo, o motor o atestou, o caminho do prompt o pulou, a saída permaneceu idêntica, o avaliador passou e o verificador vinculou esses fatos ao pacote público exato. É nesse ponto que um evento de cache se torna evidência.