Por que modelos locais de linguagem parecem menos capazes

Tese e método

Modelos de linguagem executados localmente podem parecer menos capazes não necessariamente porque seus pesos sejam inferiores, mas porque pequenas diferenças no caminho de inferência alteram os logits - as pontuações atribuídas a cada próximo token - e, em alguns pontos, mudam o token vencedor. O texto apresenta uma série de experimentos para medir esse efeito em condições mais próximas de um agente real: contextos longos, chamadas de ferramentas e tarefas de automação de redes, em vez de poucos prompts sintéticos. A comparação usa como referência o checkpoint BF16 e o ambiente de execução definidos para cada teste, mas ressalta que essa referência mede fidelidade numérica, não correção ou inteligência.

As fontes de divergência incluem GPU, instruções e kernels CUDA, versões e dependências do vLLM, backends de atenção, execução distribuída por tensor parallelism, configurações do NCCL, quantização dos pesos e do KV cache. Até uma alteração de configuração que seleciona FlashAttention 2, Flash Inference ou Triton Attention, mantendo o restante da pilha constante, produziu diferenças reproduzíveis nos logits em um contexto de cerca de 100 mil tokens. As divergências apareceram em grupos associados ao conteúdo do prompt, e não em um ponto universal de comprimento no qual o modelo necessariamente “quebra”.

Quantização, kernels e chamadas de ferramentas

No teste de KV cache, manter pesos e ativações em BF16 e quantizar apenas o cache já gerou mudanças suficientes para afetar chamadas de ferramentas. O cache INT8 conseguiu eventualmente se recuperar em um caso, enquanto o INT4 não. No teste com diferentes pesos quantizados, o checkpoint INT8 W8A16 apresentou a maior fidelidade entre as opções avaliadas. O FP8 oficial ficou atrás, e a versão NVFP4 da NVIDIA terminou em último nesse experimento, com aproximadamente 50% de divergência no token vencedor ao fim de um contexto de cerca de 88 mil tokens. O texto observa que a implementação usada não empregava aritmética FP4 nativa, mas compressão weight-only por um kernel Marlin.

Em execuções ramificadas, versões W4A16 e NVFP4 falharam em chamadas de ferramentas ou produziram sintaxe incorreta de comandos Cisco, enquanto BF16, FP8 e INT8 concluíram corretamente determinados casos. A troca de backend também alterou resultados: em um exemplo, FlashAttention 2 escolheu a interface errada de um roteador Cisco e repetiu um comando inadequado; em outro, não conseguiu executar a tarefa. O paralelismo por tensor teve comportamento não monotônico: TP1 falhou em uma chamada, TP2 também, e TP4 voltou a funcionar.

Modelos derivados e limites das métricas

A análise posterior comparou quatro versões “heretic” ou “abliterated” do Qwen3.8-27B com o modelo BF16 de referência em tarefas técnicas longas. Heretic-ARA e Huihui tiveram poucas mudanças no token vencedor, principalmente em posições nas quais o modelo original já estava incerto, e não produziram ramificações estruturalmente inválidas nos casos examinados. Blackfrost alterou mais o comportamento. AEON foi o mais disruptivo: registrou 5,831% de mudanças no conjunto SP06, teve o maior pior percentil de divergência KL e gerou 36 futuros estruturalmente inválidos nesse conjunto. Exemplos incluíram transformar “5432” em “543ql”, corromper um hostname e alterar um parâmetro de API. Como AEON combina várias modificações, o resultado não pode ser atribuído exclusivamente à abliteration.

O autor distingue divergência KL, que mede a mudança de toda a distribuição de probabilidades, de mudanças no top-1, que registram apenas quando o token vencedor muda. Nenhuma métrica, isoladamente, prova correção. Por isso, a metodologia deixa as ramificações prosseguirem para verificar recuperação, mudança semântica ou falhas concretas de ferramentas. A conclusão provisória é que benchmarks de recusa e números de KL de model cards não descrevem necessariamente o impacto sobre literais exatos, código, chamadas de ferramentas e trabalho agêntico em contexto longo. O projeto continua com mais GPUs, prompts e ferramentas de teste.