Unsloth Dynamic 3.0 melhora precisão de GGUFs

O que muda no Dynamic 3.0

A Unsloth lançou a versão Dynamic 3.0 de suas quantizações GGUF e, nesta atualização, disponibilizou quants do Qwen3.8-27B. Segundo a empresa, eles obtêm mais de 10% de precisão top-1% em relação a outros provedores no mesmo tamanho de arquivo. Os modelos funcionam com a maioria dos mecanismos de inferência, incluindo llama.cpp e Unsloth Desktop, e buscam preservar mais qualidade sem aumentar o espaço ocupado.

A nova metodologia usa um conjunto de calibração de maior qualidade, com dados diversos e ajustados para programação com agentes, conversas e desempenho multilíngue. A Unsloth também aprimorou a seleção de camadas e incorporou mais técnicas de quantização. O processo é feito inteiramente por quantização pós-treinamento: a empresa afirma que não treina com o conjunto de calibração e não utiliza quantization-aware training (QAT) nem quantization-aware distillation (QAD). O arquivo imatrix foi disponibilizado para testes e variações pela comunidade.

Nos quants menores que UD-Q2_K_XL, com até 8,37 GB, o módulo MTP foi removido para economizar cerca de 500 MB; uma versão MTP separada em Q4_0 pode ser usada quando necessário. A Unsloth também apresenta quants de 1 bit, como UD-IQ1_S, com 6,2 GB, cerca de 89% menos espaço e aproximadamente 72% da precisão top-1%. O UD-Q2_K_XL, de 9,83 GB, teria cerca de 8% mais precisão top-1% que o segundo colocado e conseguiu gerar um programa HTML funcional com apenas um pequeno erro de JavaScript.

Métricas e limites práticos

A documentação alerta que top-1% mede apenas a escolha mais provável para uma previsão e pode não representar bem a inferência real. Por isso, a Unsloth criou o Divergence-300 @32: 300 exemplos não usados na calibração, reunidos de Terminal-Bench 2.1, DeepSWE, Harbor, MathArena 2025-26 e prompts multilíngues ou de documentos longos. O teste compara, por 32 tokens em decodificação gulosa, as trajetórias dos quants com as do modelo em BF16, usando a divergência como indicador de comportamento ao longo de vários tokens.

O resultado apresentado mostra uma queda acentuada entre UD-Q2_K_XL e UD-IQ2_S: a precisão nesse teste cai de cerca de 25% para menos de 8%–10%. Por isso, a Unsloth não recomenda quants de 1 bit para uso com agentes ou chamadas de ferramentas. Eles podem entrar em loops, produzir respostas vazias sem o modo de raciocínio ativado e falhar ao chamar ferramentas. O uso fica restrito a perguntas muito curtas de conhecimento geral; para cargas mais exigentes, a recomendação é UD-Q2_K_XL.

Evidências e contexto

Nos benchmarks de divergência KL, a empresa afirma obter até 10% mais precisão top-1% no mesmo espaço de disco, sobretudo nos menores tamanhos. Também relata melhorias em relação ao Dynamic 2.0 em conjuntos não vistos de texto e código, embora diga que os quants maiores ainda usam a versão anterior. A separação entre dados de calibração e avaliação, além do uso de conjuntos não vistos, é apresentada como controle contra sobreajuste.

A página explica que a divergência KL mede melhor a semelhança com o modelo original do que a perplexidade, pois mudanças de tokens podem se compensar. Ela também descreve problemas de implementação em avaliações como MMLU e compara os quants da Unsloth com versões QAT da Gemma 3, nas quais alguns modelos menores obtiveram resultados próximos ou superiores com menos espaço. A documentação ainda registra correções feitas pela Unsloth em problemas de Llama 4 relacionados a RoPE Scaling e QK Norm. A conclusão é que o Dynamic 3.0 oferece melhor preservação de qualidade por gigabyte, mas os resultados variam conforme o tamanho do quant e o tipo de uso.