Kev traz modelos de decisão Jev open-source para rodar localmente

O que é Kev

Kev é uma família de modelos de decisão pequenos, open-source, criada por Jared Palmer e hospedada no GitHub (3,4 mil estrelas). Os modelos são construídos sobre bases Qwen3.5 e seguem a arquitetura descrita em "Jev's Architecture Unmasked", replicando a API do serviço hospedado System One, da TypeSafe: o SDK Python da TypeSafe pode apontar para um servidor Kev local sem mudanças. Os pesos usam licença Apache-2.0, e o projeto foi construído com o Devin.

Tamanhos e formato de uso

Há três modelos: Kev-0.8B, Kev-4B e Kev-9B, todos treinados sobre bases Qwen3.5 com os mesmos dados e configurações. Em uma única requisição, o modelo responde três tipos de pergunta sobre o mesmo texto de entrada: sim/não ("noul"), múltipla escolha ("choice") e nota ordenada ("score"), cada uma com probabilidades de volta em vez de apenas um rótulo. As perguntas compartilham o texto de entrada, mas não podem ler umas às outras. Os modelos rodam em CUDA, ROCm e Apple Silicon; o 4B e o 9B cabem em um Mac de 32 GB em bf16.

Arquitetura e funcionamento

Cada checkpoint é um adaptador LoRA de rank 16 mais uma pequena cabeça de ponteiro sobre a base Qwen. O estado e as perguntas entram em uma sequência de tokens com uma máscara de atenção que permite a cada pergunta ler o estado e a si mesma, mas não as outras perguntas nem tokens futuros. A cabeça de ponteiro compara o estado oculto de cada opção com o token de decisão e aplica um softmax para gerar probabilidades. Como o Qwen3.5 mistura camadas de atenção com camadas recorrentes Gated DeltaNet, que ignoram máscaras de atenção, nesses modelos cada pergunta roda como uma linha própria, com o cache do estado reutilizado. No treinamento, só o adaptador e a cabeça são ajustados, com cross-entropy sobre a resposta correta; nenhum output do Jev foi usado.

Resultados comparados ao Jev

Nos dados de avaliação, Kev-4B atinge 0,797/0,837 de acurácia em fontes novas (desenvolvimento/teste) e Kev-9B atinge 0,822/0,852, contra 0,857 do Jev no desenvolvimento. O projeto ressalva que não se sabe em quais datasets o Jev foi treinado, então a comparação entre arquiteturas não é controlada. Em testes de outros projetos convertidos para o formato, Kev-9B chega a 0,952 em roteamento de tickets de suporte contra 0,897 do Jev, mas fica atrás em decisões autoradas (0,917 contra 0,965). Um segundo passe de treinamento, em 2026-09-21, elevou Kev-9B de 0,837 para 0,852 no teste.

As probabilidades vêm calibradas por padrão: cada checkpoint guarda uma temperatura (cerca de 2,1–2,4) ajustada no conjunto de desenvolvimento, que reduz o erro de calibração do Kev-9B em fontes novas de 0,106 para 0,042 e os erros confiantes (resposta errada com probabilidade ≥ 0,9) de 8,7% para 4,0%, perto dos 3,7% do Jev, sem mudar a acurácia.

Desempenho e limitações

Em H100 e MI300X, uma requisição de cinco perguntas leva dezenas de milissegundos. No Apple Silicon não há kernels rápidos para as camadas DeltaNet: Kev-4B leva cerca de 779 ms por requisição em um M5, contra 174 ms da geração anterior sobre bases Qwen3, que permanece publicada e é mais rápida no Mac. Um backend MLX para os modelos Qwen3.5 é o próximo plano.

Entre as limitações declaradas: a parcela de decisões automatizáveis com 5% de orçamento de erro (0,45–0,57) fica abaixo dos 0,70 do Jev; mudar a ordem das opções pode mudar a resposta; aritmética de datas é um ponto fraco, mitigado por um sinalizador opcional (KEV_DATE_FACTS=1) que eleva Kev-9B de 0,80 para 0,90 em perguntas de prazo; e o desempenho em perguntas de conhecimento (MMLU 0,74 contra 0,90 do Jev) é limitado pela base.

Treino próprio e ferramentas

O repositório traz código completo de treinamento, dados de avaliação congelados com checksums, um playground web (com um demo de xadrez em que o tabuleiro é a entrada) e suporte a fine-tuning com poucas centenas de exemplos rotulados via --init_from, que preserva o que o modelo já sabe: em um teste com 836 decisões, partir do modelo publicado manteve 0,83 na avaliação original e alcançou 0,88 no domínio novo, contra 0,33 de um treino a partir da base. Há ainda uma skill (kev-finetune) para agentes de código conduzir todo o fluxo no Modal sem GPU local, e rotina de estudo com trials em H100 no Modal.