Bonsai 2 27B usa pesos ternários para comprimir modelo em footprint 9x menor
O lançamento
A PrismML lançou o Ternary Bonsai 2 27B, apresentado como seu modelo mais capaz até agora. Baseado no Qwen3.8 27B, o modelo usa pesos ternários {−1, 0, +1} com escalonamento em grupos FP16, resultando em 1,76 bits efetivos por peso e um footprint total de 5,9 GB - mais de 9x menor que o modelo de precisão completa, retendo 98,2% do desempenho agregado em benchmarks. Ele oferece janela de contexto de 262 mil tokens, entrada multimodal de texto e imagem, e é distribuído com licença Apache 2.0.
O que mudou em relação à geração anterior
O primeiro Bonsai 27B, lançado dois meses antes, já mostrava que um modelo de 27B poderia rodar em dispositivos locais. A nova versão traz como novidades: base mais forte (Qwen3.8 27B), retenção de capacidade elevada de 95% para mais de 98%, e melhorias em raciocínio, código, visão e tarefas agenticas de longo horizonte.
Resultados de benchmark
No modo thinking, o Ternary Bonsai 2 27B alcançou pontuação agregada de 83,9, contra 85,4 do Qwen3.8 27B em precisão completa e 83,6 do Qwen3.6 27B. Por categoria: Agentic & Tool Calling (τ²-bench, BFCLv3) 77,57 vs. 79,74; Coding (HumanEval+, LiveCodeBench v6, MBPP+, BigCodeBench) 81,58 vs. 82,17; Instruction Following (IFBench, IFEval) 82,66 vs. 81,25 - superando o original; Knowledge & Reasoning (MMLU-Redux, GPQA Diamond, AA-LCR) 83,95 vs. 86,66; Math (AIME 2026 e 2025, GSM8K, MATH-500) 96,57 vs. 97,06; Vision (CharXiv, A-OKVQA, OmniDocBench v1.6, RealWorldQA, OCRBench v2) 78,59 vs. 81,64.
A empresa destaca que a retenção importa mais onde a capacidade reside: agentes de código, uso de computador, fluxos multimodais e tarefas longas são sensíveis à degradação, porque pequenos erros se acumulam ao longo de muitas etapas. Segundo a PrismML, o modelo preserva grande parte do desempenho justamente nessas áreas, destacando-se em densidade de inteligência por GB frente a outras alternativas de baixo bit, que só se tornam viáveis sacrificando capacidade em código, visão ou uso de ferramentas.
Throughput e eficiência energética
O modelo atinge até 143 tokens/segundo em NVIDIA GeForce RTX 5090 e 46,8 tokens/segundo em M5 Max. Em uma RTX 4090, consome 0,714 mWh/token, sendo 40% mais eficiente em energia do que um modelo 8B em precisão completa. Para assistentes de código, isso significa ciclos de edição e depuração mais rápidos; para fluxos privados locais, mais inferência útil no mesmo dispositivo, maior bateria e caminho mais realista para assistentes em segundo plano que chamam a nuvem apenas quando necessário.
Implicações defendidas pela empresa
A PrismML argumenta que, com a retenção acima de 98%, a compressão passa a ser praticamente "sem perdas" e reforça a tese de que modelos de baixo bit podem ser a melhor forma de implantar IA. Isso, segundo a empresa, afeta a economia e a arquitetura de sistemas além da inferência local: caber modelos maiores na mesma memória, atender mais usuários no mesmo hardware, reduzir energia por inferência e permitir sistemas híbridos que decidem dinamicamente o que roda localmente e o que vai para a nuvem. A questão central, propõe a empresa, passa a ser quanta inteligência útil cabe em um orçamento fixo de memória, computação e energia.
Plataforma e contexto
O modelo roda em GPUs NVIDIA via CUDA e em dispositivos Apple (Mac, iPhone, iPad) via MLX, com kernels próprios de baixo bit. Os pesos estão disponíveis sob Apache 2.0, com detalhes técnicos em whitepaper. A PrismML surgiu de uma equipe de pesquisadores da Caltech, com apoio inicial de Khosla Ventures, Cerberus e Google, e apoio contínuo da Samsung; a empresa também oferece post-training em dados de domínio e otimização de inferência para hardware específico.