Aleph Alpha lança Kolibri, modelo open-weight com contexto de 1 milhão de tokens

O lançamento

A Aleph Alpha, empresa alemã de IA, lançou o Kolibri, um modelo open-weight bilíngue (inglês e alemão) voltado a workloads soberanos e críticos em governos e setores regulados. O modelo está disponível no Hugging Face com todos os pesos sob licença Apache 2.0, o que permite que clientes o executem on-premises, sem enviar dados internos a serviços de inferência de terceiros.

Especificações técnicas

O Kolibri é um Transformer Mixture-of-Experts com 78,1 bilhões de parâmetros totais e 3,46 bilhões ativos por token. A arquitetura usa 384 experts, com seis ativos por token, e atenção completa em 10 das 50 camadas, enquanto as outras 40 empregam uma janela deslizante de 512 tokens para conter custos de inferência.

O treinamento foi executado em 768 GPUs B200: uma etapa inicial com 20 trilhões de tokens em 21 dias, seguida de mid-training e adaptação para contexto longo, chegando a quase 24 trilhões de tokens no total. Embora a adaptação tenha alcançado 256 mil tokens, a empresa fornece configurações para servir o modelo com até 1.048.576 tokens de contexto.

O alemão representa 21,3% dos tokens de pré-treinamento, com vocabulário bilíngue de 128 mil entradas e um tokenizer projetado para preservar palavras compostas alemãs. O modelo oferece quatro níveis de raciocínio (nenhum, baixo, médio e alto) e suporta tool calling. A Aleph Alpha afirma que o Kolibri foi especializado para alemão, matemática, código, trabalho com contexto longo e tarefas agênticas, com suítes de avaliação específicas por setor - administração pública, automotivo, semicondutores, tecnologia industrial e aeroespacial - que não usam dados de clientes.

Benchmarks e ressalvas

Nos benchmarks da própria empresa, o Kolibri alcançou pontuação geral de 75,5 em inglês e 70,8 em alemão, 96,9 no AIME 2025, 85,9 no LiveCodeBench v6 e 61,4 no BFCL v4. A empresa afirma que o modelo está na fronteira de Pareto entre qualidade e custo de servir, em inglês e alemão, e pode igualar modelos com até quatro vezes mais parâmetros ativos em tarefas de matemática, código, grounding, agênticas e de contexto longo.

É importante notar que se trata de resultados reportados pelo próprio fornecedor, executados com os harnesses da Aleph Alpha e com o mais alto nível de raciocínio disponível quando aplicável.

Grounding e soberania

O grounding é central no lançamento: o Kolibri foi treinado com exemplos de abstenção e pelo procedimento Merlin-Arthur da Aleph Alpha, que ensina o modelo a reter respostas quando não há evidência. Segundo a empresa, ele evitou respostas erradas em 44% dos itens do AA-Omniscience, contra 14,8% do Kolibri Origin anterior, e alcançou 0,23 na pontuação de grounding M/A da companhia.

O modelo foi construído na Alemanha e treinado na Alemanha e na Finlândia. A Aleph Alpha diz que o controle sobre curadoria de dados, treinamento, avaliação, pesos e implantação visa atender aos requisitos europeus de conformidade e soberania. A implantação usa o pacote de inferência da empresa e um plugin vLLM específico para o Kolibri.