Tencent lança Hy4, modelo aberto de 770B parâmetros com contexto de 1M

O lançamento

A Tencent lançou o Hy4 Preview, um modelo de pesos abertos focado apenas em entrada de texto (sem visão), com 770B de parâmetros totais, 49B ativos e janela de contexto de 1 milhão de tokens. O modelo ocupa 1,56TB no Hugging Face.

Comparação com o Hy3

O tamanho representa um grande salto em relação ao Hy3, lançado em julho, que tinha 295B de parâmetros totais, 21B ativos, contexto de 256.000 tokens e 598GB de tamanho.

Níveis de raciocínio

Ao examinar o arquivo de chat template do modelo no Hugging Face, Willison observou que o Hy4 parece ter apenas dois níveis de esforço de raciocínio: "high" (padrão) e "no_think" (raciocínio desativado). Valores fora dessas duas opções fazem o template gerar um erro.

Teste prático

Willison testou o modelo com o seu prompt clássico de gerar um SVG de um pelicano andando de bicicleta, usando o nível padrão de raciocínio alto via OpenRouter. O rastro de raciocínio mostrou o modelo avaliando alternativas - adicionar capacete, óculos de sol, água - e rejeitando cada uma. Ele notou que o rastro usa inglês levemente truncado, presumivelmente porque gramática perfeita não é útil nem eficiente em tokens para texto de raciocínio oculto.