Laya é modelo open-weight de decisões com latência de 33 ms

{ "resumo": "## O contexto: uma disputa de autoria\n\nO artigo, escrito por Nandakishor Mukkunnoth, fundador e CEO da ConvAI Innovations, apresenta o Laya, uma família de modelos de pesos abertos para decisões rápidas em produção, e faz uma acusação direta: o conceito teria sido desenvolvido por ele um ano antes de um laboratório de fronteira apresentar algo semelhante como inovação. Segundo o autor, ele publicou em março de 2025 um artigo no arXiv (2503.23303), liberou pesos no Hugging Face e um dataset aberto, e em setembro de 2025 formalizou a abordagem em um segundo artigo (2510.01237), sempre com aprendizado por reforço como núcleo.\n\nEm setembro de 2026, a TypeSafe AI - laboratório fundado por Diogo Almeida, descrito no texto como co-inventor do ChatGPT - lançou o Jev, um modelo não-autorregressivo de decisões proposto como novidade científica, mas, segundo o autor, sem artigos técnicos, pesos abertos ou datasets abertos. O Jev cobra US$ 0,042 por milhão de tokens de entrada, com respostas típicas em torno de 150 ms.\n\n## A tese: decisões reflexas não precisam de LLM\n\nO argumento central é que pipelines modernas desperdiçam LLMs generativos em decisões simples e estruturadas: rotear um ticket, classificar um e-mail como phishing, detectar jailbreak, atribuir urgência. Isso custa de 500 ms a 2.000 ms por chamada, gasta dinheiro de inferência e ainda exige parsers para extrair rótulos de texto livre - além de produzir confiança não calibrada, já que a "confiança: 0.95" de um LLM é apenas previsão de tokens que soam confiantes.\n\nO Laya opera como um Sistema 1: três primitivas em uma única passada - choice (escolha com distribuição de probabilidade e confiança calibrada), score (rubrica ordinal) e noul (probabilidade booleana calibrada). Como a saída é só probabilidade e número, o modelo nunca gera texto e não pode alucinar nem violar o schema.\n\n## Arquitetura e desempenho\n\nSão três checkpoints consolidados em um único repositório: um ModernBERT-large de 421M para inglês, um mmBERT-base multilíngue para 100+ idiomas e um ModernBERT-large para decisões tipadas (acurácia 0,766). Os pesos são Apache 2.0, executáveis on-premise e sem custo de API. A latência relatada é de 32,8 ms em uma GPU (7,2 ms por questão em lote), o que o autor afirma ser 6 a 8 vezes mais rápido que o Jev.\n\nEm comparações publicadas, o Laya supera o Jev em acurácia no typed-decisions (0,766 contra 0,727), AG News (0,950 contra 0,910) e DAIR Emotion (0,595 contra 0,480), com erro de calibração (ECE) três vezes menor (0,081 contra 0,246) e latência P50 de 32,8 ms contra 236–276 ms. Em 9 fluxos reais, destaca-se 0,993 de acurácia em filtragem de spam e 0,980 em detecção de phishing.\n\n## O achado multilíngue crítico\n\nUm dos pontos centrais do artigo: modelos treinados para inglês falham silenciosamente fora do alfabeto latino. No benchmark MASSIVE, o checkpoint em inglês acertou 0% em khmer (com confiança média de 0,952) e ficou em nível aleatório em armênio, hebraico, bengali e hindi - sempre reportando confiança acima de 0,88. A lição: a própria confiança do modelo não serve de alerta, e o roteamento de idioma precisa ocorrer antes da inferência. O Laya inclui um Router que inspeciona scripts Unicode (22 alfabetos) com sobrecarga de 0,09 a 0,73 ms, desprezível diante dos 33 ms de passada.\n\n## Limitações admitidas\n\nO autor reconhece tetos arquiteturais: em schemas com mais de 20 opções o desempenho degrada (no Banking77, 77 rótulos, o Laya marca 0,425 contra 0,870 do Jev, pois cada candidato recebe apenas 3–4 tokens de orçamento); os pesos base são quase aleatórios sem fine-tuning (0,35 no typed-decisions); e a calibração exige ajuste de temperatura por domínio, reduzindo o ECE de 0,466 para 0,081.\n\nA conclusão defende que nem todo problema de IA exige um chatbot autorregressivo: para classificação de alto volume, guardrails, roteamento e triagem, um modelo de decisões bidirecional de sub-35 ms entrega velocidade, calibração honesta e código que pode ramificar com segurança.", "hook": "Um fundador alega ter construído um modelo não-autorregressivo de decisões com RL um ano antes de um laboratório de fronteira lançar o conceito como inovação. Em vez de abrir processo, ele lançou o Laya: pesos Apache 2.0, 32,8 ms por decisão e calibração três vezes melhor que o concorrente fechado. O detalhe mais incômodo do artigo não é o embate de produtos - é que modelos de inglês acertam 0% em khmer enquanto reportam 95% de confiança.", "entities": ["Laya", "Jev", "TypeSafe AI", "ConvAI Innovations", "Nandakishor Mukkunnoth"], "themes": ["open-weights-e-modelos-locais", "economia-de-tokens"], "story_key": "laya-vs-jev-decisoes", "reasoning": { "story_key": "Fato canônico: fundador lança modelo open-weight de decisões (Laya) em resposta ao Jev fechado da TypeSafe AI, alegando prioridade de um ano.", "themes": { "open-weights-e-modelos-locais": "Assunto central é distribuição aberta: pesos Apache 2.0, on-premise, air-gapped, contraste aberto vs. fechado com o Jev.", "economia-de-tokens": "Comparação de custo por token (US$ 0,042/milhão vs. self-hosted gratuito), latência de inferência e custo de API são métricas centrais do argumento." }, "entities": { "Laya": "Modelo apresentado, sujeito do fato.", "Jev": "Modelo concorrente fechado da TypeSafe AI, central no confronto.", "TypeSafe AI": "Laboratório que lançou o Jev e alvo da alegação de autoria.", "ConvAI Innovations": "Empresa que publica o Laya.", "Nandakishor Mukkunnoth": "Fundador autor e sujeito da alegação de prioridade." }, "excluded": { "Hugging Face": "Apenas hospedagem, menção secundária.", "arXiv": "Canal de publicação, não sujeito.", "Diogo Almeida": "Menção contextual sobre a fundação da TypeSafe AI." } } }