stamatios
← Voltar ao feed
Looped transformers: menos parâmetros, mais passes sequenciais
IA & Modelos · Dev & Engenharia

Looped transformers: menos parâmetros, mais passes sequenciais

Looped transformers reutilizam as mesmas camadas centrais em múltiplos passes, trocando parâmetros armazenados por compute sequencial adicional. A técnica oferece uma forma eficiente de aumentar capacidade sem inflar o modelo.