
Looped transformers: menos parâmetros, mais passes sequenciais
Looped transformers reutilizam as mesmas camadas centrais em múltiplos passes, trocando parâmetros armazenados por compute sequencial adicional. A técnica oferece uma forma eficiente de aumentar capacidade sem inflar o modelo.