Jeg liker virkelig dette resultatet: en elegant innramming og løsning for å forbedre lengdegeneralisering betydelig i tilbakevendende modeller for øvrig (RNN-er/SSM-er/lineær oppmerksomhet/etc). Dette har betydelige implikasjoner for problemene arkitekturforskere bør fokusere på, IMO
Ricardo Buitrago
Ricardo Buitrago8. juli 2025
Despite theoretically handling long contexts, existing recurrent models still fall short: they may fail to generalize past the training length. We show a simple and general fix which enables length generalization in up to 256k sequences, with no need to change the architectures!
13,07K