A pesar de manejar teóricamente contextos largos, los modelos recurrentes existentes aún se quedan cortos: es posible que no logren generalizar más allá de la duración del entrenamiento. Mostramos una solución simple y general que permite la generalización de longitudes en secuencias de hasta 256k, ¡sin necesidad de cambiar las arquitecturas!