Temas en tendencia
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Me gusta mucho este resultado: un encuadre elegante y una solución para mejorar significativamente la generalización de la longitud en modelos recurrentes en general (RNNs/SSMs/atención lineal/etc).
Esto tiene implicaciones significativas para los problemas en los que los investigadores de arquitectura deberían centrarse, en mi opinión
8 jul 2025
A pesar de manejar teóricamente contextos largos, los modelos recurrentes existentes aún se quedan cortos: es posible que no logren generalizar más allá de la duración del entrenamiento. Mostramos una solución simple y general que permite la generalización de longitudes en secuencias de hasta 256k, ¡sin necesidad de cambiar las arquitecturas!
13.08K
Populares
Ranking
Favoritas