Mặc dù về mặt lý thuyết xử lý các bối cảnh dài, các mô hình lặp lại hiện tại vẫn thiếu sót: chúng có thể không khái quát hóa quá thời gian đào tạo. Chúng tôi chỉ ra một bản sửa lỗi đơn giản và tổng quát cho phép khái quát hóa độ dài trong tối đa 256k trình tự, mà không cần thay đổi kiến trúc!