Похоже, что OpenAI все это время использовал YaRN от Nous и веревочное масштабирование kaiokendev для расширения длины контекста - конечно, никогда не было никакой похвалы, но... Любой, кто говорит, что «открытый исходный код просто крадет их «настоящие» исследования и ездит у них на плечах», совершенно неправ Я назвал это, когда они выпустили расширенный контекст 128k на gpt4 всего через несколько недель после того, как Nous выпустил yarn lol для контекста на пряже; Deepseek и Qwen также используют его; Бумага: