Wygląda na to, że OpenAI przez cały czas używało YaRN Nousa i skalowania liny kaiokendev do wydłużania długości kontekstu - oczywiście nigdy nie ma żadnego kredytu, ale... Każdy, kto mówi, że "open source po prostu kradnie z ich 'prawdziwych' badań i jeździ na ich barkach" jest całkowicie w błędzie Zadzwoniłem do tego, gdy wypuścili rozszerzony kontekst 128k na gpt4 zaledwie kilka tygodni po tym, jak Nous wypuścił przędzę lol dla kontekstu na przędzy; Deepseek i Qwen również go używają; Papier: