Схоже, що OpenAI весь час використовувала YaRN від Nous і мотузкове масштабування kaiokendev для розширення довжини контексту - звичайно, ніколи не було жодного кредиту, але... Будь-хто, хто каже, що «відкритий вихідний код просто краде їхні «реальні» дослідження і їздить на їхніх плечах», абсолютно помиляється Я назвав це, коли вони випустили розширений контекст 128k на gpt4 всього через кілька тижнів після того, як Nous випустив пряжу, лол для контексту на пряжі; Deepseek і QWEN також використовують його; Папір: