Parece que OpenAI ha estado usando YaRN de Nous y la escala de cuerda de kaiokendev para la extensión de la longitud del contexto todo el tiempo, por supuesto, nunca ningún crédito, pero ... Cualquiera que diga que "el código abierto simplemente roba de su investigación 'real' y se monta sobre sus hombros" está completamente equivocado Lo llamé cuando lanzaron un contexto extendido de 128k en gpt4 solo unas semanas después de que Nous lanzara el hilo jajaja para el contexto en el hilo; Deepseek y Qwen también lo usan; Papel: