代幣化只是「分塊」的特例——將低階資料建立為高階抽象——這反過來又是智慧的基礎。 我們的新架構支持分層*動態分塊*,不僅沒有分詞器,而且擴展性更好。
Sukjun (June) Hwang
Sukjun (June) Hwang2025年7月12日
標記化一直是實現真正端到端語言模型的最後障礙。 我們開發了 H-Net:一個層次化網絡,將標記化替換為模型內部的動態分塊過程,自動發現並操作有意義的數據單元。
這對我來說是一個非常重要的項目——多年來我一直想解決它,但不知道該怎麼解決。這一切都是@sukjun_hwang,@fluorane的出色工作! 我寫了它的發展故事,以及接下來可能發生的事情。 H-網:
194.75K