标记化只是“分块”的一个特例——将低级数据构建成高级抽象——这反过来又是智能的基础。 我们的新架构支持分层*动态分块*,不仅没有分词器,而且扩展性更好。
Sukjun (June) Hwang
Sukjun (June) Hwang2025年7月12日
标记化一直是实现真正端到端语言模型的最后障碍。 我们开发了H-Net:一个分层网络,它在模型内部用动态分块过程替代了标记化,自动发现并处理有意义的数据单元。
这对我来说是一个非常重要的项目——我多年来一直想解决它,但不知道该怎么做。这一切都是@sukjun_hwang,@fluorane了不起的工作! 我写了它的发展故事,以及接下来可能发生的事情。 The H-Net:
194.75K