トークン化は、真にエンドツーエンドの言語モデルに対する最後の障壁でした。 私たちは、トークン化をモデル内で直接動的なチャンキングプロセスに置き換える階層型ネットワークであるH-Netを開発しました。これは、意味のあるデータ単位を自動的に検出して操作する階層型ネットワークです

H-Netsによって、あらゆる種類のモダリティにわたって、事前確率や前処理を減らして、モデルをより効率的に学習できるようにするのを見るのに、私たちは非常に興奮しています。 この作品は@cartesia_aiとのコラボレーションでした 10/10