Tokenizacja to po prostu szczególny przypadek "chunkingu" - budowania danych niskopoziomowych w abstrakcje wysokiego poziomu - co z kolei ma fundamentalne znaczenie dla inteligencji. Nasza nowa architektura, która umożliwia hierarchiczne *dynamiczne fragmentowanie*, jest nie tylko wolna od tokenizatorów, ale po prostu lepiej się skaluje.

Był to dla mnie niesamowicie ważny projekt - od lat chciałem go rozwiązać, ale nie miałem pojęcia jak. To wszystko było @sukjun_hwang i niesamowita praca @fluorane! Pisałem o historii jego powstania i o tym, co może nas czekać dalej. Sieć H-Net: