La tokenisation n’est qu’un cas particulier de « chunking » - la construction de données de bas niveau en abstractions de haut niveau - qui est à son tour fondamentale pour l’intelligence. Notre nouvelle architecture, qui permet le *chunking dynamique* hiérarchique, est non seulement sans tokenizer, mais évolue tout simplement mieux.

C’était un projet incroyablement important pour moi - je voulais le résoudre depuis des années, mais je ne savais pas comment. C’était tout @sukjun_hwang et @fluorane travail incroyable ! J’ai écrit sur l’histoire de son développement et sur ce qui pourrait arriver ensuite. Le H-Net :