La tokenización es solo un caso especial de "fragmentación", la construcción de datos de bajo nivel en abstracciones de alto nivel, que a su vez es fundamental para la inteligencia. Nuestra nueva arquitectura, que permite la *fragmentación dinámica* jerárquica, no solo está libre de tokenizadores, sino que simplemente escala mejor.

Este fue un proyecto increíblemente importante para mí: he querido resolverlo durante años, pero no tenía idea de cómo. ¡Todo esto fue @sukjun_hwang y @fluorane increíble trabajo! Escribí sobre la historia de su desarrollo y lo que podría venir después. La H-Net: