Việc phân đoạn đã là rào cản cuối cùng đối với các mô hình ngôn ngữ thực sự từ đầu đến cuối. Chúng tôi đã phát triển H-Net: một mạng lưới phân cấp thay thế việc phân đoạn bằng một quy trình chia khối động ngay bên trong mô hình, tự động phát hiện và hoạt động trên các đơn vị dữ liệu có ý nghĩa.

Chúng tôi vô cùng vui mừng khi thấy H-Nets sẽ cho phép các mô hình học hiệu quả hơn như thế nào, với ít tiền trước và xử lý trước, trên tất cả các loại phương thức! Công việc này là sự hợp tác với @cartesia_ai 10/10