Meta vừa phát hành tài liệu này tiết lộ bí quyết của học tăng cường (RL) trên các mô hình ngôn ngữ lớn (LLMs). Nó trình bày một công thức RL, sử dụng 400.000 giờ GPU và đưa ra một quy luật mở rộng cho hiệu suất với nhiều tính toán hơn trong RL, giống như các quy luật mở rộng trước khi huấn luyện cổ điển. Phải đọc cho những người đam mê AI.

Nguồn: