Z mojej perspektywy rl to po prostu bardziej tolerancyjny sposób na określenie danych syntetycznych, które nie cieszyły się popularnością dwa lata temu, kiedy zacząłem robić próbkowanie odrzucające, aby stworzyć Hermes 1. Dane syntetyczne (w tym dane półsyntetyczne) są obecne od momentu wydania ChatGPT.

@gregcoppola5d @kalomaze Dla jasności, potrzebowaliśmy tylko ~25 sft próbek, aby pobić ten rekord, który z pewnością grok osiągnął dzięki intensywnemu i kosztownemu rl.

@niklassheth @kalomaze Rzeczy, które działają, krążą wokół wdrożeń z weryfikatorami lub kwalifikatorami danych. Dzięki temu wszystko jest możliwe. Część online rl to tylko zwiększenie efektywności.