Desde mi perspectiva, rl es simplemente una forma más tolerable de decir datos sintéticos, que no era del agrado de nadie hace dos años, cuando comencé a hacer muestreo de rechazo para crear Hermes 1. Los datos sintéticos (incluidos los datos semi-sintéticos) han sido el presente desde que salió ChatGPT.

@gregcoppola5d @kalomaze Para mayor claridad, solo necesitábamos ~25 muestras de sft para romper ese récord que seguramente grok logró con un intenso y costoso rl.

@niklassheth @kalomaze Las cosas que están funcionando giran en torno a implementaciones con verificadores o calificadores de datos. Con eso, todo es posible. La parte de rl en línea es solo un impulso de eficiencia.