fant ut hvordan jeg kunne "angre" RL og gjøre gpt-oss tilbake til en basismodell vil slippe vektene i morgen Gn

OK, trenger hjelp! prøvde å finjustere GPT-OSS i helgen. den fungerer i ~100 trinn, og gir deretter en CUDA-minnefeil. Min gjetning er at av og til blir alle tokenene rutet til en enkelt ekspert. så krasjer treningen. Finnes det en enkel løsning? aldri finjustert en MoE før

Hvilken modell bør vi gjøre videre?

nysgjerrig på treningsdataene til OpenAIs nye gpt-oss-modeller? Det var jeg også. så jeg genererte 10 millioner eksempler fra gpt-oss-20b, kjørte noen analyser, og resultatene var ... ganske bisarrt På tide med et dypdykk 🧵

korteste forklaring av GPT-5: dette er akkurat hva skaleringslovene spådde! Modellen er bedre, avkastningen avtar, og dessverre vil absolutte generelle intelligensforbedringer bare bli mindre Den gode nyheten er at det fortsatt er så mye å gjøre. Personlighet, resonnement, hukommelse og kreativitet er fortsatt åpne problemer

god tid til å minne alle om at en høy score på SWEbench egentlig bare indikerer at treningsdataene inneholdt en tilstrekkelig stor andel av Django

mest imponerende delen av GPT-5 er hoppet i lang sammenheng Hvordan gjør du i det hele tatt dette? produsere noen merkelige syntetiske data med lang rekkevidde? Skanne mange bøker?

VC-verdenen gir mye verdi, men noen ganger føles det som om de bare setter fyr på penger. flere startups jeg kjenner samlet inn ~100 millioner totalt for tre år siden for å lage AI, bygde programvare ingen noen gang brukte, og nå jobber de alle andre steder med urelaterte ting. Hvor ble alle pengene av?

rart i sosiale medier-æraen å føle at alle jobber med NeurIPS-anmeldelser og imøtegåelser rn, men ingen snakker om det offentlig. Jeg bidro til tre motbevisninger. En av de tre var ekstremt frustrerende. Hvem andre jobber med motbevisninger? Hvordan går det for deg?

Sam Altman ønsker å bygge en modell som er vurdert til 3200 på CodeForces, men har ingen anelse om hvem Sam Altman er Og jeg synes det er vakkert