Ser det ut til at bittesmå abstraksjoner er i ferd med å forme seg? Ikke for å være den fyren, men Blackwell er den eneste sanne styrkeprøven. Selv om de ikke fokuserer på blackwell, bør de bevise at abstraksjonene deres er egnet for det for å unngå et Triton-dilemma. Det er den eneste måten.

Selv om jeg ikke sier at denne sløyfen av selvforbedring ikke kan fungere til slutt, tror jeg vi ennå ikke har nådd "rømningshastighet". LLM-ene er for øyeblikket ikke tilstrekkelig "ærlige", spesielt når optimaliseringspress påføres for ikke å bukke under for kollaps. Inntil da har vi nøyaktig en N=1 utvalgsstørrelse av ting som pålitelig gjennomsyrer et mangfoldig sett med nye evner: pre-training. Folk bør bruke mindre tid på å tenke på ettertrening og bruke mer tid på å tenke på ting som effektivt ser ut som fortrening, men som kan ha andre løfter.

Jeg tror observasjonen om at LLM-er er "dårlige veiledere" ved at de ikke kan undersøke nøyaktig forståelse er nøyaktig. Det faktum at det er dumt å «oppvekte hele utrullingen» er også sant. Det er imidlertid ikke åpenbart for meg at botemiddelet for det er LLM-refleksjon over "hva som gikk bra". Jeg tror dette støter på veldig lignende problemer med kollapsrisiko eller feilallokering av tilsyn. For selv om vi kanskje suger tilsyn gjennom et sugerør, er det eneste som er enda verre å suge tilsmusset tilsyn gjennom et sugerør.