Ok, grunnleggende lesing på @Extropic_AI (@BasedBeffJezos) som jeg klarte å grave gjennom under treningsøkten min. TLDR: Standard slutning innebærer å gjøre en haug med både sekvensielle og parallelle matriseberegninger, men til syvende og sist koker det ned til probabilistisk prøvetaking. Extropic bygger en brikke som omgår alt det matematiske maskineriet, og i stedet bare legger inn den lærte sannsynlighetsfordelingen til det underliggende treningssettet, og prøver direkte fra maskinvare. Dette er veldig kult!

På det mest grunnleggende nivået tar LLM-er et gigantisk treningssett, sammensatt av tokens, og lærer struktur mellom ord, setninger osv. De resonnerer ikke, men de lærer – faktisk – den enormt komplekse sannsynlighetsfordelingen mellom tokens. For eksempel, hvis jeg spør "Hvilken farge er himmelen", vil den slå opp i den lærte PD og deretter se ["The", "color", "of", "the", "sky", "is", "blue"] som den høyeste sannsynlighetssekvensen. Den kom frem til dette ved å gjøre en haug med matriseberegninger. Hvis du vil lære mekanikken i dette, kan du gå videre og lese den originale Transformer-artikkelen, men ærlig talt er det ikke så viktig. Det som er viktig er dette: 1. Treningstrinn: skriv inn stort datasett --> utdatasannsynlighetsfordeling av tokens. 2. Slutningstrinn: inndataspørring --> utdatakartlegging under sannsynlighetsutvalg. Forresten, det virkelig kule (men noe åpenbare resultatet) i ettertid er at ... LLM-er er injektive og inverterbare! Dette betyr at det er en unik kartlegging fra prompt til det latente rommet og omvendt. kult!

Uansett, veldig kult arbeid Extropic team! Btw, beindag i dag og det var strålende.