Jeg kommenterte tinygrad flash oppmerksomhetskjernen for å være sikker på at jeg forstår den. automatisk generering av dette GENERISK er ganske kult!
the tiny corp
the tiny corp3. aug., 07:29
Endelig, ekte flash-oppmerksomhet. Med den nye indekseringen er den helt automatisk og generisk, se TestFuse.test_flash_attention. ENDRANGE er STORE+LOAD, og du avslutter et område hvis de underordnede til en UOp ikke samsvarer på den aksen.
74,31K