Ho annotato il kernel di flash attention di tinygrad per assicurarmi di capirlo. Generare questo in modo GENERICO è davvero interessante!
the tiny corp
the tiny corp3 ago, 07:29
Finalmente, attenzione flash reale. Con il nuovo indicizzazione, è completamente automatico e generico, vedi TestFuse.test_flash_attention. ENDRANGE è STORE+LOAD, e si termina un intervallo se i figli di un UOp non corrispondono su quell'asse.
74,31K