Oznaczyłem kernel flash attention w tinygrad, aby upewnić się, że go rozumiem. Automatyczne generowanie tego w sposób OGÓLNY jest całkiem fajne!
the tiny corp
the tiny corp3 sie, 07:29
W końcu prawdziwa błyskawiczna uwaga. Dzięki nowemu indeksowaniu jest to całkowicie automatyczne i ogólne, zobacz TestFuse.test_flash_attention. ENDRANGE to STORE+LOAD, a kończysz zakres, jeśli dzieci UOp nie pasują na tej osi.
74,36K