Het is behoorlijk wild hoe de matrixvermenigvuldiging, wat zo'n eenvoudige bewerking is, zoveel diepgang en complexiteit kan hebben wanneer je het extreem snel probeert te maken. Veel van de meest opmerkelijke verbeteringen in de chips van Nvidia in de afgelopen generaties zijn puur gericht op het versnellen van matrixvermenigvuldiging. Bijvoorbeeld in de B200 heb je: - Tensor cores (de co-processors alleen voor matmuls). Ze kunnen grotere tegels doen dan vorige generaties. - Tensorgeheugen, een nieuwe cache alleen om tussenresultaten van tensor cores op te slaan. - Tensor memory accelerator (TMA), hardware (ingevoerd in H100) alleen voor het asynchroon verplaatsen van geheugen voor tensor cores. En dan krijg je veel complexiteit van alle software en abstracties die je nodig hebt om al die hardware efficiënt te orkestreren.