We hebben Gemma 3 27B in maart verzonden, en het blijft een topkeuze voor consumenten-GPU's. Het heeft solide multimodale mogelijkheden, QAT om robuuste kwantisatie te ontgrendelen, en het is een ontwikkelaarsvriendelijke maat. En we hebben meer in de oven 🧑‍🍳
Kim BENNI
Kim BENNI14 aug, 01:55
De sleutel is dat van die top 10 modellen, Google's Gemma en Mistral Small de enige zijn die kunnen passen/lopen op consumentenhardware. Een enkele RTX 4090 is voldoende. Alle andere modellen hebben >100b parameters en vereisen zeer dure professionele hardware. Dit verandert de perspectief aanzienlijk, voorbij de ruwe score naar mijn mening.
85,85K