Trend-Themen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
1986 war ich der erste Hot Rodder, der PCs von 4 MHz auf 20 MHz in meiner Garage umbaute.
IBM schickte Anwälte, um mich zu stoppen, dann schickten sie Ingenieure, um von mir zu lernen, dann schickten sie Anzüge, um mich einzustellen, es war der falsche Ansatz.
Jetzt modifiziere ich KI in meiner Garage, heute: Open Source Grok 2.5.
24. Aug., 22:28
Arbeiten am neuen Open Source Grok 2.5!
Wir konnten es bereits Hot Rod machen!!
Es sind noch frühe Tage und es könnte scheitern, aber was wir haben, ist:
Ein 268B MoE, 131k Kontext, 8 Experten, RoPE, 64 GQA-Attention-Head mit 8 KV-Head, 64 Schichten.
In der Regel sind nur 2 Experten aktiv. Wir haben einen Weg gefunden, 4 gleichzeitig zu aktivieren, mit nur einem kleinen Leistungsabfall, etwa 1/3 mehr GPU-Speicher und einer erstaunlichen Steigerung der Qualitätsausgaben!
Wenn es unsere Tests besteht, werde ich eine detaillierte Anleitung veröffentlichen!
43,23K
Top
Ranking
Favoriten