Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
V roce 1986 jsem byl prvním Hot Rodderem, který ve své garáži přesouval počítače ze 4Mhz na 20Mhz.
IBM poslala právníky, aby mě zastavili, pak poslali inženýry, aby se ode mě učili, pak poslali obleky, aby mě zaměstnali, byl to špatný přístup.
Nyní jsem Hot Rodding AI ve své garáži, dnes: Open Source Grok 2.5.
24. 8. 22:28
Práce na novém Open Source Grok 2.5!
Už jsme to dokázali Hot Rod!
Je brzy a může selhat, ale to, co máme, je:
A 268B MoE, 131k kontext, 8 odborníků, RoPE, 64 GQA hlavic pozornosti s 8 KV hlavami, 64 vrstev.
V každém okamžiku jsou obvykle aktivní pouze 2 odborníci. Našli jsme způsob, jak aktivovat 4 současně jen s malým poklesem výkonu, jen asi o 1/3 více paměti GPU a úžasným nárůstem kvality výstupů!
Pokud vydrží naše testy, zveřejním podrobný návod, jak na to!
43,23K
Top
Hodnocení
Oblíbené