50 % av konsulentarbeidet mitt nå går ut på å hjelpe selskaper med å bruke åpen kildekode-modeller i stor skala. Alle vet hvordan man bruker en åpen kildekode-LLM på datamaskinene sine, men det er veldig vanskelig å gjøre dette i stor skala for tusenvis av brukere. Slik utspiller dette seg: 1. Et team bygger en prototype ved hjelp av DeepSeek. 2. Alt ser bra ut. Det fungerer! 3. De følger en nettbasert guide for å distribuere modellen på nett. 4. De ber 10 brukere prøve appen. 5. Forsinkelsesspiker overalt. 6. Hele systemet stopper opp. 7. De skylder på DeepSeek og prøver igjen med en ny modell. Problemet ligger alltid i skaleringsinferensen, ikke i modellen. Her er en anbefaling jeg gir selskapene: Sjekk ut Nebius Token Factory hvis du aldri vil tenke på å lansere en åpen kildekode-modell igjen. Dette er en administrert inferensplattform for å distribuere åpen kildekode-LLM-er i stor skala. Dette gjelder ikke for prototyper eller forskningseksperimenter. Dette gjelder når du har en ekte applikasjon med ekte brukere. Tre viktige notater om Token Factory: • Du har full kontroll over hvordan slutningen fungerer. • Du har forutsigbar halelatens (P99, ikke gjennomsnitt). • Ingen overraskende kostnader når du skalerer opp. Du kan forhåndsplanlegge budsjettet ditt. ...