50 % meiner Beratungsarbeit besteht derzeit darin, Unternehmen dabei zu helfen, Open-Source-Modelle in großem Maßstab zu nutzen. Jeder weiß, wie man ein Open-Source-LLM auf seinen Computern verwendet, aber es ist wirklich schwierig, dies in großem Maßstab für Tausende von Benutzern zu tun. So läuft das ab: 1. Ein Team erstellt einen Prototyp mit DeepSeek. 2. Alles sieht gut aus. Es funktioniert! 3. Sie folgen einem Online-Leitfaden, um das Modell online bereitzustellen. 4. Sie bitten 10 Benutzer, die App auszuprobieren. 5. Die Latenzspitzen überall. 6. Das gesamte System stoppt. 7. Sie geben DeepSeek die Schuld und versuchen es erneut mit einem neuen Modell. Das Problem liegt immer beim Skalieren der Inferenz, nicht beim Modell. Hier ist eine Empfehlung, die ich Unternehmen gebe: Schaut euch die Nebius Token Factory an, wenn ihr nie wieder über die Bereitstellung eines Open-Source-Modells nachdenken wollt. Dies ist eine verwaltete Inferenzplattform zur Bereitstellung von Open-Source-LLMs in großem Maßstab. Dies ist nicht für Prototypen oder Forschungsversuche gedacht. Dies ist für den Fall, dass ihr eine echte Anwendung mit echten Benutzern habt. Drei wichtige Hinweise zur Token Factory: • Ihr habt die vollständige Kontrolle darüber, wie die Inferenz abläuft. • Ihr habt vorhersehbare Tail-Latenz (P99, nicht Durchschnittswerte). • Keine Überraschungskosten, wenn ihr hochskaliert. Ihr könnt euer Budget im Voraus planen. ...