Şu anda danışmanlık işlerimin %50'si şirketlere açık kaynak modelleri büyük ölçekte kullanmalarına yardımcı olmak oluyor. Herkes bilgisayarlarında açık kaynaklı LLM kullanmayı bilir, ancak binlerce kullanıcı için bunu büyük ölçekte yapmak gerçekten zor. İşte bu durum böyle gelişiyor: 1. Bir ekip DeepSeek kullanarak bir prototip inşa eder. 2. Her şey iyi görünüyor. İşe yarıyor! 3. Modeli çevrimiçi olarak uygulamak için çevrimiçi bir rehberi takip ederler. 4. 10 kullanıcıdan uygulamayı denemelerini istiyorlar. 5. Her yerde gecikme artışları. 6. Tüm sistem duruyor. 7. DeepSeek'i suçlayıp yeni bir modelle tekrar deniyorlar. Sorun her zaman ölçekleme çıkarımında, modelde değil. İşte şirketlere vereceğim bir öneri: Bir daha açık kaynak modeli kurmayı düşünmek istemiyorsanız Nebius Token Factory'ye göz atın. Bu, açık kaynaklı LLM'lerin ölçekli olarak dağıtılması için yönetilen bir çıkarım platformudur. Bu prototipler veya araştırma deneyleri için değil. Bu, gerçek bir uygulamanın gerçek kullanıcıları olduğu zamanlar içindir. Token Factory hakkında üç önemli not: • Çıkarımın nasıl işlediği üzerinde tam kontrolünüz var. • Kuyruk gecikmesi tahmin edilebilir (P99, ortalama değil). • Ölçek büyüdüğünüzde sürpriz maliyet olmaz. Bütçenizi önceden planlayabilirsiniz. ...