تعليق مثير للاهتمام من موظف سابق في $GOOGL: - التميز الحقيقي من وحدات TPU لا يأتي من الرقائق نفسها ولكن من البرامج والنظام البيئي الذي قام $GOOGL بتحسينه ل TPU. يمكن أن تقدم حجة مماثلة ل $NVDA. وجدت على @AlphaSenseInc

إن رأيي في وحدات معالجة الرسومات التي تتمتع بفائدة حقيقية من 1-2 سنوات بدلا من +4 سنوات يفتح العديد من الأسئلة ، لذا اسمحوا لي أن أشرح بمزيد من التفصيل: أولا ، جميع الحجج المضادة هي كما يلي "لكن H100 و A100 لا تزال قيد الاستخدام وعمرها 3-5 سنوات" ، "سيستخدم العملاء وحدات معالجة الرسومات القديمة لأحمال عمل الاستدلال" ، "تستخدم التكنولوجيا الكبيرة وحدات معالجة الرسومات القديمة لأحمال العمل الداخلية" هذا هو السبب في أن هذا هو التفكير الخاطئ: 1. ينسى الناس أن $NVDA قد ذهب إلى دورة منتج مدتها عام واحد في عام 2024 (ليس عاجلا!) ، لذلك لا يزال Blackwell نتاجا لدورة منتج مدتها عامان. قبل Blackwell Hopper -H100 ، كان H200 هو المنتج ، وقبل ذلك ، كان A100 هو المنتج. أولا وقبل كل شيء ، H100 ليس منتجا عمره 3 سنوات. إنه منتج عمره عام واحد من حيث دورة المنتج (بعد بلاكويل مباشرة). بدأت Nvidia أيضا في شحن H100 بأحجام كبيرة في بداية عام 2023. من الآن فصاعدا من اليوم ، سنحصل كل عام على منتج جديد سيكون أكثر أداء بكثير (10x-30x) وكفاءة من الجيل السابق ، لذلك ليس كل عامين ولكن كل عام. 2. نحن ننتقل من عالم يكون فيه كل نشر إضافي لوحدة معالجة الرسومات / المسرع تدريجيا إلى عالم يكون فيه معظم النشر بديلا (وليس تدريجيا) ، لأننا محدودون. نحن مقيدون بالطاقة ومراكز البيانات المتاحة. لذلك ، بالطبع ، عندما يكون لديك وفرة من مساحة مركز البيانات والطاقة ، فستستخدم أيضا وحدات معالجة الرسومات "القديمة" ، حيث لديك مساحة كافية لنشرها. ولكن بمجرد نفاد مساحة النشر هذه وتكون محدودة ، فإن العامل المحدد الخاص بك هو القوة ، ولذا فأنت تبحث عن عدد الرموز المميزة التي تولدها لكل واط لديك. إذا كان الجيل الجديد من وحدات معالجة الرسومات يمنحك 10 أضعاف الرموز المميزة / واط من الجيل السابق ، إذا كنت ترغب في النمو وخدمة المزيد من العملاء ، فسيتعين عليك استبداله بالجيل الجديد ، ولا يمكنك "استخدام" وحدة معالجة الرسومات "القديمة" ، حيث ليس لديك أي مكان لنشرها. مرة أخرى ، الشيء الذي يجب فهمه هو أننا ننتقل من وحدة معالجة الرسومات النادرة إلى ندرة الطاقة ، وهذا يغير الأشياء. 3. إن رسم صورة "أوه ، ولكن سيتم استخدام وحدات معالجة الرسومات القديمة لأحمال العمل الداخلية" أمر خاطئ. لا يوجد سوى عدد قليل من الشركات التي تتمتع برفاهية امتلاك أعمالها السحابية الخاصة ، بالإضافة إلى امتلاك شركة كبيرة للمستهلكين أو المؤسسات ، والتي يمكن أن تتعامل مع بعض وحدات معالجة الرسومات القديمة هذه (مرة أخرى ، حتى حالات الاستخدام هذه سيتم تقليلها بشكل كبير عندما ندخل المرحلة الموضحة في الحجة 2). لن يكون لدى موفري الخدمات السحابية طلب كاف وهوامش جيدة لتشغيل الجيل "القديم" من وحدات معالجة الرسومات للعملاء السحابيين ، لأن وحدات معالجة الرسومات هذه ليست أصولا تجني المال بمجرد شرائها ؛ كما أنها تكلف. إنها تكلف الطاقة (أسعار الكهرباء ترتفع) ، وتكلف في التبريد ، وتكلف الصيانة. 4. لقد تغير الاستدلال مع نماذج التفكير والتفكير بشكل جذري. الآن ، يمكن لنموذج أصغر وأقل أداء من حيث المعلمات أن يعمل بشكل أفضل من النموذج الأكبر ، إذا أعطيته المزيد من الحوسبة على جانب الاستدلال "للتفكير". حوسبة الاستدلال هي أيضا نموذج قياس جديد. ما يعنيه ذلك هو أن الفرق إذا قمت بتشغيل الاستدلال على H100 أو B300 أو B200 هائل. نحن أيضا ننقل السوق من أعباء عمل التدريب إلى الاستدلال. مع التدريب ، كان أهم مقياس لمختبرات أبحاث الذكاء الاصطناعي هو الأداء والسرعة التي يمكنهم بها تدريب نماذج جديدة. نظرا لأننا ندخل الآن عصر الاستدلال ، فإن المقياس الأكثر أهمية هو التكاليف ، لذلك إذا كان B300 يمنحك 10x-30x مقدار الرموز المميزة لنفس تكاليف وحدة معالجة الرسومات القديمة ، فسوف تستبدلها ، لأنك تريد خدمة أكبر عدد ممكن من العملاء ، وتريد كسب بعض الأرباح. وفقا للتقارير الأخيرة ، تخسر OAI 3 دولارات مقابل كل 1 دولار تكسبه. لن يستمر هذا إلى الأبد ، وأحد أهم الأشياء التي يجب تغييرها هو إجراء الاستدلال على وحدات معالجة الرسومات / المسرعات الجديدة والفعالة.

من المحتمل أن تكون وحدات TPU الخاصة ب $GOOGL ، على المدى الطويل ، واحدة من أفضل استثماراتها في التاريخ. - $GOOGL يعالج أكثر من 1.3 كوادريليون رمز مميز / شهر - تعالج واجهة برمجة تطبيقات OpenAI 260 تريليون / شهر $GOOGL مع الذكاء الاصطناعي لمحات عامة ، يوضح لك Gemini بالفعل مدى التكلفة / الفعالية التي يمكنك تشغيلها GenAI بمساعدة TPU على نطاق هائل.