يبدو أن تجريدات tinygrads تتشكل؟ ألا يكون ذلك الرجل ، لكن بلاكويل هو الاختبار الحقيقي الوحيد للقوة. حتى لو لم يركزوا على بلاكويل ، فعليهم إثبات أن تجريداتهم مناسبة لها لتجنب معضلة تريتون. إنه السبيل الوحيد.

على الرغم من أنني لا أقول أن حلقة تحسين الذات هذه لا يمكن أن تعمل في النهاية ، أعتقد أننا لم نصل بعد إلى "سرعة الهروب". LLMs حاليا ليست "صادقة" بما فيه الكفاية ، خاصة عند تطبيق ضغط التحسين حتى لا تستسلم للانهيار. حتى ذلك الحين ، لدينا بالضبط حجم عينة N = 1 للأشياء التي تضفي بشكل موثوق مجموعة متنوعة من القدرات الناشئة: التدريب المسبق. يجب أن يقضي الناس وقتا أقل في التفكير في ما بعد التدريب وقضاء المزيد من الوقت في التفكير في الأشياء التي تبدو بشكل فعال وكأنها تدريب مسبق ولكن يمكن أن تحمل وعودا مختلفة.

أعتقد أن الملاحظة القائلة بأن LLMs هم "مدرسون سيئون" من حيث أنهم لا يستطيعون التحقيق بدقة في الفهم دقيقة. حقيقة أن "رفع مستوى الطرح بأكمله" أمر غبي صحيح أيضا. ومع ذلك ، ليس من الواضح بالنسبة لي أن العلاج لذلك هو التفكير في LLM فيما يتعلق ب "ما سار على ما يرام". أعتقد أن هذا يواجه قضايا مشابهة جدا لخطر الانهيار أو سوء تخصيص الإشراف. لأنه على الرغم من أننا قد نمتص الإشراف من خلال قشة ، فإن الشيء الوحيد الأسوأ هو امتصاص الإشراف الملوث من خلال القشة.