Hugging Face تكشف متطلبات التشغيل الفعلية لنموذج Inkling
يعمل نموذج Inkling من Thinking Machines بـ 975 مليار معلمة الآن على خمس أطر عمل منذ اليوم الأول، بما في ذلك تحديث Transformers الذي صدر في نفس اليوم.
- تتطلب نقطة التحقق الكاملة بصيغة BF16 ذاكرة بحجم 2 تيرابايت، بينما تحتاج نسخة NVFP4 إلى 600 غيغابايت.
- يقلل إصدار GGUF بـ 1 بت من Unsloth متطلبات الذاكرة بنسبة 95 بالمائة للأجهزة المحلية.
- قدمت Hugging Face استنتاجا مجانيا عبر مزودي الاستنتاج الخاصين بها لأول ساعتين بعد الإطلاق.
لماذا هذا مهم: يخضع الوصول إلى النموذج المجاني لقيود ذاكرة التيرابايتتين المطلوبة لتشغيله.
Hugging Face blog (Thinking Machines) — "Welcome Inkling by Thinking Machines" ↗ · 15 يوليو 202615/7/26 · محدث 15 يوليو