Hugging Face, Inkling'i Çalıştırmak İçin Gerçekte Ne Gerektiğini Açıkladı
Thinking Machines'in 975 milyar parametreli Inkling modeli, aynı gün yayınlanan Transformers güncellemesi de dahil olmak üzere ilk günden beş çerçevede çalışıyor.
- Tam BF16 kontrol noktası 2 terabayt bellek gerektiriyor, NVFP4 sürümü ise 600 gigabayta ihtiyaç duyuyor.
- Unsloth'un 1 bitlik GGUF yapısı, yerel makineler için bu bellek gereksinimini yüzde 95 oranında azaltıyor.
- Hugging Face, lansmandan sonraki ilk iki saat boyunca Inference Providers aracılığıyla ücretsiz çıkarım imkanı sundu.
Neden önemli: Ücretsiz bir modele erişim, onu çalıştırmak için gereken iki terabaytlık bellek zorunluluğu ile kısıtlanıyor.
Hugging Face blog (Thinking Machines) — "Welcome Inkling by Thinking Machines" ↗ · 15 Tem 202615.07.26 · Güncellendi̇ 15 Tem