Hugging Face Rinci Syarat Utama untuk Menjalankan Inkling
Model Inkling dengan 975 miliar parameter dari Thinking Machines kini berjalan di lima kerangka kerja pada hari pertama, termasuk pembaruan Transformers yang dirilis pada hari yang sama.
- Checkpoint BF16 penuh membutuhkan 2 terabita memori, sedangkan versi NVFP4 membutuhkan 600 gigabita.
- Build GGUF 1-bit dari Unsloth memangkas kebutuhan memori tersebut sebesar 95 persen untuk komputer lokal.
- Hugging Face menawarkan inferensi gratis melalui Inference Providers mereka selama dua jam pertama setelah peluncuran.
Mengapa ini penting: Akses ke model gratis ini dibatasi oleh dua terabita memori yang diperlukan untuk menjalankannya.
Hugging Face blog (Thinking Machines) — "Welcome Inkling by Thinking Machines" ↗ · 15 Jul 202615/7/26 · Diperbarui 15 Jul