Hugging Face spiega cosa serve davvero per far girare Inkling
Il modello Inkling da 975 miliardi di parametri di Thinking Machines gira dal primo giorno su cinque framework, incluso un aggiornamento di Transformers rilasciato in contemporanea.
- Il checkpoint completo in BF16 richiede 2 terabyte di memoria, la versione NVFP4 ne richiede 600 gigabyte.
- La build GGUF a 1 bit di Unsloth riduce il requisito di memoria del 95 percento per i computer locali.
- Hugging Face ha offerto l'inferenza gratuita tramite i suoi Inference Providers per le prime due ore dopo il lancio.
Perché conta: L'accesso a un modello gratuito è di fatto razionato dai due terabyte di memoria necessari per eseguirlo.
Hugging Face blog (Thinking Machines) — "Welcome Inkling by Thinking Machines" ↗ · 15 lug 202615/07/26 · Aggiornato 15 lug