Hugging Face zeigt, was es wirklich braucht, um Inkling auszuführen
Das Modell Inkling von Thinking Machines mit 975 Milliarden Parametern läuft ab dem ersten Tag auf fünf Frameworks, darunter ein am selben Tag veröffentlichtes Update für Transformers.
- Der vollständige BF16-Checkpoint benötigt 2 Terabyte Speicher, während die NVFP4-Version 600 Gigabyte erfordert.
- Der 1-Bit-GGUF-Build von Unsloth senkt diese Speicheranforderung für lokale Rechner um 95 Prozent.
- Hugging Face bot in den ersten zwei Stunden nach dem Start kostenlose Inferenz über seine Inference Providers an.
Warum das wichtig ist: Der Zugang zu einem kostenlosen Modell wird durch die zwei Terabyte Speicher rationiert, die für den Betrieb notwendig sind.
Hugging Face blog (Thinking Machines) — "Welcome Inkling by Thinking Machines" ↗ · 15. Juli 202615.7.26 · Aktualisiert 15. Juli