Hugging Face laat zien wat er echt nodig is om Inkling te draaien
Het Inkling-model van Thinking Machines met 975 miljard parameters draait vanaf dag één op vijf frameworks, inclusief een Transformers-update die op dezelfde dag is uitgebracht.
- De volledige BF16-checkpoint heeft 2 terabyte geheugen nodig, terwijl de NVFP4-versie 600 gigabyte vereist.
- De 1-bit GGUF-build van Unsloth verlaagt deze geheugenvereiste met 95 procent voor lokale machines.
- Hugging Face bood de eerste twee uur na de lancering gratis inferentie aan via zijn Inference Providers.
Waarom dit ertoe doet: De toegang tot een gratis model wordt gerantsoeneerd door de twee terabyte aan geheugen die nodig zijn om het te draaien.
Hugging Face blog (Thinking Machines) — "Welcome Inkling by Thinking Machines" ↗ · 15 jul 202615-7-26 · Bijgewerkt 15 jul