Hugging Face szczegółowo opisuje, czego potrzeba do uruchomienia modelu Inkling
Model Inkling firmy Thinking Machines o 975 miliardach parametrów działa od pierwszego dnia w pięciu frameworkach, w tym dzięki aktualizacji Transformers wydanej tego samego dnia.
- Pełny punkt kontrolny BF16 wymaga 2 terabajtów pamięci, natomiast wersja NVFP4 potrzebuje 600 gigabajtów.
- Jednobitowa kompilacja GGUF od Unsloth zmniejsza to zapotrzebowanie na pamięć dla maszyn lokalnych o 95 procent.
- Hugging Face oferowało darmowe wnioskowanie przez swoje Inference Providers przez pierwsze dwie godziny po premierze.
Dlaczego to ważne: Dostęp do darmowego modelu jest faktycznie racjonowany przez 2 terabajty pamięci wymagane do jego uruchomienia.
Hugging Face blog (Thinking Machines) — "Welcome Inkling by Thinking Machines" ↗ · 15 lip 202615.07.26 · Zaktualizowano 15 lip