Hugging Face détaille ce qu'il faut vraiment pour faire tourner Inkling
Inkling de Thinking Machines et ses 975 milliards de paramètres tournent dès le premier jour sur cinq infrastructures, dont une mise à jour de Transformers parue le même jour.
- Le checkpoint BF16 complet nécessite 2 téraoctets de mémoire, et la version NVFP4 en requiert 600 gigaoctets.
- La version GGUF 1 bit d'Unsloth réduit ce besoin en mémoire de 95 pour cent pour les machines locales.
- Hugging Face a offert l'inférence gratuite via ses Inference Providers pendant les deux premières heures suivant le lancement.
Pourquoi c'est important: L'accès à un modèle gratuit se trouve rationné par les deux téraoctets de mémoire exigés pour son exécution.
Hugging Face blog (Thinking Machines) — "Welcome Inkling by Thinking Machines" ↗ · 15 juil. 202615/07/26 · Mis à jour 15 juil.