Hugging Face Detalha o Custo Real de Rodar o Inkling
O Inkling, de 975 bilhões de parâmetros, já roda em cinco frameworks desde o lançamento, incluindo o Transformers atualizado no mesmo dia.
- A versão completa em BF16 exige 2 terabytes de memória; a NVFP4 exige 600 gigabytes.
- A versão GGUF de 1 bit da Unsloth reduz essa exigência em 95 por cento.
- A Hugging Face liberou inferência gratuita pelas primeiras duas horas após o lançamento.
Por que importa: O acesso a um modelo gratuito é racionado pelos dois terabytes de memória necessários para rodá-lo.
Hugging Face blog (Thinking Machines) — "Welcome Inkling by Thinking Machines" ↗ · 15 de jul. de 202615/07/26 · Atualizado 15 de jul.