Hugging Face chi tiết yêu cầu để chạy mô hình Inkling
Mô hình Inkling với 975 tỷ tham số của Thinking Machines hiện chạy trên năm framework ngay ngày đầu tiên, bao gồm một bản cập nhật Transformers được phát hành cùng ngày.
- Bản kiểm tra BF16 đầy đủ cần 2 terabyte bộ nhớ, trong khi phiên bản NVFP4 cần 600 gigabyte.
- Bản dựng GGUF 1-bit của Unsloth cắt giảm 95 phần trăm yêu cầu bộ nhớ đó cho các máy tính cá nhân.
- Hugging Face đã cung cấp quá trình suy luận miễn phí thông qua Inference Providers trong hai giờ đầu tiên sau khi ra mắt.
Vì sao quan trọng: Việc tiếp cận một mô hình miễn phí bị hạn chế bởi yêu cầu bộ nhớ lên tới hai terabyte để chạy nó.
Hugging Face blog (Thinking Machines) — "Welcome Inkling by Thinking Machines" ↗ · 15 thg 7, 202615/7/26 · Cập nhật 15 thg 7