米拉·穆拉蒂的實驗室發布9750億參數免費語言模型
Inkling 在9750億個總參數中每個 token 激活410億個參數,經過45兆個多模態 token 訓練,並在 Hugging Face 上免費託管。
- 總參數達9750億,採用混合專家設計,每個 token 僅激活410億個參數。
- 使用了45兆個文本、圖像、音訊和視訊 token 進行預訓練,上下文長度達100萬個 token。
- 該實驗室坦言,無論是在開源還是閉源領域,Inkling 都並非當今最強大的模型。
為什麼重要: 即使開發者承認該模型並非最強,免費開放權重依然能為他們贏得用戶、數據和市場關注度。
Thinking Machines Lab, "Inkling: Our Open-Weights Model" ↗ · 2026年7月15日26/7/15 · ✓ 已查證✓