میرا موراتی کی لیب نے 975 بلین پیرامیٹرز والا مفت لینگویج ماڈل جاری کر دیا
ماڈل Inkling ہر ٹوکن پر 975 بلین میں سے 41 بلین پیرامیٹرز کو فعال کرتا ہے، اسے 45 ٹریلین ملٹی موڈل ٹوکنز پر ٹرین کیا گیا ہے، اور یہ Hugging Face پر مفت ہوسٹ کیا گیا ہے۔
- کل پیرامیٹرز: 975 بلین، لیکن اس مکسچر آف ایکسپرٹس ڈیزائن میں ہر ٹوکن پر صرف 41 بلین فعال ہوتے ہیں۔
- اسے 45 ٹریلین ٹیکسٹ، تصاویر، آڈیو اور ویڈیو ٹوکنز پر پری ٹرین کیا گیا ہے، اور اس کا کانٹیکسٹ 1 ملین ٹوکنز تک پہنچتا ہے۔
- لیب کے اپنے الفاظ میں: Inkling آج دستیاب سب سے طاقتور ماڈل نہیں ہے، چاہے اوپن ہو یا کلوزڈ۔
یہ کیوں اہم ہے: ایک ایسے ماڈل کے مفت ویٹس جاری کرنا جسے بنانے والا خود بہترین نہیں مانتا، پھر بھی صارفین، ڈیٹا اور توجہ حاصل کرنے کا باعث بنتا ہے۔
Thinking Machines Lab, "Inkling: Our Open-Weights Model" ↗ · 15 جولائی، 202615/7/26 · ✓ جانچ شدہ✓