המעבדה של מירה מוראטי מפרסמת מודל שפה חינמי עם 975 מיליארד פרמטרים
המודל Inkling מפעיל 41 מיליארד מתוך 975 מיליארד פרמטרים לכל אסימון, אומן על 45 טריליון אסימונים רב-מודאליים, ומתארח בחינם ב-Hugging Face.
- סך הפרמטרים: 975 מיליארד, אך רק 41 מיליארד מופעלים לכל אסימון בעיצוב תערובת מומחים זה.
- אומן מראש על 45 טריליון אסימונים של טקסט, תמונות, שמע ווידאו, כשההקשר מגיע למיליון אסימונים.
- במילותיה של המעבדה עצמה: Inkling הוא לא המודל החזק ביותר שקיים כיום, פתוח או סגור.
למה זה חשוב: שחרור משקולות בחינם למודל שהיוצר מודה שאינו הטוב ביותר, עדיין קונה למפתחים משתמשים, נתונים ותשומת לב.
Thinking Machines Lab, "Inkling: Our Open-Weights Model" ↗ · 15 ביולי 202615.7.26 · ✓ נבדק✓