חברת Thinking Machines פותחת מודל של 975 מיליארד פרמטרים, ומודה בפיגור אחרי מתחרים
המודל Inkling מפעיל 41 מיליארד מתוך 975 מיליארד הפרמטרים שלו לכל אסימון, ואומן על 45 טריליון אסימוני טקסט, תמונה, אודיו ווידאו.
- השלב שלאחר האימון הסתמך על למידת חיזוק אסינכרונית בקנה מידה רחב על פני יותר מ-30 מיליון הפעלות.
- המשקלים המלאים זמינים בחינם ב-Hugging Face, וכוונון עדין פועל ב-Tinker ב-50% הנחה.
- גרסה קטנה יותר, Inkling-Small, כוללת 276 מיליארד פרמטרים עם 12 מיליארד פעילים.
למה זה חשוב: מסירת מודל של 975 מיליארד פרמטרים בחינם עולה פחות מאשר אובדן השליטה על מי שיאמן את המודל הבא.
Thinking Machines Lab — Inkling launch post ↗ · 15 ביולי 202615.7.26 · ✓ נבדק✓