חברת Thinking Machines פותחת מודל של 975 מיליארד פרמטרים ומודה בפיגור אחרי המתחרים
המודל Inkling מפעיל 41 מיליארד מתוך 975 מיליארד הפרמטרים שלו לכל אסימון, ואימונו כלל 45 טריליון אסימונים של טקסט, תמונה, אודיו ווידאו.
- האימון שלאחר מכן הסתמך על למידת חיזוק אסינכרונית רחבת היקף על פני יותר מ-30 מיליון הפעלות.
- המשקולות המלאות זמינות בחינם ב-Hugging Face, וכוונון עדין מתבצע ב-Tinker ב-50% הנחה.
- לגרסה הקטנה יותר, Inkling-Small, יש 276 מיליארד פרמטרים בסך הכל ו-12 מיליארד פעילים.
למה זה חשוב: מסירת מודל של 975 מיליארד פרמטרים בחינם עולה פחות מאשר אובדן השליטה על זהות המאמן של המודל הבא.
Thinking Machines Lab — Inkling launch post ↗ · 15 ביולי 202615.7.26 · ✓ נבדק✓