Thinking Machines publie un modèle à 975 milliards de paramètres et concède son retard sur ses rivaux
Inkling active 41 milliards de ses 975 milliards de paramètres par jeton, entraîné sur 45 billions de jetons de texte, d'image, d'audio et de vidéo.
- Le post-entraînement s'est appuyé sur un apprentissage par renforcement asynchrone à grande échelle via plus de 30 millions d'itérations.
- Les poids complets sont gratuits sur Hugging Face; le réglage fin tourne sur Tinker à moitié prix.
- Une version plus petite, Inkling-Small, totalise 276 milliards de paramètres dont 12 milliards actifs.
Pourquoi c'est important: Offrir un modèle à 975 milliards de paramètres coûte moins cher que de perdre le contrôle sur celui qui entraînera le prochain.
Thinking Machines Lab — Inkling launch post ↗ · 15 juil. 202615/07/26 · ✓ Vérifié✓