Le laboratoire de Mira Murati publie un modèle de langage gratuit de 975 milliards de paramètres
Inkling active 41 milliards de ses 975 milliards de paramètres par token, a été entraîné sur 45 billions de tokens multimodaux et est hébergé gratuitement sur Hugging Face.
- Paramètres totaux: 975 milliards, dont seulement 41 milliards s'activent par token dans cette architecture de mélange d'experts.
- Pré-entraîné sur 45 billions de tokens de texte, d'images, d'audio et de vidéo, avec un contexte atteignant 1 million de tokens.
- Selon les propres mots du laboratoire, Inkling n'est pas le modèle le plus performant du marché, qu'il soit ouvert ou fermé.
Pourquoi c'est important: Offrir les poids d'un modèle que son créateur reconnaît ne pas être le meilleur permet tout de même d'acquérir des utilisateurs, des données et de l'attention.
Thinking Machines Lab, "Inkling: Our Open-Weights Model" ↗ · 15 juil. 202615/07/26