Mira Muratis Labor veröffentlicht kostenloses Sprachmodell mit 975 Milliarden Parametern
Inkling aktiviert 41 Milliarden seiner 975 Milliarden Parameter pro Token, wurde mit 45 Billionen multimodalen Token trainiert und wird kostenlos auf Hugging Face gehostet.
- Gesamte Parameter: 975 Milliarden, von denen in diesem Mixture-of-Experts-Design nur 41 Milliarden pro Token aktiviert werden.
- Vortrainiert mit 45 Billionen Token aus Text, Bildern, Audio und Video, wobei das Kontextfenster 1 Million Token erreicht.
- In den eigenen Worten des Labors: Inkling ist nicht das stärkste heute verfügbare Modell, weder offen noch geschlossen.
Warum das wichtig ist: Kostenlose Gewichte für ein Modell, das laut seinem Schöpfer nicht das beste ist, kaufen dennoch Nutzer, Daten und Aufmerksamkeit.
Thinking Machines Lab, "Inkling: Our Open-Weights Model" ↗ · 15. Juli 202615.7.26 · ✓ Geprüft✓