Het lab van Mira Murati publiceert een gratis taalmodel met 975 miljard parameters
Inkling activeert 41 miljard van de 975 miljard parameters per token, is getraind op 45 biljoen multimodale tokens en wordt gratis gehost op Hugging Face.
- Totaal aantal parameters: 975 miljard, waarvan slechts 41 miljard activeren per token in dit mixture-of-experts ontwerp.
- Vooraf getraind op 45 biljoen tokens van tekst, beeld, audio en video, met een context die tot 1 miljoen tokens reikt.
- In de eigen woorden van het lab: Inkling is niet het sterkste model dat vandaag beschikbaar is, open of gesloten.
Waarom dit ertoe doet: Het vrijgeven van de gewichten van een model waarvan de maker toegeeft dat het niet het beste is, levert nog steeds gebruikers, data en marktaandeel op.
Thinking Machines Lab, "Inkling: Our Open-Weights Model" ↗ · 15 jul 202615-7-26 · ✓ Gecheckt✓