Mira Murati'nin Laboratuvarı 975 Milyar Parametreli Ücretsiz Bir Dil Modeli Yayınladı
Inkling her token için 975 milyar parametrenin 41 milyarını aktif hale getiriyor, 45 trilyon çok modlu token ile eğitildi ve Hugging Face üzerinde ücretsiz sunuluyor.
- Toplam parametre: 975 milyar, ancak bu mixture of experts tasarımında token başına sadece 41 milyarı aktif oluyor.
- Metin, görüntü, ses ve videodan oluşan 45 trilyon token ile önceden eğitildi, bağlam kapasitesi 1 milyon tokene ulaşıyor.
- Laboratuvarın kendi ifadeleri: Inkling bugün piyasada bulunan açık veya kapalı modellerin en güçlüsü değil.
Neden önemli: Üreticisinin en iyisi olmadığını kabul ettiği bir modelin ağırlıklarını ücretsiz sunmak yine de kullanıcı, veri ve pazar payı satın almaktır.
Thinking Machines Lab, "Inkling: Our Open-Weights Model" ↗ · 15 Tem 202615.07.26 · ✓ Teyitli✓