Laboratorium Miry Murati publikuje darmowy model językowy z 975 miliardami parametrów
Inkling aktywuje 41 miliardów z 975 miliardów parametrów na token, został wytrenowany na 45 bilionach tokenów multimodalnych i udostępniony za darmo na platformie Hugging Face.
- Całkowita liczba parametrów wynosi 975 miliardów, jednak w tej architekturze mixture-of-experts aktywowanych jest tylko 41 miliardów na token.
- Model został wytrenowany na 45 bilionach tokenów obejmujących tekst, obrazy, dźwięk i wideo, a jego okno kontekstowe sięga miliona tokenów.
- Zgodnie z oświadczeniem samego laboratorium, Inkling nie jest najpotężniejszym z dostępnych obecnie modeli, ani otwartych, ani zamkniętych.
Dlaczego to ważne: Udostępnienie darmowych wag modelu, który według samych twórców nie jest najlepszy, to wciąż skuteczny sposób na zdobycie użytkowników, danych i uwagi rynku.
Thinking Machines Lab, "Inkling: Our Open-Weights Model" ↗ · 15 lip 202615.07.26 · ✓ Sprawdzone✓