Thinking Machines otwiera model o 975 miliardach parametrów, przyznając, że ustępuje rywalom
Inkling aktywuje 41 miliardów z 975 miliardów parametrów na token, a jego trening objął 45 bilionów tokenów tekstu, obrazu, dźwięku i wideo.
- Proces po treningu opierał się na asynchronicznym uczeniu ze wzmocnieniem na dużą skalę, obejmującym ponad 30 milionów rolloutów.
- Pełne wagi są dostępne za darmo na Hugging Face, a dostrajanie w Tinker jest tańsze o 50%.
- Mniejsza wersja, Inkling-Small, posiada łącznie 276 miliardów parametrów, z czego aktywnych jest 12 miliardów.
Dlaczego to ważne: Rozdanie za darmo modelu o 975 miliardach parametrów to mniejszy koszt niż utrata kontroli nad tym, kto wytrenuje następny.
Thinking Machines Lab — Inkling launch post ↗ · 15 lip 202615.07.26 · ✓ Sprawdzone✓