El laboratorio de Mira Murati publica un modelo de lenguaje gratuito de 975.000 millones de parámetros
Inkling activa 41.000 millones de sus 975.000 millones de parámetros por token, fue entrenado con 45 billones de tokens multimodales y está alojado gratis en Hugging Face.
- Parámetros totales: 975.000 millones, de los cuales solo 41.000 millones se activan por token en este diseño de mezcla de expertos.
- Preentrenado con 45 billones de tokens de texto, imágenes, audio y video, con una ventana de contexto que alcanza 1 millón de tokens.
- Según el propio laboratorio, Inkling no es el modelo más potente disponible en la actualidad, ya sea abierto o cerrado.
Por qué importa: Liberar los pesos de un modelo que su propio creador admite que no es el mejor sigue comprando usuarios, datos y presencia en el mercado.
Thinking Machines Lab, "Inkling: Our Open-Weights Model" ↗ · 15 jul 202615/7/26 · ✓ Verificado✓