Thinking Machines mở mã nguồn mô hình 975 tỉ tham số, thừa nhận tụt hậu so với đối thủ
Inkling kích hoạt 41 tỉ trong số 975 tỉ tham số cho mỗi token, được huấn luyện trên 45 nghìn tỉ token văn bản, hình ảnh, âm thanh và video.
- Quá trình hậu huấn luyện dựa vào học tăng cường không đồng bộ quy mô lớn qua hơn 30 triệu đợt triển khai.
- Toàn bộ trọng số được cung cấp miễn phí trên Hugging Face, trong khi việc tinh chỉnh chạy trên Tinker được giảm giá 50%.
- Phiên bản nhỏ hơn là Inkling-Small có tổng cộng 276 tỉ tham số với 12 tỉ tham số hoạt động.
Vì sao quan trọng: Việc cho không một mô hình 975 tỉ tham số còn ít tốn kém hơn là mất quyền kiểm soát đối với việc ai sẽ huấn luyện mô hình tiếp theo.
Thinking Machines Lab — Inkling launch post ↗ · 15 thg 7, 202615/7/26 · ✓ Xác minh✓