Η Thinking Machines παρουσιάζει το Inkling-Small, που ανταγωνίζεται το κορυφαίο μοντέλο της με το ένα τέταρτο του μεγέθους

Η Thinking Machines Lab κυκλοφόρησε την Πέμπτη το Inkling-Small, ένα πολυτροπικό μοντέλο ανοιχτών βαρών που ισοφαρίζει ή ξεπερνά τον προκάτοχό του, το Inkling, χρησιμοποιώντας περίπου το ένα τέταρτο των παραμέτρων, μια κίνηση που μειώνει δραματικά τις απαιτήσεις υπολογιστικής ισχύος για τη λειτουργία ενός συστήματος τεχνητής νοημοσύνης κορυφαίου επιπέδου.

Ένα μικρότερο μοντέλο με μεγάλες δυνατότητες

Το Inkling-Small χρησιμοποιεί αρχιτεκτονική Mixture-of-Experts με 276 δισεκατομμύρια συνολικές παραμέτρους και 12 δισεκατομμύρια ενεργές ανά συμπερασμό, σε σύγκριση με τις 975 δισεκατομμύρια συνολικές και 41 δισεκατομμύρια ενεργές παραμέτρους του Inkling. Το μοντέλο δέχεται εισόδους κειμένου, εικόνας και ήχου και υποστηρίζει παράθυρο πλαισίου έως και ενός εκατομμυρίου tokens.siliconrepublic+1

Σύμφωνα με την Thinking Machines, το μοντέλο ισοφαρίζει ή ξεπερνά το Inkling σε εργασίες συλλογισμού και προγραμματισμού μέσω πρακτόρων. Στο Humanity's Last Exam, το Inkling-Small σημείωσε πάνω από 31 τοις εκατό σε σύγκριση με το 29,7 τοις εκατό του Inkling, ενώ στο SWE-Bench Verified ξεπέρασε το 80 τοις εκατό. Η Artificial Analysis του έδωσε βαθμολογία 40 στον δείκτη νοημοσύνης της, μόλις έναν βαθμό κάτω από το 41 του Inkling.artificialanalysis+1

Η εταιρεία πέτυχε αυτά τα αποτελέσματα μέσω μιας διαδικασίας μετα-εκπαίδευσης δύο σταδίων: απόσταξη on-policy χρησιμοποιώντας το Inkling ως μοντέλο-δάσκαλο, ακολουθούμενη από δύο εβδομάδες ενισχυτικής μάθησης με επίκεντρο τους πράκτορες.kucoin

Μείωση του εμποδίου εισόδου

Εκεί όπου το αρχικό Inkling απαιτούσε τουλάχιστον δύο terabytes συγκεντρωτικής VRAM για την εκτέλεση των σημείων ελέγχου BF16, το Inkling-Small μειώνει σημαντικά αυτές τις απαιτήσεις. Το μοντέλο είναι διαθέσιμο σε μορφές BF16 και NVFP4 στο Hugging Face και μέσω της υπηρεσίας Tinker της Thinking Machines.gigazine+1

"Οι πελάτες του Tinker έχουν δει από πρώτο χέρι ότι το σωστό μοντέλο με fine-tuning μπορεί να ξεπεράσει τα κλειστά μοντέλα σε μια ποικιλία εργασιών, και μάλιστα πιο γρήγορα και φθηνότερα", ανέφερε η εταιρεία. Η μειωμένη κλίμακα καθιστά το LoRA και το fine-tuning πλήρων παραμέτρων εφικτά για μεσαίου μεγέθους ομάδες, μια δυνατότητα που προηγουμένως περιοριζόταν σε μεγάλες εταιρείες.kucoin+1

Αναταράξεις στο παρασκήνιο

Η κυκλοφορία έρχεται εν μέσω συνεχιζόμενων ανακατατάξεων στη διοίκηση της startup που υποστηρίζεται από τη Nvidia ↗ 1.85%. Η Lilian Weng, μία από τους έξι αρχικούς συνιδρυτές, ανακοίνωσε την αποχώρησή της στις 26 Ιουλίου επικαλούμενη λόγους υγείας, με την τελευταία της ημέρα να είναι η 29η Ιουλίου. Έκτοτε επέστρεψε στην OpenAI για να ηγηθεί της εργασίας πάνω στην αναδρομική αυτοβελτίωση. Μόνο η Mira Murati και ο John Schulman παραμένουν πλέον από την ιδρυτική ομάδα.kucoin+3

Η Thinking Machines κυκλοφόρησε το πρώτο της μοντέλο, το Inkling, στις 15 Ιουλίου. Λιγότερο από δύο εβδομάδες αργότερα, παρουσίασε έναν διάδοχο που το ξεπερνά, ένας ρυθμός που υποδηλώνει, όπως το έθεσε η εταιρεία, μια "γραμμή παραγωγής" για τη δημιουργία μοντέλων και όχι μια μεμονωμένη προσπάθεια.kucoin+1