Η γαλλική Mistral παρουσιάζει μοντέλο τεχνητής νοημοσύνης 1 τρισεκατομμυρίου παραμέτρων

Η Mistral AI κυκλοφόρησε την Τρίτη, 6 Οκτωβρίου, μια προεπισκόπηση του Mistral Large 4. Το μοντέλο έχει λάβει το παρατσούκλι "Le Chonk" λόγω του μεγέθους του, που φτάνει το 1 τρισεκατομμύριο παραμέτρους, με το γαλλικό εργαστήριο να δηλώνει ότι πρόκειται για το ισχυρότερο μοντέλο ανοιχτών βαρών που έχει κατασκευαστεί εκτός Κίνας "με σημαντική διαφορά". Προς το παρόν, οι προγραμματιστές μπορούν να το χρησιμοποιήσουν μόνο μέσω του API της Mistral. Η εταιρεία σχεδιάζει να δημοσιεύσει τα βάρη του μοντέλου αργότερα αυτόν τον μήνα, μετά από δοκιμές ασφαλείας με συνεργάτες.techcrunch+3

Η κυκλοφορία επαναφέρει τη Mistral στην πρώτη γραμμή των κορυφαίων εργαστηρίων, σε μια περίοδο που η πρόσβαση στην προηγμένη τεχνητή νοημοσύνη έχει καταστεί σημείο γεωπολιτικής έντασης. Τα πιο ικανά ανοιχτά μοντέλα προέρχονταν μέχρι τώρα από την Κίνα. Στις Ηνωμένες Πολιτείες, η κυβέρνηση Τραμπ επέβαλε τον Ιούνιο προσωρινούς περιορισμούς στη διανομή μοντέλων της OpenAI και της Anthropic.wired+1

Ένα μεγάλο αλλά αραιό μοντέλο

Το Large 4, ή ML4, χρησιμοποιεί σχεδιασμό μείγματος ειδικών (mixture-of-experts). Μόνο 49 δισεκατομμύρια από τις παραμέτρους του είναι ενεργές ανά πάσα στιγμή. Δέχεται κείμενο και εικόνες ως είσοδο, αλλά παράγει μόνο κείμενο. Η Mistral το εκπαίδευσε από το μηδέν σε διάστημα περίπου δύο μηνών, χρησιμοποιώντας 4.000 GPUs Nvidia ↗ 0.14% Grace Blackwell στα δικά της ευρωπαϊκά κέντρα δεδομένων. Τα δεδομένα εκπαίδευσης καλύπτουν περισσότερες από 160 γλώσσες. Ο αντιπρόεδρος επιστημών της Mistral, Pierre Stock, δήλωσε στο TechCrunch ότι αυτό είναι "δύο έως τρεις φορές λιγότερο από τους Κινέζους ανταγωνιστές μας".cnbc+3

Η εταιρεία στοχεύει με το μοντέλο στους τομείς της κυβερνοασφάλειας, του προγραμματισμού, των χρηματοοικονομικών, της μεταποίησης και του σχεδιασμού τσιπ. Τα δικά της benchmarks τοποθετούν το μοντέλο στο 62% στο τεστ μηχανικής λογισμικού DeepSWE. Τα πρώτα ανεξάρτητα αποτελέσματα είναι πιο αδύναμα. Ο ευρύς δείκτης της Vals AI το κατατάσσει πίσω από τα κορυφαία μοντέλα της OpenAI και της Anthropic, ωστόσο σημειώνει καλή επίδοση σε benchmark νομικών πρακτόρων. Η ίδια η Mistral παραδέχθηκε ότι το μοντέλο υστερεί ακόμη στον τομέα του προγραμματισμού.venturebeat+3

Τα βάρη μετά την περίοδο δοκιμών

Τα πρακτορεία Reuters, Quartz και VentureBeat αναφέρουν ότι τα βάρη αναμένονται στις 27 Οκτωβρίου. Η ανάρτηση της Mistral στο X αναφέρει μόνο "τέλη Οκτωβρίου". Κατά τη διάρκεια της προεπισκόπησης, η Mistral συνεργάζεται με εταιρείες κυβερνοασφάλειας και κυβερνήσεις. "Θα συνεργαστούμε με έμπιστους εταίρους και κυβερνήσεις για να διασφαλίσουμε ότι τα βάρη ανοιχτού κώδικα μπορούν να χρησιμοποιηθούν για άμυνα, αλλά όχι για την εκτέλεση κακόβουλων επιθέσεων", δήλωσε ο Stock. Το VentureBeat αναφέρει ότι τα βάρη θα διατεθούν υπό μια ειδική άδεια της Mistral, ενώ η εταιρεία θα συνεχίσει την εκπαίδευση ενισχυτικής μάθησης πριν οριστικοποιήσει το μοντέλο.pasqualepillitteri+4

Μιλώντας σε συνέδριο στο Άμπου Ντάμπι, ο διευθύνων σύμβουλος Arthur Mensch δήλωσε ότι το μοντέλο "είναι πράγματι ανώτερο από τα κινεζικά μοντέλα σε ορισμένες πτυχές, συμπεριλαμβανομένης της κυβερνοασφάλειας" και ότι "το αφήγημα ότι η Ευρώπη δεν μπορεί να ανταγωνιστεί είναι αναληθές".reuters

Δυναμική μετά από χρηματοδότηση ρεκόρ

Η κυκλοφορία έρχεται μετά τον γύρο χρηματοδότησης Σειράς Δ ύψους 3 δισεκατομμυρίων ευρώ τον Σεπτέμβριο, με την αποτίμηση της εταιρείας να φτάνει τα 21 δισεκατομμύρια ευρώ. Η Samsung ηγήθηκε αυτού του γύρου. Επίσης, η κίνηση πραγματοποιήθηκε μία ημέρα μετά την κυκλοφορία του πρώτου ανοιχτού μοντέλου της Reflection AI, η οποία υποστηρίζεται από τη Nvidia.techcrunch+1

Ο συνιδρυτής Guillaume Lample υποστήριξε ότι οι εταιρείες παντού θα πρέπει να κατέχουν τα δικά τους μοντέλα: "Αν χρησιμοποιείς ένα κλειστό μοντέλο, δεν υπάρχει καμία εγγύηση ότι θα είναι διαθέσιμο και αύριο".wired