AMD: Κυκλοφορεί μοντέλο AI ανοιχτού κώδικα εκπαιδευμένο στις δικές της GPU

Η AMD Advanced Micro Devices, Inc. ↗ 11.04% κυκλοφόρησε στις 24 Ιουλίου το Instella-MoE, ένα πλήρως ανοιχτό γλωσσικό μοντέλο αρχιτεκτονικής μίγματος ειδικών (mixture-of-experts) με 16 δισεκατομμύρια συνολικές παραμέτρους, εκπαιδευμένο από το μηδέν σε επεξεργαστές GPU AMD Instinct MI300X και MI325X. Η κυκλοφορία περιλαμβάνει τα βάρη του μοντέλου από κάθε στάδιο εκπαίδευσης, τις ρυθμίσεις εκπαίδευσης, τα μίγματα δεδομένων, τα ενδιάμεσα σημεία ελέγχου (checkpoints) και τον κώδικα συμπερασματικότητας (inference), γεγονός που την καθιστά μία από τις πιο διαφανείς κυκλοφορίες μοντέλων AI μεγάλης κλίμακας μέχρι σήμερα.

Ένα ανταγωνιστικό ανοιχτό μοντέλο με χαμηλό υπολογιστικό κόστος

Το Instella-MoE ενεργοποιεί μόλις 2,8 από τα 16 δισεκατομμύρια παραμέτρους του ανά token, διατηρώντας το κόστος συμπερασματικότητας κοντά σε εκείνο ενός πολύ μικρότερου πυκνού μοντέλου (dense model), ενώ παράλληλα προσφέρει αποτελέσματα που, σύμφωνα με την AMD, ηγούνται μεταξύ των πλήρως ανοιχτού κώδικα μοντέλων συγκρίσιμου μεγέθους. Σε τυπικά σημεία αναφοράς (benchmarks), το βασικό μοντέλο πέτυχε μέση βαθμολογία 76,7, ξεπερνώντας τα SmolLM3-3B-Base και OLMo-3-7B, και ων ανταγωνιστικό με μοντέλα ανοιχτών βαρών όπως το Moonlight-16B-A3B. Το μοντέλο υποστηρίζει παράθυρο πλαισίου (context window) 64K token και πέρασε από μια διαδικασία εκπαίδευσης έξι σταδίων που περιελάμβανε προ-εκπαίδευση, ενδιάμεση εκπαίδευση, επέκταση μεγάλου πλαισίου, επιβλεπόμενη μικρορρύθμιση (supervised fine-tuning), άμεση βελτιστοποίηση προτιμήσεων (direct preference optimization) και ενισχυτική μάθηση.weex+1

Η αρχιτεκτονική ενσωματώνει δύο νέες τεχνικές: τη Gated Multi-head Latent Attention, η οποία προσθέτει μια εκπαιδευμένη πύλη για το επιλεκτικό φιλτράρισμα χαμηλής χρησιμότητας αποκρίσεων προσοχής, και τη FarSkip-Collective, μια μέθοδο συνδεσιμότητας που επικαλύπτει την επικοινωνία με τον υπολογισμό κατά την παράλληλη εκπαίδευση ειδικών (expert-parallel training), επιτυγχάνοντας επιτάχυνση 12,7% στην προ-εκπαίδευση και έως και 39,2% μείωση στο χρόνο μέχρι το πρώτο token (time-to-first-token) κατά τη συμπερασματικότητα.rocm.blogs.amd

Η προσπάθεια της AMD για αξιοπιστία στην εκπαίδευση AI

Η κυκλοφορία αυτή βασίζεται στην προηγούμενη σειρά Instella της AMD με μοντέλα 3 δισεκατομμυρίων παραμέτρων που παρουσιάστηκαν το 2025, και ακολουθεί το ZAYA1 της Zyphra, ένα άλλο μοντέλο MoE μεγάλης κλίμακας που εκπαιδεύτηκε σε υλικό MI300X πέρυσι. Μαζί, αυτές οι προσπάθειες αντιπροσωπεύουν την εκστρατεία της AMD να αποδείξει ότι οι GPU της και το πακέτο λογισμικού ROCm μπορούν να υποστηρίξουν την ανάπτυξη τεχνητής νοημοσύνης αιχμής, μια αγορά στην οποία κυριαρχεί εδώ και καιρό η Nvidia ↗ 2.78% και το οικοσύστημά της CUDA.reddit+2

Η AMD διέθεσε το Instella-MoE με άδεια Research RAIL για ακαδημαϊκή και ερευνητική χρήση. Η εταιρεία δήλωσε ότι σχεδιάζει να συνεχίσει την επέκταση αυτής της εργασίας με μεγαλύτερα μοντέλα και περαιτέρω βελτιώσεις στην αποδοτικότητα.rocm.blogs.amd