Η Baidu κυκλοφόρησε το μοντέλο ανοιχτών βαρών ERNIE 5.5 Flash Base

Η Baidu ↘ 2.31% κυκλοφόρησε το ERNIE-5.5-Flash-Base την Πέμπτη, 5 Νοεμβρίου. Πρόκειται για ένα αραιό μοντέλο γλώσσας μείγματος ειδικών (sparse mixture-of-experts) με ανοιχτά βάρη, το οποίο διαθέτει συνολικά 280 δισεκατομμύρια παραμέτρους, από τις οποίες οι 14 δισεκατομμύρια ενεργοποιούνται ανά token, σύμφωνα με την επίσημη ανακοίνωση της εταιρείας. Τα βάρη αποτελούν το σημείο ελέγχου (checkpoint) που ελήφθη στο τέλος της προεκπαίδευσης, πριν από οποιαδήποτε ενδιάμεση ή μετα-εκπαίδευση. Η Baidu το προωθεί ως ένα κοινό σημείο εκκίνησης για προσαρμογή σε τομείς, εκπαίδευση με οδηγίες και έρευνα ενισχυτικής μάθησης. Η εταιρεία δηλώνει ότι μια έκδοση έτοιμη για συνομιλία θα ακολουθήσει: "Αυτό το βασικό μοντέλο είναι μόνο η αρχή. Το μετα-εκπαιδευμένο ERNIE 5.5 Flash θα ακολουθήσει", ανέφερε η ομάδα ERNIE.ernie.baidu.com

Σχεδιασμένο για αποδοτικότητα

Η Baidu αναφέρει ότι προεκπαίδευσε το μοντέλο από το μηδέν σε 33,5 τρισεκατομμύρια tokens με πλαίσιο εκπαίδευσης έως 128.000 tokens, ενώ υποστηρίζει πλαίσιο 1 εκατομμυρίου tokens για fine-tuning και συμπερασμό. Η κάρτα του μοντέλου αναφέρει 43 επίπεδα. Σύμφωνα με το Unite.AI, 37 από αυτά χρησιμοποιούν ένα συμπιεσμένο σχήμα προσοχής που αποθηκεύει μία καταχώρηση cache ανά μπλοκ 128 tokens, και σχεδόν κάθε επίπεδο δρομολογεί σε 10 από τους 512 ειδικούς συν έναν κοινό ειδικό. Η Baidu δήλωσε ότι "η αποδοτικότητα ήταν σχεδιαστικός στόχος από την αρχή" και ότι σχεδίασε το μοντέλο και το σύστημα εκπαίδευσής του από κοινού.unite.ai+1

Στις δοκιμές της Baidu, το μοντέλο ξεπέρασε τα ανταγωνιστικά βασικά checkpoints DeepSeek-V4-Flash-Base, Hy3-preview-Base και MiMo-V2.5-Base στα περισσότερα benchmarks. Σημείωσε 93,3 στο MMLU και 82,3 στο HumanEval+, αλλά υστερούσε στα FullStackBench και InfiniteBench. Μέχρι στιγμής δεν έχει δημοσιευθεί καμία ανεξάρτητη αξιολόγηση.ernie.baidu.com+1

Διαθεσιμότητα και υλικό

Τα βάρη βρίσκονται στο Hugging Face σε μορφές FP8 και BF16 safetensors. Οι προγραμματιστές μπορούν να εξυπηρετήσουν το μοντέλο με vLLM και SGLang μέσω του completions API, ενώ η Baidu έχει δημοσιεύσει ένα πρόσθετο vLLM που αναφέρει το μετα-εκπαιδευμένο ERNIE-5.5-Flash ως "προσεχώς". Η εκτέλεσή του απαιτεί ισχυρό υλικό. Το checkpoint FP8 από μόνο του είναι περίπου 288 GB, και η συνταγή fine-tuning πλήρους μοντέλου της NVIDIA ↘ 7.81% χρησιμοποιεί 16 κόμβους με τέσσερις GPUs GB300 ο καθένας.huggingface.co+3

Μια περιοριστική άδεια

Το μοντέλο κυκλοφορεί υπό την προσαρμοσμένη Συμφωνία Άδειας Χρήσης ERNIE 5.5 Flash Base Model v1.0 της Baidu. Τα δικαιώματα ισχύουν μόνο εντός μιας "Επικράτειας" που καλύπτει τα πάντα εκτός από την Ευρωπαϊκή Ένωση, το Ηνωμένο Βασίλειο και τη Νότια Κορέα. Η μη εμπορική χρήση είναι δωρεάν. Οι εμπορικοί χρήστες με ετήσια έσοδα έως 50 εκατομμύρια δολάρια πρέπει να στείλουν μια εφάπαξ ειδοποίηση στην Baidu και να εμφανίζουν την ένδειξη "Powered by ERNIE", ενώ οι μεγαλύτερες εταιρείες χρειάζονται προηγούμενη γραπτή έγκριση από την Baidu. Η άδεια απαγορεύει επίσης τη χρήση του μοντέλου ή των αποτελεσμάτων του για τη βελτίωση άσχετων συστημάτων τεχνητής νοημοσύνης, γεγονός που περιορίζει την απόσταξη. Προς το παρόν, όπως σημειώνει μια ανάλυση, ο όρος "ανοιχτό" περιγράφει το αν τα βάρη μπορούν να ληφθούν και όχι το τι επιτρέπεται στους χρήστες να κάνουν με αυτά.huggingface.co+2