ByteDance: Νέα κορυφαία μονάδα δεδομένων AI για το μοντέλο των 10 τρισεκατομμυρίων παραμέτρων

Η ByteDance ίδρυσε ένα νέο τμήμα πρώτης γραμμής με την ονομασία «AI Data & Security», αναβαθμίζοντας την προσέγγιση της εταιρείας στη διακυβέρνηση δεδομένων, καθώς ξεκινά την εκπαίδευση ενός από τα μεγαλύτερα μοντέλα τεχνητής νοημοσύνης στον κόσμο.

Η νέα μονάδα, για την οποία έγραψε το κινεζικό τεχνολογικό μέσο 36Kr, λειτουργεί στο ίδιο οργανωτικό επίπεδο με το τμήμα έρευνας Seed AI της ByteDance, το Flow και το Douyin, σύμφωνα με το PANews. Επικεφαλής της είναι ο Adam Wang, ο οποίος προηγουμένως επέβλεπε τις λειτουργίες υπευθυνότητας πλατφόρμας και ζωντανής ροής (live streaming) του TikTok.kucoin

Ενοποίηση της ροής δεδομένων

Η βασική αποστολή του τμήματος είναι να παρέχει υπηρεσίες δεδομένων πολλαπλών μέσων (cross-modal) για όλα τα μεγάλα μοντέλα της ByteDance. Ενσωματώνει την ομάδα Global Data, η οποία ιδρύθηκε το 2023 από τη Fu Yue, ιδρυτικό μέλος του TikTok, μαζί με το ενδιάμεσο λογισμικό δεδομένων DMC της εταιρείας και την πλατφόρμα AI Data Platform υπό το Flow. Η μονάδα καλύπτει ολόκληρο τον κύκλο ζωής των δεδομένων, από την τυποποίηση και την προμήθεια έως τη σύνθεση, τον καθαρισμό, την αξιολόγηση ποιότητας και τη συμμόρφωση ασφαλείας.kucoin

Το πλαίσιο κατά της «απόσταξης»

Η αναδιάρθρωση πραγματοποιείται λίγες ημέρες αφότου ο ιδρυτής της ByteDance, Zhang Yiming, ζήτησε από την ερευνητική ομάδα Seed AI της εταιρείας να αποφύγει τη βελτίωση των μοντέλων της μέσω της «απόσταξης» (distillation) ανταγωνιστικών συστημάτων. «Η ανάπτυξη της τεχνητής νοημοσύνης απαιτεί μακροπρόθεσμη οπτική και καθυστερημένη ικανοποίηση, αντί για τη χρήση των αποτελεσμάτων άλλων με σκοπό την επίτευξη βραχυπρόθεσμων υψηλών θέσεων στις κατατάξεις», δήλωσε ο Zhang σε πρόσφατη εσωτερική συνάντηση, σύμφωνα με αναφορά του Reuters που επικαλείται το κινεζικό μέσο The Paper.mix929

Ο Zhang ανέφερε στο προσωπικό ότι η ByteDance θα πρέπει να είναι πρόθυμη να «θυσιάσει ορισμένα βραχυπρόθεσμα κέρδη για μακροπρόθεσμους στόχους», προσθέτοντας ότι η απόσταξη εμποδίζει τις πραγματικές μακροπρόθεσμες τεχνολογικές καινοτομίες.mix929

Η οδηγία αυτή αποκτά ιδιαίτερη βαρύτητα δεδομένου του ευρύτερου γεωπολιτικού περιβάλλοντος. Οι Financial Times ανέφεραν στις 7 Αυγούστου ότι η ByteDance πραγματοποιεί προ-εκπαίδευση ενός μοντέλου με έως και 10 τρισεκατομμύρια παραμέτρους χρησιμοποιώντας αρχιτεκτονική μίξης ειδικών (mixture-of-experts), κάτι που απαιτεί περίπου 30.000 GPU και τρεις έως έξι μήνες συνεχούς προ-εκπαίδευσης. Η νέα μονάδα δεδομένων φαίνεται να έχει σχεδιαστεί για να διασφαλίσει ότι η διαδικασία εκπαίδευσης για αυτήν την προσπάθεια, καθώς και για μελλοντικές, θα βασίζεται σε κατάλληλα ελεγχόμενα δεδομένα εσωτερικής προέλευσης και όχι σε αποτελέσματα που έχουν συλλεχθεί ή «αποσταχθεί» από δυτικά συστήματα.wionews

Δομικό μήνυμα

Τοποθετώντας τη διακυβέρνηση δεδομένων AI στο ίδιο επίπεδο με τα βασικά τμήματα έρευνας και προϊόντων AI, η ByteDance στέλνει ένα σαφές οργανωτικό μήνυμα: η προέλευση των δεδομένων και η συμμόρφωση δεν αποτελούν δευτερεύουσες σκέψεις, αλλά προϋποθέσεις για τις φιλοδοξίες της στην αιχμή της τεχνολογίας. Η κίνηση αυτή θωρακίζει επίσης την εταιρεία έναντι μελλοντικών κατηγοριών για κατάχρηση πνευματικής ιδιοκτησίας, σε μια περίοδο που Αμερικανοί αξιωματούχοι έχουν προειδοποιήσει ότι «οι κυρώσεις και οι προσθήκες στη λίστα οντοτήτων (Entity List) θα βρίσκονται στο τραπέζι» για κινεζικές εταιρείες που είναι ύποπτες για απόσταξη αμερικανικών συστημάτων AI.wionews