Nvidia: Δωρεάν μοντέλο AI ανοιχτού κώδικα για αυτόνομους πράκτορες

Η Nvidia ↗ 0.15% κυκλοφόρησε την Τρίτη το Nemotron 3.5 Lightning, ένα δωρεάν μοντέλο AI ανοιχτού κώδικα για εταιρική χρήση που μπορεί να τρέξει σε μία μόνο GPU, παράλληλα με ένα νέο εργαλείο δρομολόγησης μοντέλων με την ονομασία NeMo Switchyard, το οποίο σχεδιάστηκε για τη μείωση του κόστους των εργασιών AI.

Η κυκλοφορία αυτή αποτελεί το πρώτο μοντέλο ανοιχτού κώδικα της Nvidia από τότε που ο διευθύνων σύμβουλος Jensen Huang δημοσίευσε μια ανοιχτή επιστολή στο X στα τέλη Ιουλίου, υπερασπιζόμενος τα ανοιχτά μοντέλα AI και καλώντας την κυβέρνηση των ΗΠΑ να αποφύγει περιορισμούς που θα μπορούσαν να οδηγήσουν την καινοτομία στο εξωτερικό.cnbc

Ένα ελαφρύ μοντέλο για συνεχώς ενεργούς πράκτορες

Το Nemotron 3.5 Lightning είναι ένα μοντέλο μείγματος ειδικών (mixture-of-experts) 30 δισεκατομμυρίων παραμέτρων, σχεδιασμένο για εξειδικευμένες εργασίες μεγάλου όγκου μέσα σε μεγαλύτερα συστήματα πολλαπλών πρακτόρων. Η Nvidia δήλωσε ότι το μοντέλο προσφέρει έως και τέσσερις φορές ταχύτερη παραγωγή αποτελεσμάτων και 30% ταχύτερη ολοκλήρωση εργασιών από αυτόνομους πράκτορες σε σύγκριση με άλλα μοντέλα της κατηγορίας του.blogs.nvidia+1

Το μοντέλο είναι πλήρως παραμετροποιήσιμο και μπορεί να εκπαιδευτεί εκ των υστέρων με τα δεδομένα ενός οργανισμού. Η Kari Briski, αντιπρόεδρος λογισμικού παραγωγικής AI της Nvidia, δήλωσε στη Wall Street Journal της News Corp ↗ 0.49% ότι το μοντέλο είναι "εξαιρετικά εύκολο στην προσαρμογή". Ανέφερε ως παράδειγμα την CodeRabbit: η εταιρεία χρησιμοποίησε την τυπική μέθοδο εκπαίδευσης της Nvidia και δημιούργησε έναν πράκτορα δρομολόγησης με 85 δολάρια σε περίπου δύο ώρες. Εταιρείες όπως η CrowdStrike ↘ 2.23% και η Harvey έχουν επίσης δοκιμάσει και προσαρμόσει το μοντέλο.siliconangle+1

Για την Nvidia, το AI ανοιχτού κώδικα εξυπηρετεί ένα σαφές επιχειρηματικό συμφέρον. "Το δωρεάν AI είναι εξαιρετικό για το υλικό (hardware)", δήλωσε ο Huang στο Axios τον περασμένο μήνα. "Το δωρεάν AI είναι εξαιρετικό για τα τσιπ".cnbc

NeMo Switchyard: Δρομολόγηση στο κατάλληλο μοντέλο

Παράλληλα με το Lightning, η Nvidia κυκλοφόρησε το NeMo Switchyard, μια βιβλιοθήκη δρομολόγησης μοντέλων ανοιχτού κώδικα που κατευθύνει αυτόματα κάθε αίτημα ενός πράκτορα AI στο καταλληλότερο μοντέλο με βάση την ποιότητα, την καθυστέρηση και το κόστος. Οι εσωτερικές δοκιμές έδειξαν ότι το Switchyard διατήρησε κορυφαία επίπεδα ακρίβειας, μειώνοντας παράλληλα το κόστος ολοκλήρωσης των εργασιών σχεδόν στο ένα τρίτο σε σύγκριση με τη χρήση ενός μόνο κορυφαίου μοντέλου.blogs.nvidia

Οι συνεργάτες ανέφεραν τα πρώτα αποτελέσματα: Η Ramp πέτυχε επιδόσεις αντίστοιχες με αυτές των κορυφαίων μοντέλων, μειώνοντας παράλληλα το κόστος κατά 58% και τον χρόνο εκτέλεσης κατά 33%, ενώ η LangChain πέτυχε 74% χαμηλότερο κόστος δρομολογώντας μόνο το 7% των κλήσεων σε ένα κορυφαίο μοντέλο.developer.nvidia+1

Ο αγώνας δρόμου για το AI ανοιχτού κώδικα

Η κυκλοφορία αυτή έρχεται μία ημέρα αφότου ο διευθύνων σύμβουλος της Meta Platforms ↗ 1.13%, Mark Zuckerberg, δημοσίευσε ένα μανιφέστο υπέρ του AI ανοιχτού κώδικα, καθώς η Meta κυκλοφόρησε ένα νέο μοντέλο προγραμματισμού. Η κίνηση της Nvidia ακολουθεί επίσης την παρέμβαση του Huang σε μια πολιτική συζήτηση που πυροδοτήθηκε από το κινεζικό μοντέλο Kimi K3, το οποίο προκάλεσε ανησυχίες στην Ουάσινγκτον για κλοπή πνευματικής ιδιοκτησίας μέσω τεχνικών απόσταξης.cnbc

Το Nemotron 3.5 Lightning είναι διαθέσιμο στα Hugging Face, ModelScope, OpenRouter και στις πλατφόρμες της ίδιας της Nvidia. Η Nvidia αναπτύσσει ήδη ένα μοντέλο επόμενης γενιάς, το Nemotron 4, σύμφωνα με το The Information.tradingview+1