Πηγή: SemiAnalysis
Η Meta Infrastructure έχει διογκωθεί υπερβολικά, με τα μεσαία διοικητικά στελέχη να σπαταλούν πόρους σε υπερβολικά περίπλοκες τεχνολογικές λύσεις, χάνοντας από τα μάτια τους τις ευρύτερες ανάγκες του οργανισμού.
Wayne Ma, Myron Xie, Julien Martin-Prin, Daniel Nishball και Dylan Patel
21 Ιουλίου
Σε πρόσφατο άρθρο του ενημερωτικού μας δελτίου σχετικά με τη Meta Superintelligence, εξηγήσαμε τους λόγους για τους οποίους είμαστε αισιόδοξοι για τη Meta AI. Η MSL διαθέτει πλέον πολλά από τα κατάλληλα συστατικά για να καλύψει την απόσταση από την Anthropic και την OpenAI και να επιστρέψει στην αιχμή της τεχνολογικής εξέλιξης. Ωστόσο, αναφερθήκαμε επίσης εν συντομία στα προβλήματα εταιρικής κουλτούρας που ταλανίζουν τις ομάδες υποδομών της Meta. Το παρόν άρθρο εξετάζει αναλυτικότερα τον τρόπο με τον οποίο αυτά τα προβλήματα έχουν οδηγήσει σε δαπανηρά λάθη —είτε πρόκειται για εξαγορές όπως εκείνη της Rivos είτε για παράξενες επιλογές στην αρχιτεκτονική του υλικού.
Πιστεύουμε ότι η Meta Infrastructure χρειάζεται ριζική αλλαγή νοοτροπίας, ώστε να εξυπηρετεί καλύτερα τον οργανισμό της Meta AI και, ειδικότερα, τους παγκόσμιας κλάσης ερευνητές που εργάζονται στη MSL. Αυτό αποκτά ακόμη μεγαλύτερη σημασία καθώς η Meta αρχίζει να διαθέτει την υπολογιστική της ισχύ σε εξωτερικούς πελάτες, αντί να εξυπηρετεί αποκλειστικά τους εσωτερικούς της χρήστες.
Η Meta Infrastructure έχει διογκωθεί υπερβολικά, με τα μεσαία διοικητικά στελέχη να δαπανούν πόρους σε υπερβολικά περίπλοκες τεχνολογικές λύσεις, οι οποίες παραβλέπουν τις ευρύτερες ανάγκες του οργανισμού. Η εταιρεία φαίνεται να επιβαρύνεται από υπερβολικά πολλές και ασύνδετες μεταξύ τους ομάδες, οι οποίες βελτιστοποιούν σε υπερβολικό βαθμό συγκεκριμένους δείκτες, αντί να παραδίδουν τεχνολογία που μπορεί να αξιοποιηθεί από το σύνολο της εταιρείας. Τα μεσαία διοικητικά στελέχη κάνουν ό,τι μπορούν για να δικαιολογήσουν τις προτάσεις τους και να προστατεύσουν τις θέσεις τους εντός της Meta, η οποία έχει εξελιχθεί σε έναν εξαιρετικά πολιτικοποιημένο οργανισμό.
Ένα σημαντικό πρόβλημα είναι ο εξαμηνιαίος κύκλος αξιολόγησης της απόδοσης στη Meta, κατά τον οποίο απομακρύνεται το κατώτερο 10% έως 15% των εργαζομένων σε κάθε γύρο αξιολόγησης. Το αποτέλεσμα είναι ένας οργανισμός στον οποίο οι εργαζόμενοι επιδιώκουν βραχυπρόθεσμες επιτυχίες αντί για μακροπρόθεσμες στρατηγικές. Ορισμένοι μάνατζερ προωθούν έργα μεγάλης προβολής, τα οποία μπορούν να ολοκληρωθούν γρήγορα —μια πρακτική γνωστή ως «window washing», δηλαδή επιφανειακός εξωραϊσμός— και στη συνέχεια αλλάζουν αμέσως κατεύθυνση ή τα εγκαταλείπουν. Ελάχιστοι αμφισβητούν ανοιχτά την ηγεσία, με αποτέλεσμα οι λανθασμένες αποφάσεις να μην διορθώνονται. Ολόκληρο το σύστημα αποθαρρύνει τη μακροπρόθεσμη σκέψη και οδηγεί σε συμπεριφορές αποφυγής του κινδύνου.
Στο εσωτερικό της Meta Infrastructure, οι ομάδες της εφοδιαστικής αλυσίδας έχουν επίσης ελάχιστο λόγο έναντι των ομάδων μηχανικών. Το αποτέλεσμα είναι οι τεχνολογικές αποφάσεις να υπαγορεύονται από πολιτικά κίνητρα και όχι από έναν προσεκτικό συνδυασμένο σχεδιασμό λογισμικού και υλικού, ο οποίος θα εξυπηρετούσε τις ευρύτερες ανάγκες της εταιρείας.
Οι συχνές αλλαγές κατεύθυνσης είναι επίσης συνηθισμένο φαινόμενο. Επειδή η Meta έχει τη φήμη μιας εταιρείας που αντιμετωπίζει τα προβλήματα δαπανώντας τεράστια χρηματικά ποσά και ενεργώντας με μεγάλη ταχύτητα, αυτές οι απότομες ανατροπές αποδεικνύονται περισσότερο δαπανηρές συγκριτικά με άλλες εταιρείες, οι οποίες ακολουθούν μια πιο πειθαρχημένη ή συντηρητική προσέγγιση. Οι προμηθευτές χάνουν επίσης την εμπιστοσύνη τους όταν τους ανατίθενται έργα σχεδιασμού τα οποία αργότερα ακυρώνονται. Αυτό έχει οδηγήσει σε χαμηλότερη προτεραιοποίηση των νέων σχεδίων της Meta από την εφοδιαστική αλυσίδα. Ορισμένοι προμηθευτές προτιμούν να επικεντρώνονται στα σχέδια της Amazon ή της Google, εξαιτίας των συχνών αναδιοργανώσεων της Meta.
Πολλά από τα προβλήματα της Meta προέρχονται από την έλλειψη οικονομικής πειθαρχίας, με τα διοικητικά στελέχη να δημιουργούν νέα έργα και θέσεις εργασίας, προκειμένου να αξιοποιήσουν και να δικαιολογήσουν τους τεράστιους προϋπολογισμούς που διατίθενται για πρωτοβουλίες όπως η τεχνητή νοημοσύνη. Πρόκειται για επανάληψη όσων συνέβησαν στο τμήμα Reality Labs της Meta, όπου δαπανήθηκαν δισεκατομμύρια δολάρια σε μηχανικούς και στην έρευνα και ανάπτυξη. Στη συνέχεια, οι απολύσεις —οι οποίες προκλήθηκαν εν μέρει από τη στροφή της εταιρείας προς την τεχνητή νοημοσύνη— περιόρισαν δραστικά την ομάδα και τα σχετικά έργα της, αρχής γενομένης από το 2022 και συνεχίζοντας μέχρι και φέτος.
Η εξαγορά της Rivos
Καταρχάς, ένα από τα πιο πρόσφατα λάθη της Meta ήταν η επένδυση άνω των 2,5 δισεκατομμυρίων δολαρίων, πέρυσι, για την εξαγορά της νεοφυούς εταιρείας κατασκευής μικροκυκλωμάτων Rivos.
Ελάχιστοι στο εσωτερικό του τμήματος μικροκυκλωμάτων της Meta κατανοούν πλήρως για ποιον λόγο η εταιρεία εξαγόρασε εξαρχής τη Rivos, ενώ εκείνοι που υποστήριξαν τη συμφωνία στο εσωτερικό της εταιρείας έχουν έκτοτε σιωπήσει. Η επικρατούσα θεωρία είναι ότι η Meta διέθετε τα χρήματα, ο τομέας των εξατομικευμένων μικροκυκλωμάτων αναπτυσσόταν ραγδαία και η εταιρεία είχε ήδη αδειοδοτήσει την πνευματική ιδιοκτησία της Rivos για ένα μελλοντικό μικροκύκλωμα. Έτσι, η ηγεσία θεώρησε ότι θα ήταν προτιμότερο να αποκτήσει πλήρως την τεχνολογία της Rivos, αντί να επιτρέψει σε κάποιον άλλον να την αποκτήσει.
Με την εξαγορά της Rivos, η Meta απέκτησε επίσης τη δυνατότητα να παρακάμπτει συνεργάτες όπως η Broadcom και να διαχειρίζεται η ίδια την κατασκευή και τις δοκιμές των εξατομικευμένων μικροκυκλωμάτων της —μια πρακτική γνωστή ως «customer-owned tooling» ή COT. Ωστόσο, ούτε η καταβολή περισσότερων από 2,5 δισεκατομμυρίων δολαρίων για την απόκτηση αυτής της δυνατότητας φαίνεται να έχει ιδιαίτερο νόημα, δεδομένου ότι μια ομάδα COT θα μπορούσε ενδεχομένως να δημιουργηθεί από το μηδέν με κόστος περίπου 100 εκατομμύρια δολάρια ετησίως ή και περισσότερο.
Παρότι η Meta ενδιαφερόταν μόνο για την ομάδα της Rivos που ασχολούνταν με τους επιταχυντές και τις μονάδες επεξεργασίας γραφικών (GPU), οι ιδρυτές της νεοφυούς επιχείρησης επέμειναν σε μια συμφωνία «όλα ή τίποτα». Η Meta εξαγόρασε ολόκληρη την εταιρεία και στη συνέχεια προχώρησε σε εκτεταμένες περικοπές προσωπικού στα τμήματα που δεν την ενδιέφεραν.
Πηγή: SemiAnalysis, Rivos
Ορισμένοι πρώην εργαζόμενοι στο τμήμα μικροκυκλωμάτων της Meta αναφέρουν ότι επικεφαλής της εξαγοράς ήταν ο Yee Jiun Song, επικεφαλής του τομέα πυριτίου της Meta. Σύμφωνα με τους ίδιους, προώθησε τη συμφωνία παρά τις αντιρρήσεις ορισμένων υφισταμένων του, αλλά έκτοτε έχει χάσει το ενδιαφέρον του. Το αποτέλεσμα είναι ένας οργανισμός που ουσιαστικά απέρριψε το «μόσχευμα», αφήνοντας το προσωπικό της Rivos να τα βγάλει πέρα μόνο του. Τα ήδη υπάρχοντα διοικητικά στελέχη του τμήματος μικροκυκλωμάτων της Meta αντιμετώπισαν την εξαγορά ως μια δεξαμενή δωρεάν ανθρώπινου δυναμικού: απέσπασαν μηχανικούς της Rivos για να επεκτείνουν τα δικά τους τμήματα και τράβηξαν την αρχική νεοφυή επιχείρηση προς διαφορετικές κατευθύνσεις, μέχρι που ελάχιστα στοιχεία της παρέμειναν ανέπαφα.
Οι τεχνολογικοί λόγοι που βρίσκονταν πίσω από τη συμφωνία εξαφανίστηκαν εξίσου γρήγορα. Ένα μέρος του αρχικού ενδιαφέροντος της Meta οφειλόταν στο γεγονός ότι η Rivos διέθετε πνευματική ιδιοκτησία για πυρήνες SIMT, η οποία, ως προς τη δυνατότητα προγραμματισμού, πλησίαζε περισσότερο την αρχιτεκτονική των GPU της Nvidia. Αντιθέτως, το MTIA της Meta βασίζεται στην αρχιτεκτονική SIMD. Μετά την ολοκλήρωση της συμφωνίας, όμως, η Meta ακύρωσε το μικροκύκλωμα που ήταν γνωστό ως Olympus και προοριζόταν να χρησιμοποιήσει την τεχνολογία GPU της Rivos. Αυτό συνέβη επειδή ο σχεδιασμός ήταν υπερβολικά φιλόδοξος ως προς την αρχιτεκτονική του συστήματος και της συσκευασίας του μικροκυκλώματος, ενώ το λογισμικό απείχε πολύ από το να είναι έτοιμο. Αντ’ αυτού, η Meta θα διατηρήσει την υπάρχουσα αρχιτεκτονική μικροκυκλωμάτων της έως και το MTIA 600.
Η Meta εξακολουθεί να επιθυμεί την ανάπτυξη ενός μικροκυκλώματος που θα ενσωματώνει την τεχνολογία της Rivos και έχει δημιουργήσει ένα νέο έργο, γνωστό ως Phoebe, του οποίου η ολοκλήρωση του σχεδιασμού και η αποστολή για κατασκευή έχουν πλέον προγραμματιστεί για το 2028. Ωστόσο, δεν επικρατεί αισιοδοξία για το έργο σε ολόκληρη τη Meta, ενώ ορισμένοι πιστεύουν ότι μπορεί τελικά να ακυρωθεί και αυτό. Ενημερώνουμε τους συνδρομητές του Accelerator Model σχετικά με όλες τις διαφορετικές αρχιτεκτονικές, τις διατάξεις των μικροκυκλωμάτων και τους όγκους παραγωγής των διαφόρων εξατομικευμένων επεξεργαστών.
Στο μεταξύ, οι εργαζόμενοι που προέρχονται από τη Rivos έχουν λάβει ένα εντατικό μάθημα πάνω στην εσωτερική κουλτούρα της Meta. Σε αντίθεση με πιο ώριμους οργανισμούς υλικού, όπως η Apple, οι οδικοί χάρτες ανάπτυξης υλικού της Meta μπορούν να αλλάξουν τόσο γρήγορα όσο και εκείνοι του λογισμικού της. Οι συνεχείς αλλαγές κατεύθυνσης σημαίνουν ότι κάτι πάνω στο οποίο εργάζεται κάποιος σήμερα μπορεί να είναι εντελώς άχρηστο σε έξι μήνες. Πολλοί στο τμήμα μικροκυκλωμάτων της Meta υποστηρίζουν ότι δεν υπάρχει σαφής οργανωτική δομή, ξεκάθαρη διαδικασία λήψης αποφάσεων ή σαφής κατανομή αρμοδιοτήτων μεταξύ των ομάδων.
Ένα χαρακτηριστικό —και κάπως κωμικό— παράδειγμα αυτής της δυσλειτουργίας, το οποίο μπορούν εύκολα να αντιληφθούν ακόμη και όσοι δεν γνωρίζουν τις τεχνικές λεπτομέρειες, είναι ότι η Meta δεν παραχωρεί μόνιμο γραφείο στους περισσότερους εργαζομένους της. Άνθρωποι που εργάζονται εκεί περισσότερο από έναν χρόνο εξακολουθούν να ψάχνουν καθημερινά έναν διαθέσιμο χώρο εργασίας. Ορισμένες φορές το γραφείο διαθέτει οθόνη, άλλες φορές η οθόνη έχει λάθος καλώδιο και κάποιες φορές δεν υπάρχει καθόλου οθόνη. Εργαζόμενοι έχουν υποβάλει επίσημα αιτήματα για να τους παραχωρηθεί συγκεκριμένο γραφείο και τα αιτήματά τους έχουν απορριφθεί, παρότι παντού υπάρχουν άδεια γραφεία.
Τέλος, η εξαγορά της Rivos έχει προκαλέσει δυσαρέσκεια στην προϋπάρχουσα ομάδα πυριτίου της Meta. Πολλοί μηχανικοί της Rivos προσλήφθηκαν με υψηλότερες αποδοχές και ανώτερους τίτλους, χωρίς να έχουν τις αντίστοιχες αρμοδιότητες που θα δικαιολογούσαν αυτά τα προνόμια, και τοποθετήθηκαν κάτω από ήδη υπάρχοντες εργαζομένους του τμήματος πυριτίου της Meta. Αυτό οδήγησε σε πτώση του ηθικού τόσο στην προϋπάρχουσα ομάδα όσο και στο προσωπικό που προήλθε από τη Rivos, το οποίο δεν διαθέτει εξουσία λήψης αποφάσεων. Από τις αρχές του έτους, αρκετοί μηχανικοί πυριτίου της Meta έχουν αποχωρήσει για να εργαστούν σε νεοφυείς επιχειρήσεις ή σε άλλες καταξιωμένες εταιρείες, όπως η Arm και η Nvidia.
Όπως αναφέραμε πρώτοι στους πελάτες μας, περίπου το 30% των μηχανικών της Rivos που εντάχθηκαν στη Meta στο πλαίσιο της εξαγοράς απολύθηκε κατά τις πρόσφατες περικοπές προσωπικού. Ο συνιδρυτής της Rivos, Mark Hayter, έχει ήδη αποχωρήσει. Αρκετοί πρώην εργαζόμενοι της Rivos εγκατέλειψαν έκτοτε τη Meta για να ενταχθούν στη Nuvacore, τη νέα νεοφυή εταιρεία μικροκυκλωμάτων του Gerard Williams, αφού κατοχύρωσαν την πρώτη δόση των περιορισμένων μετοχικών μονάδων τους (RSU) τον Μάιο.
Πιστεύουμε ότι ο διευθύνων σύμβουλος και συνιδρυτής της Rivos, Puneet Kumar, εξετάζει επίσης το ενδεχόμενο αποχώρησης μέσα στα επόμενα ένα ή δύο χρόνια, όταν θα έχει κατοχυρώσει πλήρως τις μετοχές του στη Meta. Υπάρχουν εικασίες ότι θα μπορούσε να ενταχθεί στη Rosaic Labs, μια νέα νεοφυή εταιρεία μικροκυκλωμάτων που συνίδρυσε ο Amarjit Gill, επενδυτής στη Rivos και επί χρόνια συνεργάτης του Puneet Kumar στις SiByte, P.A. Semi, Apple και Agnilux.
Grand Teton
Ας μιλήσουμε τώρα για τα σχέδια των διακομιστών τεχνητής νοημοσύνης της Meta. Οι αποφάσεις της εταιρείας σχετικά με το υλικό βασίζονται σε μεγάλο βαθμό σε μια ανάλυση συνολικού κόστους ιδιοκτησίας (TCO). Στο πλαίσιο αυτής της ανάλυσης συγκρίνεται ένα σύνολο φόρτων εργασίας —όπως η κατάταξη και οι προτάσεις περιεχομένου, καθώς και η παραγωγική τεχνητή νοημοσύνη— με τις λύσεις που προσφέρουν προμηθευτές όπως η Nvidia και η AMD, αλλά και με τους εξατομικευμένους επεξεργαστές της ίδιας της Meta.
Ο διευθύνων σύμβουλος της Meta, Mark Zuckerberg, έχει δώσει εντολή τα συστήματα που σχεδιάζονται να μπορούν να εξυπηρετούν το σύνολο των δραστηριοτήτων της εταιρείας. Αυτό σημαίνει ότι πρέπει να υποστηρίζουν όχι μόνο φόρτους εργασίας παραγωγικής τεχνητής νοημοσύνης, αλλά και τα βασικά συστήματα κατάταξης και προτάσεων.
Ωστόσο, η Meta έχει επιλέξει αρκετές «βελτιστοποιήσεις» για τους διακομιστές GPU της. Όλες αποτελούν παράξενες επιλογές, οι οποίες συχνά αποδεικνύονται χειρότερες από τις τυποποιημένες διαμορφώσεις που αγοράζουν άλλοι πάροχοι υπολογιστικών υποδομών υπερκλίμακας. Μέρος του προβλήματος οφείλεται στο γεγονός ότι οι ομάδες διακομιστών της εταιρείας ανήκουν σε εντελώς διαφορετικούς οργανισμούς από τις ομάδες δικτύων, με διαφορετικούς στόχους και απόψεις. Οι μηχανικοί της Meta παρακινούνται επίσης από την επιθυμία να διαθέτουν το δικό τους λειτουργικό σύστημα και τον δικό τους εξοπλισμό δικτύου, αντί να εξαρτώνται από άλλες εταιρείες.
Για να ανακεφαλαιώσουμε, ο διακομιστής H100 HGX της Meta ονομαζόταν «Grand Teton» και ο σχεδιασμός του έχει συνεισφερθεί στο Open Compute Project (OCP). Η σημαντικότερη διαφορά του από έναν τυπικό διακομιστή HGX είναι η προσθήκη μιας συστοιχίας μεταγωγέων, πέρα από την καθιερωμένη διαμόρφωση με GPU και κεντρικό κόμβο CPU. Η συστοιχία αυτή περιλαμβάνει τέσσερις μεταγωγείς PCIe της Broadcom, 16 μονάδες SSD και οκτώ κάρτες δικτύου (NIC). Σκοπός της είναι να παρέχει πρόσθετες γραμμές PCIe, ώστε ο Grand Teton να μπορεί να διαθέτει περισσότερες μονάδες SSD ανά διακομιστή.
Κατά τη γενιά Hopper, η Nvidia ουσιαστικά εξάλειψε την ανάγκη για αυτόνομους μεταγωγείς PCIe, ενσωματώνοντας τη λειτουργία μεταγωγής PCIe στην κάρτα δικτύου ConnectX-7.
Με 80 διαθέσιμες γραμμές PCIe στον κεντρικό επεξεργαστή Intel Sapphire Rapids, η Meta θα μπορούσε να είχε σχεδιάσει ένα σύστημα που θα συνέδεε τις δύο κάρτες δικτύου των 200G στο εμπρόσθιο δίκτυο, χρησιμοποιώντας οκτώ γραμμές για καθεμία, τέσσερις γραμμές για διάφορες λειτουργίες διαχείρισης και ελέγχου και 16 γραμμές για καθεμία από τις οκτώ κάρτες δικτύου ConnectX-7. Έτσι, θα απέμεναν 32 γραμμές για τη σύνδεση οκτώ μονάδων SSD τύπου E1.S.
Επομένως, με τον Grand Teton, η Meta κατάφερε τελικά να προσθέσει οκτώ επιπλέον μονάδες SSD ανά διακομιστή. Αυτό, όμως, συνοδεύτηκε από υψηλότερο κόστος υλικών για τον διακομιστή, μεγαλύτερη κατανάλωση ενέργειας και αυξημένη πολυπλοκότητα ενσωμάτωσης.
Γιατί η Meta επιθυμούσε όλον αυτόν τον πρόσθετο άμεσα συνδεδεμένο αποθηκευτικό χώρο; Η ομάδα υποδομών τον συμπεριέλαβε στον σχεδιασμό επειδή πίστευε ότι χρειαζόταν περισσότερη χωρητικότητα για την αποθήκευση σημείων ελέγχου κατά την εκπαίδευση των μοντέλων. Στην πράξη, όμως, ο αποθηκευτικός χώρος δεν χρησιμοποιήθηκε από τις ομάδες μοντέλων στον βαθμό που αναμενόταν. Γι’ αυτό και ο συγκεκριμένος σχεδιασμός τελικά ακυρώθηκε. Πρόκειται για ένα από τα πολλά παραδείγματα όπου η απουσία συνδυασμένου σχεδιασμού υλικού και λογισμικού οδήγησε σε σπατάλη πόρων.
Η Meta προέβαλε επίσης ως δικαιολογία ότι ο συγκεκριμένος σχεδιασμός διευκόλυνε τη συντήρηση και της παρείχε την ευελιξία να χρησιμοποιεί κάρτες δικτύου άλλων κατασκευαστών, πέραν της Nvidia. Οι μηχανικοί της ήθελαν να αποφύγουν την παραχώρηση ακόμη περισσότερων εργασιών στη Nvidia, ιδίως στον τομέα των δικτύων, δεδομένου ότι υπήρχε ήδη ισχυρή εξάρτηση από την εταιρεία για τις GPU.
Ωστόσο, ούτε οι μεταγωγείς της Broadcom μπορούσαν στην πραγματικότητα να συντηρηθούν, ενώ η στοίβα λογισμικού της Meta εξακολουθούσε να εξαρτάται από την εκδοχή του RoCE της Nvidia —του πρωτοκόλλου δικτύωσης που χρησιμοποιείται για την κυκλοφορία δεδομένων μεταξύ των GPU. Συνεπώς, δεν υπήρχε ποτέ ρεαλιστική πιθανότητα η Meta να αλλάξει προμηθευτή καρτών δικτύου.
Τελικά, η Meta πλήρωσε περισσότερα, πέτυχε χειρότερο συνολικό κόστος ιδιοκτησίας, δεν περιόρισε την εξάρτησή της από τον δικτυακό εξοπλισμό της Nvidia και, παράλληλα, αύξησε την εξάρτησή της από την Broadcom.
Ariel
Ο Grand Teton δεν αποτέλεσε μεμονωμένο λάθος στον σχεδιασμό διακομιστών. Η ίδια κατάσταση συνεχίστηκε και στη γενιά Blackwell, με την εξατομικευμένη συστοιχία GB200 Catalina της Meta, η οποία είναι επίσης γνωστή ως «Ariel».
Το Ariel διαθέτει μία GPU Nvidia B200 σε συνδυασμό με έναν επεξεργαστή Grace, αντί για την τυπική διαμόρφωση των δύο GPU B200 με έναν επεξεργαστή Grace, η οποία χρησιμοποιείται στη συνηθισμένη έκδοση του GB200 που αγόρασαν όλοι οι υπόλοιποι πελάτες.
Η υλοποίηση ήταν απλή: το Ariel χρησιμοποιούσε την τυπική υπολογιστική πλακέτα Bianca του GB200, με τη μία από τις δύο GPU να έχει αφαιρεθεί από κάθε πλακέτα.
Οι μηχανικοί της Meta ανησυχούσαν για τη σταθερότητα του GB200 NVL72 σε διαμόρφωση ενός μόνο rack. Τα συστήματα NVL72 είναι πολύπλοκα, καθώς περιλαμβάνουν στοιχεία όπως μια χάλκινη πλακέτα διασύνδεσης, η οποία λειτουργεί ως κεντρικός κόμβος όπου συνδέονται όλα τα μικροκυκλώματα, χιλιόμετρα πυκνά τοποθετημένων χάλκινων καλωδίων και χιλιάδες συνδέσεις μεταξύ των μικροκυκλωμάτων και της πλακέτας διασύνδεσης.
Η ομάδα υποδομών της Meta εκτίμησε αρχικά ότι μια διαμόρφωση NVL36×2 θα ήταν σταθερότερη από τη λειτουργία του NVL72 εξ ολοκλήρου μέσω της κεντρικής πλακέτας διασύνδεσης.
Επειδή το Ariel διαθέτει 36 GPU σε ένα rack, για να φτάσει την κλίμακα ενός ενιαίου συστήματος 72 μικροκυκλωμάτων έπρεπε να χρησιμοποιηθεί η διάταξη 36×2. Καλώδια ACC μεταξύ των rack συνέδεαν τις συστοιχίες μεταγωγέων των δύο rack. Αυτό σήμαινε ότι απαιτούνταν διπλάσιος αριθμός μεταγωγέων, ενώ παράλληλα προστιθέταν ακόμη ένα ενδιάμεσο στάδιο στη διαδρομή των δεδομένων, αυξάνοντας την καθυστέρηση.
Η Meta ήταν ο μοναδικός πελάτης αυτής της έκδοσης Ariel. Ο λόγος ήταν η εμμονή της εταιρείας με μια υψηλότερη αναλογία CPU προς GPU για τα συστήματα προτάσεων περιεχομένου, γνωστά ως RecSys, τα οποία προτείνουν εξατομικευμένες διαφημίσεις και αναρτήσεις στις ροές των χρηστών.
Το σκεπτικό ήταν ότι τα συστήματα RecSys χρησιμοποιούν πολλούς πίνακες ενσωματώσεων, στους οποίους αποθηκεύονται αριθμητικές αναπαραστάσεις χρηστών, διαφημίσεων και περιεχομένου. Οι συγκεκριμένες εργασίες απαιτούν σημαντική επεξεργαστική ισχύ από τη CPU, ενώ η πρόσθετη μνήμη LPDDR που συνοδεύει κάθε επεξεργαστή Grace μπορεί να αποθηκεύει αυτές τις ενσωματώσεις. Επειδή η πρόσβαση σε αυτές πραγματοποιείται μέσω μικρών και διάσπαρτων αναγνώσεων, το εύρος ζώνης δεν είναι τόσο σημαντικό όσο κατά την εξυπηρέτηση μεγάλων γλωσσικών μοντέλων (LLM).
Η άλλη πλευρά, όμως, είναι ότι η αύξηση της αναλογίας των CPU, σε συνδυασμό με τον πρόσθετο εξοπλισμό δικτύωσης NVLink που απαιτεί η διαμόρφωση 36×2, αυξάνει την κεφαλαιουχική δαπάνη του διακομιστή ανά GPU. Το αποτέλεσμα είναι πολύ υψηλότερο κόστος ανά μονάδα υπολογιστικής ισχύος ($/FLOP), καθώς και ανά μονάδα χωρητικότητας και εύρους ζώνης της μνήμης HBM, σε σύγκριση με το τυπικό GB200.
Πρόκειται για κρίσιμους δείκτες για τους φόρτους εργασίας μεγάλων γλωσσικών μοντέλων και παραγωγικής τεχνητής νοημοσύνης. Κατά συνέπεια, το Ariel ήταν πολύ χειρότερο για την εκπαίδευση και την εξαγωγή συμπερασμάτων των LLM. Συνολικά, οι υπολογισμοί μας δείχνουν ότι το συνολικό κόστος ιδιοκτησίας του διακομιστή Ariel NVL36×2 ήταν κατά 14% υψηλότερο από εκείνο του τυπικού GB200 NVL72.
Όπως αναφέρθηκε, αυτή η πρόσθετη δαπάνη αφορούσε περισσότερες CPU και μεγαλύτερη ποσότητα μνήμης DRAM, οι οποίες δεν αξιοποιούνταν από τις ομάδες των μεγάλων γλωσσικών μοντέλων. Η συγκεκριμένη απόφαση κόστισε στη Meta δισεκατομμύρια δολάρια.
Σε αυτά δεν περιλαμβάνονται η πρόσθετη πολυπλοκότητα του δικτύου και τα προβλήματα αξιοπιστίας που προέκυψαν από την κλιμάκωση δύο σταδίων, μέσω των καλωδίων ACC μεταξύ των rack. Εξαιτίας αυτών των προκλήσεων, ένας περιορισμένος αριθμός συστημάτων 36×2 παραδόθηκε σε ορισμένους παρόχους υποδομών υπερκλίμακας μόνο για το GB200, ενώ η διαμόρφωση 36×2 εγκαταλείφθηκε πλήρως στη γενιά GB300.
Κατά ειρωνικό τρόπο, η ομάδα υποδομών της Meta είχε αρχικά εκτιμήσει ότι μια διαμόρφωση NVL36×2 θα ήταν σταθερότερη από ένα NVL72 που λειτουργούσε εξ ολοκλήρου μέσω της κεντρικής πλακέτας διασύνδεσης. Παρότι η πλακέτα αυτή αποτέλεσε αρχικά πηγή προβλημάτων αξιοπιστίας, πλέον έχει ωριμάσει σε σημαντικό βαθμό και τελικά επικράτησε έναντι της καλωδίωσης μεταξύ διαφορετικών rack.
Η εταιρεία υποτίμησε τα προβλήματα της καλωδίωσης μεταξύ των rack στον σχεδιασμό 36×2 και υπερεκτίμησε τη δυσκολία αξιόπιστης λειτουργίας της κεντρικής πλακέτας διασύνδεσης στο NVL72. Η τοποθέτηση 36 GPU σε ένα rack δεν παρείχε κανένα πλεονέκτημα αξιοπιστίας ως προς την πλακέτα διασύνδεσης.
Καθώς, σύμφωνα με όσα γνωρίζουμε, ολόκληρος ο στόλος συστημάτων GB200 της Meta αποτελούνταν από αυτή την έκδοση Ariel, η συγκεκριμένη «βελτιστοποίηση» επιβάρυνε τις ομάδες LLM της εταιρείας με ένα σύστημα κατώτερο από την τυπική έκδοση που αγόρασαν οι ανταγωνιστές της. Αυτό ήταν ιδιαίτερα επιζήμιο, καθώς την εποχή εκείνη το GB200 αποτελούσε το κορυφαίο σύστημα για εφαρμογές παραγωγικής τεχνητής νοημοσύνης.
Όπως ήταν αναμενόμενο, το Ariel δεν χρησιμοποιείται πλέον στους διακομιστές της Meta που βασίζονται στη γενιά GB300 και η εταιρεία αγοράζει πλέον την κανονική διαμόρφωση.
Η επερχόμενη καταστροφική απόφαση για την AMD
Ωστόσο, βλέπουμε τώρα το ίδιο φαινόμενο να επαναλαμβάνεται με το MI450X της AMD. Κατά την τηλεδιάσκεψη για τα οικονομικά αποτελέσματα του πρώτου τριμήνου του 2026, η Lisa Su επιβεβαίωσε ότι η AMD προμηθεύει τη Meta με μια εξατομικευμένη GPU που βασίζεται στο MI450. Εμείς αναφέρουμε αυτή την εξέλιξη εδώ και πολλούς μήνες στο Accelerator Model.
Το εξατομικευμένο MI450 της Meta αποτελεί μια υποβαθμισμένη έκδοση του πλήρους MI450X, με τη μισή ποσότητα υπολογιστικού πυριτίου ανά συσκευασία μικροκυκλώματος και τον μισό αριθμό συστοιχιών μνήμης HBM. Η μνήμη HBM4 είναι επίσης υποβαθμισμένη σε HBM οκτώ στρώσεων (8-Hi), αντί για τη μνήμη 12 στρώσεων (12-Hi) της τυπικής έκδοσης.
Δεδομένου ότι το rack Helios της Meta διαθέτει τον ίδιο αριθμό μεταγωγέων, υποθέτουμε ότι και η διαθέσιμη δυνατότητα εισόδου και εξόδου δεδομένων παραμένει ίδια.
Πηγή: AMD, SemiAnalysis
Με τον υποδιπλασιασμό του υπολογιστικού πυριτίου και της μνήμης, ο στόχος είναι να επιτευχθεί υψηλότερη αναλογία υπολογιστικής ισχύος CPU προς υπολογιστική ισχύ GPU, όπως συνέβη και με το Ariel.
Το AMD MI450 θα είναι η πιο προηγμένη GPU στην αγορά από πλευράς σχεδιασμού πυριτίου: τεχνολογία κατασκευής 2 νανομέτρων, υβριδική συγκόλληση, 12 συστοιχίες μνήμης HBM και τη μεγαλύτερη επιφάνεια διασύνδεσης CoWoS που διατίθεται στην αγορά. Όλα αυτά προσφέρουν την υψηλότερη πυκνότητα υπολογιστικής ισχύος και μνήμης ανά μικροκύκλωμα.
Η επιλογή της Meta να περικόψει στο μισό αυτό το τεχνολογικό επίτευγμα ακυρώνει ουσιαστικά ολόκληρη την αξία του. Η συγκεκριμένη διαμόρφωση προορίζεται για φόρτους εργασίας συστημάτων προτάσεων και αποφασίστηκε από τις ομάδες υποδομών RecSys. Ωστόσο, η απόφαση ελήφθη προτού δημιουργηθεί το TBD Lab ή προλάβει να εκφράσει την άποψή του.
Δεδομένων των σημαντικών ελλείψεων σε υπολογιστική ισχύ και μνήμη HBM, το TBD δεν ενδιαφέρεται για αυτό το σύστημα, το οποίο δεν είναι ελκυστικό ούτε για εξωτερικούς πελάτες.
Η συγκεκριμένη απόφαση πρόκειται να εκμηδενίσει τον όγκο πωλήσεων της AMD προς τη Meta, καθώς το TBD θα προτιμήσει σε συντριπτικό βαθμό το Rubin, εφόσον επιλεγεί ο σχεδιασμός του «μισού» MI450. Η AMD πρέπει να παρέμβει, να αναλάβει δυναμικά τις ευθύνες της και να συνεργαστεί απευθείας με τις ομάδες του TBD, ώστε να διασφαλίσει ότι θα αποκτήσουν το κανονικό MI450 και όχι την υποβαθμισμένη, εξατομικευμένη έκδοση της Meta, η οποία είναι εξαιρετικά ακατάλληλη για εφαρμογές παραγωγικής τεχνητής νοημοσύνης. Το κανονικό MI450 θα μπορούσε πράγματι να ανταγωνιστεί το Vera Rubin της Nvidia.
Αυτή είναι μια δημόσια έκκληση από την πλευρά μας προς τη Meta και την AMD να μη σπαταλήσουν τις δυνατότητες του συγκεκριμένου μικροκυκλώματος και να δημιουργήσουν υποδομές τεχνητής νοημοσύνης που θα είναι αποτελεσματικότερες, αποδοτικότερες και οικονομικά συμφερότερες. Εάν πραγματοποιηθεί αυτή η αλλαγή, πιστεύουμε ότι το TBD θα εξέταζε σοβαρά τη χρήση του MI450, ενισχύοντας σημαντικά τη ζήτηση και τις εμπορικές δραστηριότητες της AMD.
Τόσο πολύ, λοιπόν, εφαρμόστηκε η εντολή του Zuckerberg…
Στη συνέχεια θα εξετάσουμε την περίπλοκη και δαπανηρή αρχιτεκτονική δικτύωσης DSF της Meta, καθώς και τους λόγους για τους οποίους η εταιρεία την εγκατέλειψε τόσο γρήγορα. Θα συζητήσουμε επίσης πώς θα μπορούσε να διορθωθεί αυτή η εταιρική κουλτούρα…
