Instacart δημιούργησε την πλατφόρμα επόμενης γενιάς βασίζεται σε εμπειρίες από τη χρήση της αρχικής πλατφόρμας μηχανικής μάθησης Griffin. Η εταιρεία ήθελε να βελτιώσει την εμπειρία χρήστη και να βοηθήσει στη διαχείριση όλων των φόρτων εργασίας ML. Η ανανεωμένη πλατφόρμα αξιοποιεί τις τελευταίες εξελίξεις στο MLOps και εισάγει νέες δυνατότητες για τρέχουσες και μελλοντικές εφαρμογές.
Instacart παρουσίασε την αρχική πλατφόρμα Griffin το 2022 για να υποστηρίξει το ταξίδι της προς τη μόχλευση της μηχανικής μάθησης για την ανάπτυξη προϊόντων. Η χρήση μιας ενοποιημένης πλατφόρμας βοήθησε στον τριπλασιασμό του αριθμού των εφαρμογών ML σε ένα χρόνο, καθώς παρείχε ορισμένες βασικές δυνατότητες, όπως περιβάλλοντα με κοντέινερ, διαχείριση ροής εργασιών, αγορά χαρακτηριστικών και συμπεράσματα σε πραγματικό χρόνο. Παρά όλα τα πλεονεκτήματα, η πρώτη ενσάρκωση της πλατφόρμας ML αποδείχθηκε δυσκίνητη στη χρήση από μηχανικούς μηχανικής μάθησης (MLE) λόγω σχετικά πολύπλοκων εργαλείων, κατακερματισμένης εμπειρίας χρήστη, έλλειψης τυποποίησης και διαχείρισης μεταδεδομένων και ανεπαρκούς επεκτασιμότητας.
Η εταιρεία ήθελε να αντιμετωπίσει τις ελλείψεις που εντοπίστηκαν στην πλατφόρμα πρώτης γενιάς και να επικεντρωθεί στην παροχή μιας ενοποιημένης και επεκτάσιμης πλατφόρμας με εξαιρετική εμπειρία χρήστη που θα πρόσφερε νέες και αναδυόμενες δυνατότητες, όπως κατανεμημένη εκπαίδευση και τελειοποίηση Μεγάλα γλωσσικά μοντέλα (LLMs).
Griffin 1.0 Architecture Overview (Πηγή: Ιστολόγιο τεχνολογίας Instacart)
Η δεύτερη έκδοση της πλατφόρμας Griffin αντικατέστησε τα εργαλεία που βασίζονται σε CLI και Git με μια αρχιτεκτονική προσανατολισμένη στις υπηρεσίες που εκθέτει τα API REST. Αυτά τα API χρησιμοποιούνται από τη διεπαφή ιστού για να παρέχουν μια απρόσκοπτη εμπειρία στους μηχανικούς ML και το Griffin SDK, το οποίο επιτρέπει την ενσωμάτωση άλλων εργαλείων με το Griffin, για παράδειγμα, το BentoLM, το εσωτερικό περιβάλλον ανάπτυξης υπολογιστών ML της Instacart που βασίζεται σε σύννεφο.
Το backend της πλατφόρμας περιλαμβάνει τρία κύρια υποσυστήματα. Η πλατφόρμα εκπαίδευσης μοντέλου (MLTP) μόχλευση ακτίνα να προσφέρει ένα οριζόντια κλιμακούμενο υπολογιστικό περιβάλλον που υποστηρίζει την κατανεμημένη εκπαίδευση μοντέλων ML. Το MLTP ενοποιεί διάφορες πλατφόρμες υποστήριξης εκπαίδευσης στο Kubernetes και παρέχει χρόνους εκτέλεσης που βασίζονται σε ρυθμίσεις για Tensorflow και LightGBM.
Η πλατφόρμα υπηρεσιών μοντέλων (MLSP) παρέχει βελτιωμένη και αυτοματοποιημένη αποθήκευση τεχνουργημάτων μοντέλων, αναπτύξεις μοντέλων και παροχή υπηρεσιών συμπερασμάτων. Το MLSP επιτρέπει τη βελτίωση των πόρων υπηρεσιών και τις διαμορφώσεις επεκτασιμότητας, γεγονός που οδηγεί σε μια γρήγορη και χαμηλής συντήρησης προσέγγιση για τη διάθεση μοντέλων ML για χρήση σε κλίμακα.
Ο χώρος αποθήκευσης χαρακτηριστικών υποστηρίζει υπολογισμό λειτουργιών, απορρόφηση, δυνατότητα εντοπισμού και δυνατότητα κοινής χρήσης. Με τη νέα ροή εργασιών που βασίζεται στο περιβάλλον χρήστη, οι χρήστες μπορούν να διαμορφώσουν νέες πηγές λειτουργιών και να τελειοποιήσουν τον υπολογισμό των χαρακτηριστικών. Η επικύρωση δεδομένων χαρακτηριστικών βοηθά στην εντόπιση σφαλμάτων πολύ νωρίτερα και η βελτιστοποίηση αποθήκευσης παρέχει πρόσβαση σε λειτουργίες χαμηλής καθυστέρησης.
Griffin 2.0 Architecture Overview (Πηγή: Ιστολόγιο τεχνολογίας Instacart)
Όλες οι δυνατότητες της πλατφόρμας είναι διαθέσιμες στους μηχανικούς ML σε μια ενοποιημένη εφαρμογή διεπαφής ιστού όπου μπορούν να δημιουργούν υπηρεσίες ML από άκρο σε άκρο. Ταυτόχρονα, η διαδικασία καθοδηγείται από ενσωματωμένη επικύρωση σε διαφορετικά στάδια για να βοηθήσει στη διόρθωση σφαλμάτων νωρίτερα στη διαδικασία.
Ο Rajpal Paryani, μηχανικός διευθυντής στο Instacart, συνοψίζει το ταξίδι της εταιρείας στην κατασκευή και λειτουργία πλατφορμών ML:
Από τις πρώτες μέρες μας, γίναμε μάρτυρες ραγδαίων εξελίξεων στα MLOps. Η εμφάνιση τεχνολογιών όπως το ChatGPT έχει φέρει επανάσταση στη χρήση των μεγάλων γλωσσικών μοντέλων (LLM) σε διάφορους κλάδους. Η εταιρεία μας βρίσκεται στην πρώτη γραμμή αυτών των εξελίξεων. Οι κατευθυντήριες αρχές πίσω από το Griffin 2.0 […] βεβαιωθείτε ότι η υποδομή ML μας είναι καλά προετοιμασμένη για προηγμένες εφαρμογές όπως η εκπαίδευση LLM, η τελειοποίηση και η εξυπηρέτηση στο μέλλον.