«Αυτό είναι από το εργαστήριο του Yann LeCun», είπε ο Huang, αναφέροντας τον πρωτοπόρο ερευνητή τεχνητής νοημοσύνης του Πανεπιστημίου της Νέας Υόρκης που εργάστηκε επίσης για το Facebook (τώρα Meta). «Έχουν κάνει απίστευτη πρόοδο και τα αποτελέσματα είναι πραγματικά εκπληκτικά». Το κεντρικό σημείο ήταν το ετήσιο ντεμπούτο νέων προϊόντων από τη Nvidia, τη γιγάντια εταιρεία κατασκευής τσιπ που πρόσφατα έφτασε το 1 τρισεκατομμύριο δολάρια σε χρηματιστηριακή αξία, χάρη στην έκρηξη της τεχνητής νοημοσύνης.
Αλλά πίσω στη Leather District της Βοστώνης, σε ένα γραφείο startup πάνω από το wine bar Les Zygomates, μια ομάδα πρώην φοιτητών από το Needham’s Το Olin College of Engineering παρακολουθώντας την εκδήλωση στο διαδίκτυο έμειναν έκπληκτοι. Το απίστευτο πρόοδος» δεν είχε γίνει από το εργαστήριο του LeCun, αλλά από δύο μέλη της startup των φοιτητών, που ονομαζόταν Indico. Οι Alec Radford και Luke Metz ήταν οι κύριοι συγγραφείς της έρευνας για διδάσκοντας έναν υπολογιστή να δημιουργεί πρωτότυπα έργα μαθαίνοντας από μια μεγάλη συλλογή προηγούμενων έργων. Ένα μέλος της ομάδας του LeCun, ο Soumith Chintala, είχε λειτουργήσει ως μέντορας για τη δημοσίευση του έργου.
Η παράβλεψη τσίμπησε – μια υπενθύμιση στο νεαρό προσωπικό της Indico ότι ενώ η περιοχή της Βοστώνης ήταν κάποτε το λίκνο της έρευνας για την τεχνητή νοημοσύνη, είχε χάσει το προβάδισμα, ξεπερνώντας τους τεχνολογικούς γίγαντες στη Δυτική Ακτή και τα ακαδημαϊκά εργαστήρια σε άλλα μέρη της χώρας.
«Απλώς μας ξεσήκωσε», είπε ο Slater Victoroff, συνιδρυτής της Indico και στενός φίλος του Radford από το Olin. «Η ιδέα ότι η Βοστώνη μπορούσε να παράγει οτιδήποτε πολύτιμο στο χώρο ήταν τόσο απίστευτη που οι άνθρωποι δεν μπορούσαν να το αποδεχτούν».
Λίγο μετά την επίδειξη, ο Radford αποστρατεύτηκε στην περιοχή Bay για να εργαστεί για την OpenAI, την εταιρεία που υποστηρίζεται από τη Microsoft πίσω από το ChatGPT. Την ίδια στιγμή, ο Metz μετακόμισε δυτικά για να εργαστεί για την Google και στη συνέχεια μεταπήδησε στο OpenAI πέρυσι. Το μικρό Nvidia “ήταν ένας πραγματικά μεγάλος λόγος για τον οποίο ο Alec έφυγε”, είπε ο Victoroff. «Επειδή ακόμα και όταν κάνεις την καλύτερη δουλειά στον κόσμο, δεν μπορείς να μείνεις εδώ».
Είναι ένας οικείος θρήνος, αλλά και γεγονός: Μερικά από τα κορυφαία τεχνολογικά μυαλά της περιοχής φεύγουν και χτίζουν μεγάλες εταιρείες αλλού. Σήμερα, οι μεγαλύτερες ανακαλύψεις στην τεχνητή νοημοσύνη συμβαίνουν στη Silicon Valley, με ομάδες στο Τορόντο, το Μόντρεαλ και τη Νέα Υόρκη να συνεισφέρουν επίσης. Παρά την κληρονομιά της Νέας Αγγλίας να εφεύρει τον ίδιο τον όρο «τεχνητή νοημοσύνη», τα ιδρύματα γύρω από τη Βοστώνη δεν έχουν πιστωθεί με κανένα από τα σημαντικότερα τεχνολογίες που τροφοδοτούν αυτό που θα μπορούσε να είναι η επόμενη βιομηχανία τρισεκατομμυρίων δολαρίων.
Ο Ράντφορντ και ο Μετς ξεκίνησαν εδώ, βγαίνοντας από το μικροσκοπικό Olin College, το οποίο έχει μόνο περίπου 400 φοιτητές και δεν πλησιάζει καθόλου την αναγνώριση των τεχνολογικών συναδέλφων του σε ιδρύματα όπως το Χάρβαρντ και το MIT.
Οι δυο τους δεν σχολίασαν αυτή την ιστορία, παρά τις πολλαπλές έρευνες από την Globe. Η Nvidia αρνήθηκε να σχολιάσει και μια εκπρόσωπος της Meta παρέπεμψε ερωτήσεις Chintala, ο οποίος είναι επί του παρόντος συνεργάτης μηχανικός στην εταιρεία.
Η Chintala προσπάθησε να ξεκαθαρίσει την παρεξήγηση σχετικά με το demo από την αρχή. «Η τεχνολογία DCGAN αναπτύχθηκε σε μεγάλο βαθμό από την Indico, με εμένα να βοηθώ ως σύμβουλος στη διαδικασία», είπε σε ένα e-mail στο Globe. Το DCGAN, συντομογραφία για τα «deep convolutional Generative Adversarial Networks», αναφέρεται στο μοντέλο AI που ανέπτυξαν οι Radford και Metz που μπορεί να εκπαιδεύσει ένα πρόγραμμα σε ένα σύνολο δεδομένων χωρίς ετικέτα και να δημιουργήσει πρωτότυπα έργα.
Ο Graham Brooks, συνεργάτης στην εταιρεία Boston VC .406 Ventures που υποστήριξε την Indico, έχει μια διαφορετική εξήγηση για το γιατί ο Radford πήγε δυτικά. Και έχει να κάνει με χρήματα και πόρους.
Η έρευνα του Ράντφορντ – μαζί με αυτή άλλων στον τομέα – απαιτούσε τη δημιουργία ολοένα πιο περίπλοκων μοντέλων τεχνητής νοημοσύνης που έπρεπε να εκπαιδευτούν σε εκατομμύρια, ακόμη και δισεκατομμύρια έγγραφα, είπε ο Μπρουκς. (Το μοντέλο GPT-2 του OpenAI εκπαιδεύτηκε σε 8 εκατομμύρια ιστοσελίδες και το GPT-3 σε περισσότερες από 400 δισεκατομμύρια λέξεις.) Αυτό απαιτούσε το είδος της υπολογιστικής ισχύος και των πόρων που ήταν διαθέσιμοι μόνο στους τεχνολογικούς γίγαντες της Δυτικής Ακτής.
«Το μονοπάτι που κατευθυνόταν ήταν εκείνο που θα απαιτούσε δισεκατομμύρια δολάρια για να πληρωθούν για εκπαίδευση και βασική έρευνα», είπε ο Μπρουκς.
Ενώ η Indico συνέχισε να επικεντρώνεται στη δημιουργία λογισμικού ανάλυσης δεδομένων για τις ασφαλιστικές εταιρείες και άλλους εταιρικούς πελάτες, ο Radford ήταν τώρα ελεύθερος να επιδιώξει πιο θεμελιώδεις ιδέες, οι οποίες τελικά οδήγησαν στην ανάπτυξη του ChatGPT. Η συμμετοχή στο OpenAI ήταν «ένας ρόλος παρόμοιος με τη συμμετοχή σε ένα μεταπτυχιακό πρόγραμμα», εξήγησε σε μια συνέντευξη το 2016 για το περιοδικό του γυμνασίου του στο Ντάλας.
Ο Radford ήταν ο κύριος συγγραφέας στο έγγραφο της εταιρείας για το 2018 που έθεσε τις βάσεις για τα μοντέλα GPT — περιλάμβανε τη φράση «γεννητική προεκπαίδευση», το «GPT» στο ChatGPT. Ο Radford έχει καταχωριστεί ως συν-συγγραφέας σε τουλάχιστον 25 άλλες εργασίες και παρουσιάσεις στο Google Scholar, τη διαδικτυακή μηχανή αναζήτησης για ακαδημαϊκές εργασίες, από τότε που εντάχθηκε στο OpenAI.
Ο πρόεδρος και συνιδρυτής του OpenAI Greg Brockman έχει πιστώθηκε στον Ράντφορντ για την αρχική ανακάλυψη πίσω από το ChatGPT. «Μας άρεσε πολύ ο Alec, οπότε τον υποστηρίξαμε πολύ για να κάνει ό,τι ήθελε», είπε ο Brockman κατά τη διάρκεια μιας ομιλίας στο συνέδριο τεχνολογίας και μουσικής South by Southwest φέτος.
Ο Ράντφορντ, ο Βίκτοροφ και ο Μετς συναντήθηκαν ξανά το 2011 στο Olin College, το οποίο είναι γνωστό ότι αφήνει τους μαθητές του να κυνηγήσουν τα πάθη τους στην επιστήμη και τη μηχανική. Ο Ράντφορντ, ένας ανιχνευτής αετών που μεγάλωσε στο Τέξας, και ο Βίκτοροφ, από τη Βόρεια Καλιφόρνια, ειδικότερα είχαν εμμονή με τη μηχανική μάθηση, μια διαδικασία με την οποία οι υπολογιστές ανακατεύονται μέσα από δέσμες δεδομένων για να αναγνωρίσουν μοτίβα, να βγάλουν συμπεράσματα και ακόμη και να δημιουργήσουν πρωτότυπα έργα.
«Σίγουρα ήταν όλοι οι άνθρωποι που ήρθαν με αρκετά ξεκάθαρες δεξιότητες και ενδιαφέροντα», θυμάται ο καθηγητής Olin, Lynn Andrea Stein. “Στο Olin, πολλά από αυτά που κάνουμε είναι να επιτρέπουμε στους μαθητές να προσαρμόσουν τις διαδρομές τους.”
Και οι δύο ξενύχτηδες, ο Ράντφορντ και ο Βίκτοροφ άρχισε να κάνει παρέα μετά τις 3 τα ξημερώματα και να κολλάει πάνω από πίτσα με ανανά και κρεμμύδι. Παράλληλα με τη σχολική τους εργασία, συμμετείχαν σε διαγωνισμούς σε έναν ιστότοπο που ονομάζεται Kaggle. Ο ιστότοπος, ο οποίος ανήκει πλέον στην Google, προσφέρει προκλήσεις όπως η συγγραφή λογισμικού για την πρόβλεψη της απόδοσης των μαθητών στα τεστ με βάση τα αποτελέσματα των βιντεοπαιχνιδιών τους ή η μετατροπή των δισδιάστατων εικόνων σε τρισδιάστατες εικόνες.
Το 2012, μια πρωτοποριακή εξέλιξη στην τεχνητή νοημοσύνη τράβηξε την προσοχή τους. Εκείνη την εποχή, μεγάλο μέρος του πεδίου επικεντρώθηκε στην κατασκευή συστημάτων στα οποία οι ερευνητές έγραψαν και τροποποιούσαν τον υποκείμενο κώδικα των εφαρμογών οι ίδιοι. Μια αναδυόμενη Η προσέγγιση, γνωστή ως βαθιά μάθηση, χρησιμοποίησε πολλαπλά επίπεδα νευρωνικών δικτύων — μονοπάτια λογισμικού εμπνευσμένα από το σχεδιασμό του ανθρώπινου εγκεφάλου — για να κατανοήσουν δεδομένα όπως εικόνες. Αυτή ήταν μια βελτίωση σε προηγούμενα νευρωνικά δίκτυα που βασίζονταν στη χρήση περισσότερης υπολογιστικής ισχύος για τη δημιουργία μεγαλύτερων συνόλων δεδομένων. Τον Σεπτέμβριο του 2012, ένα σύστημα βαθιάς μάθησης γνωστό ως AlexNet από μια ομάδα στο Πανεπιστήμιο του Τορόντο άρχισε να κερδίζει διαγωνισμούς αναγνώρισης εικόνων.
«Ο Άλεκ μου έδειξε ότι, η βαθιά μάθηση έχει φτάσει πραγματικά σε ένα κρίσιμο σημείο», είπε ο Βίκτοροφ. «Λοιπόν, ήμασταν εκεί, δύο παιδιά σε έναν κοιτώνα που έσπευσαν να μάθουν βαθιά».
Η επιτυχία τους στους διαδικτυακούς διαγωνισμούς άρχισε να προσελκύει εταιρικούς πελάτες που αναζητούσαν βοήθεια, έτσι το ζευγάρι δημιούργησε την Indico στο δωμάτιο του κοιτώνα μαζί με δύο άλλες φοιτήτριες, την Diana Yuan και τη Madison May. Κέρδισαν την υποστήριξη από το πρόγραμμα Rough Draft της εταιρείας επιχειρηματικών κεφαλαίων General Catalyst και το πρόγραμμα επιτάχυνσης εκκίνησης Techstars Boston, εγκατέλειψαν το Olin και μετακόμισαν σε ένα γραφείο στο κέντρο της πόλης Βοστώνη. Ο Μετς εντάχθηκε το 2015, μετά την αποφοίτησή του.
Ο Ράντφορντ και ο Βίκτοροφ ήθελαν να εργάζονται βαθιά μέσα στη νύχτα, και η ομάδα κορδόνιζε αιώρες από ξύλινες κολώνες κατά μήκος του μεγάλου διαδρόμου του γραφείου. Η Indico δημιούργησε τα δικά της μοντέλα γλώσσας βαθιάς μάθησης και τα χρησιμοποίησε για να βοηθήσει πελάτες, όπως ασφαλιστικές εταιρείες, να αναλύσουν τα αποτελέσματα της αναδοχής.
Ο Victoroff, ο οποίος ενδιαφερόταν λιγότερο για την καθαρή έρευνα και του άρεσε να ζει στη Βοστώνη, έμεινε στην Indico, η οποία έχει τώρα την έδρα της κοντά στο Δημαρχείο. Είναι επίσης δημιούργησε μια startup που ονομάζεται Mythica για τη χρήση γενετικής τεχνητής νοημοσύνης σε βιντεοπαιχνίδια.
Σίγουρα, άλλες σημαντικές ανακαλύψεις συνέβαλαν στην ανάπτυξη του ChatGPT. Ένα έγγραφο του 2017 από ερευνητές της Google προσέφερε μια σημαντική πρόοδο στην απλούστευση του τρόπου εκπαίδευσης των μοντέλων μηχανικής μάθησης. Και ήταν ο Yann LeCun, μαζί με τον Yoshua Bengio από το Πανεπιστήμιο του Μόντρεαλ και τον Geoffrey Hinton από το Πανεπιστήμιο του Τορόντο. κέρδισε ένα βραβείο Turingπου μερικές φορές ονομάζεται Βραβείο Νόμπελ Επιστήμης Υπολογιστών, το 2018 για το θεμελιώδες έργο τους στη μηχανική μάθηση.
Όμως οι συνεισφορές των Οι πρώην φοιτητές του Olin College δεν πρέπει να παραβλεφθούν. Ούτε αυτό που λέει η εμπειρία τους για τη θέση της Βοστώνης στον κόσμο της τεχνητής νοημοσύνης.
«Βοηθούσε το γεγονός ότι ήταν έξυπνοι, αποφασιστικοί και σε ένα μέρος όπως το Olin», είπε ο Stein. «Η τύχη είναι επίσης ένα τεράστιο κομμάτι της. Ήταν στο σωστό μέρος τη σωστή στιγμή».
Μπορείτε να επικοινωνήσετε με τον Aaron Pressman στη διεύθυνση aaron.pressman@globe.com. Ακολουθήστε τον στο Twitter @ampressman.