Νευρωνικά δίκτυα που μιμούνται τη λειτουργία του ανθρώπινου εγκεφάλου τώρα συχνά δημιουργούν τέχνηεξουσία όραση υπολογιστήκαι οδηγείτε πολλές ακόμη εφαρμογές. Τώρα ένα μικροτσίπ νευρωνικού δικτύου από την Κίνα που χρησιμοποιεί φωτόνια αντί για ηλεκτρόνια, που ονομάζεται Taichi, μπορεί να εκτελέσει εργασίες τεχνητής νοημοσύνης καθώς και τα ηλεκτρονικά αντίστοιχά του με ένα χιλιοστό περισσότερης ενέργειας, σύμφωνα με μια νέα μελέτη.
Η τεχνητή νοημοσύνη συνήθως βασίζεται σε τεχνητά νευρωνικά δίκτυα σε εφαρμογές όπως αναλύοντας ιατρικές σαρώσεις και δημιουργία εικόνων. Σε αυτά τα συστήματα, τα στοιχεία του κυκλώματος που ονομάζονται νευρώνες – ανάλογα με τους νευρώνες στον ανθρώπινο εγκέφαλο – τροφοδοτούνται με δεδομένα και συνεργάζονται για να λύσουν ένα πρόβλημα, όπως η αναγνώριση προσώπων. Τα νευρωνικά δίκτυα ονομάζονται «βαθιά» εάν διαθέτουν πολλαπλά στρώματα αυτών των νευρώνων.
«Τα οπτικά νευρωνικά δίκτυα δεν είναι πλέον μοντέλα παιχνιδιών. Μπορούν πλέον να εφαρμοστούν σε εργασίες πραγματικού κόσμου». —Lu Fang, Πανεπιστήμιο Tsinghua, Πεκίνο
Καθώς τα νευρωνικά δίκτυα μεγαλώνουν σε μέγεθος και ισχύ, γίνονται όλο και πιο πεινασμένα για ενέργεια όταν λειτουργούν με συμβατικά ηλεκτρονικά. Για παράδειγμα, για να εκπαιδεύσει το υπερσύγχρονο νευρωνικό της δίκτυο GPT-3ένα 2022 Φύση μελέτη προτείνεται OpenAI ξόδεψε 4,6 εκατομμύρια δολάρια για να τρέξει 9.200 GPU για δύο εβδομάδες.
Τα μειονεκτήματα των ηλεκτρονικών υπολογιστών οδήγησαν ορισμένους ερευνητές να διερευνήσουν τον οπτικό υπολογιστή ως ένα πολλά υποσχόμενο θεμέλιο για την τεχνητή νοημοσύνη επόμενης γενιάς. Αυτή η φωτονική προσέγγιση χρησιμοποιεί φως για να εκτελέσει υπολογισμούς πιο γρήγορα και με λιγότερη ισχύ από μια ηλεκτρονική αντίστοιχη.
Τώρα οι επιστήμονες στο Πανεπιστήμιο Tsinghua στο Πεκίνο και το Εθνικό Κέντρο Ερευνών του Πεκίνου για την Επιστήμη και την Τεχνολογία της Πληροφορίας έχουν αναπτύξει το Taichi, ένα φωτονικό μικροτσίπ που μπορεί να αποδώσει εξίσου καλά με τις ηλεκτρονικές συσκευές σε προηγμένες εργασίες τεχνητής νοημοσύνης ενώ αποδεικνύεται πολύ πιο ενεργειακά αποδοτικό.
«Τα οπτικά νευρωνικά δίκτυα δεν είναι πλέον μοντέλα παιχνιδιών», λέει Lu Fang, αναπληρωτής καθηγητής ηλεκτρονικής μηχανικής στο Πανεπιστήμιο Tsinghua. «Μπορούν πλέον να εφαρμοστούν σε εργασίες πραγματικού κόσμου».
Πώς λειτουργεί ένα οπτικό νευρωνικό δίκτυο;
Δύο στρατηγικές για την ανάπτυξη οπτικά νευρωνικά δίκτυα είτε διασκορπίζουν το φως με συγκεκριμένα μοτίβα μέσα στα μικροτσίπ, είτε προκαλούν τα κύματα φωτός να παρεμβαίνουν μεταξύ τους με ακριβείς τρόπους μέσα στις συσκευές. Όταν η είσοδος με τη μορφή φωτός ρέει σε αυτά οπτικά νευρωνικά δίκτυατο φως εξόδου κωδικοποιεί δεδομένα από τις πολύπλοκες λειτουργίες που εκτελούνται σε αυτές τις συσκευές.
Και οι δύο προσεγγίσεις φωτονικών υπολογιστών έχουν σημαντικά πλεονεκτήματα και μειονεκτήματα, εξηγεί ο Fang. Για παράδειγμα, οπτικά νευρωνικά δίκτυα που βασίζονται στη σκέδαση ή τη διάθλαση, μπορούν να συσκευάσουν πολλούς νευρώνες κοντά μεταξύ τους και να μην καταναλώνουν σχεδόν καθόλου ενέργεια. Νευρωνικά δίκτυα βασισμένα σε περίθλαση βασίζονται στη σκέδαση των δεσμών φωτός καθώς περνούν μέσα από οπτικά στρώματα που αντιπροσωπεύουν τις λειτουργίες του δικτύου. Ένα μειονέκτημα των νευρωνικών δικτύων που βασίζονται σε περίθλαση, ωστόσο, είναι ότι δεν μπορούν να διαμορφωθούν εκ νέου. Κάθε σειρά πράξεων μπορεί ουσιαστικά να χρησιμοποιηθεί μόνο για μια συγκεκριμένη εργασία.
Το Taichi διαθέτει 13,96 εκατομμύρια παραμέτρους.
Αντίθετα, οπτικό νευρωνικά δίκτυα που εξαρτώνται από παρεμβολές μπορεί εύκολα να αναδιαμορφωθεί. Τα νευρωνικά δίκτυα που βασίζονται σε παρεμβολές στέλνουν πολλαπλές δέσμες μέσω ενός πλέγματος καναλιών και τον τρόπο με τον οποίο παρεμβαίνουν εκεί που τέμνονται αυτά τα κανάλια βοηθά στην εκτέλεση των λειτουργιών της συσκευής. Ωστόσο, το μειονέκτημά τους αφορά το γεγονός ότι τα συμβολόμετρα είναι επίσης ογκώδη, γεγονός που περιορίζει το πόσο καλά μπορούν να κλιμακωθούν τέτοια νευρωνικά δίκτυα. Καταναλώνουν επίσης πολλή ενέργεια.
Επιπλέον, τα τρέχοντα φωτονικά τσιπ παρουσιάζουν αναπόφευκτα σφάλματα. Η προσπάθεια κλιμάκωσης των οπτικών νευρωνικών δικτύων αυξάνοντας τον αριθμό των στρωμάτων νευρώνων σε αυτές τις συσκευές συνήθως αυξάνει εκθετικά μόνο αυτόν τον αναπόφευκτο θόρυβο. Κάτι που σημαίνει ότι, μέχρι τώρα, τα οπτικά νευρωνικά δίκτυα περιορίζονταν σε βασικές εργασίες τεχνητής νοημοσύνης, όπως η απλή αναγνώριση προτύπων. Τα οπτικά νευρωνικά δίκτυα, με άλλα λόγια, γενικά δεν ήταν κατάλληλα για προηγμένες, πραγματικές εφαρμογές, λέει ο Fang.
Οι ερευνητές λένε ότι το Taichi, αντίθετα, είναι ένα υβριδικό σχέδιο που συνδυάζει προσεγγίσεις περίθλασης και παρεμβολής. Περιέχει ομάδες περιθλαστικών μονάδων που μπορούν να συμπιέσουν δεδομένα για είσοδο και έξοδο μεγάλης κλίμακας σε ένα συμπαγές χώρο. Αλλά το τσιπ τους περιέχει επίσης συστοιχίες συμβολομέτρων για επαναδιαμορφώσιμους υπολογισμούς. Το πρωτόκολλο κωδικοποίησης που αναπτύχθηκε για το Taichi χωρίζει τις απαιτητικές εργασίες και τα μεγάλα μοντέλα δικτύου σε υποπροβλήματα και υπομοντέλα που μπορούν να διανεμηθούν σε διαφορετικές μονάδες, λέει ο Fang.
Πώς το Taichi συνδυάζει και τα δύο είδη νευρωνικών δικτύων;
Προηγούμενη έρευνα προσπάθησε συνήθως να επεκτείνει τη χωρητικότητα του οπτικού νευρωνικού δικτύου μιμούμενος αυτό που γίνεται συχνά με τα ηλεκτρονικά αντίστοιχά τους – αυξάνοντας τον αριθμό των στρωμάτων νευρώνων. Αντίθετα, η αρχιτεκτονική του Taichi κλιμακώνεται κατανέμοντας τους υπολογιστές σε πολλά chiplet που λειτουργούν παράλληλα. Αυτό σημαίνει ότι το Taichi μπορεί να αποφύγει το πρόβλημα της εκθετικής συσσώρευσης σφαλμάτων που συμβαίνει όταν τα οπτικά νευρωνικά δίκτυα στοιβάζουν πολλά στρώματα νευρώνων μαζί.
«Αυτή η αρχιτεκτονική «ρηχού βάθους αλλά μεγάλου πλάτους» εγγυάται την κλίμακα δικτύου», λέει ο Fang.
Ο Taichi παρήγαγε μουσικά κλιπ στο στυλ του Μπαχ και την τέχνη στο στυλ του Βαν Γκογκ και του Μουνκ.
Για παράδειγμα, τα προηγούμενα οπτικά νευρωνικά δίκτυα είχαν συνήθως μόνο χιλιάδες παραμέτρους – τις συνδέσεις μεταξύ των νευρώνων που μιμούνται συνάψεις που συνδέει βιολογικούς νευρώνες στον ανθρώπινο εγκέφαλο. Αντίθετα, το Taichi διαθέτει 13,96 εκατομμύρια παραμέτρους.
Τα προηγούμενα οπτικά νευρωνικά δίκτυα περιορίζονταν συχνά στην ταξινόμηση δεδομένων σε δώδεκα περίπου κατηγορίες—για παράδειγμα, για να υπολογίσουμε εάν οι εικόνες αντιπροσώπευαν ένα από τα 10 ψηφία. Αντίθετα, σε δοκιμές με το Omniglot βάση δεδομένων με 1.623 διαφορετικούς χειρόγραφους χαρακτήρες από 50 διαφορετικά αλφάβητα, το Taichi εμφάνισε ακρίβεια 91,89%, συγκρίσιμη με τα ηλεκτρονικά του αντίστοιχα.
Οι επιστήμονες δοκίμασαν επίσης τον Taichi για την προηγμένη εργασία AI της παραγωγής περιεχομένου. Βρήκαν ότι θα μπορούσε να παράγει μουσικά κλιπ στο στυλ του Γιόχαν Σεμπάστιαν Μπαχ και δημιουργία εικόνων αριθμών και τοπίων σε στυλ Βίνσεντ Βαν Γκογκ και Έντβαρντ Μουνκ.
Συνολικά, οι ερευνητές βρήκαν ότι το Taichi παρουσίαζε ενεργειακή απόδοση έως και περίπου 160 τρισεκατομμύρια λειτουργίες ανά δευτερόλεπτο ανά watt και απόδοση περιοχής σχεδόν 880 τρισεκατομμύρια λειτουργίες πολλαπλασιασμού-συσσώρευσης (η πιο βασική λειτουργία στα νευρωνικά δίκτυα) ανά τετραγωνικό χιλιοστό. Αυτό το καθιστά περισσότερο από 1.000 φορές πιο ενεργειακά αποδοτικό από ένα από τα πιο πρόσφατα ηλεκτρονικά GPUο NVIDIA H100καθώς και περίπου 100 φορές πιο ενεργειακά αποδοτικό και 10 φορές πιο αποδοτικό στην περιοχή από προηγούμενα άλλα οπτικά νευρωνικά δίκτυα.
Αν και το τσιπ Taichi είναι συμπαγές και ενεργειακά αποδοτικό, ο Fang προειδοποιεί ότι βασίζεται σε πολλά άλλα συστήματα, όπως μια πηγή λέιζερ και η σύζευξη δεδομένων υψηλής ταχύτητας. Αυτά τα άλλα συστήματα είναι πολύ πιο ογκώδη από ένα μόνο τσιπ, «καταλαμβάνουν σχεδόν ένα ολόκληρο τραπέζι», σημειώνει. Στο μέλλον, η Fang και οι συνεργάτες της στοχεύουν να προσθέσουν περισσότερες μονάδες στα τσιπ για να κάνουν ολόκληρο το σύστημα πιο συμπαγές και ενεργειακά αποδοτικό.
Αναλυτικά οι επιστήμονες τα ευρήματά τους online 11 Απριλίου στο περιοδικό Επιστήμη.
Από τα άρθρα του ιστότοπού σας
Σχετικά άρθρα γύρω από τον Ιστό