Οι ερευνητές του DeepMind της Google παρουσίασαν μια νέα μέθοδο για να επιταχύνουν την εκπαίδευση τεχνητής νοημοσύνης, μειώνοντας σημαντικά τους υπολογιστικούς πόρους και τον χρόνο που απαιτούνται για την εκτέλεση της εργασίας. Αυτή η νέα προσέγγιση στην τυπικά ενεργοβόρα διαδικασία θα μπορούσε να κάνει την ανάπτυξη της τεχνητής νοημοσύνης ταχύτερη και φθηνότερη, σύμφωνα με πρόσφατη ερευνητική εργασία—και αυτό θα μπορούσε να είναι καλά νέα για το περιβάλλον.
«Η προσέγγισή μας —πολυτροπική αντιθετική μάθηση με κοινή επιλογή παραδειγμάτων (JEST)— ξεπερνά τα μοντέλα αιχμής με έως και 13 φορές λιγότερες επαναλήψεις και 10 φορές λιγότερους υπολογισμούς», ανέφερε η μελέτη.
Η βιομηχανία AI είναι γνωστή για την υψηλή κατανάλωση ενέργειας. Τα μεγάλης κλίμακας συστήματα τεχνητής νοημοσύνης όπως το ChatGPT απαιτούν μεγάλη επεξεργαστική ισχύ, η οποία με τη σειρά της απαιτεί πολλή ενέργεια και νερό για την ψύξη αυτών των συστημάτων. Η κατανάλωση νερού της Microsoft, για παράδειγμα, σύμφωνα με πληροφορίες αυξήθηκε κατά 34% από το 2021 έως το 2022 λόγω των αυξημένων απαιτήσεων υπολογιστών τεχνητής νοημοσύνης, με το ChatGPT να κατηγορείται ότι καταναλώνει σχεδόν μισό λίτρο νερό κάθε 5 έως 50 προτροπές.
Ο Διεθνής Οργανισμός Ενέργειας (IEA) έργα ότι η κατανάλωση ηλεκτρικής ενέργειας στο κέντρο δεδομένων θα διπλασιαστεί από το 2022 έως το 2026—κάνοντας συγκρίσεις μεταξύ των απαιτήσεων ισχύος της τεχνητής νοημοσύνης και του συχνά επικρινόμενου ενεργειακού προφίλ της βιομηχανίας εξόρυξης κρυπτονομισμάτων.
Ωστόσο, προσεγγίσεις όπως το JEST θα μπορούσαν να προσφέρουν μια λύση. Βελτιστοποιώντας την επιλογή δεδομένων για εκπαίδευση τεχνητής νοημοσύνης, είπε η Google, το JEST μπορεί να μειώσει σημαντικά τον αριθμό των επαναλήψεων και την υπολογιστική ισχύ που απαιτείται, γεγονός που θα μπορούσε να μειώσει τη συνολική κατανάλωση ενέργειας. Αυτή η μέθοδος ευθυγραμμίζεται με τις προσπάθειες για τη βελτίωση της αποτελεσματικότητας των τεχνολογιών τεχνητής νοημοσύνης και τον μετριασμό των περιβαλλοντικών τους επιπτώσεων.
Εάν η τεχνική αποδειχθεί αποτελεσματική σε κλίμακα, οι εκπαιδευτές τεχνητής νοημοσύνης θα απαιτήσουν μόνο ένα κλάσμα της ισχύος που χρησιμοποιείται για την εκπαίδευση των μοντέλων τους. Αυτό σημαίνει ότι θα μπορούσαν να δημιουργήσουν είτε πιο ισχυρά εργαλεία τεχνητής νοημοσύνης με τους ίδιους πόρους που χρησιμοποιούν επί του παρόντος, είτε να καταναλώσουν λιγότερους πόρους για να αναπτύξουν νεότερα μοντέλα.
Πώς λειτουργεί το JEST
Το JEST λειτουργεί επιλέγοντας συμπληρωματικές παρτίδες δεδομένων για να μεγιστοποιήσει τη δυνατότητα εκμάθησης του μοντέλου AI. Σε αντίθεση με τις παραδοσιακές μεθόδους που επιλέγουν μεμονωμένα παραδείγματα, αυτός ο αλγόριθμος εξετάζει τη σύνθεση ολόκληρου του συνόλου.
Για παράδειγμα, φανταστείτε ότι μαθαίνετε πολλές γλώσσες. Αντί να μαθαίνετε Αγγλικά, Γερμανικά και Νορβηγικά χωριστά, ίσως κατά σειρά δυσκολίας, μπορεί να βρείτε πιο αποτελεσματικό να τα μελετήσετε μαζί με τρόπο που η γνώση του ενός υποστηρίζει την εκμάθηση του άλλου.
Η Google ακολούθησε παρόμοια προσέγγιση και αποδείχθηκε επιτυχημένη.
«Δείχνουμε ότι η από κοινού επιλογή παρτίδων δεδομένων είναι πιο αποτελεσματική για τη μάθηση από την επιλογή παραδειγμάτων ανεξάρτητα», δήλωσαν οι ερευνητές στην εργασία τους.
Για να γίνει αυτό, οι ερευνητές της Google χρησιμοποίησαν την «πολυτροπική αντιθετική μάθηση», όπου η διαδικασία JEST εντόπισε εξαρτήσεις μεταξύ σημείων δεδομένων. Αυτή η μέθοδος βελτιώνει την ταχύτητα και την αποτελεσματικότητα της εκπαίδευσης AI, ενώ απαιτεί πολύ λιγότερη υπολογιστική ισχύ.
Το κλειδί για την προσέγγιση ήταν το ξεκίνημα με προεκπαιδευμένα μοντέλα αναφοράς για την καθοδήγηση της διαδικασίας επιλογής δεδομένων, σημείωσε η Google. Αυτή η τεχνική επέτρεψε στο μοντέλο να επικεντρωθεί σε υψηλής ποιότητας, καλά επιμελημένα σύνολα δεδομένων, βελτιστοποιώντας περαιτέρω την αποτελεσματικότητα της εκπαίδευσης.
«Η ποιότητα μιας παρτίδας είναι επίσης συνάρτηση της σύνθεσής της, επιπλέον της αθροιστικής ποιότητας των σημείων δεδομένων της που εξετάζονται ανεξάρτητα», εξηγεί η εφημερίδα.
Τα πειράματα της μελέτης έδειξαν σταθερά κέρδη απόδοσης σε διάφορα σημεία αναφοράς. Για παράδειγμα, η εκπαίδευση στο κοινό σύνολο δεδομένων WebLI χρησιμοποιώντας το JEST έδειξε αξιοσημείωτες βελτιώσεις στην ταχύτητα εκμάθησης και την αποδοτικότητα των πόρων.
Οι ερευνητές διαπίστωσαν επίσης ότι ο αλγόριθμος ανακάλυψε γρήγορα δευτερεύουσες παρτίδες με μεγάλη δυνατότητα εκμάθησης, επιταχύνοντας τη διαδικασία εκπαίδευσης εστιάζοντας σε συγκεκριμένα κομμάτια δεδομένων που «ταιριάζουν» μεταξύ τους. Αυτή η τεχνική, που αναφέρεται ως “bootstrapping ποιότητας δεδομένων”, εκτιμά την ποιότητα έναντι της ποσότητας και έχει αποδειχθεί καλύτερη για την εκπαίδευση AI.
“Ένα μοντέλο αναφοράς που εκπαιδεύεται σε ένα μικρό επιμελημένο σύνολο δεδομένων μπορεί να καθοδηγήσει αποτελεσματικά την επιμέλεια ενός πολύ μεγαλύτερου δεδομένων, επιτρέποντας την εκπαίδευση ενός μοντέλου που ξεπερνά κατά πολύ την ποιότητα του μοντέλου αναφοράς σε πολλές εργασίες κατάντη”, ανέφερε η εφημερίδα.
Επεξεργάστηκε από Ράιαν Οζάουα.
Γενικά ευφυής Ενημερωτικό δελτίο
Ένα εβδομαδιαίο ταξίδι τεχνητής νοημοσύνης που αφηγείται ο Gen, ένα μοντέλο παραγωγής τεχνητής νοημοσύνης.