Η Apple κυκλοφόρησε σήμερα πολλά μοντέλα ανοιχτού κώδικα μεγάλων γλωσσών (LLM) που έχουν σχεδιαστεί για εκτέλεση στη συσκευή και όχι μέσω διακομιστών cloud. Με την ονομασία OpenELM (Open-source Efficient Language Models), τα LLM είναι διαθέσιμα στο το Hugging Face Hubμια κοινότητα για κοινή χρήση κώδικα AI.
Όπως περιγράφεται σε ένα λευκό χαρτί [PDF], υπάρχουν συνολικά οκτώ μοντέλα OpenELM, τέσσερα από τα οποία ήταν προεκπαιδευμένα χρησιμοποιώντας τη βιβλιοθήκη CoreNet και τέσσερα μοντέλα συντονισμένα με οδηγίες. Η Apple χρησιμοποιεί μια στρατηγική κλιμάκωσης κατά στρώματα που στοχεύει στη βελτίωση της ακρίβειας και της αποτελεσματικότητας.
Η Apple παρείχε κώδικα, αρχεία καταγραφής εκπαίδευσης και πολλαπλές εκδόσεις και όχι απλώς το τελικό εκπαιδευμένο μοντέλο και οι ερευνητές πίσω από το έργο ελπίζουν ότι θα οδηγήσει σε ταχύτερη πρόοδο και «πιο αξιόπιστα αποτελέσματα» στον τομέα της φυσικής γλώσσας AI.
OpenELM, ένα μοντέλο ανοιχτής γλώσσας τελευταίας τεχνολογίας. Το OpenELM χρησιμοποιεί μια στρατηγική κλιμάκωσης βάσει επιπέδου για την αποτελεσματική κατανομή παραμέτρων σε κάθε επίπεδο του μοντέλου μετασχηματιστή, οδηγώντας σε βελτιωμένη ακρίβεια. Για παράδειγμα, με προϋπολογισμό παραμέτρων περίπου ενός δισεκατομμυρίου παραμέτρων, το OpenELM παρουσιάζει βελτίωση 2,36% στην ακρίβεια σε σύγκριση με το OLMo, ενώ απαιτεί 2 φορές λιγότερα κουπόνια προ-εκπαίδευσης.
Διαφορετικά από προηγούμενες πρακτικές που παρέχουν μόνο βάρη μοντέλων και κώδικα συμπερασμάτων και προ-εκπαίδευση σε ιδιωτικά σύνολα δεδομένων, η έκδοσή μας περιλαμβάνει το πλήρες πλαίσιο εκπαίδευσης και αξιολόγησης του μοντέλου γλώσσας σε δημόσια διαθέσιμα σύνολα δεδομένων, συμπεριλαμβανομένων αρχείων καταγραφής εκπαίδευσης, πολλαπλών σημείων ελέγχου και προ- διαμορφώσεις εκπαίδευσης.
Η Apple λέει ότι κυκλοφορεί τα μοντέλα OpenELM για να «ενδυναμώσει και να εμπλουτίσει την ανοιχτή ερευνητική κοινότητα» με γλωσσικά μοντέλα τελευταίας τεχνολογίας. Η κοινή χρήση μοντέλων ανοιχτού κώδικα δίνει στους ερευνητές έναν τρόπο να διερευνήσουν τους κινδύνους και τα δεδομένα και τις προκαταλήψεις των μοντέλων. Οι προγραμματιστές και οι εταιρείες μπορούν να χρησιμοποιούν τα μοντέλα ως έχουν ή να κάνουν τροποποιήσεις.
Η ανοιχτή ανταλλαγή πληροφοριών έχει γίνει ένα σημαντικό εργαλείο για την Apple για την πρόσληψη κορυφαίων μηχανικών, επιστημόνων και ειδικών, επειδή παρέχει ευκαιρίες για ερευνητικές εργασίες που κανονικά δεν θα μπορούσαν να δημοσιευτούν σύμφωνα με τις μυστικές πολιτικές της Apple.
Η Apple δεν έχει ακόμη φέρει αυτού του είδους τις δυνατότητες AI στις συσκευές της, αλλά iOS 18 αναμένεται να περιλαμβάνει μια σειρά από νέες δυνατότητες τεχνητής νοημοσύνης και οι φήμες υποδηλώνουν ότι η Apple σχεδιάζει να τρέξει τα μεγάλα γλωσσικά της μοντέλα στη συσκευή για λόγους προστασίας της ιδιωτικής ζωής.