Τι είναι αυτό που κάνει έναν υπολογιστή ένα AI PC? Πέρα από μερικά ασαφές κουνώντας το χέρι Με την παρουσία “μονάδων νευρωνικής επεξεργασίας” και άλλων χαρακτηριστικών που διατίθενται μόνο στο πιο πρόσφατο και κορυφαίο πυρίτιο, κανένας δεν έχει βρει έναν ορισμό πέρα από μια προσπάθεια διάθεσης FOMO στην αγορά.
Ενώ η Intel προτείνει ότι οι προγραμματιστές εφαρμογών θα εμπλουτίσουν σύντομα όλο το λογισμικό με τεχνητή νοημοσύνη και οι υπολογιστές πρέπει να είναι έτοιμοι για αυτούς, ο φόρτος εργασίας που έχει μεγαλύτερη σημασία αυτή τη στιγμή είναι η εξαγωγή συμπερασμάτων για την τροφοδοσία μεγάλων γλωσσικών μοντέλων.
Επομένως, οποιοσδήποτε υπολογιστής τεχνητής νοημοσύνης αξίζει το όνομα πρέπει να εκτελεί την εξαγωγή συμπερασμάτων γρήγορα και καλά.
Η εξαγωγή συμπερασμάτων είναι η διαδικασία που μετατρέπει μια υποβληθείσα προτροπή στην απόκρισή της. Για να γίνει αυτό χρειάζεται ένα μηχάνημα που μπορεί να αλέθει πολλά gigabyte δεδομένων – και ακόμη περισσότερους πολλαπλασιασμούς μήτρας.
Ενώ μια τέτοια εργασία έντασης υπολογιστών ακούγεται ότι θα μπορούσε κάλλιστα να επεκτείνει τις δυνατότητες ενός επιτραπέζιου υπολογιστή (το ChatGPT και τα παρόμοια του εκτελούνται σε κολοσσιαία κέντρα δεδομένων), έχω ανακαλύψει ότι πολλά από το υλικό που ήδη διαθέτουμε μπορούν να κάνουν επαρκή δουλειά εξαγωγής συμπερασμάτων . Οποιοσδήποτε μπορεί να τρέξει ένα «αρκετά καλό» chatbot σε υπολογιστή – υπό την προϋπόθεση ότι ο υπολογιστής έχει αρκετή μνήμη RAM και GPU μεσαίας εμβέλειας.
Αυτό σημαίνει μια GPU με τουλάχιστον 8 GB VRAM (και όχι από την Intel – τουλάχιστον αυτή τη στιγμή, λόγω έλλειψης υποστήριξης προγραμμάτων οδήγησης). Δεν είναι πολύ ακριβό – κάτι που είναι καλό, γιατί είναι στοιχήματα τραπεζιού. Για τη μνήμη RAM, θα ήσασταν πιο ευχαριστημένοι με 32 GB παρά 16 GB, ενώ τα 8 GB απλά δεν θα σας κόψουν. Και αυτό είναι περίπου. Αυτό είναι το μόνο που θα χρειαστείτε.
Η Apple το έχει τελειοποιήσει εξαιρετικά – ενδεχομένως εντελώς τυχαία – με τα SoC της σειράς M. Αντιμετωπίζοντας τη μνήμη ως “ενοποιημένη” – είναι όλη η VRAM, αν χρειάζεται – όλοι οι σύγχρονοι Mac της σειράς M με τουλάχιστον 16 GB μνήμης RAM μπορούν να χρησιμεύσουν ως υπολογιστής AI.
Όπως συμβαίνει, τέσσερις από τους υπολογιστές που αγόρασα την τελευταία δεκαετία πληρούν αυτές τις προδιαγραφές – συμπεριλαμβανομένου ενός κορυφαίου τέρατος οκτώ ετών που αγοράστηκε ως “VR PC” με επεξεργαστή Intel 6700K και στη συνέχεια κορυφαίο -GPU της σειράς Nvidia GTX 980 Ti. Λίγο πολύ σύμφωνα με το νόμο του Moore, είναι κάπως πιο αργό από τα νεότερα μηχανήματα της συλλογής μου, αλλά εκτελεί ένα chatbot μια χαρά – τοπικά.
Αν και δεν αγόρασα ως υπολογιστές AI, οι πιο πρόσφατες αποκτήσεις μου καταλήγουν σε ταχύτητα συγκρίσιμη με τις ολοκληρώσεις που δημιουργούνται από το GPT-3.5-Turbo του OpenAI – ουσιαστικά δεν διακρίνεται από τον μεγαλύτερο ξάδερφό τους τόσο σε ταχύτητα όσο και σε ποιότητα των ολοκληρώσεων που δημιουργούν.
Για να δοκιμάσω αυτά τα συστήματα, τα τροφοδοτώ α αρκετά εξελιγμένη προτροπή, δίνοντάς τους οδηγίες να ενεργούν ως «πράκτορες» – λύνοντας ένα πρόβλημα δημιουργώντας αρχεία JSON που τροφοδοτούνται σε άλλο πρόγραμμα. (Το “Μικρά κομμάτια χαλαρά ενωμένα” εξακολουθεί να ισχύει στην Εποχή της Τεχνητής Νοημοσύνης.) Και όλα… απλά λειτουργούν.
Έτσι αποδεικνύεται ότι έχω ήδη υπολογιστές AI παντού. Οι οποίοι γνώριζαν? Επιπλέον, υπάρχουν ένα παρτίδα των υπολογιστών AI εκεί έξω. Δεκάδες εκατομμύρια. Αυτό είναι καλό – γιατί θα τους χρειαστούμε.
Ενώ η Microsoft θα μας ζητούσε να επικολλήσουμε κάθε ευαίσθητο έγγραφο στο Copilot για ανάλυση – δίνοντας έτσι στα κέντρα δεδομένων Redmond μια γεύση από τις πιο εμπιστευτικές ροές εργασίας μας – πολλά έγγραφα είναι απλώς πολύ ευαίσθητα για να τα μοιραστούμε καθόλου.
Τι γίνεται με τα έγγραφα τόσο καυτά που δεν θα έπρεπε καν να ζουν σε δικτυωμένο μηχάνημα; Τι γίνεται με τις ιατρικές πληροφορίες; Ή απόρρητα έγγραφα; Πολλά από αυτά με τα οποία εργαζόμαστε συνοδεύονται από συμβολοσειρές, αποτρέποντας την ελεύθερη κοινή χρήση τους.
Τα νομικά έγγραφα εμπίπτουν συχνά σε αυτήν την κατηγορία – τα είδη εργασιών που κυκλοφόρησαν πρόσφατα Νομικό μοντέλο γλώσσας SaulML θα μπορούσε να είναι εξαιρετικά χρήσιμη. Εάν ένας δικηγόρος ή δικηγόρος είχε αυτό το μοντέλο σε λειτουργία στον τοπικό υπολογιστή του, θα μπορούσε ελεύθερα να αντλήσει έγγραφα σε αυτό, να του ζητήσει να διαβάσει προσεκτικά, ακόμη και νέους όρους συμβολαίου – όλα αυτά χωρίς να ανησυχούν για τυχόν διαρροές εμπιστευτικών πληροφοριών. Πολλά δικηγορικά γραφεία έτρεχαν προς αυτό το είδος εργαλείου, ουρλιάζοντας “Σώπα και πάρε τα λεφτά του πελάτη μου!“
Δημιούργησα πρωτότυπο αυτό το εργαλείο το περασμένο Σαββατοκύριακο – μειώνοντας το πλήρες μοντέλο ανοιχτού κώδικα SaulLM σε μέγεθος, ώστε να μπορεί να λειτουργήσει στον στόλο των υπολογιστών AI μου. Δεν είμαι δικηγόρος, επομένως δεν μπορώ να κρίνω πλήρως την ποιότητά του. Ωστόσο, επικόλλησα σε αυτό τεράστια τμήματα ενός συμβολαίου από έναν υποψήφιο συνεργάτη και μετά του έκανα μερικές δύσκολες ερωτήσεις – χωρίς φόβους για διαρροές.
Ακόμα κι αν οι δικηγόροι δεν το λατρεύουν, εμείς οι υπόλοιποι – αντιμέτωποι με ατελείωτους, δυσνόητους όρους και προϋποθέσεις που αγνοήστε με κίνδυνο – θα το βρει πολύ χρήσιμο.
Παρομοίως, οι πωλητές υλικού – που βασίζονται στο ότι θα σας σκουπίσετε τον υπολογιστή που αγοράσατε για να δουλέψετε από το σπίτι πριν από τρία χρόνια για τον κύκλο εσόδων τους – δεν θα ήθελαν να το παραδεχτούν, αλλά πιθανότατα έχετε ήδη έναν υπολογιστή τεχνητής νοημοσύνης που μπορεί να επισκευαστεί τέλεια. Απλώς όχι ο υπολογιστής AI που η vendorland θέλει να βγείτε βιαστικά και να αγοράσετε. ®