Η μηχανική μάθηση και η τεχνητή νοημοσύνη (AI) εκρήγνυνται σε δημοτικότητα σε τομείς που κυμαίνονται από την τέχνη μέχρι την επιστήμη και οτιδήποτε ενδιάμεσο, συμπεριλαμβανομένης της ιατρικής και της βιομηχανικής. Ενώ αυτά τα εργαλεία έχουν τη δυνατότητα να επιφέρουν σημαντικές βελτιώσεις στην υγειονομική περίθαλψη, τα συστήματα δεν είναι τέλεια. Πώς μπορούμε να αναγνωρίσουμε πότε η μηχανική μάθηση και η τεχνητή νοημοσύνη προτείνουν λύσεις που δεν είναι αποτελεσματικές στον πραγματικό κόσμο;
Το μέλος του διδακτικού προσωπικού του Carle Illinois College of Medicine (CI MED) και καθηγητής βιομηχανικής Yogatheesan Varatharajah εργάζεται για να απαντήσει σε αυτό το ερώτημα μέσω του συνόλου της έρευνάς του, η οποία στοχεύει στην κατανόηση του πότε και πώς θα αποτύχουν συγκεκριμένα μοντέλα που δημιουργούνται από AI. Ο Varatharajah και η ομάδα του παρουσίασαν πρόσφατα μια εργασία σχετικά με το θέμα, με τίτλο Αξιολόγηση της λανθάνουσας ευρωστίας και της αβεβαιότητας των μοντέλων EEG-ML υπό ρεαλιστικές μετατοπίσεις κατανομής, στο διάσημο Conference on Neural Information Processing Systems, ή NeurlPS.
“Κάθε τομέας στην υγειονομική περίθαλψη χρησιμοποιεί μηχανική μάθηση με τον έναν ή τον άλλον τρόπο, και έτσι γίνονται ο βασικός άξονας της υπολογιστικής διάγνωσης και των προγνωστικών στην υγειονομική περίθαλψη”, δήλωσε ο Varatharajah. «Το πρόβλημα είναι ότι όταν κάνουμε μελέτες που βασίζονται στη μηχανική μάθηση – για να αναπτύξουμε ένα διαγνωστικό εργαλείο, για παράδειγμα – τρέχουμε τα μοντέλα και μετά λέμε, εντάξει, το μοντέλο έχει καλή απόδοση σε μια περιορισμένη ρύθμιση δοκιμών και επομένως είναι καλό να προχωρήσουμε . Αλλά όταν το εφαρμόζουμε πραγματικά στον πραγματικό κόσμο για να λαμβάνουμε κλινικές αποφάσεις σε πραγματικό χρόνο, πολλές από αυτές τις προσεγγίσεις δεν λειτουργούν όπως αναμένεται».
Ο Varatharajah εξήγησε ότι ένας από τους πιο συνηθισμένους λόγους για αυτήν την αποσύνδεση μεταξύ μοντέλων και πραγματικού κόσμου είναι η φυσική μεταβλητότητα μεταξύ των συλλεγόμενων δεδομένων που χρησιμοποιούνται για τη δημιουργία ενός μοντέλου και των δεδομένων που συλλέγονται μετά την ανάπτυξη ενός μοντέλου. Αυτή η μεταβλητότητα μπορεί να προέρχεται από το υλικό ή το πρωτόκολλο που χρησιμοποιείται για τη συλλογή των δεδομένων ή απλώς από διαφορές μεταξύ ασθενών εντός και εκτός του μοντέλου. Αυτές οι μικρές διαφορές μπορούν να προσθέσουν σημαντικές αλλαγές στις προβλέψεις του μοντέλου και, ενδεχομένως, σε ένα μοντέλο που αποτυγχάνει να βοηθήσει τους ασθενείς.
«Εάν μπορέσουμε να εντοπίσουμε αυτές τις διαφορές εκ των προτέρων, τότε ίσως μπορέσουμε να αναπτύξουμε κάποια πρόσθετα εργαλεία για να αποτρέψουμε αυτές τις αποτυχίες ή τουλάχιστον να γνωρίζουμε ότι αυτά τα μοντέλα πρόκειται να αποτύχουν σε ορισμένα σενάρια», είπε ο Varatharajah. «Και αυτός είναι ο στόχος αυτής της εφημερίδας».
Για να γίνει αυτό, ο Varatharajah και οι μαθητές του επικέντρωσαν τις προσπάθειές τους σε μοντέλα μηχανικής μάθησης που βασίζονται σε ηλεκτροφυσιολογικά δεδομένα, συγκεκριμένα καταγραφές ΗΕΓ που συλλέγονται από ασθενείς με νευρολογικές παθήσεις. Από εκεί, η ομάδα ανέλυσε κλινικά σχετικές εφαρμογές, όπως η σύγκριση των φυσιολογικών ΗΕΓ με ανωμαλίες για να καθορίσει εάν ήταν δυνατό να διαφοροποιηθούν τα δύο.
«Εξετάσαμε τι είδους μεταβλητότητα μπορεί να συμβεί στον πραγματικό κόσμο, ειδικά εκείνες οι μεταβλητές που θα μπορούσαν να προκαλέσουν προβλήματα στα μοντέλα μηχανικής μάθησης», είπε ο Varatharajah. «Και στη συνέχεια μοντελοποιήσαμε αυτές τις μεταβλητές και αναπτύξαμε κάποια «διαγνωστικά» μέτρα για τη διάγνωση των ίδιων των μοντέλων, για να γνωρίζουμε πότε και πώς θα αποτύχουν. Ως αποτέλεσμα, μπορούμε να έχουμε επίγνωση αυτών των σφαλμάτων και να λάβουμε μέτρα για τον μετριασμό τους έγκαιρα, ώστε τα μοντέλα να είναι πραγματικά σε θέση να βοηθήσουν τους κλινικούς γιατρούς στη λήψη κλινικών αποφάσεων».
Ο συν-συγγραφέας της εργασίας και φοιτητής του CI MED Sam Rawal λέει ότι αυτή η μελέτη μπορεί να βοηθήσει τους κλινικούς γιατρούς να λάβουν καλύτερες αποφάσεις σχετικά με τη φροντίδα των ασθενών γεφυρώνοντας τα κενά μεταξύ των ευρημάτων μεγάλης κλίμακας μελετών και των παραγόντων που σχετίζονται με τους τοπικούς πληθυσμούς. “Η σημασία αυτής της εργασίας έγκειται στον εντοπισμό της αποσύνδεσης μεταξύ των δεδομένων στα οποία εκπαιδεύονται τα μοντέλα τεχνητής νοημοσύνης, σε σύγκριση με τα σενάρια του πραγματικού κόσμου με τα οποία αλληλεπιδρούν όταν αναπτύσσονται σε νοσοκομεία”, είπε ο Rawal. “Η δυνατότητα εντοπισμού τέτοιων σεναρίων στον πραγματικό κόσμο, όπου τα μοντέλα ενδέχεται να αποτύχουν ή να αποδώσουν απροσδόκητα, μπορεί να βοηθήσει στην καθοδήγηση της ανάπτυξής τους και να διασφαλίσει ότι χρησιμοποιούνται με ασφαλή και αποτελεσματικό τρόπο.”
Η παρουσίαση της έρευνας της ομάδας στο NeurIPS — ένα από τα κορυφαία συνέδρια μηχανικής μάθησης στον κόσμο — ήταν ιδιαίτερα σημαντική. “Είναι πολύ μεγάλο επίτευγμα να γίνει αποδεκτή μια δημοσίευση σε αυτόν τον χώρο – μας δίνει ένα όνομα σε αυτήν την κοινότητα”, είπε ο Varatharajah. “Αυτό θα μας δώσει επίσης την ευκαιρία να αναπτύξουμε περαιτέρω αυτό το εργαλείο σε κάτι που μπορεί να χρησιμοποιηθεί στον πραγματικό κόσμο.” Ο φοιτητής διδάκτορας βιομηχανικής Neeraj Wagh παρουσίασε αυτή την εργασία στο συνέδριο NeurIPS.
Οι συνεισφέροντες στο έργο περιελάμβαναν τους συγγραφείς Sam Rawal από το CI MED. από τη βιομηχανική, οι Neeraj Wagh, Jionghao Wei και Brent Berry. Ο Varatharajah πιστώνει επίσης τη συνεργασία μεταξύ του Illinois bioengineering και του Τμήματος Νευρολογίας της Mayo Clinic. Αυτό το έργο διευκολύνθηκε επίσης μέσω της Mayo Clinic και υποστηρίχθηκε από το Εθνικό Ίδρυμα Επιστημών.
Σημειώσεις του συντάκτη: Η αρχική έκδοση αυτού του άρθρου από τον Bethan Owen του Τμήματος Βιομηχανικής UIUC μπορεί να βρεθεί εδώ.