«Σόναρ» με τεχνητή νοημοσύνη σε έξυπνα γυαλιά παρακολουθεί το βλέμμα, τις εκφράσεις του προσώπου

Ερευνητές του Πανεπιστημίου Cornell ανέπτυξαν δύο τεχνολογίες που παρακολουθούν το βλέμμα και τις εκφράσεις του προσώπου ενός ατόμου μέσω ανίχνευσης που μοιάζει με σόναρ. Η τεχνολογία είναι αρκετά μικρή ώστε να χωράει σε εμπορικά έξυπνα γυαλιά ή ακουστικά εικονικής πραγματικότητας ή επαυξημένης πραγματικότητας, ωστόσο καταναλώνει σημαντικά λιγότερη ενέργεια από παρόμοια εργαλεία που χρησιμοποιούν κάμερες.

Και τα δύο χρησιμοποιούν ηχεία και μικρόφωνα που είναι τοποθετημένα σε πλαίσιο γυαλιών για να αναπηδούν τα ηχητικά κύματα που δεν ακούγονται από το πρόσωπο και να λαμβάνουν ανακλώμενα σήματα που προκαλούνται από τις κινήσεις του προσώπου και των ματιών. Μία συσκευή, το GazeTrak, είναι το πρώτο σύστημα παρακολούθησης ματιών που βασίζεται σε ακουστικά σήματα. Το δεύτερο, το EyeEcho, είναι το πρώτο σύστημα που βασίζεται σε γυαλιά που εντοπίζεται συνεχώς και με ακρίβεια εκφράσεις του προσώπου και αναδημιουργήστε τα μέσω ενός avatar σε πραγματικό χρόνο.

Οι συσκευές μπορούν να διαρκέσουν για αρκετές ώρες με μια μπαταρία έξυπνων γυαλιών και περισσότερο από μια μέρα σε ένα ακουστικό VR.

«Είναι μικρό, είναι φθηνό και εξαιρετικά χαμηλής κατανάλωσης, ώστε να μπορείτε να το φοράτε σε έξυπνα γυαλιά κάθε μέρα—δεν θα σκοτώσει την μπαταρία σας», δήλωσε ο Cheng Zhang, επίκουρος καθηγητής της επιστήμης της πληροφορίας. Ο Zhang διευθύνει το Εργαστήριο Smart Computer Interfaces for Future Interactions (SciFi) που δημιούργησε τις νέες συσκευές.

“Σε ένα περιβάλλον VR, θέλετε να αναδημιουργήσετε λεπτομερείς εκφράσεις του προσώπου και κινήσεις βλέμματος, ώστε να μπορείτε να έχετε καλύτερες αλληλεπιδράσεις με άλλους χρήστες”, δήλωσε ο Ke Li, ένας διδακτορικός φοιτητής που ηγήθηκε της ανάπτυξης GazeTrak και EyeEcho.

Για το GazeTrak, οι ερευνητές τοποθέτησαν ένα ηχείο και τέσσερα μικρόφωνα γύρω από το εσωτερικό κάθε σκελετού ενός ζευγαριού γυαλιών για να αναπηδούν και να συλλαμβάνουν ηχητικά κύματα από το βολβό του ματιού και την περιοχή γύρω από τα μάτια. Τα προκύπτοντα ηχητικά σήματα τροφοδοτούνται σε μια προσαρμοσμένη διοχέτευση βαθιάς μάθησης που χρησιμοποιεί τεχνητή νοημοσύνη να συμπεράνει συνεχώς την κατεύθυνση του βλέμματος του ατόμου.

Για το EyeEcho, ένα ηχείο και ένα μικρόφωνο βρίσκονται δίπλα στους μεντεσέδες των γυαλιών, που δείχνουν προς τα κάτω για να πιάσουν την κίνηση του δέρματος καθώς αλλάζουν οι εκφράσεις του προσώπου. Τα ανακλώμενα σήματα ερμηνεύονται επίσης χρησιμοποιώντας AI.

Με αυτήν την τεχνολογία, οι χρήστες μπορούν να έχουν κλήσεις βίντεο hands-free μέσω ενός avatar, ακόμη και σε ένα θορυβώδες καφέ ή στο δρόμο. Ενώ ορισμένα έξυπνα γυαλιά έχουν τη δυνατότητα να αναγνωρίζουν πρόσωπα ή να διακρίνουν μερικές συγκεκριμένες εκφράσεις, προς το παρόν, κανένα δεν παρακολουθεί συνεχώς εκφράσεις όπως το EyeEcho.

Αυτές οι δύο εξελίξεις έχουν εφαρμογές πέρα ​​από τη βελτίωση της εμπειρίας VR ενός ατόμου. Το GazeTrak θα μπορούσε να χρησιμοποιηθεί με προγράμματα ανάγνωσης οθόνης για την ανάγνωση τμημάτων κειμένου για άτομα με χαμηλή όραση καθώς παρακολουθούν έναν ιστότοπο.

Το GazeTrak και το EyeEcho θα μπορούσαν επίσης ενδεχομένως να βοηθήσουν στη διάγνωση ή την παρακολούθηση νευροεκφυλιστικές ασθένειες, όπως το Αλτσχάιμερ και το Πάρκινσον. Με αυτές τις καταστάσεις, οι ασθενείς συχνά έχουν ανώμαλη κινήσεις των ματιών και λιγότερο εκφραστικά πρόσωπα, και αυτού του είδους η τεχνολογία θα μπορούσε να παρακολουθεί την εξέλιξη της νόσου από την άνεση του σπιτιού του ασθενούς.

Θα παρουσιάσει ο Λι GazeTrak στο Ετήσιο Διεθνές Συνέδριο για φορητούς υπολογιστές και δικτύωση το φθινόπωρο και EyeEcho στο συνέδριο του Association of Computing Machinery CHI για τους ανθρώπινους παράγοντες στα υπολογιστικά συστήματα τον Μάιο.

Τα ευρήματα είναι δημοσίευσε στο arXiv διακομιστή προεκτύπωσης.