Τα ακουστικά MR αντιμετωπίζουν αυξημένο ενδιαφέρον φέτος. Το Apple Vision Pro έφερε τα αναμενόμενα βλέμματα στην τεχνολογία και στα τέλη του περασμένου έτους, η Meta παρουσίασε το Quest 3, το οποίο παρουσίασε το εμπορικό σήμα MR σε προσιτή τιμή μετά την κυκλοφορία του Quest Pro.
Επιπλέον, οι πωλητές ακουστικών MR εστιάζουν στη χρήση παραγωγικότητας – από εργαλεία υποστηρικτικής πραγματικότητας πρώτης γραμμής έως καθηλωτικά εργαλεία επιτραπέζιου υπολογιστή – και αυτό θα μπορούσε να επηρεάσει βαθιά το μέλλον της εργασίας, καθώς ορισμένοι πιστεύουν ότι τα ακουστικά MR θα γίνουν συνηθισμένα εργαλεία εργασίας, όπως smartphone ή φορητοί υπολογιστές.
Με την αγορά ακουστικών MR να αντιμετωπίζει ανάπτυξη με άλλους εξέχοντες πωλητές να κοιτάζουν το χώρο, η εξέταση των τελευταίων τάσεων θα βοηθήσει στην υιοθέτηση και κατανόηση στο χώρο εργασίας
Για να σπάσει μερικές από τις τελευταίες τάσεις των ακουστικών MR, το XR Today συγκέντρωσε πληροφορίες από ειδικούς από:
- Said Bakadir, Senior Director, Product Management στην Qualcomm Technologies, Inc
- Matt Tullis, Αντιπρόεδρος του XR στο Ultraleap
Ποιες είναι οι μεγαλύτερες προκλήσεις που αντιμετωπίζει η ομαλή ενσωμάτωση των ακουστικών MR στις υπάρχουσες εταιρικές ροές εργασίας και λογισμικό;
Ματ Τάλις
Ένα σημαντικό εμπόδιο για την ενσωμάτωση των ακουστικών MR στις υπάρχουσες εταιρικές ροές εργασίας και λογισμικού είναι η έλλειψη συμβατότητας, η οποία μπορεί να αυξήσει το κόστος και επίσης να θέσει σε κίνδυνο το απόρρητο.
Ενώ ορισμένοι πάροχοι λογισμικού XR, όπως η Ultraleap, διασφαλίζουν ότι η τεχνολογία τους μπορεί να ενσωματωθεί με μια ποικιλία ακουστικών, εξακολουθούν να υπάρχουν παίκτες στο χώρο που συμβάλλουν σε ένα περιβάλλον με σιωπή — το οποίο θέτει τους τελικούς χρήστες (και την καινοτομία) σε μειονεκτική θέση.
Τόσο οι επιχειρήσεις όσο και οι καταναλωτές που επενδύουν σε XR θέλουν να έχουν πρόσβαση στις αγαπημένες τους εφαρμογές/εμπειρίες στα ακουστικά της επιλογής τους, και παρόλο που αυτό φαίνεται αρκετά απλό, δεν είμαστε ακόμη εκεί ως βιομηχανία.
Τα ακουστικά MR στοχεύουν να συνδυάζουν χωρικά δεδομένα με φυσικά περιβάλλοντα, σε αντίθεση με τα πλήρως καθηλωτικά ακουστικά VR. ποια είναι τα πιθανά οφέλη και μειονεκτήματα αυτής της προσέγγισης;
είπε ο Μπακαντίρ
Η Μικτή Πραγματικότητα συνδυάζει τον εικονικό κόσμο με τον πραγματικό κόσμο ενσωματώνοντας εικονικά αντικείμενα στην πραγματικότητά σας, φέρνοντας μαζί ό,τι καλύτερο από την επαυξημένη και την εικονική πραγματικότητα. Οι τεχνολογίες Snapdragon MR επιτρέπουν πιο καθηλωτικές εμπειρίες για βελτίωση της πραγματικότητας με ζωντανά χρώματα και έξυπνες αλληλεπιδράσεις.
Οφέλη:
Ρεαλιστική βύθιση: Συνδυάζοντας χωρικά δεδομένα με πραγματικά περιβάλλοντα, τα ακουστικά MR μπορούν να δημιουργήσουν μια πιο ρεαλιστική εμπειρία. Οι χρήστες μπορούν να αλληλεπιδρούν με εικονικά αντικείμενα ενώ εξακολουθούν να έχουν επίγνωση του φυσικού τους περιβάλλοντος, με αποτέλεσμα την απρόσκοπτη ενοποίηση εικονικών και πραγματικών στοιχείων. Αυτό το επίπεδο εμβάπτισης είναι ιδανικό για προπόνηση σκληρών και soft skills, εκπαίδευση, ψυχαγωγία και ευεξία.
Συμφραζόμενα: Τα ακουστικά MR παρέχουν στους χρήστες σχετικές πληροφορίες και εικονικό περιεχόμενο που ενσωματώνεται με βάση τα συμφραζόμενα στο πραγματικό περιβάλλον τους. Αυτό μπορεί να είναι ιδιαίτερα χρήσιμο σε εφαρμογές όπως η εκπαίδευση, η εκπαίδευση και η απομακρυσμένη συνεργασία, όπου οι χρήστες μπορούν να αλληλεπιδρούν με εικονικά αντικείμενα σε περιβάλλοντα πραγματικού κόσμου.
Επίγνωση: Με τη μικτή πραγματικότητα, ενισχύεται η αίσθηση της παρουσίας. Τα ακουστικά MR επιτρέπουν στους χρήστες να έχουν επίγνωση του περιβάλλοντός τους. Αυτό μπορεί να είναι επωφελές σε σενάρια όπου οι χρήστες πρέπει να πλοηγούνται σε φυσικούς χώρους ή να αλληλεπιδρούν με άλλους, ενώ παράλληλα ασχολούνται με εικονικό περιεχόμενο.
Προκλήσεις:
Η αντιστοίχιση των χωρικών δεδομένων πραγματικών περιβαλλόντων με εικονικό περιεχόμενο που μεταδίδεται ακριβώς μπροστά στα μάτια του χρήστη σε ακουστικά MR απαιτεί εξελιγμένες τεχνολογίες παρακολούθησης και χαρτογράφησης για την ακριβή ευθυγράμμιση του εικονικού περιεχομένου με τον φυσικό κόσμο.
Η επίτευξη ακριβούς χωρικής χαρτογράφησης, χαμηλής καθυστέρησης προβολής βίντεο και ρεαλιστικής ενσωμάτωσης του εικονικού με το φυσικό σε μια άνετη συσκευή μπορεί να θέσει τεχνικές προκλήσεις που πρέπει να αντιμετωπιστούν για τη βέλτιστη εμπειρία χρήστη. Οι πλατφόρμες Snapdragon XR και οι επί δεκαετίες προσπάθειες Ε&Α γύρω από τις τεχνολογίες αντίληψης μάς επιτρέπουν να αντιμετωπίζουμε αυτές τις προκλήσεις κατάματα και μαζί με τις καινοτομίες μας στην επεξεργασία και την τεχνητή νοημοσύνη στη συσκευή.
Ματ Τάλις
Επειδή συνδυάζουν χωρικά δεδομένα με πραγματικά περιβάλλοντα, τα ακουστικά MR ανοίγουν το δρόμο για περισσότερη καθημερινή χρήση από ό,τι μπορεί (ρεαλιστικά) να επιτρέπει η VR. Οι χρήστες μπορούν ακόμα να βλέπουν τον κόσμο γύρω τους — είτε μέσω διαφανών φακών είτε μέσω εισόδου κάμερας — ενώ αλληλεπιδρούν με τον ψηφιακό κόσμο.
Αυτό φέρνει ουσιαστικά την ίδια λειτουργικότητα με ένα smartphone σε ένα ακουστικό, όπου οι χρήστες μπορούν να έχουν πρόσβαση στις αγαπημένες τους εφαρμογές ανταλλαγής μηνυμάτων και κοινωνικών μέσων, να λαμβάνουν οδηγίες και ακόμη και συστάσεις βάσει τοποθεσίας, ενώ γνωρίζουν το περιβάλλον τους.
Ωστόσο, η MR έχει περιθώρια να αναπτυχθεί. Ένας συγκεκριμένος τομέας που βλέπω ευκαιρία είναι η αλληλεπίδραση, συγκεκριμένα η παρακολούθηση χεριών. Ενώ το Apple Vision Pro έκανε μεγάλα βήματα στην παρακολούθηση χεριών για VR/MR, πολλά ακουστικά σήμερα εξακολουθούν να είναι εξοπλισμένα με αδέξια παρακολούθηση χεριών που δεν είναι τόσο ακριβή όσο χρειάζεται και απαιτεί από τους χρήστες να κάνουν υπερβολικά, κουραστικά και (αν είναι δημόσια) μη ασφαλή χέρια και κινήσεις του βραχίονα για πλοήγηση στην εικονική διεπαφή.
Στο Ultraleap, κάνουμε τις αλληλεπιδράσεις MR πιο διαισθητικές, ακριβείς και εύχρηστες με την παρακολούθηση χεριών που παρακολουθεί τις λεπτές χειρονομίες των χεριών και των δακτύλων, ώστε οι χρήστες να μπορούν να ελέγχουν μια συσκευή MR τόσο εύκολα όσο κάνουν κύλιση στο τηλέφωνό τους.
Το MR έχει επίσης τεράστιες εφαρμογές πέρα από τα παραδοσιακά ακουστικά. Συνεργαζόμαστε με εταιρείες αυτοκινητοβιομηχανίας AR όπως η Basemark για να δημιουργήσουμε head-up οθόνες με τεχνολογία AR, όπου οι οδηγοί μπορούν να χρησιμοποιήσουν τις δυνατότητες παρακολούθησης χεριών και απτικών στον αέρα για να ελέγχουν το σύστημα ψυχαγωγίας τους, να πλοηγούνται με διαδραστικούς χάρτες και να επισημαίνουν και να επιλέγουν αντικείμενα το ενδιαφέρον επικαλύπτεται στον πραγματικό κόσμο χωρίς να απομακρύνουν τα μάτια τους από το παρμπρίζ.
Ένα μειονέκτημα που εμποδίζει πολλά ακουστικά MR σήμερα να γίνουν τόσο πανταχού παρόντα και τόσο καλά χρησιμοποιημένα όσο τα smartphone είναι η ισχύς. Οι αισθητήρες που βασίζονται σε πλαίσιο, οι οποίοι παραδοσιακά τροφοδοτούν την παρακολούθηση χεριών και/ή ματιών σε αυτά τα ακουστικά, τείνουν να εξαντλούν τις μπαταρίες, επομένως δεν μπορούν να χρησιμοποιηθούν για πολλές ώρες. Ωστόσο, οι αισθητήρες που βασίζονται σε συμβάντα, όπως το σύστημα παρακολούθησης χεριών και ματιών βάσει συμβάντων που παρουσιάσαμε για πρώτη φορά με το Prophesee στην CES τον Ιανουάριο, καταναλώνουν λιγότερη ενέργεια ενώ παρέχουν χαμηλό λανθάνοντα χρόνο και αυξημένο απόρρητο στους χρήστες.
Ποιες ολοκληρωμένες τεχνολογίες ωφελούν περισσότερο τα ακουστικά MR;
Ματ Τάλις
Η παρακολούθηση χεριών είναι πλέον βασικό στοιχείο της εμπειρίας μαγνητικής τομογραφίας. Σκεφτείτε τα πρώιμα συστήματα MR/VR: αυτά απαιτούσαν ελεγκτές για την πλοήγηση στον εικονικό χώρο, κάτι που μπορεί να κάνει την εμπειρία λιγότερο φυσική και διαισθητική. Τα χέρια σας, ωστόσο, είναι ο πιο φυσικός ελεγκτής από όλους. Η παρακολούθηση χεριών (και, καθώς τα μοντέλα γίνονται πιο εξελιγμένα, ακόμη και η παρακολούθηση με τα δάχτυλα) μειώνει την τριβή στην εμπειρία μαγνητικής τομογραφίας και παρέχει πιο διαισθητική ψηφιακή αλληλεπίδραση.
Το Ultraleap διευκολύνει τους OEM να εφαρμόσουν αυτήν την τεχνολογία στα ακουστικά τους. Τα μοντέλα υπολογιστικής όρασης και μηχανικής εκμάθησης που διαθέτουμε επιτρέπουν την παρακολούθηση χεριών στις ίδιες κάμερες που χρησιμοποιούνται για παρακολούθηση SLAM και ελεγκτή, μειώνοντας σημαντικά το κόστος ενσωμάτωσης.
Επιπλέον, η προσθήκη απτικών στις εμπειρίες μαγνητικής τομογραφίας τις καθιστά ακόμα πιο γείωση και καθηλωτικές για τον χρήστη. Στην πραγματική ζωή, όταν πιάνεις κάτι ή πατάς ένα κουμπί, μπορείς να νιώσεις την εμπειρία. Με την τεχνολογία απτικών, μπορείτε να λάβετε τα ίδια σχόλια σε μια εμπειρία MR/VR.
είπε ο Μπακαντίρ
Αρκετές ενσωματωμένες τεχνολογίες ωφελούν σημαντικά τα ακουστικά MR, συμπεριλαμβανομένων των τεχνολογιών προβολής βίντεο και αντίληψης, και αυτές γίνονται δυνατές με τις πλατφόρμες Snapdragon XR. Ένας σωστός, βελτιστοποιημένος επεξεργαστής είναι απαραίτητος για την κάλυψη των περιορισμών θερμότητας και μεγέθους των ακουστικών MR που προσφέρουν επίσης βέλτιστες εμπειρίες χρήστη. Για παράδειγμα, ο Snapdragon XR2 Gen 2 σχεδιάστηκε για να λύνει αυτές τις προκλήσεις και να παρέχει βελτιστοποιημένες εμπειρίες MR που είναι ήδη προσβάσιμες στο Meta Quest 3.
Προβολή βίντεο: Για να αποφευχθεί η ασθένεια κίνησης και να επιτραπεί η εμβάπτιση, η διοχέτευση διαφανούς βίντεο (VST) πρέπει να μεταδίδει το φυσικό περιβάλλον του χρήστη με υψηλή πιστότητα και με γρήγορο ρυθμό. Για παράδειγμα, τα Snapdragon XR2 Gen 2 και Snapdragon XR2+ Gen 2 περιλαμβάνουν μια βελτιστοποιημένη διοχέτευση VST με μέση καθυστέρηση 12ms και βελτιώσεις στην ποιότητα εικόνας για πιο άνετο UX.
Παρακολούθηση περιβάλλοντος: Οι αλγόριθμοι αντίληψης όπως η χωρική χαρτογράφηση, η αναγνώριση αντικειμένων και η τμηματοποίηση δημιουργούν έναν ψηφιακό χάρτη του χώρου των χρηστών και αγκυρώνουν το εικονικό περιεχόμενο με ρεαλιστικό τρόπο. Αυτές οι τεχνολογίες βοηθούν στην ασφάλεια και την ηρεμία ενώ ένας χρήστης συμμετέχει σε μια δραστηριότητα μαγνητικής τομογραφίας.
Παρακολούθηση χρήστη: Τεχνολογίες αλληλεπίδρασης, συμπεριλαμβανομένης της παρακολούθησης ματιών, της παρακολούθησης χεριών, της παρακολούθησης ελεγκτή και του 6DoF, παρακολουθούν την κίνηση των χρηστών στο διάστημα. Όλοι αυτοί οι αλγόριθμοι απαιτούν ισχυρή επεξεργασία στη συσκευή για βέλτιστη εμπειρία χαμηλής κατανάλωσης και χαμηλής καθυστέρησης. Οι τεχνολογίες μας αντίληψης, συσκευασμένες στο Snapdragon Spaces SDK, παρέχουν τα κρίσιμα δομικά στοιχεία για εμπειρίες MR επόμενης γενιάς.
Πώς διασφαλίζουν ή πρέπει οι προμηθευτές ακουστικών MR ότι οι συσκευές είναι προσβάσιμες σε όλους τους χρήστες, ανεξάρτητα από τις γνώσεις υλικού ή τους φυσικούς περιορισμούς;
είπε ο Μπακαντίρ
Οι πωλητές ακουστικών MR μπορούν να διασφαλίσουν ότι οι συσκευές τους είναι προσβάσιμες σε όλους τους χρήστες, προωθώντας τη συμπερίληψη και δίνοντας τη δυνατότητα σε όλα τα άτομα να συμμετάσχουν πλήρως στην εμπειρία MR, λαμβάνοντας υπόψη την υιοθέτηση των παρακάτω:
Καθολικός σχεδιασμός προϊόντος: Διαθέτοντας ιμάντες, διορθωτικούς φακούς, μάσκες ματιών που προσαρμόζονται στα σχήματα του προσώπου και ιμάντες κεφαλής για άνετη αίσθηση ανεξάρτητα από το μέγεθος του κεφαλιού και το χτένισμα.
Είσοδοι πολυτροπικής αλληλεπίδρασης: Οι προμηθευτές μπορούν να ενσωματώσουν μεθόδους εισαγωγής πολλαπλών μέσων για να προσαρμοστούν στις προτιμήσεις ή/και τις ικανότητες των χρηστών. Αυτό μπορεί να περιλαμβάνει λειτουργίες όπως φωνητικές εντολές, αναγνώριση χειρονομιών ή εναλλακτικές μεθόδους εισαγωγής. Αξιοποιώντας αυτές τις τεχνολογίες, οι χρήστες με φυσικούς περιορισμούς μπορούν να αλληλεπιδράσουν αποτελεσματικά με το περιεχόμενο MR.
Διεπαφή χρήστη: Οι προγραμματιστές εφαρμογών μπορούν να ακολουθήσουν τις αρχές καθολικής σχεδίασης και προσβασιμότητας κατά την ανάπτυξη για XR. Οι πωλητές ακουστικών MR μπορούν να παρέχουν επιλογές στους χρήστες για να προσαρμόσουν τη διεπαφή χρήστη με βάση τις συγκεκριμένες ανάγκες τους. Αυτό μπορεί να περιλαμβάνει ρυθμιζόμενα μεγέθη γραμματοσειράς, επιλογές χρωματικής αντίθεσης και προσαρμόσιμα σχήματα ελέγχου. Επιτρέποντας στους χρήστες να εξατομικεύουν την εμπειρία τους, οι προμηθευτές μπορούν να καλύψουν διαφορετικές απαιτήσεις προσβασιμότητας.
Ματ Τάλις
Η πιο αποτελεσματική λύση για να διασφαλιστεί ότι τα ακουστικά MR είναι προσβάσιμα στους περισσότερους χρήστες είναι η απομάκρυνση από τους ελεγκτές και η ενσωμάτωση προηγμένης τεχνολογίας παρακολούθησης με το χέρι. Για τους περισσότερους ανθρώπους, η παρακολούθηση χεριών είναι ο πιο φυσικός και διαισθητικός τρόπος αλληλεπίδρασης στην μαγνητική τομογραφία, καθώς όλοι γνωρίζουν πώς να χρησιμοποιούν τα χέρια τους.
Η παρακολούθηση χεριών αφαιρεί επίσης την τριβή για όσους αισθάνονται λιγότερο άνετοι με το χειριστήριο ή έχουν αναπηρίες που τους περιορίζουν από το να μπορούν να το χρησιμοποιήσουν σωστά. Αλλά είναι σημαντικό να θυμάστε ότι δεν δημιουργείται όλη η παρακολούθηση χεριών ισότιμα: ορισμένα μοντέλα απαιτούν μεγάλες, υπερβολικές κινήσεις για την πλοήγηση σε μια διεπαφή χρήστη MR και για ορισμένους χρήστες με φυσικούς περιορισμούς, αυτό μπορεί να είναι τόσο άβολο (ή εντελώς αδύνατο) όσο η χρήση ελεγκτών. Οι πωλητές θα πρέπει να διασφαλίζουν ότι τα μοντέλα τους είναι ικανά να παρακολουθούν μικρότερες κινήσεις, τις οποίες είναι ικανοί περισσότεροι χρήστες – ανεξαρτήτως ηλικίας ή ικανότητας.
Η παρακολούθηση ματιών μπορεί επίσης να αντιμετωπίσει τους φυσικούς περιορισμούς, επιτρέποντας στους χρήστες να αλληλεπιδρούν με τον ψηφιακό χώρο χωρίς τη χρήση ελεγκτών ή των χεριών τους.