Η Meta εργάζεται για να κάνει τα ακουστικά Quest να λειτουργούν σε κινούμενα οχήματα.
Ο σχεδιαστής UX Andrew Fox αναδημοσίευσε ένα βίντεο στο Χ του χρήστη του Facebook Netsvietaiev Oleksandr προσπαθεί για να χρησιμοποιήσετε το Quest 3 σε λειτουργία passthrough σε ένα αεροπλάνο, αλλά δεν μπορείτε επειδή η διεπαφή απομακρύνεται.
Ο CTO της Meta, Andrew Bosworth απάντησε στη δημοσίευση για να συνοψίσουμε γιατί συνέβη και ολοκλήρωσε λέγοντας ότι ο Μέτα “εργάζεται σε αυτό”.
Όχι, χρησιμοποιούμε ένα IMU για να διατηρούμε τα αντικείμενα εντοπισμένα σε σχέση με την κίνηση των ακουστικών σας, επομένως τα κινούμενα οχήματα αποτελούν πρόκληση (όταν επιταχύνουν προς οποιαδήποτε κατεύθυνση). Χρησιμοποιούμε επίσης τις κάμερες, φυσικά, συνεργάζονται καθώς το IMU είναι υψηλότερης συχνότητας αλλά χαμηλότερης ακρίβειας. Εργάζονται σε αυτό!
— Boz (@boztank) 24 Ιανουαρίου 2024
Γιατί, λοιπόν, συμβαίνει στην πραγματικότητα αυτή η μετατόπιση σε κινούμενα οχήματα;
Οι άνθρωποι συχνά πιστεύουν ότι τα συστήματα παρακολούθησης μέσα προς τα έξω χωρίς δείκτες σε ακουστικά, γυαλιά και ελεγκτές αυτο-παρακολούθησης χρησιμοποιούν μόνο τις κάμερες, αλλά αυτό δεν συμβαίνει. Αυτά τα συστήματα βασίζονται εξίσου στην αδρανειακή μονάδα μέτρησης (IMU), ένα τσιπ που περιέχει ένα μικροσκοπικό επιταχυνσιόμετρο και γυροσκόπιο.
Ενώ οι κάμερες λειτουργούν συνήθως στα 30Hz ή 60Hz, το IMU παρέχει συνήθως ενημερώσεις γύρω στα 1000Hz, επιτρέποντας πολύ χαμηλότερο λανθάνοντα χρόνο. Ωστόσο, ένα IMU δεν μπορεί πραγματικά να ανιχνεύσει την απόλυτη κίνηση – τουλάχιστον όχι άμεσα. Ωστόσο, το επιταχυνσιόμετρο στο IMU ανιχνεύει την επιτάχυνση σε σχέση με τη βαρύτητα και μπορείτε να πάρετε το ολοκλήρωμα της επιτάχυνσης με την πάροδο του χρόνου για να πάρετε την ταχύτητα. Και αν στη συνέχεια λάβετε το ολοκλήρωμα αυτών των τιμών ταχύτητας με την πάροδο του χρόνου, θα έχετε μετατόπιση από την αρχική θέση.
Αυτή η διαδικασία ονομάζεται νεκρός απολογισμός. Από στιγμή σε στιγμή, κάθε ακουστικό και ελεγκτής παρακολουθεί τον εαυτό του και το οπτικό στοιχείο, όπως κάμερες ή σταθμοί βάσης λέιζερ, χρησιμοποιούνται μόνο για τη διόρθωση του αθροιστικού σφάλματος που προκαλείται από τον θόρυβο των δεδομένων IMU. Αλλά σε ένα κινούμενο όχημα, όπως ένα αεροπλάνο, το επιταχυνσιόμετρο θα πάρει την επιτάχυνση του ίδιου του οχήματος, νομίζοντας ότι πρόκειται για επιτάχυνση ακουστικών, που έχει ως αποτέλεσμα την ξαφνική και γρήγορη ολίσθηση θέσης που βλέπετε στο παραπάνω βίντεο του Fox.
Το Apple Vision Pro διαθέτει λειτουργία ταξιδιού, αλλά δεν είναι σαφές τι ακριβώς κάνει.
Δεν είναι σαφές τι ακριβώς εννοεί ο Bosworth λέγοντας ότι ο Meta “εργάζεται” πάνω στο πρόβλημα.
Επί του παρόντος, είναι δυνατό να απενεργοποιήσετε την παρακολούθηση θέσης 6DoF στο Quest και τα ακουστικά θα επιστρέψουν στην παρακολούθηση μόνο με περιστροφή 3DoF, αλλά αυτό επίσης απενεργοποιεί τη διέλευση. Επομένως, η Meta θα μπορούσε ίσως να σχεδιάζει να επιτρέψει τη διέλευση όταν η παρακολούθηση θέσης είναι απενεργοποιημένη.
Εναλλακτικά, η Meta μπορεί να εργάζεται για να κάνει με κάποιο τρόπο την παρακολούθηση θέσης σε κινούμενα οχήματα, ίσως δίνοντας εντολή στο σύστημα να βασίζεται εξ ολοκλήρου στα γραφικά της κάμερας και αγνοώντας το IMU. Πέρυσι ο Μέτα παρουσίασε ένα ερευνητικό έργο κάνοντας ένα Quest Pro να λειτουργεί σε μια κινούμενη BMW, αλλά αυτό περιελάμβανε διασύνδεση με το IMU του αυτοκινήτου.
Εν τω μεταξύ, το Apple Vision Pro έχει Λειτουργία Ταξιδίου για χρήση σε αεροπλάνα και η Apple έχει διαθέσει στην αγορά αυτή τη θήκη χρήσης, αλλά προς το παρόν είναι άγνωστο τι ακριβώς κάνει και το Travel Mode της Apple. Η Apple είπε μόνο ότι θα “σταθεροποιήσει τα οπτικά στοιχεία”. Σκοπεύω να δοκιμάσω αυτήν τη δυνατότητα στο ταξίδι μου στο σπίτι αφού παραλάβω το Vision Pro στη Νέα Υόρκη.