Είναι τελικά η παρακολούθηση χεριών έτοιμη για την prime time;

Εικόνα: Holonautic

Η παρακολούθηση χεριών θεωρείται η είσοδος VR ​​του μέλλοντος. Αλλά πόσο κοντά στο mainstream είναι πραγματικά; Το δοκίμασα με κάποιον που δεν έχει προηγούμενη εμπειρία με VR ή παρακολούθηση χεριών.

Οι περισσότεροι ειδικοί συμφωνούν ότι η παρακολούθηση χεριών θα αλλάξει τον τρόπο με τον οποίο αλληλεπιδρούμε μέσα και με το VR και το MR. Πιο αμφιλεγόμενο είναι το πόσο καλά λειτουργεί η παρακολούθηση χεριών σήμερα και πόσος χρόνος θα χρειαστεί για να πιάσει και να αντικαταστήσει τους ελεγκτές ως κύρια είσοδο – ή αν θα συμβεί ποτέ.

Ορισμένοι στον κλάδο πιστεύουν ότι η παρακολούθηση χεριών θα αλλάξει εντελώς τη βιομηχανία σε μόλις δύο χρόνια, ενώ άλλοι είναι πιο δύσπιστοι. Η συζήτηση τροφοδοτήθηκε περαιτέρω από την έναρξη της Apple Vision Proτο οποίο είναι γνωστό ότι βασίζεται αποκλειστικά στην παρακολούθηση των ματιών και των χεριών.

Εν τω μεταξύ, η διαφημιστική εκστρατεία γύρω από τη συσκευή έχει σταματήσει από την κυκλοφορία της τον Φεβρουάριο. Ο πρώτος χωρικός υπολογιστής της Apple δεν θα αλλάξει τη βιομηχανία VR από τη μια μέρα στην άλλη και κάποιοι μπορεί να υποστηρίξουν ότι έχει αυξήσει αντί να μειώσει την ευαισθητοποίηση σχετικά με τα οφέλη των ελεγκτών, τα χειριστήρια ακριβείας και τα απτικά.

Προκειμένου η παρακολούθηση χεριών να γίνει η κύρια μέθοδος εισαγωγής, πρέπει να είναι άψογη και εύχρηστη για τους περισσότερους καταναλωτές. Για να το δοκιμάσω, αναζήτησα ένα κατάλληλο θέμα δοκιμής: Η φίλη μου Esther (το όνομα άλλαξε για αυτό το άρθρο), που είναι στις αρχές της δεκαετίας του 70 και δεν έχει προηγούμενη εμπειρία με VR, παρακολούθηση χεριών ή βιντεοπαιχνίδια.

Η παρακολούθηση χεριών έχει επαινεθεί για την προσβασιμότητά της. Εάν η Esther μπορούσε να χρησιμοποιήσει την τεχνολογία, τότε τίποτα δεν θα έπρεπε να σταθεί εμπόδιο στην παρακολούθηση των χεριών. Σωστός;

Πρώτα βήματα

Άφησα την Έστερ να πειραματιστεί Meta Quest 3παρακολούθηση χεριών για περίπου μία ώρα.

Πρώτα, την περπάτησα στο σεμινάριο παρακολούθησης χεριών Meta Quest. Η Esther κατάλαβε αμέσως την έννοια της εισαγωγής αφής, την οποία ήταν εξοικειωμένη από κινητές συσκευές, αλλά δεν λειτουργούσε πάντα όπως πίστευε. Για παράδειγμα, έπρεπε να επιλέξει και να αγγίξει ορισμένα στοιχεία αρκετές φορές πριν το σύστημα ερμηνεύσει σωστά την είσοδο. Από την άλλη, μπορούσε να μάθει τις χειρονομίες σχετικά γρήγορα.

Όταν τη ρώτησα τι πιστεύει για την εμπειρία χρήστη, η Esther είπε:

«Ήταν εντάξει, δεν πίστευα ότι ήταν πολύ εύκολο, σκέφτηκα ότι θα μπορούσε να είναι πιο εύκολο, αλλά μόλις είδα πώς λειτουργούσε μερικές φορές, δεν ήταν δύσκολο να θυμηθώ τις απλές χειρονομίες».

Ένα ακατάστατο σταντ για γρήγορο φαγητό

Στη συνέχεια δοκιμάσαμε το Vacation Simulator. Το παιχνίδι VR έχει πειραματική υποστήριξη για παρακολούθηση χεριών από το 2020, που έχει γίνει κανονικό χαρακτηριστικό από την τελευταία ενημέρωση.

Σε αντίθεση με το τελευταίο έργο του στούντιο, Το Vacation Simulator δεν σχεδιάστηκε από την αρχή για παρακολούθηση με το χέρι, κάτι που έγινε αισθητό στο πείραμα. Τα δέκα λεπτά της Έστερ στο περίπτερο με τα φαγητά της παραλίας ήταν αρκετά εξαντλητικά και τελικά δεν κατάφερε να φτιάξει ούτε το χοτ ντογκ που της ζήτησα. Τα περισσότερα συστατικά ήταν σκορπισμένα στο έδαφος.

Αυτό που ήθελε να κάνει η Esther με τα χέρια της και αυτό που το παιχνίδι ερμήνευσε ως αλληλεπίδραση ήταν συχνά δύο διαφορετικά πράγματα. Αργότερα περιέγραψε την εμπειρία ως «απογοητευτική», αλλά είπε ότι μπορούσε να φανταστεί ότι θα επέστρεφε σε αυτόν τον κόσμο και θα τον απολάμβανε περισσότερο τη δεύτερη και τρίτη φορά, καθώς ήταν ακόμα «απόλυτα αρχάριος» σε αυτόν τον τομέα. Βλέποντάς την, ένιωθα ότι η παρακολούθηση χεριών ήταν περισσότερο εμπόδιο παρά βοήθεια για την απόλαυση του παιχνιδιού.

Το πρόβλημα του Μίδα και άλλα θέματα

Στην Έστερ άρεσε το παιχνίδι παζλ Κυβισμός καλύτερα, αλλά και πάλι είχε δυσκολίες που είχαν να κάνουν περισσότερο με την τεχνολογία παρακολούθησης χεριών παρά με το ίδιο το παιχνίδι. Μετά από μερικές προσπάθειες, βρήκε σχετικά εύκολο να πιάσει τα κομμάτια του παζλ με τα δάχτυλά της. Ήταν πιο δύσκολο να τα απελευθερώσει στη σωστή θέση, καθώς το ακουστικό δεν ανίχνευε πάντα την κίνηση και τα κομμάτια του παζλ «κόλλησαν» στα δάχτυλά της, όπως το έλεγε.

Η παρακολούθηση χεριών δεν είναι κάτι που λειτουργεί απλά, σε κάποιο βαθμό πρέπει να το μάθετε. Δεν αρκεί απλά να αρπάξεις ένα αντικείμενο και να το αφήσεις. Πρέπει να το σηκώσεις και να το απελευθερώσεις με ορισμένο τρόπο. Αυτό είναι ένα γενικό εμπόδιο για την εισαγωγή δεδομένων παρακολούθησης χεριών που δεν έχει ακόμη ξεπεραστεί.

Ένα πρόβλημα είναι ότι οι αλγόριθμοι όρασης υπολογιστή κάνουν κακή δουλειά στην αναγνώριση λεπτών κινήσεων. Ένα άλλο είναι ότι το σύστημα μπορεί να υπερ-ερμηνεύει τις κινήσεις των χεριών ως αλληλεπιδράσεις ενώ δεν είναι. Ο προγραμματιστής VR Antony Vitillo περιέγραψε εύστοχα αυτό το φαινόμενο ως το Πρόβλημα αφής Midas (ο άπληστος Μίδας ήθελε ό,τι άγγιζε να γίνει χρυσός. Όταν ακόμη και το φαγητό και το ποτό έγιναν χρυσάφι, και κινδύνευε να πεθάνει από την πείνα, ζήτησε από τον θεό Διόνυσο να του πάρει πίσω την επιθυμία του).

Το πείραμα ολοκληρώθηκε με το Hand Physics Lab, το οποίο έφερε ένα ευχάριστο χαμόγελο στο πρόσωπο της Esther. Περισσότερο από τις άλλες εφαρμογές, το κιτ πειραμάτων παρακολούθησης χεριών ευδοκιμεί στις ελλείψεις της τεχνολογίας, γεγονός που καθιστά ευκολότερο να τα προσπεράσετε.

Παρακολούθηση χεριών: πολύ μακριά από το “καλό” στο “τέλειο”

Στο τέλος, συνειδητοποίησα ότι η παρακολούθηση χεριών είναι ακόμα μια πειραματική τεχνολογία. Οι λάτρεις της εικονικής πραγματικότητας γνωρίζουν τις ελλείψεις του και ξέρουν πώς να τις αντιμετωπίσουν. Οι αρχάριοι που ξοδεύουν πολλά χρήματα σε μια συσκευή έχουν μια διαφορετική απαίτηση: πρέπει απλώς να λειτουργήσει, ειδικά αν είναι η κύρια μέθοδος εισαγωγής VR και MR.

Πρώτον, η παρακολούθηση χεριών θα είναι ώριμη μόνο όταν νιώθουμε ότι πραγματικά αλληλεπιδρούμε με τα χέρια μας, αντί να πρέπει να μάθουμε πώς να τα χρησιμοποιούμε για να τα ερμηνεύσει σωστά το σύστημα. Δεύτερον, πρέπει να λειτουργεί σχεδόν άψογα. Δεν αρκεί, για παράδειγμα, να μπορείς να αναγνωρίσεις ένα πάτημα κουμπιού το 90 τοις εκατό του χρόνου. Αυτό θα ήταν απογοητευτικό.

Και για τους μηχανικούς, το έργο γίνεται πιο δύσκολο, όχι πιο εύκολο: η μετάβαση από το 90 στο 99,9 τοις εκατό της σωστής πόζας και η αναγνώριση αλληλεπίδρασης τα επόμενα χρόνια είναι πιθανό να είναι πολύ πιο δύσκολο από το να μεταβείτε από το 0 στο 90 τοις εκατό.

Έχοντας αυτό κατά νου, δεν βλέπω ότι η Meta πουλά ακουστικά Quest χωρίς ελεγκτές σύντομα. Και από την πλευρά του περιεχομένου, υπάρχει επίσης πολλή δουλειά που πρέπει να γίνει προτού η παρακολούθηση χεριών μπορεί να θεωρηθεί ως mainstream. Η συντριπτική πλειοψηφία των εφαρμογών VR εξακολουθούν να απαιτούν ελεγκτές, και για καλό λόγο.

Σημείωση: Οι σύνδεσμοι προς ηλεκτρονικά καταστήματα σε άρθρα μπορεί να είναι οι λεγόμενοι σύνδεσμοι συνεργατών. Εάν αγοράσετε μέσω αυτού του συνδέσμου, το MIXED λαμβάνει προμήθεια από τον πάροχο. Για εσάς η τιμή δεν αλλάζει.