Ένα βίντεο που δημοσιεύτηκε από έναν προγραμματιστή του Vision Pro φαίνεται να δείχνει τα τρέχοντα επίπεδα απόδοσης παρακολούθησης με το χέρι και απόφραξης που μπορεί να κάνει το νέο ακουστικό της Apple.
Apple Vision Pro, αναμένεται να κυκλοφορήσει τους επόμενους μήνες, θα χρησιμοποιήσει το hand-tracking ως κύρια μέθοδο εισαγωγής. Ενώ οι αλληλεπιδράσεις σε επίπεδο συστήματος συνδυάζουν την παρακολούθηση με το χέρι με την παρακολούθηση ματιών για μια λειτουργία «κοιτάξτε και αγγίξτε», οι προγραμματιστές μπορούν επίσης να δημιουργήσουν εφαρμογές που επιτρέπουν στους χρήστες να αλληλεπιδρούν απευθείας με τις εφαρμογές χρησιμοποιώντας τα χέρια τους.
Το Hand-tracking στο Vision Pro μπορεί να χωριστεί σε δύο διακριτές δυνατότητες: ‘hand-tracking’ και ‘hand-clusion’.
Το Hand-tracking είναι το εκτιμώμενο τρισδιάστατο μοντέλο του χεριού, των αρθρώσεων του και της θέσης των άκρων των δακτύλων. Αυτό το μοντέλο χρησιμοποιείται για να προσδιορίσει πότε αγγίζονται, πιάνονται και αλληλεπιδρούν αντικείμενα.
Η απόφραξη χειρός ασχολείται με το πώς το σύστημα επικαλύπτει το πραγματικό σας χέρι σε εικονικό περιεχόμενο. Αντί να σχεδιάζει ένα τρισδιάστατο μοντέλο ενός εικονικού χεριού στη σκηνή, το Vision Pro κόβει την εικόνα των πραγματικών χεριών σας για να τα εμφανίσει στη σκηνή. Κάνοντας αυτό προσθέτει ένα άλλο επίπεδο ρεαλισμού στο εικονικό περιεχόμενο, επειδή μπορείτε να δείτε τα δικά σας, μοναδικά χέρια.
Ένα κτίριο προγραμματιστών για το Vision Pro που χρησιμοποιεί το Unity δημοσίευσε ένα βίντεο που δίνει μια σαφή εικόνα τόσο της παρακολούθησης με το χέρι όσο και της απόφραξης.
Στο παραπάνω βίντεο, τα πραγματικά χέρια δείχνουν το σύστημα απόφραξης σε δράση, ενώ οι πράσινες κουκκίδες δείχνουν την εκτιμώμενη τρισδιάστατη θέση του χεριού.
Μπορούμε να δούμε ότι η απόφραξη του χεριού είναι πολύ καλή αλλά όχι τέλεια. όταν περιβάλλεται εξ ολοκλήρου από εικονικό περιεχόμενο και κινείται γρήγορα, μπορείτε να δείτε κάποιο απόκομμα γύρω από τις άκρες του χεριού.
Εν τω μεταξύ, η πραγματική θέση παρακολούθησης του χεριού υστερεί περισσότερο από την απόφραξη του χεριού, κάπου 100–200 ms πίσω. Ωστόσο, δεν μπορούμε να προσδιορίσουμε ακριβώς τον πραγματικό λανθάνοντα χρόνο της παρακολούθησης χεριών του Vision Pro, επειδή έχουμε μόνο μια άποψη των χεριών παρακολούθησης απόφραξης για να το συγκρίνουμε (τα οποία θα έχουν κάποια καθυστέρηση σε σχέση με τα πραγματικά χέρια).
Σε αυτό το πλαίσιο, το βίντεο προέρχεται από μια συνομιλία προγραμματιστών Unity που λέει ότι τα πρώτα πειράματά τους με το Vision Pro έδειξαν πολύ υψηλό λανθάνοντα χρόνο παρακολούθησης, προφανώς σε σύγκριση με τις πιο πρόσφατες δυνατότητες παρακολούθησης με το χέρι. Άλλοι προγραμματιστές Unity συμφώνησαν ότι έβλεπαν παρόμοια καθυστέρηση στις δικές τους συσκευές Vision Pro.
Ωστόσο, το εν λόγω βίντεο είναι μια ενσωμάτωση παρακολούθησης με το χέρι μέσα σε μια εφαρμογή Unity, πράγμα που σημαίνει ότι η απόδοση και ο λανθάνοντας χρόνος παρακολούθησης με το χέρι ενδέχεται να έχουν πρόσθετους παράγοντες που σχετίζονται με το Unity που δεν υπάρχουν κατά τη χρήση των εργαλείων ανάπτυξης Vision Pro πρώτου κατασκευαστή της Apple. Και δεδομένου ότι το σετ μικροφώνου-ακουστικού δεν έχει κυκλοφορήσει ακόμα και αυτά τα εργαλεία βρίσκονται ακόμα σε εξέλιξη, ενδέχεται να δούμε πρόσθετες βελτιώσεις μέχρι να φτάσει το σετ μικροφώνου-ακουστικού στα καταστήματα.