Οι προγραμματιστές του Quest 3 μπορούν τώρα να ενσωματώσουν τρεις σημαντικές νέες δυνατότητες για να βελτιώσουν τόσο την εικονική όσο και τη μικτή πραγματικότητα.
Το Inside-Out Body Tracking (IOBT) και τα Generative Legs ήταν ανακοινώθηκε παράλληλα με το Quest 3 καθώς έρχεται τον Δεκέμβριο. Απόφραξη για μικτή πραγματικότητα μέσω του API βάθους ήταν παλαιότερα ένα πειραματικό χαρακτηριστικόπου σημαίνει ότι οι προγραμματιστές μπορούσαν να το δοκιμάσουν αλλά δεν μπορούσαν να το στείλουν σε εκδόσεις Quest Store ή App Lab.
Και οι τρεις λειτουργίες είναι πλέον διαθέσιμες ως μέρος του v60 SDK for Unity και του εγγενούς κώδικα. Εν τω μεταξύ, η ενσωμάτωση του v60 Unreal Engine περιλαμβάνει Depth API, αλλά όχι IOBT ή Generative Legs.
Παρακολούθηση μέσα-έξω άνω σώματος
Το Inside-Out Body Tracking (IOBT) χρησιμοποιεί τις πλαϊνές κάμερες του Quest 3, που κοιτούν προς τα κάτω, για να παρακολουθεί τον καρπό, τους αγκώνες, τον ώμο και τον κορμό σας χρησιμοποιώντας προηγμένους αλγόριθμους όρασης υπολογιστή.
Το IOBT αποτρέπει τα προβλήματα με τους βραχίονες που υπολογίζονται από την αντίστροφη κινηματική (IK), τα οποία είναι συχνά λανθασμένα και αισθάνονται άβολα επειδή το σύστημα κάνει απλώς εικασίες από τη θέση του κεφαλιού και των χεριών σας. Όταν οι προγραμματιστές ενσωματώνουν το IOBT, θα δείτε τα μπράτσα και το toro σας στις πραγματικές τους θέσεις – όχι μια εκτίμηση.
Αυτή η παρακολούθηση του άνω μέρους του σώματος επιτρέπει επίσης στους προγραμματιστές να προσαρμόσουν την κίνηση με τον αντίχειρα στην κατεύθυνση του σώματός σας, όχι μόνο στο κεφάλι ή στα χέρια σας, και μπορείτε να εκτελέσετε νέες ενέργειες, όπως το να σκύβετε πάνω από μια προεξοχή και να έχετε αυτό το σόου ρεαλιστικά στο avatar σας.
AI Generative Legs
Το IOBT λειτουργεί μόνο για το πάνω μέρος του σώματός σας. Για το κάτω μέρος του σώματός σας, η Meta κυκλοφόρησε το Generative Legs.
Το Generative Legs χρησιμοποιεί ένα μοντέλο τεχνητής νοημοσύνης “αιχμής” για να εκτιμήσει τη θέση των ποδιών σας – μια τεχνολογία που χρησιμοποιεί η εταιρεία ερευνώντας για χρόνια.
Στο Quest 3, το Generative Legs παρέχει μια πιο ρεαλιστική εκτίμηση από τα προηγούμενα ακουστικά χάρη στη χρήση της παρακολούθησης του άνω μέρους του σώματος ως είσοδο, αλλά λειτουργεί επίσης στο Quest Pro και το Quest 2 χρησιμοποιώντας μόνο κεφάλι και χέρια.
Ωστόσο, το σύστημα Generative Legs είναι απλώς ένας εκτιμητής, δεν παρακολουθεί, επομένως, ενώ μπορεί να ανιχνεύσει άλματα και σκύψιμο, δεν θα κάνει πολλές πραγματικές κινήσεις όπως το να σηκώνετε τα γόνατά σας.
Μαζί, η παρακολούθηση από μέσα προς τα έξω του άνω μέρους του σώματος και τα Generative Legs επιτρέπουν εύλογα ολόκληρα σώματα σε VR, που ονομάζεται Full Body Synthesis, χωρίς εξωτερικό υλικό.
Ο Meta ανακοίνωσε προηγουμένως ότι το Full Body Synthesis θα έρθει στα Supernatural, Swordsman VR και Drunken Bar Fight.
API βάθους για απόφραξη σε μικτή πραγματικότητα
Σε η κριτική μας Quest 3 ασκήσαμε δριμεία κριτική στην έλλειψη δυναμικής απόφραξης μικτής πραγματικότητας. Ενώ εικονικά αντικείμενα μπορούν να εμφανιστούν πίσω από το ακατέργαστο Scene Mesh που δημιουργείται από τη σάρωση ρύθμισης δωματίου, εμφανίζονται πάντα μπροστά από κινούμενα αντικείμενα, όπως τα χέρια σας και άλλα άτομα, ακόμα κι αν είναι πιο μακριά, κάτι που φαίνεται τρομακτικό και αφύσικο.
Οι προγραμματιστές θα μπορούσαν ήδη να εφαρμόσουν δυναμική απόφραξη για τα χέρια σας χρησιμοποιώντας το πλέγμα παρακολούθησης χεριών, αλλά λίγοι το έκαναν επειδή αυτό κόβει τον καρπό σας και έτσι δεν περιλαμβάνεται το υπόλοιπο χέρι σας.
Το νέο Depth API δίνει στους προγραμματιστές έναν χονδρό χάρτη βάθους ανά καρέ που δημιουργείται από το σετ μικροφώνου-ακουστικού από τη σκοπιά του. Αυτό μπορεί να χρησιμοποιηθεί για την εφαρμογή απόφραξης, τόσο για κινούμενα αντικείμενα όσο και για λεπτότερες λεπτομέρειες στατικών αντικειμένων, καθώς αυτά μπορεί να μην έχουν αποτυπωθεί στο Scene Mesh.
Η δυναμική απόφραξη θα πρέπει να κάνει τη μικτή πραγματικότητα στο Quest 3 να φαίνεται πιο φυσική. Ωστόσο, η ανάλυση ανίχνευσης βάθους των ακουστικών είναι πολύ χαμηλά, έτσι δεν θα συλλάβει λεπτομέρειες όπως τα κενά ανάμεσα στα δάχτυλά σας και θα δείτε ένα κενό κενό γύρω από τις άκρες των αντικειμένων.
Ο χάρτης βάθους προτείνεται επίσης να αξιοποιηθεί μόνο στα 4 μέτρα, μετά τα οποία “η ακρίβεια πέφτει σημαντικά”, επομένως οι προγραμματιστές μπορεί να θέλουν επίσης να χρησιμοποιήσουν το Scene Mesh για στατική απόφραξη.
Υπάρχουν δύο τρόποι με τους οποίους οι προγραμματιστές μπορούν να εφαρμόσουν την απόφραξη: Σκληρός και Μαλακός. Το Hard είναι ουσιαστικά δωρεάν αλλά έχει οδοντωτές άκρες, ενώ το Soft έχει κόστος GPU αλλά φαίνεται καλύτερο. Κοιτάζοντας το παράδειγμα κλιπ του Meta, είναι δύσκολο να φανταστεί κανείς ότι κάποιος προγραμματιστής θα επιλέξει το Hard.
Ωστόσο, και στις δύο περιπτώσεις, η απόφραξη απαιτεί τη χρήση των ειδικών σκιαδόρων απόφραξης της Meta ή την εφαρμογή της στους προσαρμοσμένους σκιαδόρους σας. Απέχει πολύ από μια λύση με ένα κλικ και πιθανότατα θα είναι μια σημαντική προσπάθεια για την υποστήριξη των προγραμματιστών.
Εκτός από την απόφραξη, οι προγραμματιστές θα μπορούσαν επίσης να χρησιμοποιήσουν το Depth API για να εφαρμόσουν οπτικά εφέ βασισμένα σε βάθος σε μικτή πραγματικότητα, όπως η ομίχλη.
Απόφραξη API βάθους δοκιμής UploadVR.
Μπορείτε να βρείτε την τεκμηρίωση για Ενότητα εδώ και για Εξωπραγματικό εδώ. Σημειώστε ότι η τεκμηρίωση δεν έχει ακόμη ενημερωθεί για να αντικατοπτρίζει τη δημόσια κυκλοφορία.