Το πιο πρόσφατο ερευνητικό σύστημα AI της Meta κάνει τα ακουστικά και τα γυαλιά να κατανοούν τη διάταξη και τα έπιπλα του δωματίου σας.
Που ονομάζεται SceneScriptΗ Meta λέει ότι το σύστημα αξιοποιεί την ίδια υποκείμενη τεχνική με τα μεγάλα γλωσσικά μοντέλα (LLM), εκτός από το ότι αντί να προβλέπει το επόμενο τμήμα γλώσσας, προβλέπει αρχιτεκτονικά στοιχεία και στοιχεία επίπλων σε μια τρισδιάστατη καταγραφή από σύννεφο σημείου του ίδιου είδους που έχουν ήδη καταγράψει τα ακουστικά για να επιτρέψει την αυτόνομη παρακολούθηση θέσης .
Η έξοδος είναι μια σειρά από πρωτόγονα τρισδιάστατα σχήματα που αντιπροσωπεύουν τα βασικά όρια του συγκεκριμένου επίπλου ή στοιχείου.
Το SceneScript του Meta σε δράση
Το Quest 3 είναι ικανό να δημιουργήσει ένα ακατέργαστο 3D πλέγμα του δωματίου σας και μπορεί να συμπεράνει τις θέσεις των τοίχων, του δαπέδου και της οροφής σας από αυτό το 3D πλέγμα. Ωστόσο, το σετ μικροφώνου-ακουστικού δεν γνωρίζει προς το παρόν ποια σχήματα μέσα σε αυτό το πλέγμα αντιπροσωπεύουν πιο συγκεκριμένα στοιχεία όπως πόρτες, παράθυρα, τραπέζια, καρέκλες και καναπέδες. Τα ακουστικά Quest επιτρέπουν στους χρήστες να επισημάνουν χειροκίνητα αυτά τα αντικείμενα ως απλά ορθογώνια κυβοειδή, αν θέλουν, αλλά επειδή αυτό είναι προαιρετικό και επίπονοι προγραμματιστές δεν μπορούν να βασιστούν στους χρήστες που το έχουν κάνει.
Εάν μια τεχνολογία όπως το SceneScript ενσωματωθεί στη ρύθμιση σκηνής μικτής πραγματικότητας του Quest 3, οι προγραμματιστές θα μπορούσαν να τοποθετήσουν αυτόματα εικονικό περιεχόμενο πάνω ή γύρω από συγκεκριμένα στοιχεία επίπλων. Θα μπορούσαν να αντικαταστήσουν μόνο τα παράθυρά σας με πύλες ή την καρέκλα σας με ένα εικονικό κάθισμα ή να αλλάξουν τον καναπέ σας σε θέση με σακούλα άμμου. Αυτά τα πράγματα είναι δυνατά σήμερα, ζητώντας από τον χρήστη να επισημάνει τα έπιπλα χειροκίνητα ή μερικές φορές με χειροκίνητους αλγόριθμους που ερμηνεύουν το πλέγμα σκηνής, αλλά το SceneScript θα μπορούσε να το κάνει απρόσκοπτο και αυτόματο.
Το SceneScript του Meta σε δράση
Τεχνολογία όπως το SceneScript θα μπορούσε επίσης να έχει τεράστιες δυνατότητες για βοηθούς τεχνητής νοημοσύνης σε μελλοντικά ακουστικά και τα ενδεχόμενα γυαλιά AR του. Ο Meta δίνει το παράδειγμα ερωτήσεων όπως “Θα χωρέσει αυτό το γραφείο στην κρεβατοκάμαρά μου;” ή «Πόσα δοχεία μπογιάς θα χρειαζόταν για να βάψετε αυτό το δωμάτιο;», καθώς και εντολές όπως «Τοποθετήστε το [AR/MR app] στο μεγάλο τραπέζι».
Προς το παρόν, η Meta περιγράφει το SceneScript καθαρά ως έρευνα, όχι ως βραχυπρόθεσμη ενημέρωση χαρακτηριστικών προϊόντος. Αν και αυτή η τεχνολογία μπορεί τελικά να έρθει στο Quest 3, δεν υπάρχει καμία ένδειξη ότι αυτό θα συμβεί σύντομα.