Οταν Η Google παρουσίασε το Night Sight στο Pixel 3, ήταν μια αποκάλυψη.
Ήταν σαν κάποιος να είχε κυριολεκτικά ανάψει τα φώτα στις φωτογραφίες σας σε χαμηλό φωτισμό. Οι προηγουμένως αδύνατες λήψεις έγιναν δυνατές — δεν χρειαζόταν τρίποδο ή φλας με τα φώτα ελαφιού.
Πέντε χρόνια αργότερα και η λήψη φωτογραφιών στο σκοτάδι είναι παλιό – σχεδόν κάθε τηλέφωνο πάνω-κάτω, το φάσμα τιμών συνοδεύεται από κάποιο είδος νυχτερινής λειτουργίας. Το βίντεο, όμως, είναι μια διαφορετική ιστορία. Οι νυχτερινές λειτουργίες για στατικές φωτογραφίες καταγράφουν πολλαπλά καρέ για τη δημιουργία μιας πιο φωτεινής εικόνας και απλώς δεν είναι δυνατή η αντιγραφή και επικόλληση της μηχανικής αυτής της δυνατότητας σε βίντεο που, από τη φύση του, είναι ήδη μια σειρά από εικόνες. Η απάντηση, όπως φαίνεται τον τελευταίο καιρό, είναι να καλέσουμε την AI.
Όταν κυκλοφόρησε το Pixel 8 Pro αυτό το φθινόπωρο, η Google ανακοίνωσε μια λειτουργία που ονομάζεται Video Boost with Night Sight, η οποία θα κυκλοφορήσει σε μελλοντική ενημέρωση λογισμικού. Χρησιμοποιεί τεχνητή νοημοσύνη για την επεξεργασία των βίντεό σας — αναδεικνύοντας περισσότερες λεπτομέρειες και βελτιώνοντας το χρώμα, κάτι που είναι ιδιαίτερα χρήσιμο για κλιπ χαμηλού φωτισμού. Υπάρχει μόνο ένα πρόβλημα: αυτή η επεξεργασία πραγματοποιείται στο cloud στους διακομιστές της Google, όχι στο τηλέφωνό σας.
Όπως είχε υποσχεθεί, το Video Boost άρχισε να έρχεται σε συσκευές πριν από μερικές εβδομάδες με την ενημέρωση Pixel του Δεκεμβρίου, συμπεριλαμβανομένης της μονάδας αναθεώρησης Pixel 8 Pro. Και είναι καλό! Αλλά δεν είναι ακριβώς η στιγμή που ήταν το αρχικό Night Sight. Αυτό μιλά τόσο για το πόσο εντυπωσιακό ήταν το Night Sight όταν έκανε το ντεμπούτο του, όσο και για τις ιδιαίτερες προκλήσεις που παρουσιάζει το βίντεο σε ένα σύστημα κάμερας smartphone.
Το Video Boost λειτουργεί ως εξής: πρώτα, και κυρίως, πρέπει να έχετε ένα Pixel 8 Pro, όχι ένα κανονικό Pixel 8 — Η Google δεν έχει απαντήσει στην ερώτησή μου σχετικά με το γιατί συμβαίνει αυτό. Το ενεργοποιείτε στις ρυθμίσεις της κάμερας όταν θέλετε να το χρησιμοποιήσετε και, στη συνέχεια, ξεκινήστε την εγγραφή του βίντεό σας. Μόλις τελειώσετε, θα πρέπει να δημιουργηθεί αντίγραφο ασφαλείας του βίντεο στον λογαριασμό σας στο Google Photos, είτε αυτόματα είτε μη αυτόματα. Μετά περιμένεις. Και περίμενε. Και σε ορισμένες περιπτώσεις, συνεχίστε να περιμένετε — Το Video Boost λειτουργεί σε βίντεο διάρκειας έως και δέκα λεπτών, αλλά ακόμη και ένα κλιπ διάρκειας μόλις δύο λεπτών μπορεί να διαρκέσει ώρες για να επεξεργαστεί.
Ανάλογα με τον τύπο του βίντεο που εγγράφετε, αυτή η αναμονή μπορεί να αξίζει ή να μην αξίζει τον κόπο. τεκμηρίωση υποστήριξης της Google λέει ότι έχει σχεδιαστεί για να σας επιτρέπει να “κάνετε βίντεο στο τηλέφωνο Pixel σε υψηλότερη ποιότητα και με καλύτερο φωτισμό, χρώματα και λεπτομέρειες”, σε οποιονδήποτε φωτισμό. Αλλά το κύριος Αυτό που εξυπηρετεί το Video Boost είναι το καλύτερο βίντεο σε χαμηλό φωτισμό — αυτό μου λέει ο διευθυντής προϊόντων της ομάδας Isaac Reynolds. “Σκεφτείτε το ως Night Sight Video, επειδή όλες οι τροποποιήσεις στους άλλους αλγόριθμους επιδιώκουν το Night Sight.”
Όλες οι διαδικασίες που κάνουν τα βίντεό μας σε καλό φωτισμό να φαίνονται καλύτερα — σταθεροποίηση, χαρτογράφηση τόνου — σταματούν να λειτουργούν όταν προσπαθείτε να εγγράψετε βίντεο σε πολύ χαμηλό φωτισμό. Ο Ρέινολντς εξηγεί ότι ακόμη και η είδος Η θαμπάδα που εμφανίζεται σε βίντεο με χαμηλό φωτισμό είναι διαφορετική. «OIS [optical image stabilization] μπορεί να σταθεροποιήσει ένα πλαίσιο, αλλά μόνο ενός συγκεκριμένου μήκους.” Το βίντεο με χαμηλό φωτισμό απαιτεί μεγαλύτερα καρέ και αυτό είναι μια μεγάλη πρόκληση για σταθεροποίηση. “Όταν ξεκινάτε να περπατάτε σε χαμηλό φωτισμό, με τόσο μακρύ καρέ, μπορείτε να έχετε ένα συγκεκριμένο είδος θολώματος εντός του πλαισίου, το οποίο είναι ακριβώς το υπόλοιπο που μπορεί να αντισταθμίσει το OIS.” Με άλλα λόγια, είναι πολύ περίπλοκο.
Όλα αυτά εξηγούν τι βλέπω στα δικά μου κλιπ Video Boost. Σε καλό φωτισμό, δεν βλέπω μεγάλη διαφορά. Μερικά χρώματα σκάνε λίγο περισσότερο, αλλά δεν βλέπω κάτι που θα με ανάγκαζε να το χρησιμοποιώ τακτικά όταν το διαθέσιμο φως είναι άφθονο. Σε επακρώς Το Video Boost σε χαμηλό φωτισμό μπορεί να ανακτήσει κάποιο χρώμα και λεπτομέρεια που χάνονται εντελώς σε ένα τυπικό βίντεο κλιπ. Αλλά δεν είναι τόσο δραματική όσο η διαφορά μεταξύ μιας κανονικής φωτογραφίας και μιας φωτογραφίας Night Sight στις ίδιες συνθήκες.
Ωστόσο, υπάρχει ένα πραγματικά γλυκό σημείο ανάμεσα σε αυτά τα άκρα, όπου μπορώ να δω το Video Boost να είναι πραγματικά χρήσιμο. Σε ένα κλιπ όπου περπατάω σε ένα μονοπάτι το σούρουπο σε μια σκοτεινή πέργκολα στεγάζει το Kobe Bell, υπάρχει αξιοσημείωτη βελτίωση στη λεπτομέρεια της σκιάς και στη σταθεροποίηση μετά το Boost. Όσο περισσότερο χρησιμοποιούσα το Video Boost σε κανονικό, μεσαίο-χαμηλό φωτισμό εσωτερικών χώρων, τόσο περισσότερο αντιλαμβανόμουν την υπόθεση. Αρχίζετε να βλέπετε πώς φαίνονται ξεπερασμένα τυπικά βίντεο σε αυτές τις συνθήκες — όπως ο γιος μου να παίζει με φορτηγά στο πάτωμα της τραπεζαρίας. Η ενεργοποίηση του Video Boost αποκατέστησε λίγη από τη ζωντάνια που ξέχασα ότι μου έλειπε.
Το Video Boost περιορίζεται στην κύρια πίσω κάμερα του Pixel 8 Pro και καταγράφει είτε σε ανάλυση 4K (η προεπιλογή) είτε σε 1080p στα 30 fps. Η χρήση του Video Boost έχει ως αποτέλεσμα δύο κλιπ — ένα αρχικό αρχείο “προεπισκόπησης” που δεν έχει ενισχυθεί και είναι άμεσα διαθέσιμο για κοινή χρήση και, τελικά, το δεύτερο “ενισχυμένο” αρχείο. Κάτω από το καπό όμως, συμβαίνουν πολλά περισσότερα.
Ο Reynolds μου εξήγησε ότι το Video Boost χρησιμοποιεί μια εντελώς διαφορετική σωλήνωση επεξεργασίας που συγκρατεί πολύ περισσότερα από τα δεδομένα της εικόνας που έχουν ληφθεί, τα οποία συνήθως απορρίπτονται όταν εγγράφετε ένα τυπικό αρχείο βίντεο – κάπως σαν τη σχέση μεταξύ αρχείων RAW και JPEG. Ένα προσωρινό αρχείο διατηρεί αυτές τις πληροφορίες στη συσκευή σας μέχρι να σταλεί στο cloud. μετά από αυτό, διαγράφεται. Αυτό είναι καλό, επειδή τα προσωρινά αρχεία μπορεί να είναι τεράστια — αρκετά gigabyte για μεγαλύτερα κλιπ. Τα τελικά ενισχυμένα βίντεο, ωστόσο, έχουν πολύ πιο λογικό μέγεθος — 513 MB για ένα κλιπ τριών λεπτών που έγραψα έναντι 6 GB για το προσωρινό αρχείο.
Η αρχική μου αντίδραση στο Video Boost ήταν ότι φαινόταν σαν ένα ενδιάμεσο κενό – μια επίδειξη χαρακτηριστικών για κάτι που χρειάζεται το cloud για να λειτουργήσει αυτήν τη στιγμή, αλλά θα μετακινηθεί στη συσκευή στο μέλλον. Η Qualcomm έδειξε μια έκδοση στη συσκευή κάτι παρόμοιου ακριβώς αυτό το φθινόπωρο, οπότε αυτό πρέπει να είναι το τέλος του παιχνιδιού, σωστά; Ο Ρέινολντς λέει ότι δεν το σκέφτεται έτσι. «Τα πράγματα που μπορείτε να κάνετε στο cloud θα είναι πάντα πιο εντυπωσιακά από τα πράγματα που μπορείτε να κάνετε σε ένα τηλέφωνο».
Η διάκριση μεταξύ του τι μπορεί να κάνει το τηλέφωνό σας και του τι μπορεί να κάνει ένας διακομιστής cloud θα εξαφανιστεί στο παρασκήνιο
Ενδεικτική περίπτωση: λέει ότι αυτή τη στιγμή, τα τηλέφωνα Pixel εκτελούν διάφορες μικρότερες, βελτιστοποιημένες εκδόσεις του μοντέλου HDR Plus της Google στη συσκευή. Ωστόσο, το πλήρες «μητρικό» μοντέλο HDR Plus που έχει αναπτύξει η Google την τελευταία δεκαετία για τα τηλέφωνα Pixel της είναι πολύ μεγάλο για να εκτελεστεί ρεαλιστικά σε οποιοδήποτε τηλέφωνο. Και οι δυνατότητες τεχνητής νοημοσύνης στη συσκευή θα βελτιώνονται με την πάροδο του χρόνου, επομένως είναι πιθανό μερικοί πράγματα που θα μπορούσαν να γίνουν μόνο στο cloud θα μετακινηθούν στις συσκευές μας. Αλλά εξίσου, ό,τι είναι δυνατό στο cloud θα αλλάξει επίσης. Ο Ρέινολντς λέει ότι σκέφτεται το σύννεφο ως απλώς «ένα άλλο συστατικό» των δυνατοτήτων του Tensor.
Υπό αυτή την έννοια, Video Boost είναι μια ματιά στο μέλλον — είναι απλώς ένα μέλλον όπου το AI στο τηλέφωνό σας λειτουργεί χέρι-χέρι με το AI στο cloud. Περισσότερες λειτουργίες θα διεκπεραιωθούν από ένας συνδυασμός τεχνητής νοημοσύνης εντός και εκτός συσκευής, και η διάκριση μεταξύ του τι μπορεί να κάνει το τηλέφωνό σας και του τι μπορεί να κάνει ένας διακομιστής cloud θα εξαφανιστεί στο παρασκήνιο. Δεν είναι σχεδόν η «αχα» στιγμή που ήταν το Night Sight, αλλά θα είναι μια σημαντική αλλαγή στον τρόπο με τον οποίο σκεφτόμαστε τις δυνατότητες του τηλεφώνου μας.