Η Rite Aid, η αλυσίδα φαρμακείων, χρησιμοποίησε τεχνολογία αναγνώρισης προσώπου για να προσδιορίσει λανθασμένα και δυσανάλογα έγχρωμους και γυναίκες ως πιθανούς κλέφτες καταστημάτων, δήλωσε την Τρίτη η Ομοσπονδιακή Επιτροπή Εμπορίου, περιγράφοντας ένα σύστημα που έφερε σε αμηχανία τους πελάτες και εγείρει νέες ανησυχίες σχετικά με τις προκαταλήψεις που χρησιμοποιούνται σε τέτοιες τεχνολογίες. .
Σύμφωνα με τους όρους ενός διακανονισμού, η Rite Aid θα απαγορεύεται να χρησιμοποιεί τεχνολογία αναγνώρισης προσώπου στα καταστήματά της για σκοπούς επιτήρησης για πέντε χρόνια, είπε η FTC. Η υπηρεσία, η οποία επιβάλλει τους ομοσπονδιακούς νόμους για την προστασία των καταναλωτών, φάνηκε να σηματοδοτεί πόσο σοβαρά θα ανταποκρινόταν στις ανησυχίες σχετικά με την τεχνολογία αναγνώρισης προσώπου.
Η καταγγελία 54 σελίδων της FTC έριξε επίσης φως στο πώς μια κάποτε θεωρητική ανησυχία – ότι η ανθρώπινη μεροληψία θα εισχωρούσε στους αλγόριθμους τεχνητής νοημοσύνης και θα ενίσχυε τις διακρίσεις – έχει γίνει αιτία ανησυχίας στον πραγματικό κόσμο.
Ο Samuel Levine, διευθυντής του Γραφείου Προστασίας Καταναλωτών της FTC, δήλωσε σε μια δήλωση ότι «η αλόγιστη χρήση συστημάτων παρακολούθησης προσώπου από την Rite Aid άφησε τους πελάτες της να αντιμετωπίζουν ταπείνωση και άλλες βλάβες».
Από τον Οκτώβριο του 2012 έως τον Ιούλιο του 2020, ανέφερε η καταγγελία, οι υπάλληλοι της Rite Aid που ενεργούσαν με ψευδείς ειδοποιήσεις από τα συστήματα ακολουθούσαν πελάτες γύρω από καταστήματα, τους έψαξαν, διέταξαν ορισμένους να φύγουν και, αν αρνούνταν, κάλεσαν την αστυνομία για να τους αντιμετωπίσει ή να τους απομακρύνει, κατά καιρούς μπροστά σε φίλους και οικογένεια.
Οι ενέργειες της Rite Aid επηρέασαν δυσανάλογα τους έγχρωμους, ιδιαίτερα τους μαύρους, τους Ασιάτες και τους Λατίνους, όλα στο όνομα της διατήρησης «προσώπων ενδιαφέροντος» από εκατοντάδες καταστήματα Rite Aid σε πόλεις όπως η Νέα Υόρκη, η Φιλαδέλφεια και το Σακραμέντο, ανέφερε η FTC.
είπε η Rite Aid σε ανακοίνωσή της ότι ενώ διαφώνησε με τις κατηγορίες της FTC, ήταν «ευχαρίστως να καταλήξει σε συμφωνία».
«Οι ισχυρισμοί σχετίζονται με ένα πιλοτικό πρόγραμμα τεχνολογίας αναγνώρισης προσώπου που η εταιρεία ανέπτυξε σε περιορισμένο αριθμό καταστημάτων», ανέφερε η εταιρεία. «Η Rite Aid σταμάτησε να χρησιμοποιεί την τεχνολογία σε αυτή τη μικρή ομάδα καταστημάτων πριν από περισσότερα από τρία χρόνια, πριν ξεκινήσει η έρευνα της FTC σχετικά με τη χρήση της τεχνολογίας από την εταιρεία».
Ο διακανονισμός με την Rite Aid έρχεται περίπου δύο μήνες μετά την υποβολή αίτησης από την εταιρεία πτωχευτική προστασία και ανακοίνωσε σχέδια για κλείσιμο 154 καταστημάτων σε περισσότερες από 10 πολιτείες.
Η Rite Aid χρησιμοποιούσε την τεχνολογία αναγνώρισης προσώπου καθώς οι αλυσίδες λιανικής σήμαναν συναγερμό για κλοπές καταστημάτων, ειδικά για το «οργανωμένο λιανικό έγκλημα», στο οποίο πολλοί άνθρωποι κλέβουν προϊόντα από πολλά καταστήματα για να τα πουλήσουν αργότερα στη μαύρη αγορά.
Αυτές οι ανησυχίες ώθησαν πολλά καταστήματα, συμπεριλαμβανομένης της Rite Aid, να προστατεύσουν τα εμπορεύματα κλειδώνοντας μεγάλο μέρος τους σε πλαστικές θήκες.
Αλλά αυτές οι ανησυχίες φαίνεται να έχουν ξεπεραστεί. Αυτόν τον μήνα, το Η Εθνική Ομοσπονδία Λιανικού Εμπορίου ανακάλεσε την εσφαλμένη εκτίμησή της ότι το οργανωμένο έγκλημα λιανικής ήταν υπεύθυνο για σχεδόν το ήμισυ των εμπορευμάτων των καταστημάτων 94,5 δισεκατομμυρίων δολαρίων που εξαφανίστηκαν το 2021. Οι ειδικοί λένε ότι ο αριθμός είναι πιθανώς πιο κοντά στο 5%.
Η Rite Aid δεν ενημέρωσε τους πελάτες ότι χρησιμοποιούσε την τεχνολογία στα καταστήματά της και οι υπάλληλοι «αποθαρρύνονταν να αποκαλύψουν τέτοιες πληροφορίες», ανέφερε η FTC.
Δεν είναι σαφές πόσοι άλλοι λιανοπωλητές χρησιμοποιούν τεχνολογία αναγνώρισης προσώπου για επιτήρηση. Macy’s είπε στο Business Insider ότι το χρησιμοποιεί σε ορισμένα καταστήματα. Κατάστημα ειδών σπιτιού αναφέρει στην ιστοσελίδα της ότι συλλέγει «βιομετρικές πληροφορίες, συμπεριλαμβανομένης της αναγνώρισης προσώπου».
Ο Alvaro M. Bedoya, ο επίτροπος της FTC, δήλωσε σε μια δήλωση ότι «το ωμό γεγονός ότι η παρακολούθηση μπορεί να βλάψει τους ανθρώπους» δεν πρέπει να χαθεί στις συζητήσεις σχετικά με το πώς η παρακολούθηση παραβιάζει δικαιώματα και εισβάλλει στην ιδιωτική ζωή.
«Είναι σαφές εδώ και χρόνια ότι τα συστήματα αναγνώρισης προσώπου μπορούν να αποδώσουν λιγότερο αποτελεσματικά για άτομα με πιο σκούρο δέρμα και γυναίκες», είπε ο κ. Bedoya.
Ο Woodrow Hartzog, καθηγητής Νομικής στο Πανεπιστήμιο της Βοστώνης που έχει ερευνήσει τις τεχνολογίες αναγνώρισης προσώπου και την FTC, είπε ότι η καταγγελία της υπηρεσίας κατά της Rite Aid δείχνει ότι θεωρεί την τεχνολογία επιτήρησης AI ως σοβαρή απειλή.
Ο στόχος της καταγγελίας του οργανισμού ήταν σημαντικός, είπε ο καθηγητής Hartzog. Παρόλο που η Rite Aid προσέλαβε δύο εταιρείες που δεν κατονομάζονται για να βοηθήσουν στη δημιουργία μιας βάσης δεδομένων με άτομα που θεωρούσε πιθανό να κλέψουν καταστήματα, η FTC χρησιμοποίησε μόνο την Rite Aid.
Η FTC, είπε, βασικά λέει ότι «η ένοχη συμπεριφορά που στοχεύουμε είναι η αποτυχία να κάνουμε τη δέουσα επιμέλεια όταν εργαζόμαστε με άλλους προμηθευτές».
Η καταγγελία σημειώνει ότι η Rite Aid χρησιμοποίησε τα συστήματα επιτήρησης σε αστικές περιοχές και κατά μήκος των διαδρομών των δημόσιων συγκοινωνιών, οδηγώντας σε δυσανάλογη επίδραση στους έγχρωμους ανθρώπους, δήλωσαν αξιωματούχοι.
Περίπου το 80 τοις εκατό των καταστημάτων Rite Aid βρίσκονται σε περιοχές όπου οι λευκοί είναι η μεγαλύτερη φυλετική ή εθνική ομάδα. Ωστόσο, το 60 τοις εκατό των καταστημάτων Rite Aid που χρησιμοποιούσαν την τεχνολογία αναγνώρισης προσώπου ήταν σε περιοχές όπου οι λευκοί δεν ήταν η μεγαλύτερη φυλετική ή εθνική ομάδα, σύμφωνα με την FTC
Η Rite Aid εκπαίδευσε υπαλλήλους ασφαλείας στα καταστήματά της να τροφοδοτούν εικόνες σε μια «βάση δεδομένων εγγραφών» ατόμων που θεωρούσε «άτομα ενδιαφέροντος» και οι εργαζόμενοι κλήθηκαν να «πιέσουν για όσο το δυνατόν περισσότερες εγγραφές». Οι βάσεις δεδομένων ήταν γεμάτες με εικόνες χαμηλής ποιότητας, πολλές από τις οποίες ελήφθησαν από κλειστό κύκλωμα τηλεόρασης, κάμερες κινητών τηλεφώνων και αναφορές μέσων ενημέρωσης, ανέφερε η FTC.
Αυτό το ελαττωματικό σύστημα, είπαν αξιωματούχοι, προκάλεσε χιλιάδες «ψευδώς θετικά αντιστοιχίσεις» ή ειδοποιήσεις που έδειχναν εσφαλμένα ότι ένας πελάτης ήταν «ταίριασμα» για ένα άτομο στη βάση δεδομένων της Rite Aid. Ακόμη χειρότερα, η Rite Aid δεν είχε τρόπο να παρακολουθεί ψευδώς θετικά αποτελέσματα, ανέφερε η καταγγελία.
«Η αποτυχία της Rite Aid να εκπαιδεύσει ή να επιβλέπει κατάλληλα τους υπαλλήλους που χειρίζονταν την τεχνολογία αναγνώρισης προσώπου αύξησε περαιτέρω την πιθανότητα πρόκλησης βλάβης στους καταναλωτές», ανέφερε η FTC.
Σε μια περίπτωση, οι υπάλληλοι της Rite Aid σταμάτησαν και έψαξαν ένα 11χρονο κορίτσι το οποίο το σύστημα είχε επισημάνει ψευδώς ως άτομο πιθανό να διαπράξει κλοπή.
Σε ένα άλλο παράδειγμα που αναφέρεται στην καταγγελία, ένας μαύρος άνδρας έγραψε στην Rite Aid αφού έπεσε θύμα ψευδώς θετικού αγώνα αναγνώρισης προσώπου.
«Όταν μπαίνω σε ένα κατάστημα τώρα είναι περίεργο», είπε, προσθέτοντας: «Κάθε μαύρος δεν είναι κλέφτης ούτε πρέπει να τον κάνει να νιώθει σαν».