Nei primi decenni dell’Ottocento Samuel Morton aveva collezionato un numero impressionante di crani umani. Confrontandoli e classificandoli, sulla base delle dimensioni e della forma, aveva stabilito alcune caratteristiche e li aveva categorizzati. Le sue teorie sulla craniometria giustificarono il sentimento dell’epoca, ovvero che alcune razze fossero superiori alle altre. Inoltre – come misero in evidenza gli scienziati nel corso degli anni successivi – Morton utilizzò procedure piuttosto fallaci, corresse dei dati, modificò alcuni risultati: il suo scopo era legittimare quanto si riteneva in quel momento storico e fornire a questi presupposti una cornice “oggettiva”, basata sui dati. Quasi due secoli dopo si è scoperto che alcuni “dataset” – le classificazioni con le quali vengono raccolti e suddivisi i dati – di molte aziende impegnate nel perfezionamento delle tecniche di riconoscimento facciale, ricadono nello stesso dilemma, producendo effetti discriminatori perché costruiti sui “bias”, ovvero i pregiudizi. Non si tratta solo di pregiudizi alla luce del sole o cognitivi; si tratta di preconcetti che rappresentano una visione del mondo che si finisce per perpetuare, ammantandola di scientificità. Così i sistemi di riconoscimento facciale, oggi, tendono a non riconoscere le persone nere o le donne, perché costruiti, modellati sulla base dei pregiudizi di chi li crea, tendenzialmente maschi, bianchi, occidentali. Numerose ricerche sui prodotti di “facial recognition” di alcune aziende hanno dimostrato che i sistemi forniscono una precisione di riconoscimento al 99 per cento nel caso di maschi bianchi e del 34 per cento per donne scure di carnagione.
Sono le stesse tematiche affrontate di recente dal documentario Netflix “Coded Bias”, che inizia proprio con una delle protagoniste che fallisce il riconoscimento facciale in quanto nera. Con l’utilizzo di una maschera bianca, invece, il sistema riconosce il volto. Non si tratta di un particolare da poco: in futuro questa tecnologia sarà sempre più comune e già oggi è utilizzata per pagare nei negozi, per entrare in uffici, case, parchi, aeroporti. O è già in uso delle polizie per condurre indagini e costruire modelli predittivi. Nelle future smart city il riconoscimento facciale sarà uno degli strumenti attraverso cui si eserciterà la cittadinanza.
Ma l’intelligenza artificiale, in realtà, non è né artificiale, né intelligente, né tantomeno è una tecnologia oggettiva o universale, perché incorporata in ambienti sociali, politici, culturali ben definiti. Le forme di intelligenza artificiale sono progettate per discriminare e amplificare le gerarchie, ammantando le discriminazioni con il sussidio della presunta oggettività dei Big Data. È quanto sostiene Kate Crawford in “Atlas of Ai - Power, Politics, and the Planetary Costs of Artificial Intelligence” (Yale University Press), un libro molto atteso di una delle ricercatrici che da più tempo indaga i pregiudizi dell’intelligenza artificiale, le sue connessioni con il potere e i suoi utilizzi ambigui.
Crawford, accademica e fondatrice di AI Now Institute a New York, elenca numerosi esempi di aziende (Ibm, Amazon, Google, Facebook e altre) i cui sistemi di riconoscimento facciale presentano discriminazioni per quanto concerne principalmente etnia e genere. L’originalità dell’opera di Crawford è la sua insistenza nel leggere queste tendenze tecnologiche in chiave fortemente politica: ai tanti esempi forniti nel volume, l’autrice premette il percorso che questo genere di argomenti tende a fare sui media, quando di volta in volta viene fuori una nefandezza da parte di qualche grande azienda (come ad esempio la scoperta di un “dataset” nel quale le persone sono classificate in base alla razza, proprio come accadeva 200 anni fa): la narrativa in corso sui pregiudizi dell’intelligenza artificiale, racconta Crawford, di solito inizia «con un giornalista investigativo o un informatore che rivela come un sistema di intelligenza artificiale stia producendo risultati discriminatori. La storia è ampiamente condivisa e l’azienda in questione promette di affrontare il problema», proponendo di effettuare interventi tecnici per migliorare il sistema. Secondo Crawford, però, non basta: intanto perché nella maggioranza dei casi i risultati e le correzioni «rimangono riservate e segrete», ma soprattutto perché «è molto più raro avere un dibattito pubblico sul motivo per cui queste forme di pregiudizio e discriminazione si ripresentano frequentemente». Non ci si chiede mai se il problema non sia tanto nel dataset, quanto piuttosto nel modo di concepire il mondo. Ogni classificazione, infatti, nasconde una visione particolare del mondo, ogni classificazione, spiega Crawford, costituisce uno strumento del potere.
«Concentrandoci sulla classificazione nell’intelligenza artificiale, scrive, possiamo tracciare i modi in cui si presume erroneamente che genere, razza e sessualità siano categorie biologiche naturali, fisse e rilevabili». Le macchine, per di più, fagocitano dati e imparano: i “bias” dunque si replicano e più dati sono immessi, più i pregiudizi saranno moltiplicati e radicati in profondità, perfino in un algoritmo. I Big Data, che appaiono come una nuova panacea per risolvere molti problemi legati alla sicurezza nelle nostre città, in realtà - sebbene possano sembrare astratti - sono strettamente collegati al luogo fisico e alla cultura umana. E i luoghi, come le persone, hanno il loro carattere e la loro particolarità. Le classificazioni non tengono conto delle sfumature, delle complessità. Più che chiederci “quanto”, suggerisce Crawford, dovremmo cominciare a chiederci “come e perché”.
A questo proposito, un caso da manuale di cui Crawford si è occupata nel tempo è l’app utilizzata dall’amministrazione di Boston, Street Bump. Per eliminare il problema delle buche nella città, l’app era in grado di rilevarle attraverso i sensori degli smartphone, agganciati al Global Positioning System. Ma c’era un problema: le persone a basso reddito negli Stati Uniti hanno meno probabilità di avere uno smartphone, e questo è particolarmente vero per i residenti più anziani, per i quali l’introduzione degli smartphone nel 2011 - quando il servizio fu lanciato - era del 16 per cento. Ne consegue un’attenzione maggiore al “decoro” delle zone dove presumibilmente abitano persone giovani, con redditi medio alti. I temi trattati da Crawford (che nel volume indaga anche il peso dell’intelligenza artificiale presente nei documenti rilasciati da Edward Snowden e la natura estrattiva di Big data e algoritmi) hanno dei risvolti molto pratici. Il riconoscimento facciale viene presentato da aziende e da governi come un ulteriore dispositivo di sicurezza di cui possiamo godere, o ne viene esaltata la sua utilità (indubbia) nella ricerca delle persone scomparse.
Le nostre società hanno da tempo varcato un confine: in cambio di sicurezza abbiamo accettato telecamere ovunque, in cambio di sicurezza ulteriore, rischiamo di accettarne di sempre più sofisticate. Le ricadute dei pregiudizi descritti da Crawford vanno a intessere quella ragnatela di dati, classificazioni e modelli che costituiscono l’architrave della sorveglianza contemporanea. In Italia, ad esempio, si parla di utilizzare queste tecnologie per riportare le persone negli stadi in epoca pandemica, ma non c’è alcuna norma che regoli il fenomeno; alcuni parlamentari del Pd hanno proposto di recente, e per la prima volta, una moratoria sull’utilizzo di questi sistemi di sorveglianza, in attesa di una risposta legislativa del Parlamento. Secondo uno degli estensori della proposta, Filippo Sensi, «la questione della privacy non è un vezzo o una ritrosia, una timidezza, ma il nostro spazio di libertà e dei diritti che la rendono viva. Senza ingenuità, dico: fermiamoci a riflettere su dove vogliamo andare». Anche perché i punti di approdo sono noti.
In “Predict and Surveil: Data, Discretion, and the Future of Policing” (Oxford University Press), la sociologa Sarah Brayne racconta come la polizia americana utilizzi analisi predittive e nuove tecnologie di sorveglianza per distribuire risorse, identificare sospetti criminali e condurre indagini, attraverso sistemi che elaborano un numero grandissimo di dati, estratti da ogni traccia che ciascuna persona lascia in giro, sia attraverso l’utilizzo dello smartphone, sia attraverso le videocamere a riconoscimento facciale (Brayne espone le tante caratteristiche dei sistemi di Palantir, una mega corporation che si occupa di dati e di sorveglianza, già denunciata da Edward Snowden). Parlando con decine di poliziotti, analizzando i sistemi di dataset e classificazione, Brayne sostiene che i Big Data finiscono per riprodurre i dispositivi esistenti di disuguaglianza, minacciando la privacy. Alla domanda rivolta a un agente su come agire nel caso di un errore della tecnologia, la risposta è stata: «Non lo sappiamo».
Si tratta di sfide epocali, di politica e di rapporti di forza, di trasparenza, di processi che la cittadinanza dovrebbe quantomeno conoscere. Secondo Kate Crawford, a questo proposito, dovremmo chiedere sempre spiegazioni circa l’uso dell’AI, mettendo in discussione la logica e la presunta oggettività della previsione statistica, dei dati e lottando contro quella che Donna Haraway ha definito “l’informatica del dominio”.
