Coded bias: il potere della disobbedienza

Coded bias: il potere della disobbedienza
Di Elena Esposto

Quando parliamo di Intelligenza Artificiale (AI) sono due le considerazioni che dobbiamo fare. La prima è chiederci che cosa intendiamo per intelligenza, e già qui potremmo scrivere tonnellate di parole. In secondo luogo dobbiamo mettere in chiaro che l’AI non è mai neutra.

La fantascienza per decenni ci ha abituatə a cose incredibili, super computer e robot talmente intelligenti da riuscire a prendere il controllo e imporre il loro dominio sull’umanità, ma le cose nella realtà stanno in tutt’altro modo.
Dietro gli algoritmi di intelligenza artificiale e machine learning non c’è magia, solo matematica. Che a mio avviso è almeno altrettanto affascinante (capisco se non ve la sentirete di essere d’accordo con me).
Insomma per farla breve, sì, i computer macinano moli enormi di dati riuscendo a fare previsioni su praticamente qualsiasi cosa, dai vostri voti all’università alla probabilità che restituirete quel mutuo, imparano a riconoscere la vostra voce e riescono a capire se in quella foto che quel vostro contatto a pubblicato su Facebook ci siete voi oppure no, ma tutto questo, di nuovo, non è magia.

Da qualche parte nel mondo, seppelliti in un laboratorio ipertecnologico, equipe di informatici, matematici e ingegneri scrivono righe e righe di codici e nutrono i loro algoritmi con migliaia di terabyte di dati. Se avete notato che questa volta ho utilizzato la declinazione maschile, bravə!, non è stato un caso. Perché, per la maggior parte, questo sono i cervelloni che stanno dietro agli algoritmi che governano le nostre vite: maschi e bianchi.

Immagino non serva che vi dica che questo ha un impatto non secondario. È quello che hanno scoperto Joy Buolamwini, studiosa del MIT, e Timnit Gebru ricercatrice di Microsoft nel 2018, e che viene raccontato nel documentario “Coded Bias”, disponibile su Netflix.
Durante il suo dottorato al MIT Joy si ritrovò a lavorare ad un progetto, l’Aspire Mirror, che utilizzava la tecnologia del riconoscimento facciale, una tecnologia che non funzionava molto bene, almeno sul viso di Joy. La studiosa si accorse infatti che il sistema non riconosceva il suo volto come tale, cosa che invece succedeva quando indossava una impersonalissima maschera bianca.

Joy Buolamwini

Joy e Timnit hanno portato alla luce l’inesattezza dei sistemi di riconoscimento facciale quando si tratta di persone dalla pelle scura, e in particolare di donne. Basti pensare che all’epoca della ricerca l’accuratezza del sistema di riconoscimento di IBM, uno dei leader nel settore informatico, era del 99,7% per i maschi di pelle chiara. Questa percentuale scendeva al 92,9% per le femmine di pelle chiara, all’88% per i maschi di pelle scura e al 65,3% per le femmine di pelle scura.
Insomma se eri una donna di colore avevi il 45% di probabilità di essere erroneamente identificata, con conseguenze spiacevoli come essere fermata per strada, o all’aeroporto o sui mezzi pubblici, perquisita, schedata.

Il motivo di questa mancanza di precisione è che gli algoritmi imparano sui dati che vengono loro forniti, e se i dati rispecchiano una società diseguale e con pregiudizi questo ha degli impatti. Se per insegnare ad un computer a riconoscere un viso forniamo solo foto di maschi bianchi, l’algoritmo non riconoscerà la diversità quando la incontrerà. Lo stesso vale se, per insegnare a un computer a riconoscere un criminale forniamo solo foto di maschi neri.
Trasferire i pregiudizi della società nella tecnologia crea problemi sociali enormi perché gli algoritmi governano moltissime aree della nostra vita. Come ha detto la studiosa Cathy O’Neal gli algoritmi sono efficaci strumenti di potere, e possono diventare pericolosissimi se usati male o dalle persone sbagliate.

Timnit Gebru

Studi hanno dimostrato, per esempio, che negli Stati Uniti una persona di colore ha molte meno probabilità di vedersi assegnare un mutuo dall’algoritmo e vedranno così diminuire le loro possibilità di avere una casa. Lo stesso vale per i premi assicurativi, che sono molto più alti per le persone di colore, o per le linee di credito per le carte intestate alle donne, le quali ottengono plafond minori di quelli dei loro mariti (anche in caso di conto cointestato!).

Gli algoritmi decidono un sacco di cose, da quelle più innocue come quale item apparirà nei suggerimenti di Amazon, o quale match troverete su Tinder o quale articolo consigliato vi apparirà sul quotidiano che leggete di solito, a quelle molto più importanti come se verrete ammessi all’università, quale premio assicurativo dovrete pagare, se potrete o meno ottenere una casa o se verrete assunti in quel posto di lavoro, e il loro problema principale è che non possono essere contestati perché nessuno sa davvero come funzionano, nemmeno chi li programma.

Esistono infatti categorie di algoritmi molto sofisticati, come ad esempio le reti neurali, che vengono comunemente chiamati “black box”. Il loro funzionamento e la loro efficacia possono essere valutati solo in base ai risultati perché nessuno sa esattamente in che modo identifichino nei dati i pattern che consentono loro di fare delle previsioni. Dal punto di vista sociale questa è una mancanza gravissima perché declina la responsabilità umana riversandola su modelli matematici che, ovviamente, non possono rispondere delle loro decisioni.

Capiamoci, da data analyst non mi sognerei mai di dire che l’AI sia il male assoluto anzi, ci risolve un sacco di problemi e ci semplifica anche la vita, ma dobbiamo stare attentə ed essere coscienti di quello che ci circonda. Finché i computer replicheranno il mondo così com’è, la tecnologia non potrà mai essere messa a servizio del progresso sociale e dell’eliminazione delle disuguaglianze.

Un esempio emblematico di come gli algoritmi imparino e replichino esattamente quello che vedono è Tay, il generatore automatico di Tweet sviluppato da Microsoft. Dopo solo 16 ore online Tay aveva appreso tutto quello che c’era da apprendere dall’utente medio di Twitter, diventando un pazzoide misogino e razzista che inneggiava all’Olocausto e augurava morte alle donne. Insomma, viene proprio da chiederci se noi umani siamo i più adatti ad insegnare alle macchine a pensare.

Cambiare il trend è una sfida non da poco. Per cambiare i dati dovremmo cambiare il mondo, e per cambiare il mondo dobbiamo cambiare i dati, quindi come si fa?

Penso che un primo passo sia quello dell’inclusione a monte, tra i programmatori e i cervelloni. Se ci sono dei problemi di non rappresentatività nei dati e nei risultati (e ci sono!) la storia ci insegna che non sarà un pugno di maschi bianchi ad accorgersene.
In secondo luogo forse dovremmo smetterla di affidarci totalmente a decisioni automatizzate. Se nel 1983 invece di  Stanisláv Evgráfovič Petróv ci fosse stato un computer a intercettare quello che poi si rivelò un falso allarme missilistico, a quest’ora forse non saremo qui a parlare di algoritmi.
Petróv disobbedì agli ordini e decise di ignorare la minaccia evitando di scatenare una guerra nucleare, prese una decisione umana e per questo viene ancora ricordato. Un computer non avrebbe mai potuto farlo proprio perché, in quanto non umano, non conosce quell’elemento che nella Storia più di una volta ci ha salvato la pelle: la disobbedienza.