Tech gender bias

La discriminazione di genere tocca anche le tecnologie digitali - che sono diretta espressione dei costumi di una società - e in particolare intelligenza artificiale, algoritmi e processi decisionali automatizzati. Ne ho parlato con Diletta Huyskes, ricercatrice nell’ambito del Digital Ethics e partner di Privacy Network.

Alessandro Isidoro Re - Prima di entrare nel succo della questione, vorrei fare una piccola intro: abbiamo da poco organizzato insieme un incontro digitale per IAB Forum, dove finalmente il tema della diversity e la presenza femminile sono state corpose. Credi stia cambiando davvero qualcosa nel mondo del digitale, della comunicazione e degli eventi a tal proposito?

Diletta Huyskes - In questo periodo in cui siamo immersi totalmente nel digitale possiamo sicuramente notare alcuni cambiamenti. Io per prima, come hai ricordato, sono stata per la prima volta invitata a diversi eventi a parlare di tecnologia e ne sono molto felice. Purtroppo non è affatto cosa scontata. 
Ultimamente noto parecchi incontri online indirizzati alla discussione di problemi come gender bias, gender gap, gender pay. Tutti temi che in generale cercano di sensibilizzare all’uguaglianza di genere, soprattutto nei posti di lavoro e non solo nel settore tecnologico. Appena esco dalla mia bolla, però, mi rendo conto che in questi mesi abbiamo assistito anche a molti episodi contrari: eventi, anche grossi, con liste infinite di relatori uomini e totale assenza di donne. Mi è capitato di fare una riflessione simile di recente riguardo ad un libro. Mi ricordo di aver commentato insieme a un’altra ricercatrice il fatto che mentre noi parlavamo di bias di genere nell’IA, a inizio pandemia, è uscito in libreria un saggio filosofico sulla tecnologia, edito per un’autorevole casa editrice, contenente il contributo di 20 autori. Tutti e 20 uomini. E mi è passata la voglia di acquistarlo, dato che per me oggi è impossibile pensare al mondo tecnologico astraendolo dal suo potenziale sessismo. Anche qui, come nel caso degli eventi, mi chiedo: com’è possibile analizzare criticamente un fenomeno come quello delle nuove tecnologie da una prospettiva esclusivamente maschile? Come può quello maschile venire considerato come un punto di vista neutro, quando esistono altri generi e quindi altre prospettive? È evidente che le donne non vengono ancora considerate allo stesso livello degli “esperti” uomini. L’impressione è quella che ci troviamo in una fase intermedia, che grazie anche a una nuova ondata femminista si stia procedendo verso una maggiore inclusione: l’esempio di quei relatori e relatrici che ultimamente disertano e rifiutano inviti a quegli eventi che non garantiscono parità di genere fa sicuramente ben sperare… Oltre ovviamente a quelle realtà che stanno già dando un esempio positivo per andare incontro a quella che dovrebbe essere la normalità, più che la diversità.

AIR - Bene, facciamo un lavoro di riassunto e semplificazione, a costo di annoiare qualcun*: cosa intendiamo per bias - soprattutto nel contesto tecnologico digitale - e, di conseguenza, cosa significa la formula "gender bias" applicata ad algoritmi e intelligenza artificiale?

DH - Il termine “bias” è un termine profondamente tecnico, utilizzato in psicologia, statistica, informatica e moltissime altre discipline e dipendente dal contesto, tanto che è difficile tradurlo in italiano. La traduzione italiana “pregiudizio” tende a tralasciare un significato ben più ampio. Il bias, infatti, oltre ad indicare comunemente un pregiudizio generalizzato, indica un errore sistematico. Per questo è un concetto molto adatto a descrivere tutti gli stereotipi di genere. Con “gender bias” si indica infatti un errore di classificazione (di matrice sociale) che porta a trattare le persone in modo iniquo e diverso in base al genere di appartenenza, e che colpisce soprattutto le donne (e i generi diversi da quello maschile dalla nascita). Nel caso dei bias algoritmici, è interessante pensare come lo stesso termine venga utilizzato sia come in questo caso per indicare dei pregiudizi perpetrati dagli algoritmi, sia dall’informatica per descrivere una stima non corretta o delle classificazioni problematiche.
Si tratta di ciò che un algoritmo svolge quotidianamente: stimare e classificare. Ovviamente non sempre ci prende, a volte sbaglia, niente di grave verrebbe da pensare. Ma cosa significa oggi un errore algoritmico? È questo il punto.
In un momento storico in cui affidiamo miliardi di decisioni ad algoritmi (vengono usati dalla polizia, dai governi, dalle aziende per erogare servizi “personalizzati” e concedere o meno dei servizi in base all’affidabilità che secondo l’algoritmo abbiamo come individui), una loro classificazione sbagliata causa danni reali e importanti. Basti pensare al fatto che il mercato del lavoro, soprattutto quello tecnologico, non è abituato storicamente (per colpa di discriminazioni sociali) ad assumere donne; pertanto, quando si assegna a un algoritmo il compito di scremare dei CV per scegliere dei candidati, come ha fatto Amazon qualche anno fa, succede che l’algoritmo scarti tutte le donne. Questo è ciò che intendo con errore sistematico.

AIR - In quali contesti si applica maggiormente questo squilibrio di genere in conseguenza a tali pregiudizi di base?

DH - Gli effetti si notano in qualsiasi contesto in cui vengono impiegati processi algoritmici in supporto alle decisioni umane. L’ambito sanitario, quello lavorativo, quello bancario, la sicurezza e il controllo, l’attraversamento dei confini, sono tutti contesti altamente automatizzati.
In base a una decisione algoritmica si può concedere o meno un prestito, per esempio, oppure un passaporto. Le macchine non solo riflettono le nostre discriminazioni sociali. Purtroppo hanno anche il potere di amplificarle. Molto spesso, la colpa risiede nella scelta dei dati su cui addestrare l’algoritmo, che idealmente dovrebbero cambiare di volta in volta, in base al compito che il sistema deve svolgere. Molte volte però non è così, e per motivi pratici e di convenienza vengono usati gli stessi dataset per fini completamente diversi. Questo crea squilibri incredibili.
Questi dataset, poi, molto spesso presentano un problema: mancano di dati specifici di genere. L’errore commesso da Amazon nell’impiegare un algoritmo per reclutare nuovi dipendenti è stato quello di addestrarlo sui dati storici: il sistema, in questo modo, ha imparato che siccome negli anni l’azienda ha assunto quasi solo uomini, doveva essere di nuovo così. I dati storici però hanno un grande limite: non percepiscono il progresso, non ne hanno la “sensibilità”. La quantità di dati utilizzati per formare il set di dati è fondamentale per avere una rappresentazione accurata e diversificata della popolazione.
Per essere abbastanza rappresentativo, un algoritmo dovrebbe essere addestrato su enormi quantità di dati, che andrebbero selezionati secondo specifici criteri di inclusività. Se ci immaginiamo un algoritmo che viene creato per fare predizioni di interesse pubblico, e che quindi verrà applicato a tutta la popolazione di una certa area, capiamo che i dati su cui viene addestrato dovrebbero rappresentare la pluralità tipica della nostra società, composta in ugual modo da donne e uomini, altri generi non binari, di diversa provenienza, età e appartenenza sociale. Troppe volte si presta poca attenzione ai dati e a chi appartengono, e soprattutto alla loro enorme potenzialità. Essi infatti ci dicono molto di ciò che siamo come società.
Come ricorda Caroline Criado Perez nel suo libro Invisible Women, queste differenze sull’appartenenza dei dati vengono ignorate, e si procede come se il corpo maschile e la sua esperienza di vita fossero neutri dal punto di vista del genere. È lo stesso motivo per cui molti computer collegano automaticamente la donna al ruolo di “casalinga” e l’uomo a quello di “professionista”. Questa mancanza è già una forma di discriminazione contro le donne, e rappresenta la sua forma “automatizzata” e per questo molto preoccupante. In un periodo storico in cui i dati sono così importanti, poi, questo discorso se possibile diventa ancora più rilevante.

AIR - Perché è così difficile controllare gli algoritmi e relativi bias? Cosa intendiamo per "black box"?

DH - Ci sono varie ragioni per cui l'output di una decisione algoritmica può risultare discriminatorio - pertanto i motivi di difficoltà nel rilevare questi bias sono molteplici.
Innanzitutto perché, trattandosi di pregiudizi sociali, possono essere nella mente di chiunque sia coinvolto in un qualsiasi momento della creazione di un algoritmo. Un algoritmo (parliamo di casi complessi, come quello del machine learning) viene ideato, pensato, e poi programmato e addestrato su dei dati. Le fasi che portano alla sua creazione sono quindi tante e altamente complesse. Sono stati studiati ed individuati vari tipi di bias in base al momento del processo in cui si originano [1]. Ci sono i bias storici, i bias di training, quelli di focus, quelli di risultato… Ognuno di questi è la diretta conseguenza di una scelta di design. A incorporare un bias nel processo algoritmico potrebbe essere qualsiasi essere umano (al 70% sono uomini) coinvolto nella sua creazione, e quindi programmatori, designer, ideatori e così via… Queste persone possono inconsapevolmente introdurre uno stereotipo all’interno della macchina, perché i pensieri e le considerazioni personali di chi crea questi pezzi di tecnologia incide inevitabilmente sul risultato finale. Anche se parliamo di intelligenza artificiale, vale la pena sottolineare che siamo ancora noi a crearla.
Un altro problema, il più consistente e importante, riguarda come accennavi tu il fenomeno della “scatola nera”.
Semplificando, viene utilizzata questa metafora per indicare l’elevato livello di complessità quando si tratta di analizzare un processo algoritmico: il perché di certe scelte, l’utilizzo di quali  criteri, il peso che è stato dato a determinate variabili. Molto spesso si tratta di modelli così complessi che diventa impossibile accedere a queste informazioni anche per i tecnici del settore. Un linguaggio codificato che non permette di estrapolare informazioni chiare.
Oltre alla complessità tecnica, però, i motivi che portano all’effetto “black box”, sono anche di tipo commerciale: gli algoritmi possono essere protetti da segreto industriale e quindi non accessibili. Il GDPR (regolamento europeo sui dati personali) è l’unico set di norme che abbiamo al momento in Europa a regolare indirettamente anche l’intelligenza artificiale, e richiede l’utilizzo di algoritmi trasparenti e comprensibili. Troppo spesso però la legittimità di questi algoritmi si può verificare solo quando arrivano nei tribunali, quando l’effetto è così negativo da dover richiedere il loro intervento. 

AIR - Non solo genere: quali altri gruppi sociali subiscono discriminazioni "tecnologiche"?

DH - Accade esattamente ciò che accade nella realtà, essendo la tecnologia un diretto riflesso di essa.
Quindi, se le donne subiscono discriminazioni, figuriamoci uomini e donne transessuali, o chiunque si riconosca in un’identità diversa dal binarismo di genere. E poi, ovviamente, ogni altra forma di discriminazione viene ingigantita: soprattutto nei confronti delle persone di colore, vittime di strali digitali ancor più che le donne, persone svantaggiate economicamente, rifugiati, immigrati…
Un esempio perfetto è quello della sorveglianza biometrica: tecnologia di intelligenza artificiale che consiste nel collegare database che contengono miliardi di dati e informazioni con un sistema di riconoscimento dei volti, o dell’iride, o della voce. Ci sono diversi autorevoli studi che dimostrano come questi sistemi falliscano nel riconoscere le persone di colore, sia nel caso dei volti sia in quello delle voci. Basta cercare “racial bias AI” e si trovano infiniti risultati. Stiamo parlando di percentuali di errore altissime: 50, 60, 70%. Addirittura più del 90%, se pensiamo all’esempio della polizia di Detroit, che quest’anno ha arrestato due uomini solo perché in entrambi i casi un sistema di riconoscimento facciale aveva suggerito un match sbagliato tra i loro volti catturati in tempo reale da una videocamera e le foto segnaletiche in dotazione alla polizia. Prima di arrestarli, nessun essere umano si è preoccupato di verificare l’attendibilità di quel match, e ora uno dei due uomini ha fatto causa alla polizia: nel frattempo ha perso il lavoro e, a quanto racconta lui stesso, anche la reputazione.

AIR - E ora un po' di speranza... Quali sono, secondo te, proposte fattibili e realizzabili nel breve periodo per risolvere tale problema almeno in alcuni ambiti?

DH - Esistono soluzioni su diversi livelli per contrastare i bias algoritmici. Ovviamente la sensibilizzazione è solo il primo passo, per quanto fondamentale: ma diffondere questo problema – su cui ancora c’è poca informazione – potrebbe scatenare già un “rumore” positivo.
Esistono anche soluzioni algoritmiche, naturalmente: sempre più aziende e gruppi di ricerca stanno costruendo dei software di bias detection o di valutazione del rischio (come AI Fairness360, Spellcheck for Bias, Ethical Bias Check e molti altri), che in modalità diverse hanno lo scopo di individuare un bias all’interno del processo e di evidenziarlo affinché venga rimosso. Si tratta però di soluzioni che rimediano a un errore che bisognerebbe puntare in futuro a sradicare completamente. E per farlo sono necessari innanzitutto più controlli e più regole su quei set di dati iniziali, per renderli più inclusivi possibile. Il resto lo dobbiamo fare noi nella nostra società: l’assunzione di più donne nel settore tecnologico e la loro presenza nei luoghi decisionali, per fare in modo che le tecnologie siano eque e solidali sin dal loro concepimento, dimostrando che non esiste un genere neutro maschile.
Chiaramente, gli interventi più necessari sono quelli legislativi. Occorrono politiche chiare, in un periodo storico guidato dai dati. Al di là della pandemia, servono delle regolamentazioni specifiche indirizzate all’intelligenza artificiale. Se è vero che faranno presto a diventare obsolete, è anche vero che dobbiamo adeguarci il prima possibile a un futuro da cui non si può scappare. Stiamo dimostrando di essere già in ritardo: decidere cosa regolare e cosa “bannare” definitivamente è una scelta obbligata.
È fondamentale ricordarsi che la tecnologia è un fenomeno politico. C’è sempre chi la invoca, chi richiede il suo intervento, e chi decide di crearla secondo determinati criteri.
E, in quanto tale, va governata.

Pubblicato:
07-12-2020

Ultima modifica:
07-12-2020