L’illusione della neutralità: perché l’IA può essere discriminatoria e cosa possiamo fare

a cura di Linda Serra CEO @WorkWideWomen

“I dati con cui vengono addestrati gli algoritmi hanno caratteristiche e problematiche che portano a modelli incorporanti stereotipi e discriminazioni di genere, razza, etnicità e stati di disabilità. Suprematismo bianco, misoginia e ageismo etc… sono fin troppo presenti nei dati di addestramento: non solo eccedono la loro presenza in rapporto alla popolazione media ma la creazione di questi modelli, con questi dati, può ulteriormente amplificare i pregiudizi (bias) e danni”. Timnit Gebru co-leader del team di etica per l’intelligenza artificiale di Google Mountain View

Timnit Gebru fondatrice di Black in AI e una della maggiori autorità in tema AI è stata licenziata in tronco per aver pubblicato l’articolo “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?” attraverso il quale metteva in guardia già nel 2021 dal rischio di sviluppo di modelli intelligenti che se «addestrati» con l’uso di testi tratti dal web, sono a forte rischio di introiettare concetti sessisti, razzisti e persino violenti. Del resto già nel 2015 il sistema AI di Google Photo aveva classificato persone Afroamericane come gorilla.

Il problema dei Bias nei sistemi di intelligenza Artificiale è un tema noto che preoccupa le persone addette ai lavori già da diversi anni ed è stato provato in diverse occasioni. Ma per quale motivo un sistema artificiale dovrebbe basare le scelte che tutti i giorni, sempre di più deleghiamo ai nostri dispositivi, su stereotipi e pregiudizi di genere, razzisti abilisti e così via?

La risposta è abbastanza ovvia: i sistemi AI apprendono in diversi modi e da diverse fonti come ad esempio addestramento da parte dei team di sviluppo, dataset oppure dalle informazioni che trovano online. Quale che sia il metodo di istruzioni del sistema un fatto è certo: sia il mindset di chi sviluppa, che i dataset che le informazioni online sono pieni di informazioni colme di stereotipi e pregiudizi sessisti, razzisti omofobi e abilisti.

Pensare che un sistema di AI sia privo di bias, sarebbe come pretendere che una persona umana lo sia. I modelli generativi di AI lavorano analizzando vaste quantità di testi, immagini e altri tipi di dati forniti dall’intelligenza naturale, imparando a individuare schemi, stili e tendenze di pensiero. Attraverso questo processo di apprendimento automatico “i modelli AI diventano sempre più capaci di creare contenuti che imitano in modo convincente il modo di esprimersi delle persone umane“ i pregiudizi che inducono i sistemi di AI a fare false supposizioni su determinati gruppi di persone o a sbagliare l’identificazione delle persone non bianche nel riconoscimento facciale, sono essenzialmente un riflesso dei pregiudizi prevalenti nella società” [Alexei Oreskovic, "The biggest with AI is us"], questo rende essenziale un’attenta revisione dei dataset utilizzati nell’addestramento della AI per garantire che i modelli generativi operino in modo equo, trasparente e privo di bias.

L’automazione porta certamente vantaggi enormi e significativi sempre che siano impostati parametri corretti su cui basare il suo funzionamento. La raccolta dei dati può essere distante dalla realtà effettiva se i campioni escludono dal proprio perimetro alcune categorie di persona o se rispecchiano convinzioni basate su luoghi comuni duri a morire.

Il punto è proprio questo: non è l’intelligenza artificiale ad essere sessista, maschilista o abilista; è chi la programma, sviluppa e la addestra che lo è e trasferisce in essa stereotipi e pregiudizi che poi finiscono per influenzare le decisioni che vengono affidate ai sistemi.

Di fatto l’AI, essendo è creata da uomini (letteralmente purtroppo viste le percentuali di donne nel settore di sviluppo AI) riproduce i bias del cervello umano. Secondo il World Economic Forum, le donne rappresentano solo il 22% dei ruoli professionali dell’IA a livello globale, il che evidenzia la disparità di genere nel campo dell’IA. Soluzioni come ChatGPT di OpenAI hanno superato i 300 milioni di utenti medi settimanali, eppure le prime cinque aziende che creano Large Language Models sono guidate da uomini. E tra le otto Big Tech, Bloomberg ha rilevato che le donne ricoprono solo il 20% dei ruoli tecnici.

Il divario di genere tra le figure professionali che operano nel campo dell’IA è stato uno dei temi centrali della Conferenza Mondiale delle Donne di Davos 2025. In questa cornice, Microsoft Svizzera e l’Institute for Management Development (IMD) hanno presentato un white paper congiunto dal titolo “Mind the Gap: Why Bias in GenAI Is a Diversity, Equity and Inclusion Challenge” – un’analisi approfondita su come i bias di genere nei sistemi di IA rappresentino una sfida concreta per la diversità, l’equità e l’inclusione.

Il documento esplora le molteplici fonti dei pregiudizi di genere nei modelli di IA generativa, illustrando come questi si manifestano nei processi decisionali e quali impatti generano sui gruppi già sottorappresentati. Offre inoltre strumenti e approcci utili per riconoscere e mitigare tali distorsioni.

Nello stesso periodo in cui questo studio veniva diffuso, l’amministrazione Trump ha firmato tre ordini esecutivi volti a smantellare le politiche di promozione della DEIA (Diversità, Equità, Inclusione e Accessibilità) che, per decenni, hanno costituito la base normativa della lotta contro la discriminazione a livello federale.

L’evoluzione dell’intelligenza artificiale procede con una velocità crescente, e proprio per questo diventa essenziale investire in formazione STEM per le donne, ampliando le opportunità educative e professionali capaci di contrastare gli attuali squilibri di genere.

E’ necessario rendere visibile il contributo delle donne nell’IA e riportare questo tema al centro del dibattito pubblico. L’intelligenza artificiale sarà sempre più parte integrante delle nostre vite quotidiane e dei contesti professionali di domani – e garantire inclusione e rappresentanza in questo ambito non è solo auspicabile, ma strategico.

Questo squilibrio si traduce in sistemi poco rappresentativi, che riflettono un punto di vista parziale, prevalentemente maschile e occidentale.

Ora se questo può essere più o meno controllato nei rapporti tra umani, può creare delle difficoltà enormi quando i sistemi AI gestiscono diversi tipi di processi che le vengono sempre di più completamente demandati, come ad esempio processi HR, processi di gestione delle cure e cartelle mediche, gestione degli archivi legali, valutazione di rischi di recidiva nei processi, valutazioni professionali.

Oggi affidiamo ai sistemi AI le nostre decisioni in maniera del tutto automatica senza porci il benché minimo dubbio se l’opzione che ci viene fornita sia suggerita o meno da un pregiudizio o uno stereotipo.

Cosa succede se il sistema AI si basa su dataset pieni di stereotipi maschilisti o sessisti? Qui alcuni esempi di comportamenti discriminatori:

• Riconoscimento facciale: gli algoritmi funzionano meglio su volti maschili e bianchi. I margini di errore aumentano per le donne e le persone razzializzate.
• Assistenti vocali: per anni Siri, Alexa e altri sistemi hanno parlato con voce femminile, servile e accondiscendente, rafforzando stereotipi di genere.
• Algoritmi di recruiting: possono escludere candidature femminili perché “non in linea” con modelli di successo storici, spesso maschili.

In termini di applicazione ai processi HR di un sistema gender biased, può succedere quello che successe ad Amazon nel lontano 2018. L’azienda utilizzó un software AI per il recruitment allenato sui cv ricevuti da Amazon negli ultimi 10 anni (a maggioranza maschile vista la carenza di donne nel settore STEM) risultato: i cv selezionati per l’assunzione erano tutti di maschi perché il sistema scartava automaticamente i CV delle candidate donne, non riconoscendoli come validi.

Nei processi sanitari i sistemi di visione per categorizzare il tono della pelle si basano sulla scala di Fitzpatrick che, sviluppata per la classificazione in termini di reazione all’esposizione solare, non considera in modo adeguato le sfumature intermedie e le variabili presenti nelle persone dello stesso gruppo etnico che possono intervenire con età e condizioni mediche.

Applicazione forense: Molti studi legali utilizzano software di IA per:

• Analizzare contratti
• Cercare precedenti giuridici
• Sviluppare strategie difensive

Se i dataset su cui è allenata l’IA contengono prevalentemente decisioni prese da giudici uomini o precedenti in cui il ruolo delle donne era marginale, l’algoritmo può:

• Sottovalutare argomentazioni di parte femminile
• Dare meno peso a casi con soggettività femminili (es. in cause di molestie, discriminazione, custodia dei minori)

Nei paesi anglosassoni si usano algoritmi predittivi per valutare il rischio di recidiva e guidare decisioni su cauzioni o pene alternative; se i dati storici riflettono pregiudizi di genere o di natura etnica, l’IA può giudicare le donne come “meno attendibili” o le persone nere come più portate alla recidiva.

Il caso COMPAS

COMPAS è un algoritmo predittivo usato da molti tribunali americani per decidere:

• Se concedere o meno la libertà su cauzione
• Quale pena comminare
• Se ammettere un’imputata/o a misure alternative

Nel 2016, un’inchiesta della testata indipendente ProPublica ha rivelato che COMPAS sovrastimava sistematicamente, il rischio di recidiva per le persone nere e per le donne, rispetto ai dati reali di recidiva. Le cause del bias risiedevano nel fatto che l’algoritmo non considerava esplicitamente etnia o genere, ma usava proxy (es. quartiere di residenza, reddito, rete sociale, precedenti di familiari, età al primo arresto) che correlavano fortemente con l’appartenenza etnica o con il genere. Il risultato è una distorsione sistematica:

• Le donne nere erano classificate a rischio alto più del doppio rispetto agli uomini bianchi, a parità di reati.
• Le donne, in generale, tendevano a ricevere punteggi peggiori nonostante tassi di recidiva inferiori.

COMPAS è stato contestato in diversi appelli legali, ma i tribunali americani hanno spesso confermato l’uso dell’algoritmo. Tuttavia, il caso ha avuto grande risonanza internazionale, portando a richieste di trasparenza e auditing degli algoritmi predittivi. Soprattutto questo caso ha aperto molti dibattiti e interrogativi circa il ruolo dell’avvocatura nel filtrare e contrastare i bias di genere o relativi all’etnia nei sistemi di intelligenza artificiale.

Questo ruolo è oggi sempre più centrale, strategico e multidimensionale. Con l’adozione crescente di strumenti di IA nel settore legale, nella giustizia predittiva e nella pubblica amministrazione, l’avvocatura è chiamata non solo a usare la tecnologia, ma anche a interrogarla, monitorarla e regolarla.

Chi opera nella professione forense tutela i diritti delle persone. Questo significa dover essere capace di:

• Interrogare la logica dell’algoritmo: quali dati utilizza? Come valuta il rischio? Quali parametri vengono considerati?
• Verificare l’assenza di discriminazioni indirette: ad esempio, se l’IA penalizza sistematicamente donne, persone razzializzate o soggettività trans e non binarie sulla base di correlazioni errate o pregiudizi impliciti.

L’avvocato/a può inoltre richiedere e analizzare:

• La documentazione tecnica dell’algoritmo (black box vs explainable AI)
• Le metriche di performance disaggregate per genere, etnia, età, ecc.
• Le procedure di mitigazione del bias adottate dal fornitore

In ambito europeo, il Regolamento sull’IA (EU AI Act) assegna un ruolo attivo ai professionisti del diritto nel vigilare su IA ad alto rischio, tra cui quelle usate nella giustizia e nel lavoro. Come sta avvenendo in tutte le professioni e in diversi ambiti, è necessario che le competenze sull’utilizzo di tecnologia AI diventino competenze professionalizzanti ed è per questo che in tutte le aziende è all’ordine del giorno l’aggiornamento delle competenze delle persone di pari passo con l’aggiornamento degli strumenti e delle infrastrutture informatiche.

Quali sono le soluzioni che posso risolvere il problema dei Bias nei sistemi AI?

Eccone alcune:

Applicare linee guida precise è fondamentale: in un contesto libero da bias, l’intelligenza artificiale può evolvere da ostacolo per la DEIB a risorsa strategica. Se progettata e addestrata in modo etico e consapevole, l’IA può infatti diventare uno strumento di supporto concreto, in grado di rilevare squilibri e disuguaglianze spesso invisibili.

Un esempio significativo riguarda i Large Language Models (LLM) – modelli linguistici avanzati, capaci di comprendere e generare testi in linguaggio naturale (come ChatGPT) – che, se allenati su basi inclusive, possono essere utilizzati per correggere espressioni discriminatorie o esclusive all’interno degli annunci di lavoro. Questo contribuisce a garantire che persone appartenenti a gruppi storicamente marginalizzati – come chi vive con disabilità – non vengano indirettamente escluse o scoraggiate nel candidarsi per una posizione.

Un’applicazione concreta di questo approccio si è vista nel settore bancario, dove le richieste di credito da parte delle donne risultano spesso svantaggiate. Attraverso interventi mirati sui dati di addestramento, è stato possibile mitigare i bias presenti nei sistemi decisionali automatici, rendendo gli algoritmi di machine learning più equi e trasparenti nel valutare richieste di mutui e prestiti.

In questo scenario, è cruciale non solo utilizzare modelli di IA privi di pregiudizi nei processi di selezione, ma anche investire in formazione continua su diversità, equità e inclusione, per promuovere un uso più critico e consapevole di questi strumenti.

Serve un approccio proattivo e responsabile, che preveda un monitoraggio costante e l’aggiornamento regolare dei modelli affinché la trasformazione digitale proceda in sintonia con i valori di equità e rappresentanza.

Solo così imprese e istituzioni potranno guidare con efficacia un cambiamento autentico, verso una digitalizzazione inclusiva, capace di coniugare innovazione tecnologica e rispetto dei diritti e delle differenze.

Integrare la DEIB nei sistemi di IA non è solo una scelta etica, è una responsabilità collettiva. Come persone addette ai lavori, organizzazioni e istituzioni, possiamo — e dobbiamo — pretendere trasparenza, inclusione e giustizia algoritmica.