Il dato è mio. Ma lo gestisco io?

Ciò che più consideriamo proiettato nel futuro in realtà può essere ciò che più rischia di ancorarci al passato, e con esso ad una bolla di vecchie e nuove discriminazioni. Parliamo di Big Data e algoritmi. E di discriminazioni di genere.

Nell’ultimo decennio lo sviluppo di nuove tecnologie nel campo dell’informatica, dei sensori e delle reti di comunicazione, cambiando profondamente le prassi della nostra quotidianità, ha fatto sì che la quantità di dati esistente e costantemente generata da transazioni economiche, relazioni personali sui social, siti che visitiamo, acquisti online, applicazioni, telecamere di monitoraggio e sistemi di mobilità – solo per fare degli esempi – sia abnorme. 

La scia elettronica di dati personali che disseminiamo costituisce la materia prima per elaborare modelli rappresentativi con connessioni il più delle volte ignorate dagli stessi proprietari dei dati. Ma perché dovremmo preoccuparci dell’uso che si fa dei nostri dati? La cosa che più comunemente si dice è “io non ho nulla da nascondere” E la risposta che non si da è “Potresti avere da nascondere – o meglio, da tutelare - più di quanto tu stess* sappia”. 
Di seguito qualche esempio.

I dati non interpretati sono sostanzialmente inutili. Dare forma e significato alla mole di dati personali raccolti da diverse fonti è compito degli algoritmi, appositamente programmati per aggregare le tracce digitali e individuarne correlazioni. 

Il rischio, però, è che gli algoritmi usati per decodificare la realtà- anche se elaborati da strumenti come i computer privi di emotività e pregiudizi - non siano elementi neutrali, con la conseguenza che procedure decisionali viziate producano un impatto deleterio sulla vita e sulle opportunità delle persone esponendo al rischio di produrre nuove ingiustizie e aumentare le diseguaglianze.  Discriminazione femminile inclusa.

Questo avviene non perché gli algoritmi siano programmati intenzionalmente per operare una discriminazione - in base al genere, all’etnia o al sistema culturale, ad esempio - ma l’effetto delle elaborazioni può comunque produrre una discriminazione per due ordini di fattori. Intanto perché gli algoritmi imparano dal passato e quel passato tendono a perpetrare: l’intelligenza artificiale viene addestrata attraverso l’inserimento di dati che riflettono lo storico delle cose, quindi nella fattispecie, nel caso delle donne, stipendi più bassi, scarsi ruoli di vertice, poche promozioni.  In secondo luogo, gli algoritmi vengono ottimizzati per un certo tipo di successo che in genere privilegia le persone considerate «di successo» nel passato, nella fattispecie quasi sempre uomini.
Esempio emblematico è quanto è accaduto durante selezioni organizzate da Amazon e per le quali lo screening dei curriculum era stato affidato ad un algoritmo “istruito” con informazioni sui criteri impiegati nelle assunzioni nel corso della storia della società. Considerato che la maggior parte dei dipendenti è di genere maschile, la macchina intelligente replicava la dinamica e, a parità di preparazione e skill, tendeva a favorire il curriculum di un uomo rispetto a quello di una donna dando, ad esempio, maggior peso ad una modalità di descrizione delle competenze utilizzato prevalentemente dagli uomini.
Amazon, per la cronaca, dopo aver tentato senza successo di correggere l’algoritmo, ha interrotto la sperimentazione. Ma non tutti gli utenti finali di un sistema di algoritmi, ovviamente, possono avere piena coscienza dei possibili problemi, a cominciare dalle modalità di scelta delle variabili.
Questa difficoltà di entrare nel merito delle scelte anche etiche delle macchine intelligenti rimanda inoltre alla questione della responsabilità. A chi sono da attribuire eventuali discriminazioni, a chi programma gli algoritmi o a chi li utilizza, spesso inconsapevolmente?

Quella sopra descritta rischiava di essere una discriminazione inconsapevole. Ma altre discriminazioni, più consapevoli e tradizionali possono essere messe in atto utilizzando le informazioni in rete. Profili social aperti e alimentati da fotografie, dettagli su vita personale, interazioni amicali potrebbero far si che ai selezionatori e potenziali datori di lavoro sia risparmiato di dover porre alla candidata – in sede di colloquio - l’imbarazzante domanda relativa alla vita sentimentale e a future pianificazioni familiari. Uno sguardo – non consentito dalle norme ma difficile da provare in sede di giudizio -a facebook o instagram potrebbe portare ad escludere a priori giovani donne il cui profilo virtuale sia caratterizzato da progetti di maternità.
Solo per inciso si segnala, qui, come le discriminazioni prodotte dalle tecnologie di analisi avanzata amplificano i profili critici riscontrati nella prassi applicativa di alcune norme lavoristiche, giacché chi denuncia un trattamento discriminatorio non ha di regola accesso a dati sufficienti a consentirgli di identificare le cause di una disparità di trattamento e pertanto il percorso si fa particolarmente accidentato in relazione alla prova della discriminazione. 

Ancora più invasiva, per la realtà strettamente personale femminile, è risultata essere una vicenda di sorveglianza e cessione non autorizzata di dati che ha coinvolto delle applicazioni femtech utilizzate dalle donne per monitorare ciclo mestruale, fertilità e gravidanza.
A finire sotto accusa è stata soprattutto un’applicazione americana, considerata responsabile di condividere, arbitrariamente, i dati inseriti dalle utilizzatrici con una serie di soggetti esterni. Con i datori di lavoro, potenzialmente interessati a capire quante dipendenti stanno tentando di avere un figlio o quante hanno gravidanze in atto; con le assicurazioni sanitarie, che possono utilizzare le informazioni per aumentare o ridurre i benefici della copertura sanitaria); con i pubblicitari, che, utilizzando teorie tese ad associare meccanismi biologici con quelli psicologici, sfruttano il ciclo ormonale delle utenti per vendite mirate: prodotti relativi all’apparire (moda, cosmetica) durante la fase fertile quando la possibilità di concepimento è maggiore, e prodotti legati alla casa e alla “cura del nido” nel periodo immediatamente successivo.

Ma c’è anche un problema speculare ai precedenti. Non solo informazioni in eccesso o eccedenti le finalità per le quali sono state conferite. Scarsità, parzialità o mancata disaggregazione di informazioni su elementi e questioni importanti per l’universo femminile, talvolta sono il problema speculare rispetto all’eccesso di tracciamento di dati. Quello che si decide di misurare è ciò che la società ritiene importante. Decisioni prese sulla base di dati parziali possono penalizzare una parte di popolazione. Di recente, nel campo delle malattie professionali, è emerso, ad esempio, come ci siano pochissime informazioni sulle potenziali conseguenze delle sostanze chimiche e le polveri usate dal personale dei centri estetici che si occupano della cura delle unghie e che sono nella quasi totalità dei casi esclusivamente donne.

Ciò che accomuna tutte le situazioni sopra descritte è l’oscurantezza. Quando la rete nacque, ci si ritrovò a salutare con favore l’ipotesi di trasparenza, orizzontalità e democrazia insita nella nuova tecnologia. Oggi invece potremmo trovarci nella condizione di vedere concesso o negato un prestito dipendentemente dal fatto che tra i nostri acquisti ci siano o meno i feltrini per i mobili. Analizzando i Big Data, infatti, sono state individuate associazioni inusuali per valutare il rischio finanziario di una persona: coloro che comprano i feltrini per i mobili rappresentano i clienti migliori per gli istituti di credito, perché più accorti e propensi a restituire i propri debiti nei tempi giusti. 

Fuor di paradosso e senza voler demonizzare la tecnologia e gli usi che possono farsene, è evidente la difficoltà, e non di meno la necessità, di governare in corsa un processo che pure per le donne potrebbe consentire nuove opportunità, a cominciare da una diversa gestione del tempo e della mobilità che la destrutturazione spazio/temporale insita nei nuovi sistemi potrebbe consentire di ripensare. 

La necessaria precondizione è lo sviluppo della consapevolezza degli impatti, che nella popolazione femminile risulta ulteriormente complicato dalle lacune nell'accesso alle Itc e ad altre tecnologie che generano dati oltre che dalle differenze nel modo in cui le donne e gli uomini usano la tecnologia, nella diversa partecipazione al mondo del lavoro legato all’high tech e nel grado di controllo che le donne e gli uomini hanno in genere su queste risorse e strumenti. 

Più di quanto già non si faccia, quindi, sarebbe utile - nella pubblica amministrazione, nel sindacato, nei sistemi produttivi, nel sistema giuridico, nell’istruzione, nell’organizzazione del lavoro, nei sistemi di comunicazione, nell’espressione artistica - guardare all’utilizzo dei dati dal punto di vista delle donne. In un processo di analisi dei rischi, di simulazione degli effetti e di individuazione di carenze e ambiti di sviluppo che abbia l’obiettivo di comprendere e far comprendere meglio. Per trovare soluzioni di impatto positivo e incidere sulla possibile parzialità algoritmica e la scarsa trasparenza dei processi decisionali automatizzati che rischiano di andarsi a sommare alle ancora non del tutte superate discriminazioni più antiche.

3 commenti

Edoardo Igini

Edoardo Igini16/10/2020 - 13:02

Il tema della performance, che può essere sia individuale che organizzativa, è strettamente collegato, nella legislazione in materia, a quello della prevenzione della corruzione. Infatti, vengono previste quali misure anticorruzione, la formazione e la rotazione del personale soprattutto nelle aree dove è più probabile il rischio e quindi l'evento corruttivo. Le P.A., munendosi possibilmente di un Codice di comportamento, devono stimolare la crescita professionale dei dipendenti, perchè è risaputo che, potendosi commettere un illecito anche inconsapevolmente, la preparazione lavorativa è uno strumento che circoscrive od elimina la possibilità che si manifestino  fenomeni di corruzione e quindi episodi di maladmistration. Nel PTCT triennale, ogni P.A. dovrebbe prevedere tali rimedi, a cura del Responsabile della prevenzione della corruzione e della trasparenza, in ossequio al PNA stilato dall'ANAC ed adottato dal Comitato Interministeriale e dalla Conferenza unificata.

Edoardo Igini

Edoardo Igini16/10/2020 - 09:17

I big data creano processi automatizzati (profilazione, trattamenti decisionali automatizzati), che continuamente creano problemi sia ai titolari del trattamento dei dati personali che agli interessati. Bisogna sottolineare che, nel contesto della normativa europea, i big data sono anche open data nel senso che viene in qualche modo privilegiato l'aspetto della libera circolazione transfrontaliera dei dati personali per finalità commerciali e di marketing. Sotto questo aspetto il Garante della pricacy ha stilato una lista dei casi leciti di trattamento dei dati personali, ma è necessario richiamare la circostanza che, secondo il principio dell'accoutability, il titolare o responsabile del trattamento dei dati rimangono le figure principali del rapporto con l'interessato il quale ha verso di loro dei diritti, compreso quello dell'accesso ai propri dati personali. Per quanto riguarda in particolare la profilazione, essa è vietata a fini speculativi, cioè per estrapolare dati riguardanti il tracciamento delle persone fisiche (mediante ad. es. videosorveglianza o geolocalizzazione. Facciamo l'esempio l'uso dell'autovelox: esso è naturalmente legittimo per irrogare multe agli automobilisti indisciplinati mentre non dovrebbe esserlo nel caso si vogliano rilevare informazioni sulle abitudini di guida degli interessati.

sonia piazza

sonia piazza15/10/2020 - 14:35