di Tiziano Bonini -
Il Palaquium gutta è un albero che si trova principalmente in Malesia e produce un lattice naturale bianco latte, chiamato guttaperca. Alla fine del 19° secolo, questo albero, finì per essere il centro del più grande boom tecnologico dell’epoca vittoriana. Era stato da poco inventato il telegrafo e il mondo aveva appena iniziato ad essere connesso da chilometri di cavi elettrici per la comunicazione in tempo reale, tramite codice Morse. Nel 1848 lo scienziato inglese Michael Faraday pubblicò uno studio su The Philosophical Magazine sulle potenzialità del lattice di Palaquium gutta come isolante elettrico. Da quel momento, la guttaperca divenne un materiale preziosissimo, perché fu vista come la soluzione al problema dell’isolamento dei chilometrici cavi telegrafici che dovevano resistere alle condizioni ambientali del fondo degli oceani. Con la crescita del business globale dei cavi sottomarini, crebbe anche la domanda di tronchi di gutta di palaquium. Lo storico John Tully descrive come i lavoratori locali malesi, cinesi e dayak fossero pagati una miseria per i pericolosi lavori di abbattimento degli alberi e di raccolta del lattice. Il lattice veniva lavorato e poi venduto attraverso i mercati commerciali di Singapore al mercato britannico, dove veniva trasformato in chilometri di guaine per cavi elettrici sottomarini.
Una palaquium gutta matura poteva produrre circa 300 grammi di lattice. Ma nel 1857, il primo cavo transatlantico era lungo circa 3000 km e pesava 2000 tonnellate – richiedeva quindi circa 250 tonnellate di guttaperca. Per produrre una sola tonnellata di questo materiale erano necessari circa 900.000 tronchi d'albero. Le giungle della Malesia e di Singapore furono spogliate, e all'inizio del 1880 la palaquium gutta si estinse.
Questa è una delle storie più interessanti che racconta il libro della studiosa di media digitali Kate Crawford, Né artificiale né intelligente. Il lato oscuro dell’IA (Il Mulino, 2021, 312 pp., versione italiana dell’originale inglese Atlas of AI. Power, Politics and the Planetary Costs of Artificial Intelligence, Yale University Press, 2021).
Ma cosa c’entra il disastro ambientale vittoriano della guttaperca con l’intelligenza artificiale?
È proprio questo il merito del libro della Crawford, unire i puntini che legano la storia dello sviluppo tecnologico con il nostro presente. La storia di come si estinse l’albero di palaquium gutta è un’eco giunta fino a noi dalle origini della società dell’informazione globale, per mostrarci come siano intrecciate le relazioni tra la tecnologia e la sua materialità, l’ambiente e le diverse forme di sfruttamento.
Proprio come i vittoriani generarono un disastro ecologico per poter isolare i loro primi cavi trans-oceanici, così oggi l’estrazione delle terre rare e le catene di approvvigionamento globale necessarie allo sviluppo di sistemi di Intelligenza Artificiale (IA) mettono ulteriormente in pericolo il delicato equilibrio ecologico della nostra era.
Il merito del bel libro di Crawford è quello di rendere estremamente visibile l’infrastruttura planetaria che si nasconde dietro lo sviluppo e la diffusione di sistemi di IA e di rappresentarci questa infrastruttura come la versione contemporanea di precedenti forme di industria estrattiva. La creazione di sistemi di IA è strettamente legata allo sfruttamento delle risorse energetiche e minerarie del pianeta, di manodopera a basso costo e di dati su amplissima scala (p. 22).
Non c’è niente di immateriale nelle cloud dove sono archiviati i nostri dati, non c’è niente di immateriale negli algoritmi che ci suggeriscono cosa ascoltare su Spotify o vedere su Netflix.
Kate Crawford, attraverso numerosi viaggi di ricerca che abbracciano un arco temporale di dieci anni, di cui questo libro è il frutto, ci mostra come l’intelligenza artificiale “nasce dai laghi salati della Bolivia e dalle miniere del Congo, ed è costruita a partire da set di dati etichettati da crowdworkers che cercano di classificare azioni, emozioni e identità umane. Viene utilizzata per guidare droni nello Yemen, per guidare la politica migratoria degli Stati Uniti e per definire, in tutto il mondo, le scale di valutazione del valore umano e del rischio” (p. 250).
Il libro è diviso in sei capitoli, in cui Crawford prende in esame gli impatti ecologici dell’IA (Terra), le conseguenze dell’IA sul lavoro (Lavoro), il modo predatorio in cui sono stati raccolti i dati su cui i sistemi di IA sono stati addestrati (Dati), i modi in cui si è affermata la logica classificatoria che sta dietro l’IA (Classificazione), l’illusione di aziende e agenzie militari di rendere le emozioni calcolabili e prevedibili (Emozioni), il ruolo dello stato nello sviluppo dell’IA (Stato) e una riflessione finale sui tipi di potere a cui è funzionale l’IA.
Crawford costruisce una visione dell’IA non come una semplice tecnologia o un insieme di scoperte tecnologiche, ma come un apparato socio-tecnico, o socio-materiale, animato da una complessa rete di attori, istituzioni e tecnologie. L’IA per Crawford è “un’idea, un’infrastruttura, un’industria, una forma di esercizio del potere; è anche una manifestazione di un capitale altamente organizzato, sostenuto da vasti sistemi di estrazione e logistica, con catene di approvvigionamento che avviluppano l’intero pianeta” (p. 25).
Il libro di Crawford è utile anche solo per convincerci che l’IA non è una tecnologia, ma una complessa rete materiale composta di risorse naturali, combustibili, lavoro umano, infrastrutture, logistica, storie e classificazioni. I sistemi di IA non sono né autonomi né razionali, ma sono il frutto di ampie strutture sociali e politiche. Fondamentalmente, prosegue Crawford, l’IA è “un insieme di pratiche tecniche e sociali, istituzioni e infrastrutture, politica e cultura” (p. 16).
Terra
Nel capitolo dedicato alla Terra, Crawford ci mostra come il settore tecnologico consumi terre rare, acqua, carbone e petrolio per alimentare le sue infrastrutture altamente energivore. I minerali sono la spina dorsale dell’IA, mentre la sua linfa vitale è l’energia elettrica. L’IA equivale a potenza di calcolo, ma il calcolo avanzato è raramente valutato in termini di emissioni di carbonio, combustibili fossili e inquinamento. La metafora della “cloud” indica qualcosa di etereo e immateriale. Eppure, come scrive Tung-Hui Hu in A Prehistory of the cloud (citato da Crawford a p. 50), “il cloud è una tecnologia estrattiva ad alta intensità di risorse, che converte acqua ed elettricità in potenza computazionale, lasciando dietro di sé una quantità considerevole di danni ambientali”. Le stime variano, ma il settore tecnologico contribuirà al 14% delle emissioni globali di gas serra entro il 2040. I data center sono oggi tra i maggiori consumatori di elettricità al mondo. Il primo data center interamente posseduto e gestito da Google, a The Dalles, Oregon utilizza energia sufficiente ad alimentare 82.000 abitazioni. È una struttura costituita da tre edifici di 6.000 metri quadri l’uno, costruiti nel 2008, dopo una lunga negoziazione con l’amministrazione locale, che in cambio di posti di lavoro concesse a Google esenzioni fiscali, garanzie di energia a basso costo e l’utilizzo della rete di fibra ottica costruita dal comune. In pratica, You Tube è finanziato dalle tasse dei cittadini dell’Oregon, tramite sconti fiscali e sulle bollette elettriche e dell’acqua necessaria a raffreddare i server. La geopolitica dell’acqua e dell’elettricità è profondamente intrecciata con i meccanismi e le politiche dei data center. Queste risorse non sono infinite e possono essere sottratte alle comunità e agli habitat che da essa dipendono per sopravvivere, per continuare a nutrire i server.
Nel suo libro A Geology of Media (2015), Jussi Parikka suggerisce di provare a pensare ai media non dal punto di vista di Marshall McLuhan – in cui i media sono estensioni dei sensi umani – ma piuttosto come un’estensione della Terra. Parikka vede i media nel contesto di un processo geologico. Riflettere sui media e sulla tecnologia come processi geologici ci permette di considerare il profondo esaurimento delle risorse non rinnovabili richieste per nutrire le tecnologie contemporanee.
Ogni oggetto nella rete estesa di un sistema AI, dai router di rete alle batterie, è costruito usando elementi che hanno richiesto miliardi di anni per essere generati. Osservando questi media dalla prospettiva del tempo profondo delle ere geologiche, Parikka sostiene che stiamo estraendo la storia della Terra per servire una frazione di secondo di tempo tecnologico, al fine di costruire dispositivi che sono spesso progettati per essere utilizzati per non più di pochi anni (il tempo di vita medio di un iPhone è di 4,7 anni).
Lavoro
Nel capitolo dedicato al lavoro invece ci mostra come l’IA che sta dietro i sistemi di automazione della produzione sia possibile soltanto grazie alla (mal pagata) forza lavoro umana: “Dai minatori che estraggono stagno in Indonesia ai crowdworkers indiani che svolgono compiti specifici su Amazon Mechanical Turk, agli operai delle fabbriche cinesi di iPhone della Foxconn, la forza lavoro dell’IA è assai più numerosa di quanto generalmente immaginiamo. Servono migliaia di persone per supportare l’illusione dell’automazione: etichettare, correggere, valutare e modificare i sistemi di IA per farli apparire a prova di interruzione” (p. 251).
Il sociologo italiano Antonio Casilli ha esaminato le forme di lavoro umano nascoste dietro i processi di formazione dei sistemi di intelligenza artificiale. Di solito, questi lavoratori che stanno letteralmente dietro le macchine risiedono principalmente nel Sud globale. Le crisi climatiche e geopolitiche contemporanee forniscono alla gig economy un esercito sempre più numeroso di lavoratori di riserva. Il pensatore critico Phil Jones, nel suo ultimo libro – Work Without the Worker: Labour in the Age of Platform Capitalism (Verso Books, 2021) – rivela come un complesso globalmente disperso di rifugiati, abitanti delle baraccopoli, e vittime di occupazioni militari, sono “costretti attraverso l’immiserimento, o la legge, ad alimentare i sistemi di apprendimento automatico di aziende come Google, Facebook e Amazon”.
Jones cita l’esempio dell’industria dell’automazione dei trasporti. La crescita del settore dei veicoli a guida autonoma, ci dice Jones, dipende dalla capacità degli algoritmi di intelligenza artificiale di riconoscere correttamente tutti gli elementi dell’ambiente urbano, da pedoni e animali a segnali stradali, semafori e altri veicoli. Le immagini riprese dalle telecamere di bordo contengono grandi quantità di dati visivi grezzi che devono prima essere classificati ed etichettati per diventare utili. Questi dati vengono utilizzati per addestrare il software installato nelle auto senza conducente e impedire loro di scambiare un semaforo per un pedone.
Aziende come Tesla affidano l’addestramento dei dati a lavoratori sottopagati nel Sud del mondo. Nel 2018, rivela Jones, più del 75% di questi dati è stato etichettato da lavoratori venezuelani che affrontano le circostanze più disperate. All’indomani del crollo economico del paese, un numero significativo di nuovi disoccupati – inclusi molti ex professionisti della classe media – si sono rivolti a piattaforme di micro-lavoro come Hive, Scale e Mighty AI (acquisita da Uber nel 2019) per annotare immagini di ambienti urbani, spesso per meno di un dollaro l’ora.
Oltre ai lavoratori a basso costo che servono per costruire e mantenere i sistemi di IA, Crawford ci mostra come questi stessi sistemi siano usati per modificare il lavoro umano e ottenere il massimo da esso. Tutti i lavoratori del settore della logistica oggi sono governati da algoritmi che li tengono tutti sotto controllo spremendo il massimo “dalla nuda funzionalità dei corpi umani”. Nelle fabbriche e nei magazzini dove il nuovo sotto-proletariato (un proletariato che non ha più nemmeno il tempo e le risorse per fare figli, c’è da aggiungere) suda e si imbottisce di anti-dolorifici per tirare avanti, il futuro del lavoro assomiglia di più alle fabbriche tayloriste del passato, equipaggiate però di “braccialetti che vibrano quando i lavoratori commettono errori e di sanzioni per chi frequenta troppo spesso la toilette”.
Dati e Classificazione
I capitoli sui dati e la classificazione sono quelli forse più scontati, perché da quando l’autrice ha iniziato a lavorare a questo libro, sono usciti centinaia di studi sui processi di dataficazione della vita quotidiana, però è un capitolo importante per la ricerca storica che sta alla base: Crawford dimostra come la costruzione dei database sui quali vengono allenati i software di apprendimento automatico (machine learning) è iniziata molto prima della diffusione di internet e dei social media.
“Nel 1969 era stata intentata contro IBM una causa di antitrust, che durò tredici anni e per la quale furono sentiti quasi mille testimoni. IBM mise all’opera una nutrita squadra per digitalizzare tutte le trascrizioni delle deposizioni su schede perforate, dalle quali fu ricavato, entro la metà degli anni Ottanta, un corpus di cento milioni di parole. Robert Mercer, a capo del gruppo di ricerca IBM continuous Speech recognition” (Mercer diventerà in seguito miliardario, finanziatore di Cambridge Analytica, di Breitbart e di Trump), notoriamente critico verso il governo, definì questo corpus “un caso di utilità accidentale di un bene prodotto suo malgrado dal governo” (p. 117).
Questo estratto dà conto dell’origine coloniale dell’intelligenza artificiale: l’IBM ha costruito i suoi software di riconoscimento vocale sulla base di grandi moli di dati, necessarie per l’addestramento dei suoi software, estratte, in questo caso, dalle voci dei cittadini che avevano testimoniato contro di lei. Queste voci, private del contesto ed estratte senza il consenso delle fonti vocali, sono diventate materiale grezzo per l’allenamento dei suoi software. Senza questi dati IBM non avrebbe potuto sviluppare nulla, ma questi dati li ha usati gratis, così come gli imperi del passato estraevano minerali e materie prime gratuitamente dalle loro colonie.
Da quando esistono internet e i social media, le nuove società tecnologiche non devono nemmeno più sforzarsi di costruire database, perché li estraggono gratuitamente dalle miniere a cielo aperto di immagini e parole e suoni e video fornite dai social media. E le estraggono senza il nostro consenso, gratis. La “mietitura” del mondo reale non ha fatto che intensificarsi fino a raggiungere spazi un tempo difficili da catturare.
Una volta estratti e ordinati in set di addestramento, i dati diventano la base epistemica in virtù della quale i sistemi di IA classificano il mondo.
Crawford ci dice però che questo processo di dataficazione del mondo non è discutibile semplicemente per la sua natura coloniale ed estrattiva ma anche perché questi dati, catturati gratuitamente e senza il consenso di chi li ha prodotti, sono spesso fallaci nella loro capacità di ridurre la complessità del mondo a un’approssimazione statistica affidabile.
Qui approfondisce il tema degli effetti discriminatori dell’IA, ormai abbondantemente noti grazie ai lavori di Sofya Noble (Algorithms of Oppression, 2018), Virgina Eubanks (Automating Inequality, 2018), O’Neill (Armi di distruzione matematica, 2016).
Questi effetti sono ormai noti, perché al centro di numerose inchieste giornalistiche e ricerche, ma raramente queste ultime sono state tradotte in italiano e c’è bisogno ancora di molta opera divulgativa per farli diventare senso comune.
L’aspetto più interessante di questo capitolo è che Crawford non si limita a mettere in evidenza la non affidabilità dei dataset che nutrono l’IA, ma mette in discussione anche la posizione di chi sostiene che questi effetti discriminatori possono essere risolti rivedendo e correggendo i dataset. Anche quando vengono corretti i casi peggiori, l’approccio secondo Crawford rimane costruito su un rapporto di tipo estrattivo con dati che sono separati dalle persone e dai luoghi da cui provengono e che sono elaborati attraverso una visione tecnica del mondo che mira a fondere materiali culturali vari e complessi in una forma unificata di oggettività singolare (p. 161).
Crawford evidenzia i limiti del paradigma statistico-classificatorio emerso in occidente con la rivoluzione industriale (ricordate Thomas Gradgrind, il protagonista di Tempi Difficili di Dickens, “un uomo di cose reali, un uomo di fatti e calcoli” quando esordisce dicendo “Quello che voglio sono i fatti. Insegnate a questi ragazzi e ragazze solo i fatti, nient’altro. Solo di fatti abbiamo bisogno nella vita”). Gli schemi classificatori su cui si basano i sistemi di IA, oltre ad essere basati su dati estratti spesso senza consenso, contengono lacune e contraddizioni: riducono necessariamente la complessità e rimuovono il contesto significativo al fine di rendere il mondo più computabile (p. 165). La soluzione per Crawford può essere solo politica: si devono porre dei limiti a quegli aspetti della vita che riteniamo accettabile che siano computabili.
Stato
In questo capitolo Crawford si immerge, grazie alla regista Laura Poitras (autrice del documentario su Snowden) nell’archivio Snowden e ci mostra le profonde connessioni tra il settore tecnologico e quello militare. La sorveglianza statale dei cittadini, il calcolo dei pericoli derivati dal terrorismo, l’individuazione dei target militari a distanza sono possibili solo attraverso software sviluppati da aziende tecnologiche per apparati dello stato, e allo stesso tempo, ciò che viene sviluppato come applicazione militare con finanziamenti statali poi viene anche esteso ad altri settori della società.
Nel 1968 gli studenti seguaci di Marcuse accusavano l’apparato tecnologico-militare e criticavano le università della California implicate nello sviluppo dell’informatica al servizio della Guerra Fredda. C’è una grande continuità con quelle critiche, nelle parole di Crawford: questo apparato militar-tecnologico-universitario non è mai stato intaccato e anzi, i sistemi di IA sono i nipoti della ricerca emersa negli anni Cinquanta e Sessanta da quel conglomerato di interessi pubblici-privati.
E in effetti Crawford fa risalire la genealogia dell’attuale IA ai programmi di ricerca iniziati prima dell’avvento dei computer domestici o di internet. Crawford rappresenta l’IA come un grande progetto di ricerca pubblico del XX secolo che è stato inesorabilmente privatizzato per procurare enormi guadagni finanziari alla sparuta minoranza al vertice della piramide estrattiva (p. 248)
Potere e determinismo tecnologico
In questo ultimo capitolo Crawford affronta quello che secondo lei rappresenta il maggiore problema dell’IA: il desiderio di semplificare eccessivamente ciò che è ostinatamente complesso in modo che possa essere facilmente calcolato e confezionato per il mercato (p. 199)
Alla fine di questo lungo percorso di lettura, dovremmo ormai essere consapevoli che l’intelligenza artificiale non è una tecnica computazionale oggettiva, universale o neutrale che prende decisioni in assenza di istruzioni umane. I suoi sistemi sono incorporati nel mondo sociale, politico, culturale ed economico, plasmati da esseri umani, istituzioni e imperativi che determinano ciò che gli uomini fanno e come lo fanno. (p. 243)
I sistemi di IA sono quindi espressioni di potere che discendono da forze economiche e politiche più ampie, creati per aumentare i profitti e centralizzare il controllo nelle mani di coloro che li detengono.
L’IA quindi non è una tecnologia intrinsecamente buona o cattiva, non è questa la domanda da porci. Bisogna chiederci, suggerisce Crawford, al servizio di chi funziona, quali poteri agevola.
È la questione del potere quella più centrale in questa discussione, non quella sulla tecnologia in sé. La maggior parte delle reazioni nei confronti dell’IA sono riconducibili alla posizione che Crawford chiama “determinismo incantato”. Il determinismo incantato assume due volti, ognuno speculare all’altro. Uno è una forma di utopismo tecnologico che vede gli strumenti dell’IA come soluzioni universali applicabili a qualsiasi problema. L’altro è una prospettiva distopica tecnologica che incolpa gli algoritmi delle loro conseguenze negative come se fossero agenti indipendenti, senza prendere coscienza dei contesti che li modellano e in cui operano.
Questi due discorsi – utopico e distopico –, prosegue Crawford, sono “gemelli metafisici”: se i primi ripongono tutta la fiducia nell’IA come soluzione universale, i secondi vedono nell’IA un pericolo per la società. Ma entrambi queste visioni, secondo Crawford, sono fondate su una visione astorica che colloca il potere esclusivamente all’interno della tecnologia stessa.
Entrambe queste visioni scadono nella posizione del “determinismo tecnologico”, la posizione che tutti gli studiosi di media, da McLuhan in avanti, tentano disperatamente di evitare.
Da queste due prospettive emerge una visione dell’IA come tecnologia centrale per il riscatto o la rovina della società, dice Crawford “permettendoci di ignorare le forze sistemiche del neoliberismo sfrenato, delle politiche di austerità, della diseguaglianza razziale e del diffuso sfruttamento del lavoro”. Di fatto, in questo modo ci dimentichiamo delle forme di potere, molto umane, al servizio delle quali è posta oggi l’IA.
Quindi, Che Fare con l’IA?
Alla fine, il libro della Crawford non fornisce molte risposte, ma funziona bene come un Atlante, che ci permette di orientarci nel complesso intreccio disegnato dalle infrastrutture IA. Ha il merito di mostrarci come il presente dell’IA sia la continuazione di processi storici durevoli, in atto da molto tempo e in continuità con l’evoluzione del capitalismo.
Crawford problematizza l’IA, ne fa emergere gli strati di significato, le mappe del potere, fa un lavoro quasi da archeologa della conoscenza intorno all’IA, e già questo basta per consigliarne la lettura generalizzata, ma a questo libro manca una visione alternativa dell’IA, una proposta di soluzione ai suoi rischi.
Alla fine, Crawford si pone questa domanda: se l’IA è attualmente al servizio delle strutture di potere globali, non dovremmo cercare di democratizzarla? Non potrebbe esistere un’IA democratica, rioerientata verso la giustizia e l’uguaglianza anziché volta allo sfruttamento industriale e alla discriminazione?
In fondo, è proprio quello che era successo all’informatica: prodotti del complesso militar-tecnologico come computer e internet sono stati democratizzati, sono entrati nelle case e hanno portato molti benefici, oltre a generare o amplificare le tradizionali asimmetrie di potere e disuguaglianze.
Ma Crawford ritiene che l’IA sia difficilmente democratizzabile. Secondo lei l’IA è inevitabilmente progettata per amplificare e riprodurre le forme di potere per la cui ottimizzazione è stata creata. L’unica soluzione che propone Crawford è il bisogno di ribaltare la retorica dell’inevitabilità della diffusione di sistemi IA e invece domandarsi il motivo per cui dovrebbe essere applicata: “chiedendoci perché usare l’IA, possiamo mettere in dubbio l’idea che tutto debba essere soggetto alle logiche della previsione statistica e dell’accumulazione dei profitti” (p. 258). Esistono già movimenti sociali che sono riusciti, in alcune municipalità, a smantellare o vietare sistemi di criminologia predittiva, di riconoscimento facciale e che contestano la classificazione algoritmica dei cittadini o dei consumatori.
Certo, è centrale che i cittadini e le istituzioni europee e globali acquisiscano consapevolezza maggiore dei limiti dell’IA e spingano per una loro chiara regolamentazione, ma questo non è abbastanza. Regolamentare e vietare ci pone in una posizione di difesa e arrocco. Mentre dovremmo rilanciare, finanziando programmi di ricerca che promuovono un uso civico dei dati e orientato alla costruzione di commons digitali e la progettazione di infrastrutture “conviviali” (nel senso inteso da Illich) di dati e algoritmi, basate sul consenso, sulla revisione trasparente e continua dei risultati, sulla discussione civica e preventiva dell’applicazione o meno di software di automazione e apprendimento automatico. Per questo è importante sostenere attività come quelle di associazioni europee no profit come Algorithm Watch.
P.s.: permettetemi una polemica finale sulla traduzione italiana del titolo originale del libro. In inglese il libro si intitolava: Atlas of AI. Power, Politics and the Planetary Costs of Artificial Intelligence. Il titolo italiano è Né intelligente né artificiale. Il lato oscuro dell’IA. La prima parte è un buon modo di rendere il più neutro “Atlas of AI”. Ma non capisco perché aggiungere “il lato oscuro dell’IA”, quando sarebbe bastato un sobrio e meno demagogico: “il potere, la politica e i costi planetari dell’IA”. Gli editori di saggi in Italia hanno sempre paura che i saggi non si vendano, e allora pensano che basti un titolo ad effetto per vendere di più. Agendo in questo modo si comportano come i giornali che sparano titoli acchiappa click. Il Mulino non ha bisogno di presentarsi come un’azienda “acchiappa click”.
Fonte: https://www.doppiozero.com/materiali/ia-ne-intelligente-ne-artificiale
Aziende come Tesla affidano l’addestramento dei dati a lavoratori sottopagati nel Sud del mondo. Nel 2018, rivela Jones, più del 75% di questi dati è stato etichettato da lavoratori venezuelani che affrontano le circostanze più disperate. All’indomani del crollo economico del paese, un numero significativo di nuovi disoccupati – inclusi molti ex professionisti della classe media – si sono rivolti a piattaforme di micro-lavoro come Hive, Scale e Mighty AI (acquisita da Uber nel 2019) per annotare immagini di ambienti urbani, spesso per meno di un dollaro l’ora.
Oltre ai lavoratori a basso costo che servono per costruire e mantenere i sistemi di IA, Crawford ci mostra come questi stessi sistemi siano usati per modificare il lavoro umano e ottenere il massimo da esso. Tutti i lavoratori del settore della logistica oggi sono governati da algoritmi che li tengono tutti sotto controllo spremendo il massimo “dalla nuda funzionalità dei corpi umani”. Nelle fabbriche e nei magazzini dove il nuovo sotto-proletariato (un proletariato che non ha più nemmeno il tempo e le risorse per fare figli, c’è da aggiungere) suda e si imbottisce di anti-dolorifici per tirare avanti, il futuro del lavoro assomiglia di più alle fabbriche tayloriste del passato, equipaggiate però di “braccialetti che vibrano quando i lavoratori commettono errori e di sanzioni per chi frequenta troppo spesso la toilette”.
Dati e Classificazione
I capitoli sui dati e la classificazione sono quelli forse più scontati, perché da quando l’autrice ha iniziato a lavorare a questo libro, sono usciti centinaia di studi sui processi di dataficazione della vita quotidiana, però è un capitolo importante per la ricerca storica che sta alla base: Crawford dimostra come la costruzione dei database sui quali vengono allenati i software di apprendimento automatico (machine learning) è iniziata molto prima della diffusione di internet e dei social media.
“Nel 1969 era stata intentata contro IBM una causa di antitrust, che durò tredici anni e per la quale furono sentiti quasi mille testimoni. IBM mise all’opera una nutrita squadra per digitalizzare tutte le trascrizioni delle deposizioni su schede perforate, dalle quali fu ricavato, entro la metà degli anni Ottanta, un corpus di cento milioni di parole. Robert Mercer, a capo del gruppo di ricerca IBM continuous Speech recognition” (Mercer diventerà in seguito miliardario, finanziatore di Cambridge Analytica, di Breitbart e di Trump), notoriamente critico verso il governo, definì questo corpus “un caso di utilità accidentale di un bene prodotto suo malgrado dal governo” (p. 117).
Questo estratto dà conto dell’origine coloniale dell’intelligenza artificiale: l’IBM ha costruito i suoi software di riconoscimento vocale sulla base di grandi moli di dati, necessarie per l’addestramento dei suoi software, estratte, in questo caso, dalle voci dei cittadini che avevano testimoniato contro di lei. Queste voci, private del contesto ed estratte senza il consenso delle fonti vocali, sono diventate materiale grezzo per l’allenamento dei suoi software. Senza questi dati IBM non avrebbe potuto sviluppare nulla, ma questi dati li ha usati gratis, così come gli imperi del passato estraevano minerali e materie prime gratuitamente dalle loro colonie.
Da quando esistono internet e i social media, le nuove società tecnologiche non devono nemmeno più sforzarsi di costruire database, perché li estraggono gratuitamente dalle miniere a cielo aperto di immagini e parole e suoni e video fornite dai social media. E le estraggono senza il nostro consenso, gratis. La “mietitura” del mondo reale non ha fatto che intensificarsi fino a raggiungere spazi un tempo difficili da catturare.
Una volta estratti e ordinati in set di addestramento, i dati diventano la base epistemica in virtù della quale i sistemi di IA classificano il mondo.
Crawford ci dice però che questo processo di dataficazione del mondo non è discutibile semplicemente per la sua natura coloniale ed estrattiva ma anche perché questi dati, catturati gratuitamente e senza il consenso di chi li ha prodotti, sono spesso fallaci nella loro capacità di ridurre la complessità del mondo a un’approssimazione statistica affidabile.
Qui approfondisce il tema degli effetti discriminatori dell’IA, ormai abbondantemente noti grazie ai lavori di Sofya Noble (Algorithms of Oppression, 2018), Virgina Eubanks (Automating Inequality, 2018), O’Neill (Armi di distruzione matematica, 2016).
Questi effetti sono ormai noti, perché al centro di numerose inchieste giornalistiche e ricerche, ma raramente queste ultime sono state tradotte in italiano e c’è bisogno ancora di molta opera divulgativa per farli diventare senso comune.
L’aspetto più interessante di questo capitolo è che Crawford non si limita a mettere in evidenza la non affidabilità dei dataset che nutrono l’IA, ma mette in discussione anche la posizione di chi sostiene che questi effetti discriminatori possono essere risolti rivedendo e correggendo i dataset. Anche quando vengono corretti i casi peggiori, l’approccio secondo Crawford rimane costruito su un rapporto di tipo estrattivo con dati che sono separati dalle persone e dai luoghi da cui provengono e che sono elaborati attraverso una visione tecnica del mondo che mira a fondere materiali culturali vari e complessi in una forma unificata di oggettività singolare (p. 161).
Crawford evidenzia i limiti del paradigma statistico-classificatorio emerso in occidente con la rivoluzione industriale (ricordate Thomas Gradgrind, il protagonista di Tempi Difficili di Dickens, “un uomo di cose reali, un uomo di fatti e calcoli” quando esordisce dicendo “Quello che voglio sono i fatti. Insegnate a questi ragazzi e ragazze solo i fatti, nient’altro. Solo di fatti abbiamo bisogno nella vita”). Gli schemi classificatori su cui si basano i sistemi di IA, oltre ad essere basati su dati estratti spesso senza consenso, contengono lacune e contraddizioni: riducono necessariamente la complessità e rimuovono il contesto significativo al fine di rendere il mondo più computabile (p. 165). La soluzione per Crawford può essere solo politica: si devono porre dei limiti a quegli aspetti della vita che riteniamo accettabile che siano computabili.
Stato
In questo capitolo Crawford si immerge, grazie alla regista Laura Poitras (autrice del documentario su Snowden) nell’archivio Snowden e ci mostra le profonde connessioni tra il settore tecnologico e quello militare. La sorveglianza statale dei cittadini, il calcolo dei pericoli derivati dal terrorismo, l’individuazione dei target militari a distanza sono possibili solo attraverso software sviluppati da aziende tecnologiche per apparati dello stato, e allo stesso tempo, ciò che viene sviluppato come applicazione militare con finanziamenti statali poi viene anche esteso ad altri settori della società.
Nel 1968 gli studenti seguaci di Marcuse accusavano l’apparato tecnologico-militare e criticavano le università della California implicate nello sviluppo dell’informatica al servizio della Guerra Fredda. C’è una grande continuità con quelle critiche, nelle parole di Crawford: questo apparato militar-tecnologico-universitario non è mai stato intaccato e anzi, i sistemi di IA sono i nipoti della ricerca emersa negli anni Cinquanta e Sessanta da quel conglomerato di interessi pubblici-privati.
E in effetti Crawford fa risalire la genealogia dell’attuale IA ai programmi di ricerca iniziati prima dell’avvento dei computer domestici o di internet. Crawford rappresenta l’IA come un grande progetto di ricerca pubblico del XX secolo che è stato inesorabilmente privatizzato per procurare enormi guadagni finanziari alla sparuta minoranza al vertice della piramide estrattiva (p. 248)
Potere e determinismo tecnologico
In questo ultimo capitolo Crawford affronta quello che secondo lei rappresenta il maggiore problema dell’IA: il desiderio di semplificare eccessivamente ciò che è ostinatamente complesso in modo che possa essere facilmente calcolato e confezionato per il mercato (p. 199)
Alla fine di questo lungo percorso di lettura, dovremmo ormai essere consapevoli che l’intelligenza artificiale non è una tecnica computazionale oggettiva, universale o neutrale che prende decisioni in assenza di istruzioni umane. I suoi sistemi sono incorporati nel mondo sociale, politico, culturale ed economico, plasmati da esseri umani, istituzioni e imperativi che determinano ciò che gli uomini fanno e come lo fanno. (p. 243)
I sistemi di IA sono quindi espressioni di potere che discendono da forze economiche e politiche più ampie, creati per aumentare i profitti e centralizzare il controllo nelle mani di coloro che li detengono.
L’IA quindi non è una tecnologia intrinsecamente buona o cattiva, non è questa la domanda da porci. Bisogna chiederci, suggerisce Crawford, al servizio di chi funziona, quali poteri agevola.
È la questione del potere quella più centrale in questa discussione, non quella sulla tecnologia in sé. La maggior parte delle reazioni nei confronti dell’IA sono riconducibili alla posizione che Crawford chiama “determinismo incantato”. Il determinismo incantato assume due volti, ognuno speculare all’altro. Uno è una forma di utopismo tecnologico che vede gli strumenti dell’IA come soluzioni universali applicabili a qualsiasi problema. L’altro è una prospettiva distopica tecnologica che incolpa gli algoritmi delle loro conseguenze negative come se fossero agenti indipendenti, senza prendere coscienza dei contesti che li modellano e in cui operano.
Questi due discorsi – utopico e distopico –, prosegue Crawford, sono “gemelli metafisici”: se i primi ripongono tutta la fiducia nell’IA come soluzione universale, i secondi vedono nell’IA un pericolo per la società. Ma entrambi queste visioni, secondo Crawford, sono fondate su una visione astorica che colloca il potere esclusivamente all’interno della tecnologia stessa.
Entrambe queste visioni scadono nella posizione del “determinismo tecnologico”, la posizione che tutti gli studiosi di media, da McLuhan in avanti, tentano disperatamente di evitare.
Da queste due prospettive emerge una visione dell’IA come tecnologia centrale per il riscatto o la rovina della società, dice Crawford “permettendoci di ignorare le forze sistemiche del neoliberismo sfrenato, delle politiche di austerità, della diseguaglianza razziale e del diffuso sfruttamento del lavoro”. Di fatto, in questo modo ci dimentichiamo delle forme di potere, molto umane, al servizio delle quali è posta oggi l’IA.
Quindi, Che Fare con l’IA?
Alla fine, il libro della Crawford non fornisce molte risposte, ma funziona bene come un Atlante, che ci permette di orientarci nel complesso intreccio disegnato dalle infrastrutture IA. Ha il merito di mostrarci come il presente dell’IA sia la continuazione di processi storici durevoli, in atto da molto tempo e in continuità con l’evoluzione del capitalismo.
Crawford problematizza l’IA, ne fa emergere gli strati di significato, le mappe del potere, fa un lavoro quasi da archeologa della conoscenza intorno all’IA, e già questo basta per consigliarne la lettura generalizzata, ma a questo libro manca una visione alternativa dell’IA, una proposta di soluzione ai suoi rischi.
Alla fine, Crawford si pone questa domanda: se l’IA è attualmente al servizio delle strutture di potere globali, non dovremmo cercare di democratizzarla? Non potrebbe esistere un’IA democratica, rioerientata verso la giustizia e l’uguaglianza anziché volta allo sfruttamento industriale e alla discriminazione?
In fondo, è proprio quello che era successo all’informatica: prodotti del complesso militar-tecnologico come computer e internet sono stati democratizzati, sono entrati nelle case e hanno portato molti benefici, oltre a generare o amplificare le tradizionali asimmetrie di potere e disuguaglianze.
Ma Crawford ritiene che l’IA sia difficilmente democratizzabile. Secondo lei l’IA è inevitabilmente progettata per amplificare e riprodurre le forme di potere per la cui ottimizzazione è stata creata. L’unica soluzione che propone Crawford è il bisogno di ribaltare la retorica dell’inevitabilità della diffusione di sistemi IA e invece domandarsi il motivo per cui dovrebbe essere applicata: “chiedendoci perché usare l’IA, possiamo mettere in dubbio l’idea che tutto debba essere soggetto alle logiche della previsione statistica e dell’accumulazione dei profitti” (p. 258). Esistono già movimenti sociali che sono riusciti, in alcune municipalità, a smantellare o vietare sistemi di criminologia predittiva, di riconoscimento facciale e che contestano la classificazione algoritmica dei cittadini o dei consumatori.
Certo, è centrale che i cittadini e le istituzioni europee e globali acquisiscano consapevolezza maggiore dei limiti dell’IA e spingano per una loro chiara regolamentazione, ma questo non è abbastanza. Regolamentare e vietare ci pone in una posizione di difesa e arrocco. Mentre dovremmo rilanciare, finanziando programmi di ricerca che promuovono un uso civico dei dati e orientato alla costruzione di commons digitali e la progettazione di infrastrutture “conviviali” (nel senso inteso da Illich) di dati e algoritmi, basate sul consenso, sulla revisione trasparente e continua dei risultati, sulla discussione civica e preventiva dell’applicazione o meno di software di automazione e apprendimento automatico. Per questo è importante sostenere attività come quelle di associazioni europee no profit come Algorithm Watch.
P.s.: permettetemi una polemica finale sulla traduzione italiana del titolo originale del libro. In inglese il libro si intitolava: Atlas of AI. Power, Politics and the Planetary Costs of Artificial Intelligence. Il titolo italiano è Né intelligente né artificiale. Il lato oscuro dell’IA. La prima parte è un buon modo di rendere il più neutro “Atlas of AI”. Ma non capisco perché aggiungere “il lato oscuro dell’IA”, quando sarebbe bastato un sobrio e meno demagogico: “il potere, la politica e i costi planetari dell’IA”. Gli editori di saggi in Italia hanno sempre paura che i saggi non si vendano, e allora pensano che basti un titolo ad effetto per vendere di più. Agendo in questo modo si comportano come i giornali che sparano titoli acchiappa click. Il Mulino non ha bisogno di presentarsi come un’azienda “acchiappa click”.