AI, black box e diritto: oltre la spiegabilità

Il fenomeno della black box impone un ragionamento circa l’operatività degli obblighi di trasparenza, supervisione umana e accountability introdotti dall’AI Act. Se la completa intelligibilità della macchina può rimanere irraggiungibile, la sfida è costruire una governance capace di rendere contestabile il potere esercitato attraverso di essa. 

L’opacità dei sistemi di intelligenza artificiale 

Nei sistemi di intelligenza artificiale più avanzati può essere estremamente difficile ricostruire compiutamente il percorso che conduce da uno specifico input a un determinato output. Durante l’addestramento, le reti neurali sviluppano rappresentazioni latenti e relazioni statistiche che non corrispondono a regole esplicitamente programmate per ogni singolo caso. L'opacità non implica, tuttavia, che il sistema sia del tutto inconoscibile. È possibile valutarne finalità, prestazioni, limiti e comportamento attraverso test e osservazioni. Rimane tuttavia aperto un quesito fondamentale: quanto deve essere compreso un sistema affinché possa essere effettivamente governato e affinché le decisioni assistite, supportate o influenzate dai suoi output possano essere spiegate alle persone interessate? 

Spiegabilità, spiegazione e comprensione 

La spiegazione “meccanicistica” cerca di ricostruire i parametri e i circuiti interni che hanno prodotto l’output. Quella funzionale individua invece le caratteristiche dell’input che hanno inciso in maniera significativa sull’output e le variazioni che avrebbero potuto modificarlo. La spiegazione procedurale riguarda le scelte organizzative: chi ha selezionato il sistema, per quale finalità, utilizzando quali dati, test e controlli. Infine, la spiegazione giuridico-soggettiva chiarisce il ruolo concretamente svolto dalla macchina nella decisione, le responsabilità umane e gli strumenti disponibili per contestarne l’esito. Su queste basi è possibile distinguere tre concetti spesso sovrapposti: la spiegabilità, riferita alle caratteristiche tecnico-funzionali del sistema; la spiegazione, intesa come insieme delle informazioni dovute a chi utilizza il sistema o subisce gli effetti di una decisione; la comprensione, ossia il risultato cognitivo che quelle informazioni dovrebbero produrre nel destinatario. La norma può imporre la disponibilità di informazioni chiare e significative, ma non può garantire che tali informazioni si traducano in un'effettiva comprensione ad opera del soggetto a cui sono destinate. 

La risposta dell’AI Act 

L’articolo 13 dell’AI Act richiede che i sistemi ad alto rischio siano sufficientemente trasparenti da consentire ai deployer di interpretarne gli output e utilizzarli appropriatamente. L’articolo 14 disciplina la supervisione umana, mentre l'articolo 86 introduce, in circostanze specifiche, un diritto della persona interessata a ottenere spiegazioni sul ruolo svolto dal sistema di AI e sui principali elementi della decisione adottata mediante il suo supporto. L'AI Act non consacra un generale "right to explanation", ma costruisce un insieme di obblighi informativi e organizzativi funzionali all'esercizio dei diritti degli interessati. Il regolamento non fonda quindi la governance su una promessa di trasparenza assoluta. Combina gestione dei rischi, governo dei dati, documentazione tecnica, registrazione degli eventi, sorveglianza umana, monitoraggio e rimedi individuali. Per imprese e amministrazioni, governare un sistema di AI non significa necessariamente comprenderne il funzionamento intrinseco. Significa piuttosto stabilire finalità legittime, condizioni e limiti di utilizzo, livelli di affidabilità, attribuzioni di responsabilità, controlli sugli input, procedure di escalation e situazioni nelle quali l’utilizzo debba essere sospeso. In sostanza, significa governare gli effetti che il sistema produce nel contesto organizzativo e decisionale in cui viene impiegato. 

Dati, bias e potere 

La black box non riguarda soltanto il calcolo. I modelli apprendono da rappresentazioni della realtà costruite attraverso dati, classificazioni e scelte umane. I bias possono derivare dalla composizione dei dati, ma anche dagli obiettivi da ottimizzare, dalle categorie adottate, dall’impiego di variabili indirette, dalle informazioni mancanti e dalle soglie decisionali. Correggere i bias non significa quindi rendere la macchina perfettamente neutrale. Significa rendere visibili e discutibili le scelte attraverso le quali una determinata rappresentazione della realtà viene trasformata in decisione. La black box è anche una questione di distribuzione del potere tecnologico. Un numero limitato di provider dispone delle risorse necessarie per sviluppare i modelli più avanzati e può incidere sui dati utilizzati, sulle politiche di allineamento e sui comportamenti incoraggiati o inibiti. Tali scelte non possono essere considerate mere caratteristiche tecniche del prodotto quando i sistemi vengono impiegati nel lavoro, nella sanità, nell’istruzione o nei servizi pubblici. 

Dall’intelligibilità alla contestabilità 

L'obiettivo del diritto non è necessariamente rendere pienamente intelligibile il funzionamento della macchina. È, piuttosto, rendere conoscibili e sindacabili le finalità perseguite, i limiti di utilizzo, le responsabilità, i controlli e i rimedi connessi all'impiego dei sistemi di intelligenza artificiale. 

La sfida dell'AI Act non consiste nel promettere trasparenza assoluta, ma nel costruire un modello di governance nel quale il potere esercitato attraverso gli algoritmi rimanga effettivamente contestabile. 

Implicazioni pratiche per le imprese 

Cosa comporta tutto quanto su descritto per le imprese? In estrema sintesi, 

• mappare i sistemi AI utilizzati nell'organizzazione, classificandone il rischio; 
• definire i ruoli soggettivi dell’organizzazione per ciascun sistema AI utilizzato e/o prodotto; 
• definire ruoli e responsabilità di supervisione umana; 
• documentare dati, test, controlli e procedure di escalation;
• adottare un approccio alla trasparenza, che possa permettere di comprendere e saper far comprendere; 
• predisporre processi che consentano di contestare decisioni supportate dall'AI. 

Per leggere l'articolo integrale, clicca il seguente link: https://www.agendadigitale.eu/cultura-digitale/non-possiamo-aprire-la-black-box-dellai-possiamo-almeno-governarla/