Quasi vent’anni or sono usciva nelle sale americane uno dei capolavori fantascientifici di Steven Spielberg, Minority Report, dove, in una Washington del 2054 tre Precog avevano il potere di predire i crimini ed impedire gli omicidi.
Oggigiorno un sistema simile, almeno sulla carta, è in vigore in alcune città degli Stati Uniti d’America e del Canada, ma non mancano amministrazioni locali che, dopo averlo sperimentato, han fatto dietrofront.
In America il predictive policing, ossia l’intelligenza artificiale sfruttata per analizzare una mole di dati riferiti a crimini passati, tra cui l’ora del giorno, la stagione dell’anno, i modelli meteorologici, i tipi di vittime, le posizioni in cui sono state ritrovate, al fine di dedurre quando e in quali luoghi è probabile che si verifichi un nuovo crimine, è attualmente in uso, con differenti sfumature, a New York, Los Angeles, Memphis, Portland e decine di altre città, anche di piccole dimensioni.
Esistono due modelli di predictive policing: uno basato sulle persone, volto a stabilire la loro attitudine a commettere, o spesso reiterare, reati. Questo modello si basa sulla loro età, sulla sospetta affiliazione a gruppi criminali e, perfino, paradossalmente, sull’esser stati vittime di reati.
L’altro modello è invece basato sui luoghi ove sia maggiore la tendenza a delinquere, andando ad identificare zone della città o semplicemente tipologie di luoghi.
Sebbene sulla carta il fine possa apparire ammirevole, potendo garantire un dispiego più efficiente del personale delle forze dell’ordine, nella realtà dei fatti i problemi non mancano.
In primis gli stessi dati raccolti possono portare a situazioni paradossali: i sistemi si basano sulle denunce, e non è detto che tutte le comunità siano portate a denunciare ciò che avviene nella loro area. Così la polizia si concentra nelle aree più svantaggiate, tralasciando altre aree della città dove magari vi è un clima di omertà e, in un circolo vizioso, continuando a ricevere meno feedback da altre aree, tenderà ad impiegare altri agenti in comunità già affollate di poliziotti.
Inoltre basta che le forze dell’ordine, in una settimana compiano un buon numero di arresti in una zona, magari semplicemente frutto di un’unica retata, che il sistema segnerà per anni quella zona come altamente pericolosa.
A Pasco, in Florida, lo sceriffo locale ha adottato un sistema di analisi predittiva fin dal 2011 ma gli esiti sono stati a dir poco preoccupanti: un ragazzo di 15 anni, reo di aver rubato una bici in un garage, dopo aver pagato il suo debito con la giustizia, dal momento che era inserito nel sistema, è divenuto bersaglio della polizia al punto di aver ricevuto da parte degli agenti 21 visite, anche in piena notte, nell’arco di soli cinque mesi. E come lui, negli ultimi 5 anni più di 10.000 visite domiciliari sono state effettuate dalla polizia di Pasco a casa dei soggetti finiti loro malgrado nel sistema.
Questi algoritmi spesso attingono a fonti imperfette, non verificate e non trasparenti come i database delle gang, che portano all’eccessiva inclusione di persone di colore e Latinoamericane.
Nel luglio 2020, il procuratore generale della California ha vietato alla polizia dello stato di accedere a qualsiasi voce del database delle bande della California dopo che gli agenti della del LADP sono stati sorpresi a falsificare i dati.
Per testare le disparità razziali nei sistemi di polizia predittiva, Human Rights Data Analysis Group (HRDAG) ha esaminato i crimini di droga registrati dal dipartimento di polizia di Oakland. Ha utilizzato un algoritmo di monitoraggio dei big data per determinare dove l’IA suggerirebbe alla polizia di cercare futuri crimini legati alla droga. È emerso che il sistema si sarebbe concentrato quasi esclusivamente sulle comunità di colore a basso reddito. Ma dopo aver confrontato i dati sanitari dei tossicodipendenti, combinandoli con i dati del censimento statunitense, è uscito fuori che la distribuzione dei consumatori di droga non è per nulla correlata all’esito delle previsioni del programma, dimostrando che l’algoritmo generava pregiudizi ben più radicati che nella realtà.
Nel giugno 2020, Santa Cruz, in California, è diventata la prima città degli Stati Uniti a vietare l’uso municipale del sistema predittivo, dopo che averlo introdotto nel 2011. Questo in conseguenza del fatto che lo strumento perpetuava una vera e propria diseguaglianza razziale: l’atto che ha messo al bando l’IA a Santa Cruz afferma testualmente “Predictive policing is a self-fulfilling prophecy” – letteralmente una profezia che sia auto avvera –. Più i dipartimenti di polizia si affidano alla tecnologia per stabilire dove concentrare gli sforzi e su chi essere sospettosi, ed in un certo senso prevenuti, maggiori saranno i danni che tali dipartimenti causeranno alle comunità più vulnerabili.
Vi è una preoccupante mancanza di trasparenza che circonda molti strumenti di polizia predittiva. In molti casi, non è chiaro come siano progettati gli algoritmi, quali dati vengono utilizzati e talvolta persino cosa il sistema afferma di prevedere; ed anche i costi, poco chiari, sono ingenti, nell’ordine delle decine di milioni di dollari per ciascuna metropoli. Un gruppo di 1500 accademici americani si è addirittura pubblicamente rifiutato di collaborare alla creazione di simili software, affermando che “È semplicemente troppo facile creare una patina ‘scientifica’ per il razzismo“.
In Canada gli algoritmi predittivi sono usati tanto per prevenire omicidi, quanto per prevedere dove concentrare le ricerche quando scompaiono delle persone.
La polizia di Vancouver utilizza uno strumento chiamato GeoDASH per prevedere dove potrebbero verificarsi i crimini di effrazione. A Calgary viene impiegato il software Gotham di Palantir (lo stesso impiegato a Los Angeles) per identificare e visualizzare i collegamenti tra le persone che interagiscono con la polizia, comprese vittime e testimoni, rapporti di polizia, luoghi, veicoli intestati, ma con il rischio di generare false associazioni.
A Toronto la polizia collabora con una società esterna per sviluppare modelli che identificano le aree ad alta criminalità.
Anche oltre l’International Boundary questi algoritmi controversi sono accusati di generare, per le medesime ragioni sostenute in America, conseguenze potenzialmente disastrose per le libertà civili, la privacy e altri diritti fondamentali. Le comunità storicamente svantaggiate corrono un rischio, ancor più accentuato, di essere oggetto di sorveglianza e analisi da parte della tecnologia a causa del pregiudizio sistemico riscontrato nei dati immagazzinati dalla polizia.
Fortunatamente altre città stanno seguendo l’esempio di Santa Cruz. Boston, San Francisco ed un’altra decina di metropoli stanno cominciando a comprendere i pericoli della polizia predittiva e, al pari del divieto del riconoscimento facciale, dato l’impatto sproporzionato che esso ha in termini di falsi positivi tra le persone di colore, valutano l’abbandono di tale tecnologia.
In fondo dovremmo ricordarci più spesso che, come è scolpito all’art. 27 della nostra Costituzione, l’imputato non è considerato colpevole sino alla condanna definitiva.
