Tra automobilisti e pedoni spesso non corre buon sangue. Di volta in volta ci troviamo da un lato o dall’altro della barricata e subito ne approfittiamo per prendercela con la controparte.
Cosa si aspetta un pedone da un automobilista? Che conosca il codice della strada, che possegga la patente, ma soprattutto che sia in grado di riconoscere la realtà che lo circonda. Quest’ultima apparente banalità potrà non essere più così tanto ovvia allorché ci troveremo a che fare con veicoli a guida autonoma.
I veicoli a guida autonoma sfruttano sensori e algoritmi per comprendere la realtà che li circonda. L’esplosione delle tecniche di machine learning sta sempre più ponendo all’attenzione degli ingegneri la necessità di insegnare alle macchine a distinguere oggetti ed interpretarli. Comprendiamo facilmente che un apprendimento basato su dati errati potrebbe essere potenzialmente catastrofico.
Fa scalpore in quest’ottica quanto riportato da Brad Dwyer, fondatore della startup Roboflow, azienda che si occupa dello sviluppo di strumenti informatici da usare in ambito data science. Un popolare dataset creato da Udacity e usato da migliaia di studenti per progettare un sistema di guida autonomo open-source è risultato pieno di svarioni ed omissioni.
Da un controllo su 15.000 immagini sono stati trovati errori in 4.986 di esse, ovvero il 33%. Gli errori riguardano mancanza di indicazioni sulla presenza di veicoli, pedoni e ciclisti, ma anche sulla dimensione degli oggetti spesso etichettati con valori spropositati.
Ancor più grottesco è stato il ritrovamento di ben 217 immagini, 1,4% del totale, con mancanza totale di qualsiasi etichetta su automobili, autobus e luci stradali. Per fare un paragone, se il sistema di guida avesse dato quell’immagine come vera avrebbe visto una strada trafficata in pieno giorno come una strada sgombra delle tre del mattino.
Fortunatamente Udacity si è affrettata a chiarire che il dataset, prodotto tre anni fa quando simili archivi digitali erano difficili da trovare, non è stato mai veramente utilizzato per applicazioni in scenari reali. Compagnie come Waymo o nuTonomy hanno infatti rilasciato dataset molto più completi e aderenti alla realtà, e dunque l’utilizzo del vecchio dataset è stato confinato all’ambito accademico.
Quanto scoperto dalla Roboflow, che ha rilasciato una versione del dataset depurata da errori, consente di sollevare un tema che nei prossimi anni diventerà sempre più meritevole di attenzione da parte dei produttori di veicoli autonomi, l’affidabilità delle metodologie di machine learning.
Tale questione non riguarda solo i veicoli autonomi, ma è espressione di una tendenza rilevabile senza eccezioni in tutto l’ambito dell’automazione industriale.
Le tradizionali tecniche di controllo, che hanno un consolidato retroterra di strumenti di certificazione, risultano spinte costantemente in secondo piano rispetto alle tecniche di apprendimento. Esse, seppur risultano efficaci in molti casi, non restituiscono lo stesso livello di sicurezza delle tecniche tradizionali, che tuttavia sono molto meno potenti.
La necessità di contemperare queste esigenze costituirà sicuramente uno dei temi più interessanti da affrontare per la comunità scientifica nei prossimi anni.
