Prima la decisione, poi il modello
I progetti di intelligenza artificiale che si fermano al pilota hanno quasi tutti lo stesso difetto d'origine: sono partiti dalla tecnologia disponibile invece che dalla decisione da migliorare.
di BVH Consulting2 min di lettura
C'è una domanda che poniamo all'inizio di ogni progetto di dati, e che spesso mette in difficoltà: quale decisione, presa da chi, con quale frequenza, cambierebbe se questo modello funzionasse?
Quando la risposta arriva precisa — «il responsabile di reparto decide ogni lunedì quali ordini anticipare, e oggi lo fa a intuito» — il progetto ha ottime probabilità di arrivare in produzione. Quando la risposta è generica — «avremmo più visibilità sui dati» — il progetto quasi certamente si fermerà al pilota.
Il pilota che nessuno adotta
Lo schema si ripete con una regolarità sorprendente. Un modello viene addestrato, le metriche di accuratezza sono buone, la dimostrazione va bene. Poi il progetto entra in una fase di attesa che non finisce mai.
Il motivo raramente è tecnico. È che nessuno aveva definito, prima di iniziare, chi avrebbe cambiato comportamento e che cosa sarebbe successo alla vecchia procedura. Il modello arriva in un'organizzazione che ha già un modo di prendere quella decisione — di solito una persona con vent'anni di esperienza — e non c'è nessun meccanismo che stabilisca quale dei due prevale.
Partire dalla decisione cambia il progetto
Se si parte dalla decisione, l'ordine delle attività si ribalta.
Si comincia osservando come la decisione viene presa oggi: chi la prende, su quali informazioni, in quanto tempo, e quanto costano gli errori attuali. Questa misura è la baseline, e senza di essa non si può dimostrare alcun miglioramento.
Poi si definisce la soglia di adozione: quale livello di prestazione rende il modello preferibile alla pratica corrente. È una soglia gestionale, non di accuratezza statistica — spesso molto più bassa di quanto si immagini, perché il confronto non è con la perfezione ma con quello che si fa adesso.
Solo a questo punto si sceglie l'approccio tecnico, e in molti casi si scopre che non serve un modello complesso: serve un dato pulito, disponibile al momento giusto, nella schermata in cui la decisione viene presa.
L'ultimo metro
L'integrazione nel flusso di lavoro non è la fase finale del progetto. È il progetto.
Un suggerimento che compare in una dashboard separata, da consultare volontariamente, verrà consultato le prime due settimane. Lo stesso suggerimento nel sistema dove la persona lavora già, con la motivazione accanto e la possibilità di ignorarlo tracciata, entra nella pratica quotidiana.
E quella tracciatura serve a molto di più che al controllo: le volte in cui l'operatore ignora il suggerimento sono la fonte più ricca di miglioramento del modello. Sono i casi in cui qualcuno sa qualcosa che il modello non sa.
Una verifica rapida
Prima di approvare il prossimo progetto di AI, provate a completare questa frase: «Se funziona, [ruolo] smetterà di [pratica attuale] e comincerà a [nuova pratica], e ce ne accorgeremo perché [indicatore] passerà da [valore] a [valore].»
Se la frase non si completa, il problema non è ancora pronto per essere risolto.