ico leggi l`estratto

ERIC SIEGEL
BESTSEL
TRADOT
LER USA
TO IN 1
0 LINGU
ANALISI
PREDITTIVA
E
SAPERE IN ANTICIPO CHI
CLICCA, COMPRA, MENTE O MUORE
Sfru t t are i l p o t er e dei dati
p e r g u a d a gn a re di pi ù e o f frir e un ser vizio miglior e
®
MODELLI
DI BUSINESS
Questo libro è dedicato con tutto il cuore a mia madre,
Lisa Schamberg, e a mio padre, Andrew Siegel.
SiegelAnalisiPredittiva.indb 1
26/01/2015 15:13:16
ERIC SIEGEL
ANALISI
PREDITTIVA
SAPERE IN ANTICIPO CHI CLICCA,
COMPRA, MENTE O MUORE
SiegelAnalisiPredittiva.indb 3
26/01/2015 15:13:17
Titolo originale: Predictive Analytics
ISBN: 9781118356852
Copyright © 2013 by Eric Siegel
Edizione italiana:
Analisi predittiva - Sapere in anticipo chi clicca, compra, mente o muore
Traduzione di: Virginio B. Sala
Editor in Chief: Marco Aleotti
ISBN: 978-88-6895-142-9
Copyright © 2015 LSWR Srl
Via Spadolini, 7 - 20141 Milano (MI) - www.edizionilswr.it
Finito di stampare nel mese di febbraio 2015 presso “Rotolito Lombarda” S.p.A., Pioltello (MI)
Nessuna parte del presente libro può essere riprodotta, memorizzata in un sistema che ne permetta l’elaborazione, né trasmessa in
qualsivoglia forma e con qualsivoglia mezzo elettronico o meccanico, né può essere fotocopiata, riprodotta o registrata altrimenti,
senza previo consenso scritto dell’editore, tranne nel caso di brevi citazioni contenute in articoli di critica o recensioni.
La presente pubblicazione contiene le opinioni dell’autore e ha lo scopo di fornire informazioni precise e accurate.
L’elaborazione dei testi, anche se curata con scrupolosa attenzione, non può comportare specifiche responsabilità in capo
all’autore e/o all’editore per eventuali errori o inesattezze.
Nomi e marchi citati nel testo sono generalmente depositati o registrati dalle rispettive aziende.
L’autore detiene i diritti per tutte le fotografie, i testi e le illustrazioni che compongono questo libro, salvo quando diversamente indicato.
Iniziali_Predictive.indd 4
30/01/15 13:03
Sommario
L’autore......................................................................................................................... 9
Presentazione..............................................................................................................11
Prefazione....................................................................................................................13
Introduzione - L’Effetto Predizione.......................................................................15
La previsione è big business — Il destino degli asset................................................................ 16
Ed ecco a voi… il computer chiaroveggente................................................................................ 16
“Alimentami!” — Cibo per la mente (per la macchina)............................................................17
Lo sapevo che l’avresti fatto...........................................................................................................18
Limiti e potenziale della previsione..............................................................................................22
Il campo dei sogni............................................................................................................................24
Apprendimento nelle organizzazioni...........................................................................................26
I nuovi Super Geek: gli scienziati dei dati....................................................................................27
L’arte di apprendere........................................................................................................................28
Capitolo 1 - In volo! La previsione porta all’azione...........................................31
Going Live.........................................................................................................................................32
Un oracolo fallace che tutti amano..............................................................................................34
Protezione predittiva.......................................................................................................................35
Una rivoluzione silenziosa che vale un milione..........................................................................36
I pericoli della personalizzazione..................................................................................................37
Deviazioni e ritardi nella messa in campo..................................................................................38
In volo................................................................................................................................................39
Elementare, mio caro: il potere dell’osservazione..................................................................... 40
Agire significa decidere..................................................................................................................43
Un lancio pericoloso....................................................................................................................... 44
Houston, abbiamo un problema.................................................................................................. 46
Il modellino che ce la faceva..........................................................................................................47
Houston, partito...............................................................................................................................49
Uno scienziato appassionato........................................................................................................50
Lanciare la previsione nello spazio interno..................................................................................51
Capitolo 2 - Con il potere arriva la responsabilità...........................................53
La previsione di Target e il target della previsione....................................................................54
Una pausa pregnante.....................................................................................................................55
I miei 15 minuti.................................................................................................................................56
Sotto le luci della ribalta................................................................................................................ 57
Non puoi imprigionare qualcosa che può teletrasportarsi.......................................................58
Legge e ordine: norme, politiche e controlli................................................................................59
La battaglia per i dati..................................................................................................................... 60
5
Iniziali_Predictive.indd 5
28/01/15 13:38
ANALISI PREDITTIVA
Il data mining non scende nel dettaglio......................................................................................62
HP apprende se stessa....................................................................................................................62
Intuizione o intrusione?................................................................................................................. 64
Rischio di fuga: me ne vado!..........................................................................................................65
Intuizioni: i fattori alla base dei licenziamenti...........................................................................66
Consegnare dinamite......................................................................................................................67
Non cedete mentre siete in testa..................................................................................................68
Prevedere crimini per impedire che avvengano.........................................................................69
I dati del crimine e il crimine dei dati...........................................................................................76
Rischio senza misura.......................................................................................................................77
La ciclicità del pregiudizio..............................................................................................................79
Buona previsione, cattiva previsione.............................................................................................81
La fonte del potere.......................................................................................................................... 84
Capitolo 3 - L’Effetto Dati.......................................................................................85
I dati dei sentimenti e i sentimenti dei dati.................................................................................85
Prevedere l’umore dei post nei blog.............................................................................................87
L’indice dell’ansia.............................................................................................................................89
Visualizzare l’umore del mondo................................................................................................... 90
Scommetti su quello che credi.......................................................................................................91
Ispirazione e sudore........................................................................................................................92
Rovistare nelle discariche di dati..................................................................................................93
La registrazione di tutto quello che facciamo........................................................................... 94
Chiudete i boccaporti: T.M.I. (too much information)..............................................................96
Il grande lupo cattivo......................................................................................................................98
La fine dell’arcobaleno....................................................................................................................98
Il succo predittivo..........................................................................................................................100
Idee curiose, bizzarre e sorprendenti.........................................................................................100
La correlazione non implica causazione.................................................................................... 107
La causa e l’effetto delle emozioni............................................................................................... 112
Un’immagine vale mille diamanti...............................................................................................114
Validare i sentimenti e sentirsi validati......................................................................................116
Serendipità e innovazione.............................................................................................................118
Consigli per gli investimenti dalla blogosfera............................................................................119
Il denaro fa girare il mondo..........................................................................................................120
Mettere insieme il tutto................................................................................................................ 122
Capitolo 4 - La macchina che apprende........................................................... 123
I ragazzi incontrano la banca...................................................................................................... 123
La banca affronta un rischio........................................................................................................ 124
La previsione combatte il rischio................................................................................................ 125
Affari rischiosi................................................................................................................................ 127
La macchina che apprende.......................................................................................................... 128
Costruire la macchina che apprende.......................................................................................... 129
Apprendere dalle esperienze negative........................................................................................ 131
6
Iniziali_Predictive.indd 6
28/01/15 13:39
Sommario
Come funziona l’apprendimento automatico........................................................................... 132
Gli alberi di decisione crescono con voi..................................................................................... 134
Computer, programma te stesso................................................................................................. 136
Impara, baby, impara.................................................................................................................... 137
Di più è meglio...............................................................................................................................140
Sovrapprendimento: dare troppo per scontato.........................................................................141
Il dilemma dell’induzione.............................................................................................................144
Arte e scienza dell’apprendimento automatico....................................................................... 145
Sentirsi validati: dati di test......................................................................................................... 147
Estrarre un’opera d’arte................................................................................................................149
Alberi di decisione al lavoro per la Chase................................................................................. 152
I soldi crescono sugli alberi.......................................................................................................... 154
La recessione: perché i microscopi non possono rilevare le collisioni di asteroidi.............. 154
Postumi............................................................................................................................................ 155
Capitolo 5 - L’Effetto Ensemble.......................................................................... 157
Ingegneri spaziali per caso.......................................................................................................... 157
Cavalli non quotati........................................................................................................................ 158
Mindsourced: ricchezza nella diversità..................................................................................... 159
Crowdsourcing Gone Wild............................................................................................................161
Il tuo avversario è il tuo amico.................................................................................................... 163
Nazioni unite.................................................................................................................................. 163
Meta-apprendimento...................................................................................................................164
Un grosso pesce al gran finale....................................................................................................166
Intelligenza collettiva....................................................................................................................168
La saggezza della folla... di modelli............................................................................................ 169
Un sacco di modelli....................................................................................................................... 170
Modelli ensemble in azione......................................................................................................... 173
Il paradosso della generazione: più è meno.............................................................................. 174
Il cielo è il limite............................................................................................................................. 175
Capitolo 6 - Watson e la sfida di Jeopardy!..................................................... 177
Analisi del testo............................................................................................................................. 178
Le difficoltà della lingua............................................................................................................... 179
Una volta che capisci la domanda, rispondi..............................................................................181
La fonte ultima della conoscenza............................................................................................... 183
Impossibilità artificiale................................................................................................................. 185
Imparare a rispondere alle domande......................................................................................... 187
Cammina come un uomo, parla come un uomo......................................................................189
Una trappola per topi migliorata................................................................................................190
La macchina che risponde.............................................................................................................191
Moneyballing Jeopardy!............................................................................................................... 192
Ammucchiare evidenze per una risposta.................................................................................. 193
Elementare, Watson..................................................................................................................... 195
Un castello di prove.......................................................................................................................199
7
SiegelAnalisiPredittiva.indb 7
26/01/2015 15:13:17
ANALISI PREDITTIVA
Pesare l’evidenza con modelli ensemble....................................................................................201
Un ensemble di ensemble........................................................................................................... 202
L’apprendimento automatico realizza il potenziale dell’elaborazione del linguaggio..... 203
Aver fiducia, ma non troppa.......................................................................................................204
Need for speed.............................................................................................................................. 206
Double Jeopardy! — Watson vincerà?..................................................................................... 207
Brividi da Jeopardy!.......................................................................................................................210
Che vinca il migliore....................................................................................................................... 211
Il dopopartita: onori, lodi e soggezione..................................................................................... 213
Iambic IBM AI................................................................................................................................ 213
Prevedere la cosa giusta...............................................................................................................214
Capitolo 7 - I numeri della persuasione............................................................ 215
Vai Baby Vai................................................................................................................................... 216
Il can che dorme............................................................................................................................. 217
Una nuova cosa da prevedere..................................................................................................... 218
Occhio non vede........................................................................................................................... 220
Percepire la persuasione............................................................................................................... 221
Scelte persuasive...........................................................................................................................222
Stimolo e risposta..........................................................................................................................225
L’umano quantistico......................................................................................................................225
Prevedere l’influenza con l’uplift modeling.............................................................................. 229
Far conto sull’influenza................................................................................................................ 230
Prevedere la cosa sbagliata.........................................................................................................232
Uplift modeling della risposta.....................................................................................................233
La meccanica dell’uplift modeling............................................................................................. 234
Come funziona l’uplift modeling................................................................................................ 236
L’Effetto Persuasione.................................................................................................................... 238
Influenza nei vari settori.............................................................................................................. 239
Immobilizzare i clienti mobili...................................................................................................... 241
Postfazione - Dieci previsioni per la prima ora del 2020........................... 247
Domani è solo fra un giorno....................................................................................................... 249
Il futuro della previsione.............................................................................................................. 249
Appendice A - Cinque effetti della previsione................................................ 251
Appendice B - 21 applicazioni della PA.............................................................253
Appendice C - Quelli delle previsioni: i “personaggi” della storia.............257
Tabelle finali - Esempi di analisi predittiva...................................................... 261
Note .......................................................................................................................... 281
Indice analitico ..................................................................................................... 339
8
SiegelAnalisiPredittiva.indb 8
26/01/2015 15:13:17
L’autore
Eric Siegel, PhD, fondatore del Predictive Analytics
World e del Text Analytics World, Executive Editor
della rivista Predictive Analytics Time, rende comprensibili e attraenti il funzionamento e le motivazioni
dell’analisi predittiva. È stato docente alla Columbia
University (dove usava cantare canzoni educative ai
suoi studenti) ed è molto noto come conferenziere,
come educatore e come una delle figure principali di
questo campo.
Eric è disponibile per tenere conferenze. Informazioni
si trovano sul sito www.ThePredictionBook.com.
Chi fosse interessato a utilizzare l’analisi predittiva
nella propria organizzazione può trovare una guida
introduttiva sul sito del Predictive Analytics World:
www.pawcon.com/guide.
9
SiegelAnalisiPredittiva.indb 9
26/01/2015 15:13:18
SiegelAnalisiPredittiva.indb 10
26/01/2015 15:13:18
Presentazione
Questo libro parla degli sforzi quantitativi per prevedere il comportamento umano. Una
delle prime iniziative in questo senso è stata, durante la Seconda guerra mondiale, quella
di Norbert Wiener, padre della cibernetica, che ha cercato nel 1940 di prevedere il comportamento dei piloti degli aerei tedeschi — con l’obiettivo di colpirli in volo. Il suo metodo
consisteva nel prendere come input la traiettoria del velivolo in base al suo movimento osservato, considerare le manovre evasive più probabili messe in atto dal pilota e prevedere
dove l’aereo si sarebbe trovato nel futuro, in modo che un proiettile potesse colpirlo. Purtroppo, Wiener riusciva a prevedere solo un secondo di movimento dell’aereo, mentre per
poterlo abbattere era necessario prevedere la sua traiettoria futura per almeno 20 secondi.
Nel libro di Eric Siegel, però, scoprirete un gran numero di iniziative di previsione che hanno
avuto molto più successo. Dai tempi di Wiener i computer sono diventati molto più veloci e noi abbiamo molti più dati. Di conseguenza banche, venditori, campagne politiche,
medici e ospedali e molte altre organizzazioni ultimamente sono riuscite piuttosto bene
a prevedere il comportamento di particolari esseri umani. Il loro lavoro è stato utile per
conquistare clienti, vincere elezioni e lotte contro le malattie.
La mia idea (e penso anche di Siegel) è che l’attività predittiva in generale è stata un bene
per l’umanità. Nel contesto dell’assistenza sanitaria, della lotta alla criminalità e al terrorismo, può salvare vite. Nel contesto della pubblicità, l’uso delle previsioni è più efficiente,
può salvare alberi (meno lettere e cataloghi spediti per posta) e far risparmiare tempo e
attenzione ai destinatari. In politica, sembra ricompensare i candidati che rispettano il metodo scientifico (qualcuno non sarà d’accordo, ma per me è un aspetto positivo).
Tuttavia, come Siegel non manca di far notare — già nelle prime pagine del libro, il che è
degno di ammirazione — questi metodi possono essere usati anche in modi dannosi. “Da
un grande potere deriva una grande responsabilità”, nota citando Spider-Man. La conseguenza è che dobbiamo stare attenti, come società, al modo in cui usiamo i modelli predittivi, altrimenti ci sarà impedito di usarli e di trarne vantaggio. Come altre tecnologie potenti
o altre innovazioni sconvolgenti, l’analisi predittiva è essenzialmente neutra, e può essere
11
SiegelAnalisiPredittiva.indb 11
26/01/2015 15:13:18
ANALISI PREDITTIVA
usata per il bene e per il male. Per evitare le applicazioni diaboliche, però, è importante
capire che cosa l’analisi predittiva renda possibile, e sicuramente lo scoprirete se andate
avanti nella lettura.
Il libro si concentra sull’analisi predittiva, che non è l’unico tipo di analisi, ma il più interessante e il più importante. Non penso che ci servano altri libri sull’analisi puramente descrittiva, che si limita solo a descrivere il passato e non offre alcuna idea sul perché le cose
siano andate in quel modo. Spesso nei miei interventi parlo di un terzo tipo di analisi, quella
“prescrittiva”, che dice ai suoi utenti che cosa fare attraverso esperimenti controllati o ottimizzazioni. Questi metodi quantitativi però sono molto meno diffusi dell’analisi predittiva.
Questo libro e le idee che ne stanno alla base sono un buon contrappunto ai lavori di
Nassim Nicholas Taleb. I suoi libri, fra cui Il cigno nero, fanno pensare che molti tentativi
di previsione siano condannati a fallire per la casualità e l’intrinseca imprevedibilità degli
eventi complessi. Taleb ha senz’altro ragione, alcuni eventi sono cigni neri che vanno al di
là delle possibilità di previsione, ma sta di fatto che la maggior parte del comportamento
umano è molto regolare e prevedibile. I numerosi esempi forniti da Siegel di previsioni di
successo ci ricordano che la maggior parte dei cigni sono bianchi.
Siegel inoltre resiste al canto delle sirene del movimento dei “big data”. Certo alcuni degli
esempi che cita rientrano in questa categoria — dati troppo grandi o troppo poco strutturati per poter essere gestiti facilmente con i tradizionali database relazionali. Ma il punto
non sono le loro dimensioni relative o la non regolarità, ma quello che si può fare con i dati.
Ho scoperto che “grandi dati spesso significano piccola matematica” e molti che lavorano
con i big data si accontentano di usarli per creare qualche analisi visiva attraente. Il che
non ha nemmeno lontanamente lo stesso valore della creazione di un modello predittivo.
Siegel ha confezionato un libro che è sia raffinato, sia pienamente accessibile al lettore
non-quantitativo. Contiene grandi storie, belle illustrazioni e ha un tono divertente. Chi
non è un analista quantitativo deve proprio leggerlo, perché non c’è dubbio che il suo comportamento verrà analizzato e previsto per tutta la sua vita. È molto probabile che debba
sempre più tener conto, nel suo lavoro, di modelli predittivi, che li debba valutare e debba
agire in conformità a quei modelli.
Per farla breve, viviamo in una società predittiva. Il modo migliore per viverci bene è comprendere gli obiettivi, le tecniche e i limiti dei modelli predittivi. E il modo migliore per
comprenderli è semplicemente continuare a leggere questo libro.
— Thomas H. Davenport
Visiting Professor alla Harvard Business School,
President’s Distinguished Professor al Babson College,
cofondatore dell’International Institute for Analytics,
coautore di Competing on Analytics e di altri libri sull’argomento.
12
SiegelAnalisiPredittiva.indb 12
26/01/2015 15:13:18
Prefazione
L’ieri è storia, il domani è un mistero, ma l’oggi è un dono. Per questo lo chiamiamo presente.
— Attribuito a A.A. Milne, Bill Keane e Oogway, la tartaruga saggia in Kung Fu Panda
Le persone mi guardano strano quando dico quello che faccio. È un rischio del mestiere.
L’Era dell’informazione soffre per una patente omissione. L’affermazione sorprenderà molti, considerando che stiamo registrando Tutto-Quello-Che-Succede-Nel-Mondo. Lasciati i
libri di storia che documentano eventi importanti, siamo passati a sistemi che registrano
ogni clic, pagamento, telefonata, incidente, crimine e malattia. Ci si aspetterebbe che gli
amanti dei dati siano soddisfatti, se non addirittura viziati.
Ma questa infinità di informazioni esclude proprio gli eventi che ci servirebbe di più conoscere: le cose che non sono ancora avvenute.
Tutti bramano il potere di vedere il futuro; siamo ossessionati, collettivamente, dalle previsioni. Ci inchiniamo agli dei della prognosi. Ci vuotiamo le tasche per chi legge la mano.
Ascoltiamo gli oroscopi, adoriamo l’astrologia e ci nutriamo di biscottini della fortuna.
Molti che sbavano per i poteri psichici però sdegnano la scienza. La loro risposta innata è
“gulp” — troppo difficile da capire o troppo noiosa. O magari credono che la previsione, per
sua natura, sia impossibile senza un aiuto sovrannaturale.
C’è una serie televisiva che mi piace e che parte da questa idea, Psych, in cui un detective
dall’occhio fino (uno Sherlock Holmes del mondo moderno, guidato dai dati) ha perfezionato a tal punto l’arte dell’osservazione che i poliziotti credono che le sue deduzioni
istantanee debbano essere un’ammissione di colpa. Il protagonista se la cava adeguandosi
alla norma: semplicemente dice alla polizia di essere un sensitivo e così riesce a evitare la
prigione e a continuare a combattere il crimine. Ne nascono situazioni comiche.
Provo lo stesso impulso, per esempio, quando qualcuno amichevolmente mi chiede di che
segno sono. Invece di far finta di crederci, passo allo humor: “Sono uno Scorpione, e gli
Scorpioni non credono nell’astrologia”.
13
SiegelAnalisiPredittiva.indb 13
26/01/2015 15:13:18
ANALISI PREDITTIVA
La domanda più comune ai cocktail party è che cosa faccio per vivere. Mi preparo agli
occhi che si appannano e dico cautamente: analisi predittive. La maggior parte delle persone ha il lusso di poter descrivere il proprio lavoro con una parola sola: medico, avvocato,
cameriere, contabile o attore. Per me, descrivere questo campo in gran parte sconosciuto
significa sequestrare ogni volta la conversazione. Ogni tentativo di essere conciso fallisce:
• Sono un consulente aziendale in tecnologia. Non sono soddisfatti e chiedono, “Che
tipo di tecnologia?”
• Faccio in modo che i computer prevedano quello che fa la gente. Sconcerto, accompagnato da totale incredulità e un po’ di timore.
• Faccio in modo che i computer imparino dai dati a prevedere il comportamento dei singoli
esseri umani. Stupore, e in più nessuno vuol parlare di dati a un party.
• Analizzo i dati per trovarci degli schemi. Gli occhi si appannano ancora di più: pause di
disagio affondano in un mare di astrazioni.
• Aiuto quelli del marketing a individuare i clienti che acquisteranno o se ne andranno. Più
o meno capiscono, ma è una visione riduttiva del campo in cui lavoro.
• Prevedo il comportamento dei clienti, come quando Target è riuscita a prevedere se una
donna era incinta. Risultato: un moonwalking.
Allora ho scritto questo libro per dimostrare perché l’analisi predittiva è intuitiva, potente
e formidabile.
Buona notizia: una piccola previsione dà grandi risultati. Lo definisco l’Effetto Predizione, un
tema che sottende tutto il libro. La potenza della previsione è notevole — purché le previsioni siano meglio del tirare a indovinare. Questo Effetto rende credibile l’analisi predittiva.
Non dovete fare l’improssibile e diventare chiaroveggenti. La storia è entusiasmante ma
credibile: riuscire a fare qualche previsione del futuro e sollevare almeno un poco il velo
che oscura la nostra vista del futuro paga alla grande. In questo modo l’analisi predittiva
combatte il rischio finanziario, rafforza la sanità, abbatte lo spam, intensifica la lotta al
crimine e incrementa le vendite.
Avete l’animo dello scienziato o dell’uomo d’affari? Vi sentite più attratti dall’idea stessa di
previsione, o dal valore che può contribuire al mondo?
Sono stato colpito dall’idea di conoscere l’inconoscibile. La previsione sembra violare una
Legge di natura: non si può vedere il futuro perché non è ancora qui. Aggiriamo il problema
costruendo macchine che apprendono dall’esperienza. È la tecnica ben regolata di usare
quello che sappiamo (sotto forma di dati) per attribuire probabilità sempre più precise a
quello che verrà. Fondiamo il meglio di matematica e tecnologia, continuando a modificare
finché non otteniamo un sistema che getta lo sguardo oltre la barriera, in precedenza impenetrabile, fra oggi e domani. Andiamo coraggiosamente dove non è mai andato nessuno!
Qualcuno si occupa di vendite; altri di politica. Io mi occupo di previsioni, ed è favoloso.
14
SiegelAnalisiPredittiva.indb 14
26/01/2015 15:13:18
Introduzione
L’Effetto Predizione
Sono come voi. Qualche volta mi va bene, altre sbaglio. Certi giorni le cose girano perfettamente, in altri vanno storte. Ci chiediamo sempre se potevano andare diversamente. Inizio
con sei brevi storie dolorose.
1. Nel 2009 mi sono quasi distrutto il ginocchio destro sciando nello Utah. Il salto
non è stato un problema, ma lo è stato l’atterraggio. Per l’intervento chirurgico ho
dovuto scegliere da dove ricavare il tessuto per ricostruire il legamento centrale del
ginocchio. È una scelta difficile e può fare la differenza fra vivere con un ginocchio
sano o meno. Ho deciso per il tendine posteriore del ginocchio. L’ospedale avrebbe
potuto fare una scelta migliore, dal punto di vista medico, per il mio caso?
2. Io ho sofferto molto, ma è stata la mia compagnia di assicurazione a pagar caro —
gli interventi al ginocchio sono costosi. La compagnia avrebbe potuto valutare meglio
il rischio di accettare come cliente un matto che salta con gli sci e stabilire di conseguenza
il mio premio di assicurazione?
3. Prima, nel 1995, un altro incidente mi ha provocato dei problemi, anche se mi ha
fatto meno male. Sono stato vittima di un furto d’identità, che mi è costato decine
di ore di idiozie burocratiche e di noiose scartoffie per ristabilire la mia valutazione
di rischio. I creditori avrebbero potuto prevenire la disavventura accorgendosi che i conti
presentati a mio nome in realtà erano fasulli?
4. Ristabilito il mio buon nome, recentemente ho acceso un mutuo per acquistare un
appartamento. È stata una buona mossa, o il mio consulente fiscale avrebbe dovuto
avvertirmi che presto l’importo del mutuo avrebbe potuto essere superiore al valore della
proprietà?
5. Anche la mia vita professionale è vulnerabile. La mia azienda va bene, ma per una
società è sempre in agguato il rischio di un cambiamento delle condizioni economiche e di un rafforzamento della concorrenza. Potremmo proteggere il nostro risultato
economico prevedendo quali attività di marketing e quali altri investimenti daranno frutto
e quali invece equivalgono a bruciare capitale?
15
SiegelAnalisiPredittiva.indb 15
26/01/2015 15:13:18
ANALISI PREDITTIVA
6. I piccoli alti e bassi determinano il vostro destino e il mio, giorno dopo giorno. Un
filtro preciso per lo spam ha un impatto significativo quasi su ogni ora lavorativa.
Dipendiamo molto dall’efficacia delle ricerche su Internet per il lavoro, la salute
(quando esploriamo le soluzioni per un intervento al ginocchio), la manutenzione
della casa e quasi ogni altra cosa. Ci fidiamo delle raccomandazioni di musica e
film personalizzate di Pandora e Netflix. Dopo tutti questi anni, la mia cassetta della
posta si chiede perché le aziende non mi conoscono ancora abbastanza da spedire
meno volantini inutili (e da sacrificare meno alberi inutilmente).
Queste situazioni difficili sono importanti. Possono migliorarti o rovinarti la giornata, l’anno, o la vita. Ma che cos’hanno tutte in comune?
Quete sfide, e molte altre analoghe, si affrontano meglio con la previsione. L’esito dell’intervento chirurgico sarà positivo? Chi sta chiedendo un prestito si rivelerà un imbroglione? Il
proprietario della casa dovrà accollarsi un cattivo mutuo? Il cliente risponderà se gli mando una brochure per posta? Prevedendo queste cose è possibile migliorare l’assistenza
sanitaria, diminuire i rischi, battere lo spam, combattere il crimine e ridurre i costi.
La previsione è big business — Il destino degli asset
C’è un’altra prospettiva. Al di là di dare vantaggi a voi e a me come consumatori, la previsione serve alle organizzazioni, dando loro una forma del tutto nuova di arma competitiva.
Le aziende abbracciano positivamente le previsioni.
Alla metà degli anni Novanta, uno studioso delle organizzazioni, Dan Steinberg, ha fornito
di capacità previsionali la maggior banca degli Stati Uniti, la Chase, per migliorare la gestione di milioni di mutui. Questa gigantesca istituzione ha avuto fiducia nella tecnologia
predittiva di Dan e l’ha impiegata per orientare le sue decisioni su un enorme portafoglio di
mutui. Che cosa aveva quest’uomo nel suo curriculum?
Prevedere è potere. Le grandi aziende si assicurano una forza competitiva micidiale prevedendo il destino futuro e il valore di singoli asset. In questo caso, orientando le decisioni sui
mutui in base a previsioni sul comportamento di pagamento futuro dei proprietari di case,
la Chase ha ridotto i rischi, aumentato i profitti e migliorato in generale la sua situazione.
Ed ecco a voi… il computer chiaroveggente
Destinata a crescere e spinta fra le tendenze dominanti, la tecnologia predittiva è diffusa e
influenza ognuno, ogni giorno. Influisce impercettibilmente sulle vostre esperienze quando
guidate, fate spese, studiate, votate, andate dal medico, comunicate, guardate la televisione, guadagnate, prendete a prestito o addirittura rubate. Questo libro parla dei traguardi
più influenti e preziosi della previsione automatizzata e delle due cose che la rendono possibile: le persone che ne stanno alla base e la scienza affascinante che la alimenta.
16
SiegelAnalisiPredittiva.indb 16
26/01/2015 15:13:18
INTRODUZIONE
Fare quelle previsioni pone una bella sfida. Ciascuna dipende da molti fattori: le varie caratteristiche note di ciascun paziente, di ciascun proprietario, di ciascuna e-mail che può
essere spam. Come affrontiamo il problema complicato di mettere insieme tutti questi
pezzi per ciascuna previsione?
L’idea è semplice, anche se questo non la rende facile. La sfida si affronta con sistematicità
e mezzi scientifici per sviluppare e migliorare continuamente le previsioni — per imparare
letteralmente a prevedere.
La soluzione è l’apprendimento automatico, computer che sviluppano automaticamente
nuove conoscenze e capacità nutrendosi freneticamente della più grande e più potente fra
le risorse non naturali: i dati.
“Alimentami!” — Cibo per la mente (per la macchina)
I dati sono il nuovo petrolio.
— Meglena Kuneva, ex Commissario europeo per la tutela dei consumatori
L’unica fonte di conoscenza è l’esperienza.
— Albert Einstein
In Dio abbiamo fiducia. Tutti gli altri devono portare dei dati.
— William Edwards Deming (professore di economia aziendale
famoso per il suo lavoro sulla produzione industriale)
La maggior parte delle persone non potrebbe essere meno interessata ai dati. Sembrano
una cosa così arida e noiosa. Un esercito infinito di fatti e cifre, tutti ordinari come il più
banale dei tweet, “Ho comprato un nuovo paio di scarpe!” È il residuo insipido e insapore
depositato in massa dalle attività economiche sulla loro strada.
Non lasciatevi ingannare! La verità è che i dati rappresentano una raccolta preziosissima
di esperienze da cui imparare. Ogni procedura medica, richiesta di prestito, post di Face­
book, raccomandazione di film, atto fraudolento, e-mail spam, acquisto di ogni tipo — ogni
risultato positivo o negativo, ogni telefonata commerciale andata o meno a buon fine, ogni
incidente, evento e transazione — è codificato come un dato e immagazzinato. Questa
massa cresce di 2,5 miliardi di miliardi di byte al giorno (un 1 seguito da 18 zeri). un vero
Big Bang che ci dà un mare epico di materie prime, una quantità tale di esempi che solo un
computer può riuscire a trarne insegnamento. Usati correttamente, i computer assorbono
avidamente questo oceano come una spugna.
Con l’accumularsi dei dati, è partita una genuina corsa all’oro. Ma i dati non sono oro. Lo
ripeto, i dati nella forma grezza sono feccia. L’oro è quello che si scopre all’interno.
17
SiegelAnalisiPredittiva.indb 17
26/01/2015 15:13:18
ANALISI PREDITTIVA
Il processo con cui le macchine apprendono dai dati libera il potere di questa risorsa esplosiva. Scopre che cosa motiva le persone e le azioni che intraprendono — che cosa ci spinge
e come funziona il mondo. Con le nuove conoscenze, la previsione è possibile.
Figura I.1 - L’apprendimento automatico permette di ricavare previsioni dai dati.
Questo processo di apprendimento scopre gemme preziose come queste:1
• Andare in pensione presto diminuisce l’aspettativa di vita.
• Nei siti di incontri, le persone giudicate più attraenti da tutti ricevono meno interessamento.
• I fan di Rihanna sono per la maggioranza Democratici in politica.
• I vegetariani perdono meno voli aerei.
• La criminalità locale aumenta dopo gli eventi sportivi pubblici.
L’apprendimento automatico parte da idee come queste per sviluppare capacità di previsione, seguendo un processo per tentativi di elaborazione di grandi quantità di numeri che
ha le sue radici nella statistica e nell’informatica.
Lo sapevo che l’avresti fatto
Con questo potere in mano, che cosa vogliamo prevedere? Tutte le cose che una persona
fa sono preziose da prevedere: consuma, lavora, si licenzia, vota, ama, procrea, divorzia, combina pasticci, bara, ruba, uccide e muore. Esploriamo qualche esempio.2
Le persone consumano
•
•
Gli studios di Hollywood prevedono il successo che avrà un film se verrà prodotto.
Netflix ha premiato con 1 milione di dollari la squadra di scienziati che ha saputo migliorare di più il suo sistema di raccomandazione per prevedere quali film vi piaceranno.
1 Vedi il Capitolo 3 per maggiori particolari su questi esempi.
2 Per altri esempi e dettagli ulteriori, vedi le Tabelle finali del libro.
18
SiegelAnalisiPredittiva.indb 18
26/01/2015 15:13:18
Introduzione
•
•
•
•
•
La società australiana per l’energia Energex prevede la domanda di elettricità per decidere dove rafforzare la sua rete e la Con Edison prevede le cadute di sistema in caso di
livelli elevati di consumo.
Wall Street prevede i prezzi delle azioni osservando come la domanda li spinga in alto
e in basso. Società come AlphaGenius e Derwent Capital orientano il trading in hedge
fund seguendo le tendenze nelle attività su Twitter del pubblico in generale.
Ci sono aziende che prevedono quali clienti acquisteranno i loro prodotti per mirare il
loro marketing, dalla U.S. Bank fino a piccole società come Harbor Sweets (dolciumi)
e Vermont Country Store (“prodotti di massima qualità e classici difficili da trovare”).
Queste previsioni determinano l’assegnazione di preziosi budget di marketing. Alcune
aziende prevedono come influenzarvi al meglio per farvi acquistare di più (Capitolo 7).
Le previsioni determinano i coupon che riceverete alla cassa. Tesco, gigante della grande distribuzione, primo gruppo in Inghilterra e terzo al mondo, prevede quali coupon
verranno riscattati per inviare in modo mirato 100 milioni di coupon personalizzati alle
casse dei supermercati di 13 paesi. Le previsioni hanno aumentato il tasso di redemption
dei coupon di un fattore 3,6 rispetto ai metodi precedenti. Kmart, Kroger, Ralph’s, Safeway, Stop & Shop, Target e Winn-Dixie seguono il suo esempio.
Prevedere i clic paga alla grande. Poiché i siti spesso vengono remunerati in base ai clic
sulle pubblicità mostrate, prevedono su quali inserzioni è più probabile facciate clic per
scegliere al volo quale farvi vedere. Il risultato è che le pubblicità scelte sono più pertinenti e i nuovi fatturati valgono milioni.
Le persone amano, lavorano, procreano e divorziano
•
•
•
•
ll principale social network orientato al mondo del lavoro, LinkedIn, prevede le vostre
competenze professionali.
I leader fra i siti di incontri online, Match.com, OkCupid ed eHarmony, prevedono quale
fra le persone sul vostro schermo sarebbe la scommessa migliore da parte vostra.
Target prevede la gravidanza delle clienti per vendere prodotti pertinenti di conseguenza. Non c’è niente che faccia prevedere i bisogni dei consumatori come la nascita di un
nuovo consumatore.
I ricercatori clinici prevedono infedeltà e divorzi. Esiste addirittura un tool di auto-aiuto
online per stabilire le probabilità di successo a lungo termine del vostro matrimonio
(www.divorce360.com), e circolano voci che anche le aziende che emettono carte di
credito facciano lo stesso.
Le persone pensano e decidono
•
•
Obama è stato rieletto nel 2012 con l’aiuto della previsione dei votanti. La campagna
Obama for America ha previsto quali elettori potevano essere persuasi con un contatto
(una telefonata, una visita a casa, un volantino o una pubblicità in tv) e quali invece
sarebbero stati indotti, anche involontariamente, da un contatto a votare contro. Utilizzato per orientare le decisioni della campagna per milioni di elettori negli Stati incerti,
si è visto che il metodo riusciva a convincere più elettori a scegliere Obama, rispetto ai
metodi delle campagne tradizionali.
“Che cosa intendevi dire?” I sistemi hanno imparato a stabilire le intenzioni dietro le
parole scritte. Citibank e PayPal rilevano il sentiment dei clienti rispetto ai loro prodotti
19
SiegelAnalisiPredittiva.indb 19
26/01/2015 15:13:18
ANALISI PREDITTIVA
•
•
•
e la macchina di un ricercatore può dire quali recensioni di libri su Amazon.com sono
sarcastiche.
È stata sviluppata la previsione dei voti dei saggi degli studenti per un possibile uso nella
valutazione automatica. Il sistema dà valutazioni accurate quanto un essere umano.
Esiste una macchina che può partecipare a pari titolo degli esseri umani alla celebrazione televisiva più popolare negli Stati Uniti della conoscenza e della cultura umana. Nello
spettacolo a quiz Jeopardy!, il computer Watson della IBM ha trionfato. La macchina
ha imparato tanto bene l’inglese da prevedere la risposta a domande in forma libera su
un’ampia serie di argomenti e ha sconfitto i due campioni umani.
I computer possono letteralmente leggere la vostra mente. I ricercatori hanno addestrato i sistemi a decodificare una scansione del vostro cervello e a stabilire a che tipo di
oggetto stavate pensando (come certi attrezzi, edifici e cibi) con una accuratezza di oltre
l’80 per cento per certi soggetti. Nel 2011 la IBM ha previsto che la tecnologia di lettura
della mente sarebbe stata comune nell’arco di cinque anni.
Le persone si licenziano, cedono, smettono
•
•
•
•
•
•
Hewlett-Packard (HP) contrassegna ciascuno dei suoi oltre 330.000 dipendenti di tutto
il mondo in base a un “Flight Risk”, la probabilità che la persona interessata si licenzi, in
modo che i dirigenti possano intervenire in anticipo se possibile e pianificare di conseguenza altrimenti.
Mai sentiti frustrati per il servizio telefonico? Il vostro fornitore vuole saperlo. Tutti i
principali gestori di telefonia cellulare prevedono quant’è probabile che disdiciate un
contratto e passiate a un concorrente (e possibilmente prima ancora che ci abbiate pensato) sulla base di fattori come le chiamate perse, l’uso del telefono, le informazioni di
fatturazione e il fatto che i vostri contatti abbiano già defezionato.
FedEx rimane in testa nel suo settore prevedendo (con una accuratezza che va dal 65 al
90 per cento) per quali clienti il rischio del passaggio a un concorrente sia alto.
L’American Public University System ha fatto previsioni sugli studenti in procinto di abbandonare gli studi e le ha usate per intervenire con successo; anche l’Università dell’Alabama, la Arizona State University, la Iowa State University, la Oklahoma State University e il Politecnico di Eindhoven in Olanda prevedono gli abbandoni.
Wikipedia prevede quali dei suoi redattori, che lavorano gratuitamente per mantenere in
vita questa preziosa risorsa online, smetteranno di prestare il loro valido servizio.
Ricercatori della Harvard Medical School prevedono che se i vostri amici smettono di
fumare è più probabile lo facciate anche voi. Smettere di fumare è contagioso.
Le persone combinano pasticci
•
Le compagnie di assicurazione prevedono chi avrà incidenti o si schianterà saltando
con gli sci. La Allstate prevede la responsabilità di danni fisici alle persone per incidenti
d’auto in base alle caratteristiche del veicolo assicurato, con miglioramenti delle previsioni che valgono, secondo le stime, 40 milioni di dollari all’anno. Un’altra delle principali
compagnie assicurative ha dichiarato risparmi di quasi 50 milioni di dollari all’anno grazie all’ampliamento delle sue pratiche attuariali con tecniche predittive avanzate.
20
SiegelAnalisiPredittiva.indb 20
26/01/2015 15:13:18
Introduzione
•
•
•
Ford apprende dai dati, così che le sue auto possano capire se il guidatore non è attento per distrazione, stanchezza o ebbrezza, e intervengano in quale modo, per esempio
emettendo segnalazioni acustiche
Utilizzando dati del National Transportation Safety Board, i ricercatori hanno identificato
gli incidenti aerei che hanno una probabilità cinque volte maggiore della media di essere
fatali.
Tutte le grandi banche e le compagnie che emettono carte di credito prevedono quali debitori è più probabile siano insolventi e non paghino le rate del mutuo o quanto devono
per spese fatte con la carta. Le agenzie di recupero crediti stabiliscono una priorità dei
loro interventi in base alla previsione delle tattiche che danno le migliori probabilità di
recuperare il massimo da ciascun debitore insolvente.
Le persone si ammalano e muoiono
Non mi spaventa la morte; voglio solo non essere presente quando succede.
— Woody Allen
•
•
•
•
•
•
•
•
Nel 2013 la Heritage Provider Network ha offerto oltre 3 milioni di dollari all’équipe di
scienziati in grado di fornire la migliore previsione dei ricoveri ospedalieri individuali.
In base a queste previsioni, misure di prevenzione possono ridurre le decine di miliardi
di dollari che vengono spesi annualmente per ricoveri non necessari. Analogamente, il
Medical Center dell’Università di Pittsburgh prevede chi verrà nuovamente ricoverato
a breve scadenza, in modo che i medici possano riflettere meglio prima di dimettere
frettolosamente un paziente.
Alla Stanford University, una macchina ha imparato a diagnosticare il cancro al seno meglio dei medici umani, scoprendo un metodo innovativo che tiene conto di un maggior
numero di fattori in un campione di tessuto.
Ricercatori della Brigham Young University e dell’Università dello Utah prevedono corretamente circa l’80 per cento delle nascite premature (e circa l’80 per cento delle nascite
regolari) in base a biomarcatori peptidici, che si possono trovare negli esami del sangue
già a partire dalla 24-esima settimana di gravidanza.
Ricercatori universitari hanno ricavato un metodo per identificare la schizofrenia dalle
sole trascrizioni del parlato dei pazienti.
Un numero crescente di compagnie di assicurazioni sulla vita va oltre le tavole attuariali
tradizionali e utilizza la tecnologia predittiva per stabilire il rischio di morte. Non si chiamano assicurazioni sulla morte, ma calcolano quando è probabile che morirete.
Oltre alle polizze sulla vita, una delle cinque maggiori compagnie di assicurazioni sanitarie statunitensi prevede la probabilità che un assicurato anziano muoia nell’arco dei 18
mesi successivi, sulla base di marcatori clinici nelle richieste di rimborso che ha inoltrato
recentemente. Non abbiate paura — lo fa in realtà con buone intenzioni.
Ricercatori prevedono il rischio di decesso nel corso di un intervento in base ad aspetti
del paziente e della sua condizione, per aiutare i medici a prendere decisioni informate.
Seguendo una pratica comune i medici regolarmente (ma non intenzionalmente) sacrificano alcuni pazienti per salvarne altri, e questo avviene senza alcuna controversia.
Ma questo effetto sarebbe ridotto se si prevedesse qualcos’altro, oltre alla diagnosi o
all’esito: l’impatto sanitario (le previsioni sull’impatto sono il tema del Capitolo 7).
21
SiegelAnalisiPredittiva.indb 21
26/01/2015 15:13:18
ANALISI PREDITTIVA
Le persone mentono, barano, rubano e uccidono
•
•
•
•
•
•
•
•
La maggior parte delle banche di medie e gradi dimensioni utilizza la tecnologia predittiva per contrastare le continue frodi su assegni, addebiti su carta di credito e altre
transazioni. La Citizens Bank è riuscita a ridurre del 20 per cento le perdite conseguenti a
frodi sugli assegni. La Hewlett-Packard ha risparmiato 66 milioni di dollari identificando
le richieste fraudolente di assistenza in garanzia.
I computer predittivi aiutano a decidere chi deve stare in carcere. Per avere un aiuto
nelle decisioni sulla libertà condizionata e le condanne al carcere, in stati come Oregon
e Pennsylvania i giudici consultano macchine prognostiche che valutano il rischio che un
colpevole commetta altri reati.
In genere si pensa che sia impossibile prevedere gli omicidi con una accuratezza significativa, ma all’interno di popolazioni a rischio i metodi predittivi possono essere efficaci. Il Maryland genera analiticamente previsioni su chi sotto controllo ucciderà e su
chi verrà ucciso. Ricercatori universitari e delle forze di polizia hanno sviluppato sistemi
predittivi che prevedono omicidi commessi da chi è già stato condannato per omicidio.
Un esperto di frodi in una grande banca del Regno Unito ha esteso il suo lavoro per
scoprire un piccolo gruppo di sospetti di terrorismo in base alle loro attività bancarie.
La polizia pattuglia le aree in cui è previsto si verifichino più crimini a Chicago, Memphis
e Richmond in Virginia.
Presa l’ispirazione dalla serie televisiva Lie to Me, che parla di un esperto nella lettura
delle microespressioni, ricercatori dell’Università di Buffalo hanno addestrato un sistema a identificare le menzogne con una accuratezza dell’82 per cento attraverso l’osservazione dei soli movimenti oculari.
Quando ero professore alla Columbia University alla fine degli anni Novanta, avevo una
squadra di assistenti che utilizzava software per smascherare gli imbrogli, che analizzava centinaia di compiti di programmazione informatica alla ricerca dei plagi.
L’Internal Revenue Service prevede chi barerà nella dichiarazione dei redditi.
Limiti e potenziale della previsione
Un economista è un esperto che saprà domani perché le cose che ha previsto ieri non si sono
avverate.
— Earl Wilson
Perché non si vede mai un titolo come “Dotato di poteri psichici vince alla lotteria”?
— Jay Leno
Ciascuno dei risultati precedenti è stato reso possibile dalla previsione, che a sua volta è
un prodotto dell’apprendimento automatico. C’è una netta differenza fra queste diverse
capacità e la fantascienza: non sono fantasie. A questo punto, prevedo che non sarete
sorpresi nello scoprire che questi esempi rappresentano solo un piccolo campione. Potete
prevedere tranquillamente che il potere della predizione è qui per rimanere.
22
SiegelAnalisiPredittiva.indb 22
26/01/2015 15:13:18
Introduzione
Ma queste rivendicazioni sono eccessive? Come diceva il fisico danese Niels Bohr, “Prevedere è molto difficile, in particolare il futuro”. In fin dei conti, predire non è fondamentalmente impossibile? Il futuro non è noto, e l’incertezza è l’unica cosa di cui siamo certi.
Figura I.2 - Le previsioni accurate in generale non sono possibili.
Vorrei essere molto chiaro. È una questione sfumata. Le previsioni accurate in generale non
sono possibili. Le previsioni del tempo hanno una accuratezza del 50 per cento soltanto e
non è certo più facile prevedere il comportamento degli esseri umani, che siano pazienti,
clienti o criminali.
Ma c’è una buona notizia! Le previsioni non devono essere accurate per avere un grande
valore. Per esempio, una delle applicazioni commerciali più immediate della tecnologia
predittiva è decidere a chi rivolgersi, quando un’azienda spedisce per posta materiali di
marketing diretto. Se il processo di apprendimento identifica un gruppo di clienti definito
con precisione per i quali la probabilità di rispondere positivamente è tre volte superiore
alla media, l’azienda trarrà un grande vantaggio eliminando preventivamente dal suo indirizzario quelli che hanno altrettanta probabilità di non rispondere. E questi a loro volta
avranno un beneficio, perché avranno meno posta da buttare nella spazzatura.
23
SiegelAnalisiPredittiva.indb 23
26/01/2015 15:13:18
ANALISI PREDITTIVA
Figura I.3 -Chi è più probabile che domani acquisti un paio di scarpe?.
In questo modo le aziende, che già con il marketing di massa si comportano un po’ come
chi gioca al lotto, spostano l’equilibrio di poco, ma è un “poco” significativo, a proprio favore — e questo senza avere previsioni molto accurate. In effetti, l’utilità resiste alla scarsa
accuratezza. Se la risposta in generale è dell’1 per cento, per quelli con una probabilità
di risposta tre volte superiore sale al 3 per cento. Non siamo in grado di prevedere con
sicurezza che ciascun singolo cliente risponderà: il valore deriva dall’identificazione di un
gruppo di persone che, in aggregato, tenderanno a comportarsi in un certo modo.
Qeusto dimostra in sintesi quello che chiamo Effetto Predizione. Una previsione migliore
del semplice tirare a indovinare, anche se non è accurata, produce valore vero. Una immagine sfocata di quello che succederà batte alla grande l’oscurità completa.
L’Effetto Predizione: Una piccola previsione dà grandi risultati.
Questo è il primo dei cinque Effetti che presenterò in questo libro. Forse avrete sentito
parlare degli effetti farfalla, Doppler e placebo. Aspettatevi qui gli effetti Dati, Induzione,
Insieme e Persuasione. Ciascuno di questi Effetti racchiude la parte divertente della scienza
e della tecnologia: un aggancio intuitivo che rivela come funziona e perché ha successo.
Il campo dei sogni
Le persone… agiscono in base a credenze e pregiudizi. Se riuscite a eliminarli e a sostituirli
con i dati, otterrete un vantaggio netto.
— Michael Lewis, Moneyball: The Art of Winning an Unfair Game
Di quale campo di studio o di quale branca della scienza stiamo parlando? A volte si parla
di apprendimento automatico o machine learning, ma questa è fondamentalmente un’espres-
24
SiegelAnalisiPredittiva.indb 24
26/01/2015 15:13:18
Introduzione
sione usata nei laboratori di ricerca, negli interventi ai convegni e nei corsi universitari (ho
tenuto il corso di Machine Learning alla Columbia University un paio di volte, alla fine degli
anni Novanta). Questi campi sono una fonte preziosa, ma non sono a contatto con il mondo concreto. Nelle applicazioni commerciali, industriali e della pubblica amministrazione,
nell’uso concreto dell’apprendimento automatico per formulare previsioni, il termine usato
è un altro, quello che indica il tema centrale di questo libro.
Analisi predittiva (Predictive analytics, PA) — Tecnologia che apprende dall’esperienza (dati) per prevedere il comportamento futuro di individui e fornire una guida
per decisioni migliori.
Basata sull’informatica e sulla statistica, promossa da convegni dedicati e corsi di laurea
universitari, la PA si è imposta come una disciplina autonoma. Oltre che essere un settore della scienza, però, la PA è un movimento che esercita un impatto potente. Milioni
di decisioni ogni giorno determinano chi verrà chiamato al telefono, contattato per posta, approvato, sottoposto a test, diagnosticato, ammonito, indagato, arrestato, invitato
a un appuntamento e curato. La PA è lo strumento che orienta decisioni ad personam in
modo empirico, facendosi guidare dai dati. Rispondendo a questa montagna di domande
più ristrette, la PA può in effetti rispondere alla domanda più grande di tutte: Come possiamo migliorare l’efficacia di queste funzioni massive nel lavoro della pubblica amministrazione,
dell’assistenza sanitaria, delle aziende, del no-profit e delle forze dell’ordine?
Figura I.2 - Le previsioni orientano il modo in cui le organizzazioni trattano e servono il singolo, trasversalmente alle
attività che definiscono una società che funziona.
25
SiegelAnalisiPredittiva.indb 25
26/01/2015 15:13:18
ANALISI PREDITTIVA
In questo senso, la PA è una bestia del tutto diversa dal forecasting, le previsioni tradizionali (come nell’espressione “previsioni del tempo”), che aggregano previsioni a livello
macroscopico. Come andrà l’economia? Quale candidato alle presidenziali otterrà più voti
in Ohio? Mentre le previsioni convenzionali stimano il numero totale di gelati che verranno
acquistati il prossimo mese in Nebraska, la tecnologia predittiva vi dice quale singolo abitante del Nebraska è più probabile vedere con un gelato in mano.
La PA è alla testa della tendenza a prendere decisioni più “guidate dai dati”, in cui ci si basa
meno sulle “sensazioni viscerali” e più sulla solida evidenza empirica. Entrate in questo
regno basato sui fatti e sarete travolti da parole alla moda, come analytics, big data, business
intelligence e data science. La PA può rientrare sotto ciascuno di questi cappelli, ma questi
termini evocativi si riferiscono più alla cultura e alle competenze generale di tecnologi che
fanno tutta una serie di cose creative e innovative con i dati, anziché indicare una tecnologia o un metodo specifici. Sono aree molto ampie: in qualche caso, indicano semplicemente normali report in Excel, cioè cose importanti, che richiedono una gran quantità di lavoro,
ma non si fondano sulla scienza o su una matematica raffinata e perciò sono definite in
modo più soggettivo. Come ha detto una volta Mike Loukides, vice-president della innovativa casa editrice O’Reilly, “La data science è come la pornografia — la riconosci quando
la vedi”. Spesso si usa, come sinonimo di PA, anche il termine data mining: è una bella metafora che suscita immagini di persone che “scavano” in una miniera di dati, in un modo o
nell’altro, ma anche questa espressione è usata con un significato più ampio.
Apprendimento nelle organizzazioni
Le organizzazioni più potenti dell’era di Internet, fra cui Google e Amazon… hanno modelli di
business che fanno perno su modelli predittivi basati sull’apprendimento automatico.
— Professor Vasant Dhar, Stern School of Business, New York University
Un’organizzazione è una sorta di “mega-persona”, perciò non dovrebbe “mega-apprendere”? Un gruppo, che si tratti di un’azienda, un governo, un ospedale, un’università o un’organizzazione benefica, si forma per il vantaggio collettivo dei suoi membri e di quelli che
serve. Una volta che si è costituito, profitta della divisione del lavoro, della complementarità delle competenze e dell’efficienza della produzione di massa. Il risultato è più della
somma delle parti. L’apprendimento collettivo è il passo logico successivo per sfruttare
ulteriormente quel potere delle organizzazioni. Come un venditore impara nel tempo dalle sue interazioni positive o negative con i potenziali clienti, dai suoi successi e dai suoi
fallimenti, la PA è il processo grazie al quale un’organizzazione apprende dall’esperienza
accumulata collettivamente dai suoi membri e dai suoi sistemi informatici. In effetti, un’or-
26
SiegelAnalisiPredittiva.indb 26
26/01/2015 15:13:19
Introduzione
ganizzazione che non fa leva sui suoi dati in questo modo è come una persona con una
memoria fotografica, che non si dà mai la pena di pensare.
Con poche eccezioni, vediamo che dall’uso della PA traggono beneficio le organizzazioni e
non gli individui. Le organizzazioni prendono le moltissime decisioni operative che lasciano
ampio spazio al miglioramento; le organizzazioni sono intrinsecamente inefficienti, con
sprechi su larga scala. Il marketing getta una rete molto grande — i molti materiali cartacei
spediti per posta sono denaro sprecato e alberi abbattuti per fare brochure che finiscono
nella spazzatura senza essere lette. Si stima poi che l’80 per cento di tutte le e-mail siano
spam. Si dà troppo credito a debitori a rischio. Le domande per accedere a benefici governativi si accumulano e le pratiche vengono sbrigate molto lentamente. E sono le organizzazioni che hanno i dati per generare le previsioni da cui possono derivare miglioramenti
in tutte queste attività.
Nel settore commerciale, una forza motrice è il profitto. Potete bene immaginare quanto
forti siano gli incentivi a rendere più efficienti le routine quotidiane, a rendere più mirate
le azioni di marketing, a individuare più frodi, a evitare i debitori insolventi e ad attirare
più clienti online. Migliorando il modo in cui vengono svolte le attività economiche, la PA
scuote le economie di scala dell’impresa, ottimizzando proprio là dove si ottengono le differenze maggiori.
I nuovi Super Geek: gli scienziati dei dati
Il lavoro più attraente fra 10 anni sarà quello dello statistico.
— Hal Varian, Chief Economist di Google
e docente all’Università della California, Berkeley, 2009
L’alternativa [a pensare in avanti] sarebbe pensare all’indietro... e questo è solo ricordare.
— Sheldon, il fisico teorico di The Big Bang Theory
Le opportunità sono molte, ma l’incentivo del profitto non è l’unica forza trainante. La fonte, l’energia che fa funzionare il tutto è il Geek Power! Parlo dell’entusiasmo dei tecnici. A
dirla tutta, la mia passione per la PA non nasce dal suo valore per le organizzazioni: mi ci
sono dedicato per il divertimento. L’idea di una macchina che può effettivamente apprendere mi sembra così forte che mi interessa più quello che succede dentro la scatola magica
che non la sua utilità esterna. In effetti, forse è proprio questa motivazione che definisce
un “geek”: amiamo la tecnologia; ne abbiamo un rispetto reverenziale. A proposito: il principale strumento software open-source per la PA, che si chiama R (un nome di una sola
lettera, da geek) ha una base di utenti in rapida espansione e un gruppo di sviluppatori
volontari ed entusiasi che ne ampliano e supportano le funzionalità. Un gran numero di
27
SiegelAnalisiPredittiva.indb 27
26/01/2015 15:13:19
ANALISI PREDITTIVA
professionisti e di dilettanti si fionda sulle gare pubbliche di PA con uno spirito tremendo di
“coopetizione”. Agiamo all’interno di singole organizzazioni, o come consulenti per molte.
Siamo molto richiesti, perciò voliamo molto. Ma viaggiamo in classe turistica, nel migliore
dei casi in Economy Plus.
L’arte di apprendere
Che cosa farai con la tua CPU per raggiungerne le potenzialità?
Usa la testa quando accedi per farlo girare esponenzialmente.
L’impresa che renderà più intelligente il mio ottuso computer:
Automigliorarsi ingegnosamente per prova ed errore.
— Da “Learn This!” dell’autore
C’erano una volta degli uomini che crearono la Macchina Non-plus-ultra di Uso Generale
e, in un inspiegabile impulso di understatement, decisero di chiamarla “computer” (una
parola che fino ad allora aveva semplicemente indicato una persona che faceva calcoli a
mano). Quell’automa poteva macinare qualsiasi insieme di istruzioni, per quanto impegnative e dettagliate, senza mai sbagliare e senza mai lamentarsi; nell’arco di pochi decenni,
la sua velocità diventò così straordinaria che l’umanità poteva solo esclamare, “Perbacco,
ce l’abbiamo fatta!”. Un nome migliore per quell’apparecchio sarebbe stato un grandioso
La Machine, ma qualche decennio dopo questo nome è stato iperbolicamente attribuito a
un “food processor” (non sto scherzando). Quel dommage. “Che cosa dobbiamo fare con
il computer? Qual è il suo vero potenziale e come possiamo raggiungerlo?”, si è chiesta
l’umanità piena di stupore.
Un computer e il vostro cervello hanno qualcosa in comune, che li rende entrambi misteriosi e al tempo stesso ci rende facile darli per scontati. Se, mentre riflettete su che cosa
possa essere, avete sentito cadere uno spillo, avete la risposta. Sono entrambi silenziosi. I
loro meccanismi non producono suoni. Certo, un computer può avere un disco o una ventola che sfrigolano — proprio come la nostra testa può emettere rantoli, starnuti e russare
— ma il gigantesco lavoro che si svolge al suo interno non comporta “parti in movimento”,
perciò queste attività senza rumore passano del tutto inosservate. La comparsa senza intoppi di contenuti sullo schermo, e di idee nella vostra mente, può sembrare miracolosa.
Sono entrambi tremendamente potenti, il vostro cervello e il vostro computer. Sarebbe
possibile programmare un computer in modo che pensi, senta o diventi davvero intelligente? E chi lo sa? Nel migliore dei casi queste sono domande filosofiche stimolanti, ma a cui
è difficile rispondere; nel peggiore sono pietre di paragone soggettive per le quali non si
può mai stabilire il successo senza ombra di dubbio. Ma per fortuna abbiamo qualcosa di
28
SiegelAnalisiPredittiva.indb 28
26/01/2015 15:13:19
Introduzione
chiaro: c’è una attività umana davvero impressionante e profonda che i computer possono
svolgere. Possono apprendere.
Ma come? Apprendere (generalizzare a partire da una serie, lunga o breve, di esempi) è più
che una sfida. È un profondo dilemma filosofico. Il compito dell’apprendimento automatico
è trovare schemi che emergono non solo nei dati disponibili, ma in generale, così che ciò
che viene appreso rimanga valido in nuove situazioni mai incontrate prima. Fondamentalmente, questa capacità di generalizzare è la “pallottola magica” della PA. Progettare questi
metodi per computer è una vera arte. Ne parleremo meglio più avanti, per ora basterà un
piccolo elemento. La macchina in realtà impara sulla vostra prossima probabile azione più
studiando gli altri che non studiando voi. L’ultimo capitolo del libro risponde all’indovinello:
Che cosa vi succede spesso, che non può essere visto, e che poi non potete nemmeno essere sicuri
che sia successo — ma che può essere previsto in anticipo?
Apprendere dai dati per fare previsioni è solo il primo passo. Fare il passo successivo e
agire in base alle previsioni significa azzardare senza timore. Apriremo il Capitolo 1 con
una vicenda ricca di suspense, che mostra perché lanciare una PA è un po’ come fiondarsi
nello spazio in un razzo.
29
SiegelAnalisiPredittiva.indb 29
26/01/2015 15:13:19