Il punto di vista di Anirban: randommizzazione, bootstrap e Sherlock

Il punto di vista di Anirban
Randomizzazione, Bootstrap e Sherlock Holmes
IMS Bulletin, Vol. 42(5)
Potrebbe anche essere un esercizio di frivolezza, ma vedo un collegamento tra
Sherlock Holmes e il bootstrap (tecnica di ricampionamento). E' l’inferenza
randomizzata. Un esempio standard, spesso portato in una classe di statistica, è il
seguente: se una moneta è lanciata 20 volte, usando un test UMP (uniformemente
più potente) si conclude che la moneta è equa - con un errore del 5% - quando si
osservano 10 ± 3 teste; si conclude che la moneta non è equa se si osservano meno
di 6 teste o più di 14 teste. E se si osservano esattamente 6 teste o esattamente 14
teste? La decisione è lasciata alla simulazione del lancio di una moneta che produce
testa il 39,2% delle volte. Quando si è di fronte a un dilemma, lasciate che a risolvere
il problema sia una macchina. Vi sembra una cosa un po’ pazza?
Nonostante il prestigio della elegante e resistente teoria di Neyman- Pearson, che lo
stesso Wald prese in considerazione nel suo libro del 1950, usando una tecnica di
randomizzazione a valle della raccolta dati, i test randomizzati e gli intervalli di
confidenza sono stati accolti con un celato disprezzo e una scrollata di spalle. Anche
il più fedele sostenitore delle decisioni ottimizzate scappa di fronte a questa tecnica
(vedi discussioni di Basu, 1980, JASA).
C'è una sola eccezione celebre, appunto il bootstrap, ed in misura minore, il test di
permutazione di Pitman. Non è mia intenzione criticare o malignare su un metodo
largamente utilizzato. Ma, poiché il metodo di Monte Carlo del bootstrap non è altro
che un metodo di stima per una distribuzione – o dei suoi funzionali, il metodo
inferenziale basato sul bootstrap altro non è che una macchina randomizzata. Cosa
è una macchina randomizzata? Una macchina che fornisce risposte diverse alla
stessa domanda e con gli stessi dati, se questa domanda le viene posta in momenti
diversi. A volte le risposte sono sostanzialmente diverse. Ma questo non ha scalfito
neanche di un briciolo la popolarità del bootstrap (Efron e Tibshirani , 1993 CRC
Press; Edgington , 1995 CRC Press) .
Cito una piccola parte di un esempio. Considerate il solito scenario di un campione
casuale iid, e prendete in considerazione la media in valore assoluto della distanza
dalla mediana dei dati, ossia
1
= |
− |
Se esiste il momento del secondo ordine, √ − |
− | è asintoticamente
normale, con la mediana della popolazione. Se la popolazione ha una distribuzione
assolutamente continua, la moderna teoria dei processi empirici può essere usata
per ottenere in maniera rigorosa la varianza asintotica. Se la distribuzione è quella di
Laplace, di parametri e , anche
√ è asintoticamente normale (standard).
Mentre il classico percentile di un intervallo di confidenza (CLT) al 95% è ± 1.95996
≈ ± 1.96, con la tecnica del bootstrap i percentili costruiti su 15 ricampionamenti
variano tra 1.651 e 2.030 con una media di 1.845. I 15 ricampionamenti sono stati
eseguiti con n = 35, e una dataset fissato ottenuto per simulazione, utilizzando
ciascuno dei cinque valori di B tre volte, B = 600 , 750 , 900 , 1000, 1200 [la scelta di
B è discussa in Sala (1986 , AoS) , Horowitz (1994, Joe), Shao e Tu (1995 , Springer)].
In 13 dei 15 casi, l'intervallo di bootstrap è stato più piccolo di quello CLT, e per due
volte, sostanzialmente identico. Vorrei essere corretto, ma non sono sicuro che in
pratica si ripeta lo stesso bootstrap (anche se con la stessa B), e le diverse
randomizzazioni opportunamente ricombinate. Non abbiamo spazio per scendere in
ulteriori dettagli. La tecnica del jackknife può sicuramente tornare utile. Ciò
nonostante, il bootstrap resta un metodo di successo per l’inferenza randomizzata.
Permettetemi ora di raccontarvi una storia molto nota su Sherlock Holmes. E’ la
storia dell’ Ultima avventura. Holmes è in fuga da Londra per sfuggire alla vendetta
spietata del suo mortale nemico, il genio certificato del male nonché "Napoleone del
crimine", il professor Moriarty Mi scuso con tutto il mondo perché il professore era
un matematico, anzi era considerato un fenomeno nella sua facoltà. Eulero, a suo
confronto, avrebbe chinato il capo per la vergogna. Holmes sale sul treno a Londra,
con l'intenzione di scendere alla stazione terminale di Dover, e poi di prendere una
nave per il continente.
Il treno ha una fermata intermedia a Canterbury. Appena il treno lascia la stazione
Victoria, Holmes vede Moriarty sul binario, e suppone che Moriarty sa che Holmes è
su quel treno. Moriarty può sicuramente trovare un mezzo di trasporto veloce per
incontrare Holmes a Dover. Anticipando questa mossa, Holmes potrebbe scendere
a Canterbury. Ma da scaltro matematico quale è , Moriarty anticiperà la mossa di
Holmes e a sua volta penserà di raggiungerlo a Canterbury. Ora, Holmes, che, come
è noto, è a sua volta molto astuto, sicuramente penserà che Moriarty pensa di
anticipare ciò che Holmes vorrebbe fare, e così via. Sicché abbiamo due personalità
forti, avversarie in un problema di decisione: dove scendere? Philip Stark ha fatto
notare che la scena siciliana in La storia fantastica è formalmente equivalente al
gioco Holmes - Moriarty.
C'è una eccellente letteratura su questo esempio affascinante. Cito Morgenstern
(1935, New York University Press), Clayton (1986, discussione di Diaconis e
Freedman , 1986 , AOS) , Eichberger (1995 , GEB) , Caso (2000 , AMM) e Koppl e
Rosser (2002 , SCE). Il problema Holmes - Moriarty può essere visto come un
problema di decisione, con una funzione di perdita. Ciascuna delle azioni nonrandomizzate di Holmes, = scendere a Canterbury , = scendere a Dover, è
ricevibile e minimax. Data l'infinita catena di ragionamenti - "Io credo che tu credi
che io credo che ... " - ciascuno pensa, nascono paradossi legati all'autoreferenzialità del ragionamento e non si perviene ad una conclusione. Qui sembrano
avere senso solo delle decisioni prese a caso! Se la perdita di Holmes, ossia trovarsi
nella stessa stazione con Moriarty, è L, questa è pari a zero se Holmes scende a
Canterbury mentre Moriarty procede allegramente fino Dover, ed è invece cL , con
c < 1, se Moriarty scende a Canterbury mentre Holmes continua fino a Dover.
Quindi la strategia randomizzata ottimale di Holmes è p + (1 - p) mentre
quella di Moriarty di (1-p) + p , dove p = (1 – c)/(2 –c) , e in questo caso, il
gioco è in stallo nel senso di von Neumann. E una situazione di stallo è ragionevole
in una battaglia tra due giganti uguali.
Le storie di Sherlock Holmes sono tali monumenti della letteratura di prim'ordine,
senza eguali, che conosco intenditori che non affrontano dei viaggi lontano da casa
senza Holmes nella loro valigia.
Come in un bambino che ride, una rosa, una sinfonia di Mozart, un tramonto sul
mare, le gocce di pioggia sulla finestra, o un bel teorema, in Holmes un uomo può
trovare conforto. Sir Conan Doyle ha scelto 19 tra le storie dedicate a Holmes:
l’ultima avventura è in tale elenco, l’uomo che danza è decisamente di sapore
statistico. Romanzare tutto ciò può apparire bizzarro, ma la serie TV inglese Sherlock
Holmes è a sua volta un meraviglioso intrattenimento.
(traduzione di E. Di Nardo)