Test del chi

Capitolo 9
Test del χ2 (versione preliminare)
Nel capitolo sulla stima dei parametri si è visto come ottenere i parametri di una funzione
in modo da approssimare nel modo migliore i dati sperimentali. Tuttavia i metodi esposti
(Minimi Quadrati e Massima Verosimiglianza) non danno alcuna indicazione su come la
funzione ottenuta si adatta ai dati, ovvero non danno alcuna indicazione sulla “qualità” del
fit. Uno dei modi più utilizzati per ottenere questo tipo di valutazione è il test del χ2 .
Questo test, se sono soddisfatte alcune condizioni, permette di ottenere una valutazione
probabilistica della “bontà del fit1 ” utilizzando la distribuzione di densità di probabilità del
χ2 , già descritta nel paragrafo 5.9.6.
Il test del χ2 ha due forme, una che si applica quando si prende in considerazione una
dipendenza funzionale tra due grandezze e un’altra che si applica a risultati esprimibili con
istogrammi.
9.1
Test del χ2 per relazioni funzionali
Il test del χ2 è largamente utilizzato quando si vuole una valutazione della qualità del fit
ottenuto da un insieme di dati sperimentali oppure quando si vuole verificae se una teoria (anche priva di parametri da determinare) è supportata o meno dai dati sperimentali.
Consideriamo una grandezza fisica Y misurata in funzione di un’altra grandezza X e sia
Y = g(X|Λ) la funzione che si intende adattare ai dati. Le misurazioni di Y siano effettuate
in corrispondenza a N valori xi , (i = 1, . . . , N ), noti con incertezza trascurabile, e siano
yi ± ui le misure ottenute con le loro incertezze. Supponiamo inoltre che le misure yi siano
distribuite normalmente attorno al valore g(xi |Λ), valore teorico aspettato per la variabile yi
con deviazione standard ui . La figura 9.1 esemplifica quanto esposto; le curve a campana
attorno ai valori attesi delle y rappresentano le distribuzioni gaussiane ipotizzate delle grandezze riportate nell’asse dell ordinate. Con le ipotesi fatte la variabile zi = (yi − g(xi |Λ))/ui
è una variabile aleatoria con distribuzione normale N (0, 1) e quindi la variabile definita dalla
sommatoria delle zi2
N
N
X
(yi − g(xi |Λ))2 X
zi2 = χ2
(9.1)
=
2
u
i
i=1
i=1
segue la distribuzione di probabilità del χ2 con un numero di gradi di libertà che è dato
dal numero N dei punti sperimentali da cui si deve sottrarre il numero dei k parametri
Λ : {λ1 , . . . , λk } eventualmente stimati nel calcolo del fit utilizzando gli stessi N punti
1
In inglese Goodness-of- fit alle volte abbreviato con l’acronimo GOF
96
CAPITOLO 9. TEST DEL χ2 (VERSIONE PRELIMINARE)
97
y
y3
y2
y1
y4
x1
x2
x3
x
x4
Figura 9.1: Test del χ2 per relazioni funzionali. I cerchi pieni rappresentano le misure sperimentali, i cerchi
vuoti i valori attesi delle yi e le curve a campana sono le gaussiane che descrivono come si distribuiscono le yi
attorno al valore atteso. Le barre di incertezza sulle yi non sono state riportate per evitare la sovrapposizione
di simboli grafici che avrebbero reso più difficoltosa la comprensione del grafico.
sperimentali. In conclusione il numero dei gradi di libertà della variabile χ2 è ν = N − k.
Ad esempio supponiamo che la curva continua nella figura 9.1 sia una parabola: g(x|Λ) =
λ1 + λ2 x + λ2 x2 e che tramite il fit dei 4 punti sperimentali avessimo determinato il valore
dei tre parametri λ1 , λ2 , λ3 , la variabile χ2 ottenuta tramite la (9.1) ha 1 grado di libertà.
Una volta calcolato il valore χ2o dell’espressione (9.1) e il numero di gradi di libertà,
se la funzione g ipotizzata descrive correttamente i dati , possiamo calcolare la probabilità
di ottenere casualmente un valore di χ2 maggiore di quello ottenuto χ2o con il seguente
espressione:
Z
∞
P (χ2 > χ2o ) =
χ2o
′
fχ2 (χ2 ) dχ2
′
(9.2)
I valori dell’integrale (9.2) si ottengono tramite tabelle2 o con programmi di calcolo3 . Parlando qualitativamente ci aspettiamo che se la funzione g(x|Λ) descrive correttamente i dati,
P (χ2 > χ2o ) sia abbastanza grande4 , e dell’ordine del 50%, mentre valori piccoli di tale probabilità ci dicono che, se la funzione g(x|Λ) descrivesse correttamente i dati, il valore trovato
(χ2o ) sarebbe estremamente improbabile. Quindi se il valore di P (χ2 > χ2o ) è “piccolo” (convenzionalmente si prende come valore minimo il 5%, ma si parla sempre di probabilità e non
di certezza) probabilmente la teoria, rappresentata dalla funzione (g(x|Λ)), non si adatta ai
dati e quindi è da rigettare.
9.1.1
Il χ2 ridotto
Notiamo che se la funzione g(X|Λ) descrive correttamente i dati, il valore atteso della
variabile χ2 (9.1) è pari al numero di gradi di libertà ν cioè E[χ2 ] = ν. Per rendere il valore
atteso del χ2 indipendente dal numero dei gradi di libertà è stato introdotto il χ2 ridotto
2
Vedi l’appendice D nella quale è tabulato il χ2 ridotto, ovvero χ̃2 = χ2 /ν. Per la definizione del χ2
ridotto vedi il prossimo paragrafo.
3
Tra i programmi per il calcolo dell’integrale (9.2) si può utilizzare EXCEL o il suo equivalente open source
4
Estremizzando, se i punti sperimentali coincidessero esattamente con i valori previsti avremo χ2o = 0 e
quindi una probabilità pari a 1 di ottenere in un esperimento successivo un valore maggiore di χ2 . Tuttavia
vedremo che anche valori troppo piccoli di χ2 sono indice di un problema nella valutazione della qualità del
fit. Vedi il successivo Esempio 3 a pagina 99.
CAPITOLO 9. TEST DEL χ2 (VERSIONE PRELIMINARE)
102
Figura 9.6: Istogramma delle misure del periodo di un pendolo. Sono rappresentati due assi: in alto i valori
del periodo in secondi, in basso la corrispondente variabile z = (T − T )/s. I numeri sotto il bin indicano
l’estremo inferiore del bin.
segue la distribuzione del χ2 con ν = n−1 gradi di libertà. Il numero dei gradi di libertà è pari
al numero dei bin in cui sono stati raggruppati i dati sperimentali meno uno. La diminuzione
di una unità dei gradi di libertà è giustificata dalla osservazione che il numero totale degli
eventi (N ) è fissato e quindi il contenuto dell’ultimo bin è determinato del contenuto di tutti
gli altri. Ovviamente se la distribuzione con la quale confrontiamo i dati avesse k parametri
stimati da una procedura di fit allora il numero dei gradi di libertà della variabile χ2 sarebbe
ν = n − k − 1.
Esempio su dati reali. La misurazione del periodo T di un pendolo fisico è eseguita con
un apparto provvisto di un interruttore ottico collegato ad un cronometro la cui risoluzione
è 10 µs. Sono acquisti 198 valori del periodo e l’istogramma dei valori è mostrato in figura
9.6. Media e deviazione standard dei valori acquisiti sono T = 1.51196 s e s = 0.00012 s. Ci
chiediamo se la distribuzione dei valori ottenuti è compatibile con una distribuzione normale
con valore medio e deviazione standard ottenuti dai valori calcolati. Come prima operazione
trasformiamo le grandezze Ti misurate, nelle corrispondenti variabili normalizzate zi con la
relazione:
Ti − T
zi =
(9.5)
s
Il nuovo asse è rappresentato al di sotto di quello originale nella figura 9.6. Il passo successivo è calcolare per ogni bin il contenuto di eventi aspettato, che nell’ipotesi fatta della
distribuzione normale, è:
Ei = N
Z zi+1
zi
1
N
zi
2
√ e−t /2 dt =
erfc √1
2
2π
2
− erfc
zi1+1
√
2
(9.6)
dove erfc(x) è la funzione complementare degli errori (vedi pagina 59).
Esaminando la tabella 9.3 si nota che alcuni bin hanno un contenuto inferiore a 5 per cui,
per applicare in modo corretto il test del χ2 di Pearson, devono essere accorpati fino a
raggiungere una numerosità maggiore di 5. Allo scopo i valori attesi dei primi 5 e degli
ultimi 3 bin sono stati sommati tra loro e confrontati con la somma dei corrispondenti valori
CAPITOLO 9. TEST DEL χ2 (VERSIONE PRELIMINARE)
103
Tabella 9.3: Tabella per l’esecuzione del test di χ2 di Pearson sui dati del periodo di oscillazione di un pendolo
fisico. Nella colonna dei valori attesi (Ei ) i numeri in corsivo si riferiscono ai dati accorpati come spiegato
nel testo
Ti (s)
1.5114
1.5115
1.5116
1.5117
1.5118
1.5119
1.512
1.5121
1.5122
1.5123
1.5124
zi
-4.578
-3.758
-2.938
-2.118
-1.298
-0.478
0.343
1.163
1.983
2.803
3.623
Oi
1
0
0
1
13
47
66
46
20
2
2
Ei
−
−
−
−
19.2
43.4
62.9
48.2
24.2
−
−
(Oi − Ei )2 /Ei
0.936
0.296
0.156
0.101
0.002
χ2 = 2.06
osservati (vedi la tabella 9.3). In queste condizioni si ottiene χ2 = 2.08 Il numero dei gradi di
libertà è ν = 2 (5 bin, 2 parametri stimati dai dati) con la probabilità P (χ2 > 2.08) = 0.36.
Questo valore conferma l’ipotesi di normalità della distribuzione dei periodi del pendolo su
cui sono state effettuate le misurazioni, almeno per misure di T che distano meno di due
deviazioni standard dalla media.