Test del 2

Test del
2
Inferenza statistica
Indagine campionaria: indagine svolta su una parte
dell’intero collettivo da indagare (popolazione)
Estendere i risultati a tutta la popolazione: i risultati
ottenuti per il campione sono approssimativamente
validi per tutta la popolazione
Inferenza statistica: insieme di metodi che consentono di precisare
“a posteriori” i margini di tale approssimazione
oppure
“a priori” l’articolazione e il dimensionamento ottimale del campione
Problemi inferenziali
• Stima dei parametri
• Verifica di ipotesi sui parametri
Problemi
inferenziali
parametrici
sulla base dei risultati del campione, si valutano i parametri che
caratterizzano la distribuzione del carattere nella popolazione (a
posteriori) o se ne verificano le congetture (a priori)
• Verifica di altre ipotesi
riguardano aspetti della distribuzione del carattere nella
popolazione non suscettibili di essere espressi dai parametri
che compaiono, che valgano per qualsiasi forma funzionale di tale
distribuzione
Problemi
inferenziali
nonparametrici
Verifica di ipotesi (cap. 8.4 cenni)
Nell’inferenza statistica parametrica si formulano
ASSUNZIONI sui valori di un parametro
incognito di una distribuzione di probabilità di
funzione NOTA.
La verifica statistica delle ipotesi vaglia il grado di
attendibilità che può essere attribuito loro.
Inferenza statistica non parametrica
(cap. 9)
Si tratta di usare metodi (detti non parametrici) che non
usano alcuna informazione sulla distribuzione di
probabilità.
Dunque sono utili quando non si conosce la distribuzione
di probabilità della popolazione e non è possibile usare
test che coinvolgono ipotesi sui parametri della
distribuzione.
Vedremo come realizzare con Excel un test per la “bontà
dell’adattamento”: il test del 2 (che state utilizzando in
Fisica).
Test del
2
(di buon adattamento)
• I test di buon adattamento, in generale, hanno lo scopo di
verificare se una variabile in esame abbia o meno un certa
distribuzione ipotizzata, sulla base, come al solito, di dati
sperimentali.
• Si usa per confrontare un insieme di frequenze osservate in un
campione, con le analoghe quantità teoriche ipotizzate per la
popolazione
Test del
2
(di buon adattamento)
• I test di buon adattamento, in generale, hanno lo scopo di verificare
se una variabile in esame abbia o meno un certa distribuzione
ipotizzata sulla base, come al solito, di dati sperimentali.
• Si usa per confrontare un insieme di frequenze osservate in un
campione, con le analoghe quantità teoriche ipotizzate per la
popolazione
Confronto tra frequenze
empiriche e teoriche
Mediante il test è possibile misurare quantitativamente il grado
di deviazione tra i due insiemi di valori
Confronto tra frequenze empiriche e teoriche
I risultati ottenuti nei campioni non sempre
concordano esattamente con i risultati teorici attesi
secondo le regole di probabilità, anzi, è ben raro
che questo si verifichi.
Per esempio: benché considerazioni teoriche ci
portino ad attenderci 50 teste e 50 croci da 100
lanci di una moneta, è raro che questi risultati siano
ottenuti esattamente, ma nonostante questo non si
deve per forza dedurre che la moneta sia truccata!
Un esempio
Un amico vi dice:
Questa moneta è equa. Infatti su 1000 lanci ho
ottenuto 499 "testa" e 501 "croce".
Come possiamo valutare la verosimiglianza di
quanto raccontato dall'amico con la previsione
teorica?
Col test del 2 vedremo quanto il dato osservato
concorda col dato teorico, e potremo trarre le
nostre conclusioni.
Distribuzione
2
(a n gradi di libertà)
E’ una distribuzione di probabilità continua, ottenuta come somma dei
quadrati di n variabili casuali indipendenti, con media 0 e varianza 1
In Excel esistono le funzioni:
DISTRIB.CHI(x;gradi_libertà)
INV.CHI(probabilità;gradi_libertà) che ne calcola la sua inversa.
Per esempio:
DISTRIB.CHI(0,004;1) = 0,950
INV.CHI(0,950;1) = 0,004
Esistono pure DISTRIB.CHI.QUAD, DISTRIB.CHI.QUAD.DS, INV.CHI.QUAD e
INV.CHI.QUAD.DS relative alle probabilità a una coda.
Come valutare la concordanza
Test del χ2 di Pearson:
Nell’esempio della moneta, prendiamo come
frequenza teorica quella della distribuzione
binomiale: si ottiene testa (o croce) con probabilità
p=1/2
Confronto dato empirico e dato teorico
modalità
testa
croce
n=
frequenze
empiriche:
fe
499
501
1000
probabilità
teoriche: p
0,5
0,5
frequenze
teoriche:
ft=p*n
500
500
funzione test
2=
livello di
significativita'
=
valore critico
c2=
2
(fe - ft) / ft
0,002
0,002
0,004
0,05
Confrontare 2
col valore
teorico nel caso
di moneta non
truccata
3,841458821
Il valore critico lo posso ottenere dalla tabella dei valori della distribuzione 2, in funzione di a
e dei gradi di libertà, o calcolarlo direttamente con INV.CHI(probabilità; gradi_libertà), dove
gradi di libertà = quantità delle frequenze sperimentali che devo conoscere direttamente.
Nel nostro esempio:
a = 0,05 e gradi di libertà = 1 (perché basta conoscere p per ottenere q=1-p)
2 = INV.CHI(0,05;1) = 3,841458821
c
Valori in tabella con Excel
Come ottenere i valori in tabella con Excel?
2
0,950 = 0,004
DISTR.CHI(0,004;1) = 0,950
INV.CHI(0,950;1) = 0,004
2
0,050
= 3,841
DISTR.CHI(3,841;1) = 0,050
INV.CHI(0,050;1) = 3,841
2
0,050 corrisponde
2
0,010 corrisponde
2
0,950 corrisponde
alla probabilità 5%
alla probabilità 1%
alla probabilità 95%
Accettazione
ACCETTO se
2<
2
C
(come indica il libro di Excel)
Il valore della funzione test
Il valore critico
2
= 0,004 =
2 = 3,841 =
C
2
0,950
2
0,050
0,004 < 3,841 quindi ACCETTO.
Equivalentemente:
ACCETTO se 0,95 > 0,05 = a livello di significatività scelto; ovvero
ACCETTO se 95% > 5%
In Excel la percentuale 0,950 la posso ottenere direttamente:
0,950 = TEST.CHI(int_effettivo; int_previsto)
dove int_effettivo e int_previsto sono rispettivamente le tabelle delle
frequenze empiriche e teoriche
Quindi più velocemente:
ACCETTO se TEST.CHI(int_effettivo; int_previsto) > a
Funzione TEST.CHI
TEST.CHI(B2:B3;D2:D3) = 0,950
Indica direttamente che il valore di
Dato che 0,950 > 0,05: ACCETTO!
2
(0,004) corrisponde a
2
0,950
Commento
Abbiamo ottenuto:
2
=
2
0, 950
In realtà ciò indica che la discordanza dal valore
teorico è addirittura un po’ «troppo bassa»: il
valore è piuttosto «anormale» e quindi improbabile
(è sensato supporre che … l’amico ci abbia detto una
frottola!).
Altro esempio
Effettuando 50 lanci di un dado si sono ottenuti:
9
11
5
8
10
7
uno
due
tre
quattro
cinque
sei.
Vogliamo valutare se i dadi sono equi.
Confrontiamo le frequenze ottenute con quelle teoriche della
distribuzione uniforme, corrispondente ai dadi equi. Per
valutarne la discordanza, calcoliamo il relativo χ2.
Calcoliamo
modalità
1
2
3
4
5
6
frequenze
empiriche:
fe
9
11
5
8
10
7
n=
50
probabilità
teoriche: p
0,1667
0,1667
0,1667
0,1667
0,1667
0,1667
2
frequenze teoriche:
ft=p*n
8,333333333
8,333333333
8,333333333
8,333333333
8,333333333
8,333333333
(fe - ft)2/ ft
0,053333333
0,853333333
1,333333333
0,013333333
0,333333333
0,213333333
funzione test 2=
2,8
Cosa ci dice 2,8 sulla equità del dado?
Studiando la distribuzione 2 teorica, cioè come si distribuirebbe
il valore di 2 se il dado fosse equo (per esempio su 5000 lanci) si
otterrebbe il seguente istogramma
Istogramma della distribuzione
lanci di un dado equo
2
di 5000
Dove si colloca il nostro 2,8?
Si nota che 2,8 è un valore abbastanza centrale. Anzi studiando i percentili si trova
che 2,8 è il 25° percentile.
Quindi posso ACCETTARE l’ipotesi che il dado sia equo!
Per valutare ciò con Excel procediamo come segue.
Con Excel (senza usare TEST.CHI)
modalità
1
2
3
4
5
6
n=
frequenze
empiriche:
fe
9
11
5
8
10
7
50
probabilità
teoriche: p
0,1667
0,1667
0,1667
0,1667
0,1667
0,1667
frequenze teoriche:
ft=p*n
8,333333333
8,333333333
8,333333333
8,333333333
8,333333333
8,333333333
2
(fe - ft) / ft
0,053333333
0,853333333
1,333333333
0,013333333
0,333333333
0,213333333
funzione test 2=
2,8
livello di
significativita' =
valore critico c2=
0,05
11,07049769
risultato:
si accetta l'ipotesi
nulla
Confrontare 2
col valore
teorico nel caso
di dadi equi
Nel nostro esempio (seguendo il libro di Excel che non usa la funzione TEST.CHI):
gradi di libertà = 5 (perché occorre conoscere 5 frequenze per ottenere anche la sesta)
INV.CHI(0,05;5) = 11,07049769
2,8 < 11,07049769 quindi ACCETTO
Con la funzione TEST.CHI
TEST.CHI(B2:B7;D2:D7) = 0,731
Indica direttamente che il valore di 2 corrisponde a 20,731
Dato che 0,731 > 0,05: ACCETTO!
Uso la funzione: SE(D11>D10; "ACCETTO H0";"RIFIUTO H0")
Tecnica generale
Consideriamo una variabile X con distribuzione di
probabilità da verificare.
1. Effettuiamo n misurazioni della variabile.
2. Raggruppiamo i valori in k classi/modalità,
ottenendo una distribuzione empirica delle
frequenze.
3. Confrontiamola con una distribuzione teorica
ipotetica e valutiamo così il grado di adattamento
tra le due distribuzioni.
Scopo del test
2
• Confrontiamo tra loro le frequenze empiriche e
quelle teoriche verificando l’ipotesi nulla H0 , ossia
che tra le probabilità teoriche e le frequenze relative
empiriche ci sia un buon accordo
• L’ipotesi alternativa H1 è che la distribuzione teorica
non si adatta alla distribuzione empirica
Con Excel (senza la funzione TEST.CHI)
“Ingredienti” per il test (ogni ingrediente in una colonna)
• ai
modalità (classi) della distribuzione empirica (i=1,…,k)
• n
numero di elementi del campione
• fi
frequenza assoluta empirica dell’i-esima modalità
• fri=fi /n
frequenza relativa empirica dell’i-esima modalità
• pi
probabilità teorica dell’i-esima modalità
• n*pi
frequenza assoluta teorica dell’i-esima modalità
• Calcoliamo
• Calcoliamo il valore critico 2c con INV.CHI(a ; gdl) dove
a = livello di significatività richiesto, e gdl=gradi di libertà;
gdl=k-1 se sono noti i parametri della distribuzione teorica;
gdl=k-1-r se sono r i parametri da stimare usando le osservazioni
• Se
2<c2
c
«Accetta l’ipotesi nulla»; altrimenti «Rifiuta l’ipotesi nulla»
Test del
1.
2.
3.
4.
2
con Excel (con la funzione TEST.CHI)
Inserire i dati
Calcolare le frequenze osservate (int_effettivo)
Calcolare le frequenze attese (int_previsto)
Usare la funzione
TEST.CHI(int_effettivo; int_previsto)
Il valore ottenuto è il valore della probabilità che la differenza tra i
valori osservati e quelli attesi, verificato con il test chi-quadro, sia
dovuto al caso, ovvero la probabilità che l’ipotesi nulla sia vera.
Infine valutare se accettare l’ipotesi oppure no.
Si accetta l’ipotesi nulla se tale valore è maggiore del
livello di significatività a voluto.
Gradi di libertà
TEST.CHI restituisce la probabilità che un valore del dato statistico χ2 equivalente al
valore calcolato mediante la formula venga casualmente ottenuto in base al
presupposto di indipendenza.
Nel calcolo di tale probabilità, TEST.CHI utilizza la distribuzione χ2 con il numero
adeguato di gradi di libertà, gdl.
TEST.CHI(int_effettivo; int_previsto)
Se le tabelle int_effettivo e int_previsto hanno un diverso numero di dati, viene
restituito il valore di errore: #N/D.
Altrimenti, siano
r = numero di righe
c = numero di colonne
delle tabelle int_effettivo e int_previsto. Negli esempi precedenti c = 1.
Se r > 1 e c > 1, allora gdl = (r - 1)(c - 1).
Se r = 1 e c > 1, allora gdl = c - 1
Se r > 1 e c = 1, allora gdl = r - 1.
r = c= 1 non è consentito e viene restituito il valore di errore #N/D.
Esempio 9.2
Durante un certo periodo, un’apparecchiatura è stata
sottoposta a controllo: in 100 lotti è stata registrata la
seguente distribuzione di pezzi difettosi
Pezzi
difettosi
0
1
2
3
4
5
6
Lotti
11
32
26
14
12
4
1
Si vuole verificare, ad un livello del 5%, se è possibile adattare una
distribuzione binomiale a questa distribuzione empirica
In Excel
• Introdurre i dati (modalità=numero pezzi difettosi; frequenze
empiriche=lotti)
• Calcolare la somma delle frequenze (n; sarà 100)
• Per calcolare la probabilità teorica, in questo caso binomiale,
occorre usare 7 volte la funzione
DISTRIB.BINOM(num_successi;prove;probabilità_s;cumulativo)
–
–
–
–
Num_successi = numero di successi in prove = 0,1,…,6
Prove = numero di prove indipendenti = 100
Probabilità_s= probabilità di successo per ciascuna prova?
Cumulativo = valore logico che determina la forma assunta dalla
funzione = FALSO
Come calcolare la probabilità di successo?
Probabilità di successo
Per calcolare p ricordiamo che m = n p, dove m è il valor medio, da cui p = m / n.
Occorre quindi: sommare i prodotti delle modalità per le rispettive frequenze
empiriche e dividere questa quantità per n per ottenere m . Dividendo il
risultato per n si ottiene p. Avremo:
modalità
0
1
2
3
4
5
6
n=
frequenze
empiriche
11
32
26
14
12
4
1
100
k · fe
0
32
52
42
48
20
6
200
m=
2
p=
0,02
Frequenze teoriche
Usando la funzione
DISTRIB.BINOM(num_successi;prove;probabilità_s;cumulativo)
con probabilità_s = p (appena calcolato) ottengo le probabilità
teoriche; moltiplicandole per n ottengo le frequenze teoriche.
modalità
0
1
2
3
4
5
6
n =
frequenze
empiriche
11
32
26
14
12
4
1
100
k · fe
0
32
52
42
48
20
6
200
=
p =
2
0,02
probabilità frequenze
teoriche teoriche
0,132620
13
0,270652
27
0,273414
27
0,182276
18
0,090208
9
0,035347
4
0,011422
1
Senza la funzione TEST.CHI
–
–
–
–
Valutare (fe - ft)2/ ft per ogni riga
Calcolare la somma 2 (funzione test)
Calcolare esplicitamente 2 c = INV.CHI(a;gdl)
Poi valutare se si accetta l’ipotesi: accetto se
modalità
0
1
2
3
4
5
6
n =
frequenze
empiriche
11
32
26
14
12
4
1
100
k · fe
0
32
52
42
48
20
6
200
=
p =
probabilità frequenze
(fe - ft)2/ ft
teoriche teoriche
0,132620
13
0,385799
0,270652
27
0,899756
0,273414
27
0,065810
0,182276
18
0,980522
0,090208
9
0,983908
0,035347
4
0,061257
0,011422
1
0,017694
funzione test =
3,395
2
0,05
0,02
5
c
=
11,070
risultato : si accetta l'ipotesi nulla
2
c
>
2
Con la funzione TEST.CHI
modalità
frequenze
empiriche
k · fe
0
1
2
3
4
5
6
11
32
26
14
12
4
1
0
32
52
42
48
20
6
100
200
n =
=
p =
2
0,02
probabilità frequenze
teoriche
teoriche
0,132620
0,270652
0,273414
0,182276
0,090208
0,035347
0,011422
a=
13
27
27
18
9
4
1
0,05
test chi= 0,757917
risultato= si accetta l'ipotesi nulla
Test
2 di
indipendenza
In una indagine epidemiologica si sono classificate 100 persone secondo i
seguenti caratteri:
A = influenzato durante l'inverno,
E = di norma usa l'autobus,
ottenendo la seguente tabella
Controllare con il test chi-quadro la dipendenza statistica tra A ed E con un
livello di fiducia del 95% (alfa=0,05).
Nota: in questo esempio la tabella delle frequenze empiriche ha r = 2 e c = 2.
Test del
1.
2.
3.
4.
2
con Excel
Inserire i dati
Calcolare le frequenze osservate (int_effettivo)
Calcolare le frequenze attese (int_previsto)
Usare la funzione
TEST.CHI(int_effettivo; int_previsto)
Il valore ottenuto è il valore della probabilità che la differenza tra i
valori osservati e quelli attesi, verificato con il test chi-quadro, sia
dovuto al caso, ovvero la probabilità che l’ipotesi nulla sia vera.
Infine valutare se accettare l’ipotesi oppure no.
Si accetta l’ipotesi nulla se tale valore è maggiore del
livello di significatività alfa.
Calcolo delle frequenze attese
• Inseriamo i dati in una tabella Excel
• Calcoliamo la tabella delle frequenze attese, cioè quelle che avremmo se
non ci fosse nessuna particolare relazione fra “prendere l’autobus” e
“essere influenzati” (i due caratteri fossero indipendenti). Si procede in
questo modo:
totale riga1 * totale colonna1 /
totale generale
totale riga1 * totale colonna2 /
totale generale
totale riga2 * totale colonna1 /
totale generale
totale riga2 * totale colonna2 /
totale generale
Frequenze empiriche
Frequenze teoriche
influenzato
non influenzato
usa l'autobus
40,92
25,08
non usa l'autobus
21,08
12,92
Nota: 40,92 = 66%*62%*100 = frequenza teorica di A&B su 100 persone
Test con Excel