Appunti dalle lezioni sui test statistici

TEST STATISTICI
I dati campionari possono essere utilizzati per verificare se una certa ipotesi su una caratteristica
della popolazione può essere ritenuta verosimile o meno.
Con il termine ipotesi statistica si indica una congettura su un parametro in una popolazione (si può
voler verificare se un macchinario produce pezzi che rispettano caratteristiche prestabilite, se un
dado o una moneta sono equilibrati, se un farmaco è efficace).
Le ipotesi sono sottoposte a verifica sulla base di un campione e la procedura utilizzata per la
verifica di queste ipotesi costituisce il cosiddetto test statistico.
Per verificare se una moneta è equilibrata si può lanciare più volte la moneta e registrare il numero
di teste e di croci. Si riterrà plausibile l’ipotesi che la moneta sia equilibrata se il numero di teste e
di croci non risultano molto diversi, ma non si può stabilire con certezza se un'ipotesi è vera o falsa,
dato che uno stesso risultato può derivare da popolazioni con strutture diverse (nel lancio di una
moneta equilibrata 100 volte il numero di teste va da 0 a 100, anche se alcuni risultati sono
improbabili)
Un qualsiasi criterio di decisione comporterà necessariamente il rischio di commettere un errore che
consiste nel rifiutare l’ipotesi quando è vera oppure nell’accettarla quando è falsa. Nel caso della
moneta il risultato campionario potrebbe segnalare che la moneta è equilibrata anche se non lo è
realmente, oppure potrebbe indicare che la faccia “testa” ha una probabilità molto maggiore di
“croce” anche se la moneta fosse equilibrata o, se la faccia “croce” avesse una probabilità maggiore.
Prenderemo in considerazione solo la probabilità di rifiutare un'ipotesi quando è vera e faremo
riferimento, quindi, ai cosiddetti tests di significatività.
In generale l’ipotesi che si vuole verificare è detta ipotesi nulla ed è indicata con la notazione H0:
seguita dal suo enunciato formale.
H0:  = 0.
indica l’ipotesi che il parametro  della distribuzione di una variabile assume il valore 0
Nel caso della moneta, se indichiamo con  la probabilità associata alla faccia testa, l’ipotesi che la
moneta sia bilanciata può essere quindi espressa da
H0 :  =0.5
Un’ipotesi su  è considerata tanto più verosimile quanto più la stima campionaria risulta probabile
se si assume come vera l’ipotesi H0 e la regola di decisione consiste nell’accettare H0 se la stima
campionaria rientra nell’insieme dei risultati più probabili sotto H0 e nel rifiutarla in caso contrario.
Per controllare se il risultato campionario è un risultato probabile quando il parametro  è uguale a
0 si utilizza la distribuzione di probabilità dello stimatore T del parametro sotto ipotesi nulla.
L’insieme dei possibili risultati campionari viene suddiviso nella regione di accettazione di H0
(quelli probabili) e in una regione di rifiuto o regione critica (quelli poco probabili).
C’è una probabilità di rifiutare l’ipotesi nulla quando è vera, perché si può ottenere un risultato
campionario improbabile anche quando H0 è vera.
La probabilità dell’errore che consiste nel rifiutare l’ipotesi nulla quando è vera viene indicata con
 e viene detta errore di prima specie o livello di significatività: corrisponde alla probabilità di
ottenere, quando è vera H0, un risultato compreso nella regione di rifiuto dell’ipotesi.
Considerata la distribuzione dello stimatore sotto ipotesi nulla e scelto il livello di probabilità , gli
estremi dell’intervallo di accettazione, detti valori critici, corrispondono in genere ai due quantili
che in questa distribuzione isolano il primo sulla sua sinistra ed il secondo sulla sua destra una
probabilità pari ad /2.
Se il valore campionario t di T risulta compreso nella regione critica si dice che il valore della
statistica è significativo.
La probabilità  viene scelta in modo da essere “quasi sicuri” di non respingere H0 quando è vera e
sul suo valore si possono fare considerazioni analoghe a quelle relative ai livelli di probabilità degli
intervalli di confidenza. Il suo valore viene fissato tenendo presenti le conseguenze che derivano dal
rifiutare un'ipotesi vera. Al diminuire di  aumenta l’ampiezza dell’intervallo di accettazione per
cui si finisce per non respingere H0 anche in presenza di risultati molto improbabili.
Se il valore t dello stimatore T è compreso nell’intervallo di accettazione dell’ipotesi nulla ciò non
implica che l’ipotesi sia necessariamente vera. Se, per esempio, si fosse ottenuto un numero di teste
pari a 503 su 1000 lanci non si rifiuterebbe l’ipotesi che la moneta sia equilibrata ma ovviamente
non si rifiuterebbe mai l’ipotesi che  fosse uguale a 0.503.
Ogni stima t rientra anche nell’insieme dei risultati più probabili sotto altre ipotesi diverse da H0 ed
è quindi compreso nell’intervallo di accettazione associato a queste ipotesi.
VERIFICA DI IPOTESI SULLA MEDIA
H0 : 0
 2 
CASO 1) Se X ~ N ; 2 noto  X ~ N ; 
 n 


L’intervallo di accettazione dell’ipotesi sarà centrato su 0 e delimitato dai due quantili

0  u1 / 2
0  u1 / 2


n

,
n
che isolano a sinistra e a destra della distribuzione un’area pari ad /2. Gli intervalli a sinistra e a
destra costituiscono invece l’area di rifiuto dell'ipotesi o regione critica, e i valori


0  u1 / 2
e 0  u1 / 2
n
n
sono i valori critici.
La regione di accettazione contiene l’insieme dei valori più probabili sotto ipotesi nulla.
Se la media risulta compresa nella regione di accettazione si conclude affermando che, al livello di
significatività  prestabilito, non si ha motivo di rifiutare l’ipotesi nulla o che l’ipotesi è
compatibile con il risultato campionario. Se, invece, la media campionaria cade in una delle due
regioni critiche l’ipotesi viene rifiutata al livello di significatività .
Il risultato campionario x0 di X è contenuto negli intervalli di accettazione di tutto un insieme di
ipotesi diverse.
La verifica dell'ipotesi si può effettuare in modo più semplice, confrontando il valore assoluto di
X  μ0
con il valore z/2 della normale standardizzata.
σ n
X  μ0
> z/2
σ n
il valore della statistica è significativo e l'ipotesi nulla è rifiutata al livello di significatività , in
caso contrario l'ipotesi è compatibile con i risultati campionari e non vi sono motivi per rifiutarla.
Se
In modo più accurato si può calcolare il p-valore (o p-value) associato al valore della statistica test
calcolata sul campione, ossia la probabilità che la statistica assuma un valore più estremo di quello
osservato sotto l’ipotesi che H0 sia vera.
Quanto più il p-valore è piccolo, tanto meno verosimile appare l’ipotesi nulla.
ESEMPIO
Su un campione di 10 elementi estratto da una popolazione normale di varianza nota pari a 160 si è
ottenuta una media campionaria pari a 20. Si vuole verificare l’ipotesi che la media nella
popolazione sia 25 al livello =0.1.
H0: = 25
20 25
1.25 z0.05 1.645 Non si ha motivo di rifiutare
160/ 10
Il p-valore associato a 1.25 è uguale all’area isolata alla destra di tale valore più l’area alla sinistra
dello stesso valore preso con segno negativo, ossia
211.25 210.8944  0.2112
CASO 2) Se la varianza della popolazione non è nota e il campione è piccolo, per la verifica della
stessa ipotesi si controlla se risulta
X  μ0
 tn1α/ 2
S n
ESEMPIO
Su un campione casuale di 8 elementi estratto da una popolazione normale sono state rilevate le
seguenti intensità della variabile oggetto di studio
1.1 3.1 4.2 4.6 5.0 5.2 5.3 6.5
Verificare le ipotesi che la media della popolazione sia pari a 5 al livello di significatività=0.01.
Dai dati campionari risulta
EX   4.375
 
E X 2  21.5
Per la verifica dell’ipotesi
H0: = 5
si utilizza la statistica
X μ
tn-1
S n
σ̂ 2  2,359375
8
S 2   σ̂ 2  2.6964
7
4.375 5
 1.0770 t7 0.005  3.4995
2.6964/ 8
Non si ha motivo di rifiutare l’ipotesi nulla al livello di significatività prefissato.
CASO 3) Se il campione è sufficientemente numeroso, la verifica di ipotesi si basa sulla
distribuzione asintotica, così come si è visto a proposito degli intervalli di confidenza.
X  μ0
 zα/ 2
S n
ESEMPIO
Su un campione di 65 uova è stato rilevato lo "spessore del guscio” (in millimetri) ottenendo una
media x  0.32 e la radice quadrata della varianza corretta S  0.08. In base a queste informazioni si
vuole verificare l'ipotesi che lo spessore medio del guscio sia pari a 0.3 millimetri al livello di
significatività  = 0.05.
H0 :   0.3
0,32 0,30
 2.02  u0,0251.96 , l'ipotesi viene rifiutata al livello di significatività  = 0.05.
0,08 65
P-valore: 212.02 210.9783  0.0434
Si rifiuta per  = 0.05
Non si rifiuta per  = 0.01
VERIFICA DI IPOTESI SULLA PROPORZIONE
Data una popolazione con distribuzione Zero-Uno (o di Bernoulli), la verifica di ipotesi sul
parametro assume al forma
H0 :  = 0
Se il campione è sufficientemente numeroso, la media campionaria si distribuisce in modo normale
π (1 π0 )
con valore atteso 0 e varianza 0
. L’ipotesi si rifiuta se
n
X  0
 z / 2
 0 (1 0 )
n
ESEMPIO
Si vuole verificare al livello di significatività dell’1% l’ipotesi che il tasso di disoccupazione dei
laureati con una votazione finale superiore o uguale a 100 sia pari al 5% sapendo che dalla
popolazione è stato estratto un campione casuale di 5000 individui sui quali 300 sono risultati
disoccupati.
H0 :  = 0.05
La media campionaria di individui disoccupati è pari al 6%, per cui l’ipotesi viene rifiutata
0.06 0.05
 3.24  z0.005  2.576
0.05 0.95
5000
P-valore: 213.24 210.9994  0.0012
VERIFICA DELL’UGUAGLIANZA FRA LE MEDIE DI DUE POPOLAZIONI
In molte situazioni reali lo scopo dell’indagine consiste nel confronto fra due o più popolazioni,
come nel caso in cui si volesse verificare se due diversi fertilizzanti portano a risultati diversi nella
produttività per ettaro o se due diversi farmaci possono essere considerati equivalenti nella cura di
una determinata malattia.
In casi come questi si vuole verificare l’ipotesi che non esistono differenze significative fra le
produttività o fra i tempi di guarigione. Questa ipotesi è particolarmente rilevante dato che la sua
accettazione porterebbe a concludere che fra i due fertilizzanti e fra i due medicinali non esiste
alcuna reale differenza. Se invece le differenze ottenute nei due diversi gruppi sono così grandi da
non poter essere imputate al solo effetto di fattori casuali, si potrebbe concludere che uno dei due
fertilizzanti consente di ottenere un risultato migliore rispetto all’altro e che il tempo di guarigione
rilevato nel gruppo di pazienti trattati con un farmaco è significativamente diverso del tempo di
guarigione nel gruppo di pazienti trattato con l’altro.
In genere l’ipotesi che si vuole verificare riguardano i valori medi di una variabile Z esaminata in
due (o più) popolazioni distinte, come quando si verifica se esiste una differenza significativa nel
rendimento di titoli diversi, nei punteggi ottenuti ad un esame da gruppi di studenti che hanno
utilizzato testi differenti, nella durata di funzionamento di prodotti ottenuti con macchinari diversi.
Per semplicità ci occuperemo del caso in cui i gruppi presi in esame sono soltanto due e supporremo
inoltre che siano verificate le condizioni standard che ipotizzano che la variabile abbia una
distribuzione normale con uno stesso valore della varianza in entrambe le popolazioni.
Quest’ultima ipotesi costituisce la cosiddetta condizione di omoschedasticità, sotto la quale si
ottengono abbastanza facilmente le distribuzioni della statistica test (se i valori delle varianze sono
invece diversi fra di loro, si parla di condizione di eteroschedasticità).
Indicate con X1 e con X2 la variabile di interesse rilevata nella prima e nella seconda popolazione, le
condizioni standard sono le due v.c. siano normali con medie 1 e 2 e varianza comune  2 non
nota. La verifica dell’ipotesi
H0 : 1 = 2
si basa sulla differenza fra le medie campionarie che si distribuisce in modo normale con media pari
alla differenza delle medie e varianza pari alla somma delle varianze.



X1  X 2  μ1  μ1 X1  X 2  μ1  μ1

2
2
σ n1  n2 /n1n2
σ /n1  σ /n2



2
dove  è stimata da
n 1S12 n2 1S22 varianza pooled.
S 2p  1
n1  n2  2
Tenendo conto che sotto ipotesi nulla le medie 1 e 2 sono uguali fra di loro, la verifica dell’ipotesi
si basa sulla statistica test
X1  X 2 
Sp
n1  n2 / n1n2
che, sotto ipotesi nulla, si distribuisce come una t di Student con n1+n22 gdl.
ESEMPIO
Su due campioni, entrambi di numerosità 12, sono state rilevate le altezza di 12 piantine sottoposte
a due diversi metodi di coltura. Sulla base dei seguenti risultati
x1  96.58 s12  25.17
x2  90.92 s22  28.99
la varianza pooled è pari a
1125.171128.99
S 2p 
 27.08
22
La statistica test risulta quindi
96.58 90.92  2.67.
5,20 1212/ 144
Per =0.01 il quantile di ordine 0.995 della t con 22 g.d.l. è 2.8188. Si conclude che l’ipotesi è
compatibile con i dati campionari raccolti al livello di significatività dell’1%.
Se i gradi di libertà della t sono molto elevati, si usano le tavole della normale standard e si può
calcolare il p-valore
VERIFICA DELL’UGUAGLIANZA FRA LE PROPORZIONI DI DUE POPOLAZIONI
Nel caso in cui le popolazioni abbiano distribuzione Bernoulliana di parametri 1 e 2 l’ipotesi che
si vuole sottoporre a verifica è l’uguaglianza dei parametri
H0 : 1 = 2
Per una numerosità campionaria sufficientemente elevata la statistica
X1  X 2  1  2 


1 1
X p 1 X p   
 n1 n2 
~N(0,1)
dove
n X n X
X p  1 1 2 2 è la media delle medie campionarie ponderata con le numerosità.
n1  n2
Tenendo conto che sotto ipotesi nulla le proporzioni 1 e 
dell’ipotesi si basa sulla statistica test
Se risulta
X1  X 2 


1 1
X p 1 X p   
 n1 n2 
2
sono uguali fra di loro, la verifica
 z / 2 si rifiuta l’ipotesi nulla
ESEMPIO
Anni fa venne condotto uno studio per analizzare gli effetti positivi dell’uso di aspirina sulla
prevenzione degli attacchi cardiaci. Su un insieme di 22071 individui vennero formati due gruppi: il
gruppo di trattamento e quello di controllo. Gli individui del gruppo di trattamento ricevevano una
dose quotidiana di aspirina mentre quelli di controllo un farmaco placebo. Lo studio venne condotto
per un periodo di 5 anni osservando il numero di decessi per infarto. Si ottennero i seguenti risultati
Farmaco\Esito Infartuati Non infartuati
Placebo
239
10795
11034
Aspirina
139
10898
11037
378
21693
22071
239
 0.0217
11034
139
La proporzione dei colpiti da infarto nel gruppo sottoposto a trattamento è X 2 
 0.0126
11037
239139
Xp 
 0.0171
22071
La proporzione dei colpiti da infarto nel gruppo di controllo è X1 
0.0217 0.0126
1 
 1
0.01711 0.0171


 11034 11037
Il p-valore è praticamente nullo
 5.25  z0.995  2.576
TEST DI INDIPENDENZA
Abbiamo utilizzato l’indice chi-quadrato per misurare l’indipendenza fra due variabili. Supponendo
che l’indice sia stato calcolato su un campione, si vuole verificare se si può accettare o meno
l’ipotesi che le due variabili nella collettività sono indipendenti o meno.
Sotto l’ipotesi nulla e per n sufficientemente elevato la statistica
2

H K
nij  n'ij 2
i1 j1
n'ij

tende ad una chi-quadrato con (H1)(K1) gdl sempre che ciascuna delle frequenze assolute
congiunte (riportate all’interno della tabella a doppia entrata) sia almeno pari a 5. La regione di
rifiuto è posizionata alla destra del quantile  2H1K1   .
ESEMPIO
Supponiamo che si voglia verificare l’ipotesi di indipendenza fra due variabili al livello di
significatività =0.05 sapendo che su un campione di 90 elementi si sono ottenuti i risultati riportati
nella tabella successiva
X\Y A B
a
30 32 62
b
6 22 28
36 54 90


36 62  2 
54 62  2
  30
  32
90  
90 


2
(21)(21)  

 ...  5.8410
36 62
54 62


90
90


e l’ipotesi di indipendenza va quindi rifiutata perché la statistica risulta maggiore del quantile
3.8415 che nella chi-quadrato con 1 gradi di libertà isola alla sua destra un’area pari a 0.05.