Statistica e biometria

Statistica e
biometria
D. Bertacchi
Test d’ipotesi
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
Errori
Scambio di ipotesi
Regione di rifiuto
Potenza
Significatività
Test più potenti
Le tappe
p-value
In molte situazioni una raccolta di dati (=esiti di esperimenti
aleatori) viene fatta per prendere delle decisioni sulla base
di quei dati. Ad esempio
• sperimentazioni su un nuovo farmaco per decidere se è
tossico, se è efficace, se è più efficace di altri in
commercio;
• un’associazioni di consumatori sostiene che una marca
di bottiglie di spumante viene sistematicamente
riempita meno del dichiarato e cita perciò in giudizio il
produttore. Come farà il giudice ad emettere un
verdetto?
• come affermare con sufficiente ragionevolezza che una
moneta dà testa con probabilità = 1/2?
Statistica e
biometria
Test d’ipotesi
D. Bertacchi
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
Errori
Scambio di ipotesi
Regione di rifiuto
Potenza
Significatività
Test più potenti
Le tappe
p-value
Una prima idea:
• una prova dell’efficacia potrebbe essere se i pazienti
che testano il farmaco avessero miglioramenti;
• una prova della truffa potrebbe essere se la media del
contenuto di un campione di bottiglie risultasse inferiore
al contenuto dichiarato;
• una prova che la moneta non sia equilibrata potrebbe
essere se il numero di teste fosse diverso dalla metà
del numero dei lanci.
Siamo sicuri che sia una buona idea?
Statistica e
biometria
Test d’ipotesi
D. Bertacchi
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
L’idea è da perfezionare, perché:
Errori
Scambio di ipotesi
Regione di rifiuto
Potenza
Significatività
Test più potenti
• anche con un farmaco inefficace si possono avere
miglioramenti nei pazienti (dovuti ad altre cause non
controllabili, dunque aleatorie);
Le tappe
p-value
• anche con un sistema produzione con valore atteso
non inferiore al dichiarato si osservano bottiglie
riempite meno del valore atteso (anzi, con il modello
normale la metà delle bottiglie ha contenuto inferiore al
valore atteso);
• anche con una moneta equilibrata si può avere un
numero di teste diverso dalla metà del numero dei lanci.
Occorrerà che le “prove” (dell’efficacia, della truffa, del non
essere equilibrata...) siano statisticamente significative.
Statistica e
biometria
Test d’ipotesi
D. Bertacchi
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
Errori
Scambio di ipotesi
Regione di rifiuto
Potenza
Significatività
Test più potenti
Le tappe
Un test d’ipotesi confronta due ipotesi statistiche e prende
una decisione fra le due sulla base del campione casuale
osservato (come, lo vedremo fra poco).
p-value
Si parla di test statistici per due motivi:
1
la decisione è basata su un campione casuale (anzi, su
una statistica);
2
si fanno dei ragionamenti di probabilità: un’ipotesi viene
rifiutata se il campione osservato risulta troppo
improbabile ritenendo vera quella ipotesi.
Statistica e
biometria
D. Bertacchi
Ipotesi - test parametrici
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
Errori
Scambio di ipotesi
Regione di rifiuto
Potenza
Significatività
Test più potenti
Le tappe
p-value
Immaginiamo di avere un preciso modello statistico per i
nostri esperimenti (es: Bernoulli, normale...), con qualche
parametro incognito (che varia nello spazio dei parametri
Θ).
DEFINIZIONE DI IPOTESI STATISTICA
Una ipotesi statistica è un’asserzione sul valore vero di un
parametro incognito.
Esempio: nel caso della moneta il modello per ogni lancio è
B(p) con p ∈ [0, 1] e un’ipotesi statistica è p = 1/2.
Statistica e
biometria
D. Bertacchi
Ipotesi nulla e alternativa
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
Errori
Scambio di ipotesi
Regione di rifiuto
Potenza
Significatività
Test più potenti
Le tappe
p-value
DEFINIZIONE DI IPOTESI NULLA E ALTERNATIVA
L’ipotesi nulla, si indica con H0 e viene ritenuta vera fino a
prova contraria. H0 è un’affermazione del tipo: θ ∈ Θ0 dove
Θ0 è un sottoinsieme dello spazio dei parametri Θ.
L’ipotesi alternativa, si indica con H1 ed è l’affermazione:
θ ∈ Θc0 .
In genere quali devono essere le due ipotesi appare
evidente, ma la scelta di quale delle due sia H0 e quale H1
va ponderata.
Nella costruzione di un test, si sceglie come H0 l’ipotesi alla
quale si è disposti a rinunciare solo in caso di forte evidenza
del contrario. Equivalentemente, si sceglie come H1 l’ipotesi
che si giudicherà vera solo in presenza di prove significative.
Statistica e
biometria
Errori
D. Bertacchi
Test d’ipotesi
Il test d’ipotesi porta a una delle due risposte:
Ipotesi statistiche
Ipotesi nulla
Errori
1
il test accetta H0 (dunque la ritiene vera);
2
il test rifiuta H0 (dunque la ritiene falsa e ritiene vera
H1 ).
Scambio di ipotesi
Regione di rifiuto
Potenza
Significatività
Test più potenti
Le tappe
p-value
Nel prendere queste decisioni possono capitare degli errori.
DEFINIZIONE DI ERRORI DI I E II SPECIE
• H0 è vera ma il test la rifiuta: errore di prima specie;
• H0 è falsa ma il test la accetta: errore di seconda
specie.
Se invece H0 è vera e il test la accetta oppure se H0 è falsa
e il test la rifiuta si ha la decisione corretta.
Il problema è che non conoscendo il valore vero del
parametro non possiamo sapere se stiamo commettendo
un errore ma solo controllarne la probabilità.
Statistica e
biometria
Come scegliere H0
D. Bertacchi
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
Errori
Scambio di ipotesi
Regione di rifiuto
Potenza
Riassumendo:
Significatività
Test più potenti
Le tappe
p-value
Rifiutiamo H0
Accettiamo H0
H0 è vera
Errore di I specie
Decisione corretta
H0 è falsa
Decisione corretta
Errore di II specie
L’errore di I specie è considerato più grave di quello di II
specie. In altre parole noi sceglieremo H0 ed H1 affinchè
l’errore di I specie sia quello che vorremmo evitare di
commettere.
Statistica e
biometria
Esempio per ricordare
D. Bertacchi
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
Errori
Scambio di ipotesi
Regione di rifiuto
Potenza
Significatività
Test più potenti
Le tappe
Consideriamo il processo ad un imputato.
H0 : l’imputato è innocente
H1 : L’imputato è colpevole otterremmo:
p-value
Condannato
Assolto
Se è innocente
Errore di I specie
Decisione corretta
Se è colpevole
Decisione corretta
Errore di II specie
Ritenendo che sia più grave condannare un innocente
rispetto a lasciare un colpevole in libertà, dobbiamo
scegliere come ipotesi nulla H0 : l’imputato è innocente.
Statistica e
biometria
D. Bertacchi
Scambio di ipotesi
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
Errori
Scambio di ipotesi
Regione di rifiuto
Potenza
Significatività
Test più potenti
Le tappe
p-value
Abbiamo già osservato che la scelta di quale ipotesi sia H0
e quale H1 non è arbitraria: H0 viene ritenuta valida fino a
prova contraria, H1 viene ritenuta valida solo in caso di forte
evidenza.
Quindi se in un test accettate H0 , non è detto che
scambiando i ruoli delle due ipotesi e ripetendo il test (con
gli stessi dati), questo nuovo test concluda rifiutando la
nuova H0 (e dunque accettando la vecchia).
Statistica e
biometria
D. Bertacchi
Esempio per ricordare
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
Errori
Scambio di ipotesi
Regione di rifiuto
Potenza
Significatività
Test più potenti
Le tappe
p-value
Un esame universitario è in fondo un test statistico: lo
studente deve rispondere a varie domande e anche se ha
appreso bene può rispondere in maniera errata (emozione,
interpretazione errata del problema...), mentre anche se
non ha studiato può azzeccare la risposta per puro caso.
Il professore confronta due ipotesi: “lo studente ha appreso
bene” e “lo studente non ha appreso bene”.
È ugualmente facile passare l’esame se H0 : “lo studente ha
appreso bene” oppure H0 : “lo studente non ha appreso
bene”?
Statistica e
biometria
D. Bertacchi
Esempio per ricordare
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
Errori
Scambio di ipotesi
Regione di rifiuto
Potenza
Significatività
Test più potenti
Le tappe
p-value
Se H0 : “lo studente ha appreso bene” salvo grandi
strafalcioni il professore farà passare l’esame allo studente
(fino a prova contraria si rimane dell’opinione H0 ).
Se invece H0 : “lo studente non ha appreso bene” per
passare l’esame lo studente dovrà fornire prove evidenti di
aver appreso il programma (solo con forte evidenza
statistica si passa a ritenere vera H1 ).
Dunque uno studente mediamente preparato potrebbe
passare l’esame nel primo caso e non passarlo nel
secondo!
Statistica e
biometria
Come rifiutare H0
D. Bertacchi
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
Errori
Scambio di ipotesi
Regione di rifiuto
Il test d’ipotesi opera in questo modo:
Potenza
Significatività
1
si sceglie una statistica T = t(X1 , . . . , Xn ) (in genere è
uno stimatore del parametro θ);
2
si sceglie una regola di decisione: “se t(x1 , . . . , xn ) ∈ I
allora rifiuto H0 ”
(dove t(x1 , . . . , xn ) è il valore della statistica calcolato
dal campione e I è un sottoinsieme di R).
Test più potenti
Le tappe
p-value
L’idea è che I è scelto in modo che se H0 è vera, allora è
molto improbabile che T ∈ I.
Statistica e
biometria
D. Bertacchi
Regione di rifiuto
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
Errori
Scambio di ipotesi
Regione di rifiuto
Potenza
Significatività
Test più potenti
DEFINIZIONE DI REGIONE DI RIFIUTO
L’insieme R delle realizzazioni campionarie che portano a
rifiutare H0 , cioè
Le tappe
p-value
R = {(x1 , . . . , xn ) : t(x1 , . . . , xn ) ∈ I}
è detta regione di rifiuto, o critica del test.
Osservazione
La regione di rifiuto è un sottoinsieme dei valori che il campione casuale può assumere, dunque in generale è un
sottoinsieme di Rn .
Statistica e
biometria
Potenza
D. Bertacchi
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
Errori
Scambio di ipotesi
Regione di rifiuto
Potenza
Significatività
Test più potenti
Le tappe
p-value
Fissati la statistica T e l’insieme I che determina la regione
di rifiuto dell’ipotesi nulla, definiamo una funzione che ci
aiuterà a capire quanto “buono” sia il nostro test.
DEFINIZIONE DI FUNZIONE POTENZA DI UN TEST
La funzione potenza Pot : Θ → [0, 1] è definita nel seguente
modo:
Pot(θ) := Pθ (T ∈ I).
In altre parole ad esempio Pot(5) è la probabilità di rifiutare
H0 quando il valore vero del parametro θ è 5.
Se θ ∈ Θ0 (dove H0 : θ ∈ Θ0 )
Pot(θ) è la probabilità di un errore di I specie.
Se θ ∈ Θc0 (dove H1 : θ ∈ Θc0 )
1−Pot(θ) è la probabilità di commettere un errore di II specie.
Statistica e
biometria
Il test ideale
D. Bertacchi
Test d’ipotesi
Ipotesi statistiche
Il test “ideale” dovrebbe avere
Ipotesi nulla
Errori
Scambio di ipotesi
Regione di rifiuto
Pot(θ) = 0, se θ ∈ Θ0
Potenza
Significatività
Test più potenti
Le tappe
p-value
cioè probabilità di rifiutare H0 quando è vera (errore di I
specie) pari a 0, e
Pot(θ) = 1, se θ ∈ Θc0
cioè probabilità di rifiutare H0 quando è falsa (non
commettere errore di II specie) pari a 1.
In realtà questa situazione ideale è (quasi) sempre irraggiungibile: si fissa perciò la probabilità dell’errore di I specie, e si
cerca un test che limiti il più possibile la probabilità dell’errore
di II specie.
Statistica e
biometria
Significatività
D. Bertacchi
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
Errori
Scambio di ipotesi
Regione di rifiuto
Potenza
Significatività
Test più potenti
DEFINIZIONE DI LIVELLO DI SIGNIFICATIVITÀ DI UN
TEST
Il livello di significatività α del test basato su un campione di
dimensione n con regione critica
Le tappe
p-value
R = {(x1 , . . . , xn ) : t(x1 , . . . , xn ) ∈ I}
è definito come
α = sup Pot(θ) = sup P(t(X1 , . . . , Xn ) ∈ I).
θ∈Θ0
θ∈Θ0
In altre parole
α è la massima probabilità di commettere un errore di I
specie.
Statistica e
biometria
Test più potenti
D. Bertacchi
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
Errori
Scambio di ipotesi
Regione di rifiuto
Potenza
Significatività
Test più potenti
È chiaro che fra due test con uguale livello di significatività
(quindi uguale “tetto” per la probabilità dell’errore di I
specie) si preferisce un test che abbia minore probabilità
dell’errore di II specie.
Le tappe
p-value
DEFINIZIONE DI TEST PIÙ POTENTE
Dati due test di livello di significatività α, il primo con potenza
Pot1 e il secondo con potenza Pot2 , se per ogni x ∈ Θ1 si ha
Pot1 (x) ≥ Pot2 (x)
diciamo che il primo test è più potente del secondo.
Ricordiamo che H1 : θ ∈ Θ1 e se θ = x ∈ Θ1 la probabilità di commettere
un errore di II specie è 1 − Pot(x).
Statistica e
biometria
Le tappe di un test
D. Bertacchi
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
Errori
1
Sulla base del tipo di esperimento si sceglie un modello
statistico per gli esiti, con uno o più parametri θ
incogniti.
2
Si scelgono H0 e H1 in modo che sia più grave
commettere l’errore di I specie che quello di II
(equivalentemente, H1 sarà l’ipotesi che riterremo vera
solo in presenza di forte evidenza).
3
Si sceglie una statistica T = t(X1 , . . . , Xn ) (in genere
stimatore di θ).
4
Si sceglie il livello di significatività α ∈ [0, 1], cioè la
massima probabilità che tolleriamo di commettere un
errore di I specie.
Scambio di ipotesi
Regione di rifiuto
Potenza
Significatività
Test più potenti
Le tappe
p-value
Statistica e
biometria
Le tappe di un test
D. Bertacchi
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
Errori
Scambio di ipotesi
Regione di rifiuto
5
In dipendenza da T e α si sceglie la regione di rifiuto R.
6
Si esegue il campionamento (= si fanno gli esperimenti
e si osservano dei dati, realizzazioni del campione
casuale).
7
Si calcola la statistica T sulla base del campione
osservato.
8
Si decide: se il valore calcolato della statistica sta in R
allora rifiutiamo H0 (e accettiamo H1 ).
Altrimenti accettiamo H0 (e rifiutiamo H1 ), dicendo che
non c’è evidenza statistica che H0 sia falsa.
Potenza
Significatività
Test più potenti
Le tappe
p-value
Statistica e
biometria
Nella pratica
D. Bertacchi
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
Errori
Scambio di ipotesi
Regione di rifiuto
Potenza
Per i vari modelli statistici si trovano sui test i test d’ipotesi
per la verifica delle ipotesi statistiche più comuni, quindi noi
ci troveremo di fronte a tabelle del tipo:
Significatività
Test più potenti
Le tappe
p-value
H0
θ > θ0
θ ≤ θ0
Se vale
t(x1 , . . . , xn ) ≤ g(α)
t(x1 , . . . , xn ) > g(α)
decisione
Rifiutiamo H0
Accettiamo H0
dove θ0 è un numero fissato, T è la statistica scelta, α è il
livello di significatività e g(·) è una funzione opportuna.
In altre parole, la regione di rifiuto è
R = {(x1 , . . . , xn ) : t(x1 , . . . , xn ) ≤ g(α)}.
Statistica e
biometria
p-value
D. Bertacchi
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
Errori
Scambio di ipotesi
Per capire quanto forte sia l’evidenza che H0 sia falsa,
quando si hanno le osservazioni del campione
Regione di rifiuto
Potenza
x1 , . . . , xn ,
Significatività
Test più potenti
Le tappe
p-value
si calcola il p-value.
DEFINIZIONE DI p-value
Dato un test d’ipotesi con regione critica R, e date le
osservazioni del campione x1 , . . . , xn , il p-value è
inf{α ∈ [0, 1] : (x1 , . . . , xn ) ∈ R}.
In altre parole, è il più basso livello di significatività per cui i
dati osservati portano a rifiutare H0 .
Statistica e
biometria
D. Bertacchi
Significato
Test d’ipotesi
Ipotesi statistiche
Ipotesi nulla
Errori
Scambio di ipotesi
Regione di rifiuto
Potenza
Significatività
Test più potenti
Le tappe
p-value
Il p-value è il più basso livello di significatività per cui i dati
osservati portano a rifiutare H0 .
Ricordiamo che più è basso il livello di significatività e più
risulta difficile rifiutare H0 (cioè ci vogliono prove più
evidenti).
Perciò un p-value basso (0.01 o 0.001...) indicherà che è
molto evidente che H0 è falsa (anche se potrebbe essere
vera! pensate alla moneta equilibrata che dia 700 teste in
1000 lanci...).
Un p-value alto (0.10 o 0.30...) indicherà che è poco (o per
nulla) evidente che H0 è falsa.