Valutazione dei test diagnostici

Valutazione dei test diagnostici
Maria Miceli
M. Miceli 2011
1
Diagnosi individuale
(test di laboratorio)
Esame collaterale nell’ambito dell’iter
di
diagnostico
ti
condotto
d tt generalmente
l
t su
animali sintomatici
Gli strumenti
t
ti che
h il veterinario
t i
i utilizza
tili
per
giungere alla diagnosi includono oltre al
test: anamnesi
anamnesi, esame clinico
clinico, esperienza
esperienza,
intuizione.
M. Miceli 2011
2
Diagnosi su popolazione
(Test di screening)
Condotti generalmente su animali asintomatici
per individuare
i di id
i soggetti
tti iinfetti/malati
f tti/ l ti e
classificarli in base alla presenza o assenza
della malattia.
malattia
Stima della prevalenza della malattia nella
popolazione indispensabile per disegnare e
popolazione,
realizzare qualsiasi sistema di sorveglianza
e profilassi della malattia
M. Miceli 2011
3
Fattori
F
tt i che
h influenzano
i fl
la
l scelta
s lt di un
test diagnostico di popolazione
-
validità
facilità di esecuzione
prelievo dei campioni
p
facilità di p
costo
possibilità di standardizzazione dei metodi
e risultati
- prevalenza
l
della
d ll condizione
di i
d
da
diagnosticare
M. Miceli 2011
4
Parametri
P
t i per la
l valutazione
l t i
della
d ll
validità di un test
-
sensibilità
specificità
valore predittivo positivo
valore predittivo negativo
accuratezza
M. Miceli 2011
5
• Accuratezza
A
t
g
grado
di
concordanza tra il
risultato di una
misurazione
i
i
e un
valore vero (“true
status”)) del
misurando
M. Miceli 2011
• Precisione
P
• Affidabilità
grado di
concordanza tra i
risultati di più
misurazioni dello
stesso misurando
6
Accuratezza
• Si intende l’accuratezza media,
definita come grado di concordanza
tra un valore di riferimento,, vero o
assegnato, e il risultato medio
derivante dall
dall’applicazione
applicazione del metodo
di prova per un elevato numero di
repliche.
repliche
M. Miceli 2011
7
Fattori che influenzano la precisione
(affidabilità)
(affidabilità):
1. Variabilità biologica nel tempo
2. Affidabilità degli strumenti utilizzati
per fare il test
p
3. Variabilità dell’osservatore entro
osservazioni: uno stesso osservatore
leggerà ogni volta il test allo stesso
modo?
4. Variabilità tra osservatori: osservatori
diversi concorderanno nella lettura di un
test?
M. Miceli 2011
8
Variabilità biologica nel tempo
+
+
M. Miceli 2011
=
=
Glicemia
150
Glicemia
100
9
Affidabilità
ff
(p
(precisione)) degli
g
strumenti
Bilancia A
Bilancia B
Bilancia C
57,3 kg
59,8 kg
54,1 kg
M. Miceli 2011
10
Variabilità dell
dell’osservatore
osservatore entro
osservazioni
Cancro
Ca
co
TBC
Caso 1254
Lunedi’
Caso 1254
Venerdi’
11
Variabilità tra osservatori
TBC
Normale
12
Il test perfetto…….
f
Affidabilità
Precisione

Validità 
13
Affidabilità  Validità 
Precisione
14
Affidabilità
Precisione

Validità 
15
Validità e precisione
Valido
V
ld
impreciso
Non valido
impreciso
Non valido
N
lid
Preciso
Valido
preciso
16
Come misurare validità e
p
precisione?
17
Validità in prove qualitative
18
Validità
• Capacità “long
long term”
term di un test di classificare
correttamente i positive e i negativi di
riferimento
• Definizione = capacità di un test di individuare
correttamente i soggetti “malati” e i soggetti
“sani”
• Un test ideale permette di individuare tutte le
persone affette da una malattia e,
contemporaneamente,
p
, di identificare come
persone normali i soggetti non affetti da questa
19
malattia
Il test nella realtà
Popolazione
malati
Test + corretto
(veri positivi)
Test- non corretto
(falsi negativi)
sani
Test+ non corretto
(falsi positivi)
Test - corretto
(veri negativi)
20
Validità
La distribuzione degli individui in ogni categoria viene
spesso rappresentata in una tabella 2 x 2:
Verità
Test
+
-
T t l
Totale
+
a
b
a+b
-
c
d
c+d
a+c
b+d
a+b+c+d
Totale
21
Validità
La distribuzione degli individui in ogni categoria viene
spesso rappresentata in una tabella 2 x 2:
Verità
Test
+
-
T t l
Totale
+
a (VP)
b (FP)
a+b
-
c (FN)
d (VN)
c+d
a+c
b+d
a+b+c+d
Totale
22
Sensibilità
È la capacità di un test di classificare
correttamente
tt
t i positivi
iti i di
riferimento
La proporzione A/(A
A/(A+C)
C)
è una misura della probabilità di
classificare correttamente come
positivi i positivi di riferimento
23
Sensibilità (es.)
È la capacità di un test di identificare gli
animali
i li che
h h
hanno la
l malattia
l tti nella
ll
popolazione controllata
La p
proporzione
p
A/(A+C)
(
)
veri positivi/malati è una misura della
probabilità di identificare correttamente
come positivi i soggetti malati
24
Sensibilità: la capacità del test di
id ntifi
identificare
gli
li indi
individui
id i m
malati
l ti
rriferimento
fer mento
T t
Test
malattia +
malattia -
Totale
+
a (VP)
b (FP)
a+b
-
c (FN)
d (VN)
c+d
a+c
b+d
a+b+c+d
Totale
veri positivi/totale di chi ha la malattia
= a/(a+c)
25
Sensibilità: la capacità del test di
id ntifi
identificare
gli
li indi
individui
id i m
malati
l ti
rriferimento
fer mento
malattia +
malattia -
Totale
222
75
297
+
T t
Test
Totale
26
Sensibilità: la capacità del test di
id ntifi
identificare
gli
li indi
individui
id i m
malati
l ti
rriferimento
fer mento
+
T t
Test
Totale
malattia +
malattia -
Totale
222
0
202
0
75
75
222
75
297
veri positivi/totale di chi ha la malattia
= a/(a+c) =222/222=100%
27
Sensibilità: la capacità del test di
id ntifi
identificare
gli
li indi
individui
id i m
malati
l ti
rriferimento
fer mento
T t
Test
malattia +
malattia -
Totale
+
180
5
185
-
42
70
112
222
75
297
Totale
veri positivi/totale di chi ha la malattia
= a/(a+c) =180/222=81%
28
Specificità
È la capacità di un test di classificare
correttamente i negativi di
riferimento
29
Es. Specificità: la capacità del test di
identificare come negativi coloro che sono sani
rriferimento
f r m nto
Test
malattia +
malattia -
Totale
+
a (VP)
b (FP)
a+b
-
c (FN)
d (VN)
c+d
a+c
b+d
a+b+c+d
Totale
veri negativi/totale di chi non ha la malattia
= d/(b+d)
30
Specificità: la capacità del test di identificare
come negativi coloro che sono sani
rriferimento
f r m nto
+
Test
Totale
malattia +
malattia -
Totale
222
0
202
0
75
75
222
75
297
veri negativi/totale di chi non ha la malattia
= 75/75=100%
31
Specificità: la capacità del test di identificare
come negativi coloro che sono sani
Verità
malattia +
malattia -
Test
Totale
+
180
5
185
-
42
70
112
222
75
297
Totale
veri negativi/totale di chi non ha la malattia
= 70/75=93%
32
Relazione tra sensibilità
à e specificità
à
• Generalmente, la sensibilità e la specificità
di
dipendono
d
d
dalle
ll caratteristiche
tt i ti h bi
biologiche
l i h d
dell
test
• Esempio:
p Test p
per l’HIV:
ELISA  sensibilità,  specificità
Western Blot  sensibilità,
sensibilità  specificità
33
• Valore Predittivo Positivo (VPP):
percentuale
t l di prove positive
iti all ttestt che
h
sono realmente positive
• Valore Predittivo Negativo (VPN): la
percentuale di prove negative al test che
sono realmente negative
34
Es.. Valore
E
V
Predittivo Positivo: la percentuale
p
u
di soggetti
gg
positivi al test che sono realmente malati
Verità
Test
malattia +
malattia -
Totale
+
a (VP)
b (FP)
a+b
-
c (FN)
d (VN)
c+d
a+c
b+d
a+b+c+d
Totale
veri positivi/totale di chi risulta positivo al test
= a/(a+b)
35
Es.. Valore
E
V
Predittivo Positivo: la percentuale
p
u
di soggetti
gg
positivi al test che sono realmente malati
Verità
Test
malattia +
malattia -
Totale
+
180
5
185
-
42
70
112
222
75
277
Totale
veri positivi/totale di chi risulta positivo al test
= a/(a+b) =180/185=97,2%
36
Es. Valore Predittivo Negativo:
g
la percentuale
p
di
soggetti negativi al test che sono realmente sani
Verità
Test
malattia +
malattia -
Totale
+
a (VP)
b (FP)
a+b
-
c (FN)
d (VN)
c+d
a+c
b+d
a+b+c+d
Totale
veri negativi/totale di chi risulta negativo al test
= d/(c+d)
37
Es. Valore Predittivo Negativo:
g
la percentuale
p
di
soggetti negativi al test che sono realmente sani
Verità
Test
malattia +
malattia -
Totale
+
180
5
185
-
42
70
112
222
75
277
Totale
veri negativi/totale di chi risulta negativo al test
= d/(c+d) =70/112=62,5%
38
Valore Predittivo Positivo (VPP) e
V l
Valore
Predittivo
P ditti N
Negativo
ti (VPN)
• Il VPP risponde alla domanda: Qual è la
proporzione di persone, positive al
test, affette dalla malattia?
• VPN: Q
Qual è la p
proporzione
p
di persone,
p
,
negative al test, ma realmente sane?
39
Sensibilità: la capacità del test di
id ntifi
identificare
gli
li indi
individui
id i m
malati
l ti
rriferimento
fer mento
malattia +
+
T t
Test
Totale
malattia -
Totale
5
185
42
70
112
222
75
297
180
veri positivi/totale di chi ha la malattia
= a/(a+c) =180/222=81%
40
Es.. Valore
E
V
Predittivo Positivo: la percentuale
p
u
di soggetti
gg
positivi al test che sono realmente malati
Verità
Test
malattia +
malattia -
Totale
+
180
5
185
-
42
70
112
222
75
297
Totale
veri positivi/totale di chi risulta positivo al test
= a/(a+b) =180/185=97,2%
41
VPP e VPN
In parole.....
• Maggiore
M
i
è la
l prevalenza
l
e/o
/ la
l
specificità, più alto è il valore
predittivo
ditti positivo
iti
• La prevalenza e la specificità
i fl i
influiscono
anche
h sull valore
l
predittivo
ditti
negativo, pur avendo un effetto
minore
i
rispetto
i
a quello
ll osservato con
il VPP
42
I t
Interpretazione:
t i
: mis
misure di validità
lidità
• S
Sensibilità
ibili à e specificità:
ifi i à
– Aiutano nella decisione di usare o meno un test
– Non
N n dip
dipendono
nd n d
dalla
ll p
prevalenza
l n della
d ll m
malattia
l tti
(/percentuale di vere positività)
• VPP e VPN
– Vengono
g
calcolati dopo
p l’applicazione
pp
di un test a
una popolazione
– Usati per interpretare i risultati di un test
– Dipendono dalla prevalenza, la specificità (VPP)
e la sensibilità (VPN)
43
Validità
sani
aa
malati
Valore del test
I un test ideale
In
id l non c’è
’è una sovrapposizione
i i
dei
d i
risultati del test eseguito su soggetti malati e
su quelli sani, i.e., su prove realmente positive
e quelle realmente negative
44
rriferimento
fer mento
+
T t
Test
Totale
malattia +
malattia -
Totale
222
0
202
0
75
75
222
75
297
45
Validità
sani
malati
Valore del test
In realtà, c’è quasi sempre una parziale
sovrapposizione dei valori osservabili per i positivi e i
negativi
Problemi con la validità
46
Verità
malattia +
malattia -
Test
Totale
+
180
5
185
-
42
70
112
222
75
297
Totale
47
Validità
Per distinguere i valori normali da quelli anormali,
si deve definire un valore soglia.
soglia
Facendolo, si creano quattro categorie
potenziali
potenziali:
1. I soggetti realmente malati e positivi al test:
p
veri positivi
2. I soggetti realmente malati ma negativi al
test: falsi negativi
3. I soggetti realmente sani e negativi al test:
veri negativi
4. I soggetti realmente sani ma positivi al test:
falsi positivi
48
La distribuzione degli individui in ogni categoria viene
spesso rappresentata in una tabella 2 x 2:
Verità
Test
+
-
T t l
Totale
+
a (VP)
b (FP)
a+b
-
c (FN)
d (VN)
c+d
a+c
b+d
a+b+c+d
Totale
49
Validità
sani
soglia
malati
veri
negativi
g
veri
positivi
falsi
negativi
M Miceli 2005
falsi
positivi
50
Per alcuni test, i valori sono continui (densità
ottica, glicemia, ecc.), e si può scegliere un
valore soglia che alza la sensibilità (VP, FN)
soglia
malati
veri
positivi
falsi
negativi
MA........
51
soglia
g
sani
malati
verii
negativi
veri
positivi
ffalsi
l i
negativi
falsi
positivi
Si aumenta il tasso di falsi positivi e si
abbassa
bb
lla specificità
ifi ità (VN
(VN, FP )!
52
Viceversa, si può scegliere un valore soglia che alza
la specificità (VN, FP)
soglia
sani
verii
negativi
falsi
positivi
p
53
Ma...si diminuisce la sensibilità ((VP, FN )!
soglia
sani
malati
veri
negativi
veri
positivi
p
ffalsi
l i
negativi
falsi
positivi
54
Relazione tra sensibilità e specificità
x x
Non si può avere la botte piena e la moglie
ubriaca!
55
Come scegliere la soglia giusta?
Dipende da:
– le conseguenze di un risultato falso
negativo
– le
l conseguenze di un risultato
i lt t f
falso
l
positivo
– le risorse per condurre ulteriori test
diagnostici o procedure per il
trattamento dei soggetti positivi
56
Area under ROC curve = 0
0.8963
8963
1.00
Sensitivity
0.75
0.50
0.25
0.00
0.00
0.25
0.50
1 - Specificity
0.75
1.00
57
Curva R.O.C.
• Curva rappresentante sensibilità e
specificità per ogni valore soglia
• Utile strumento per stabilire come
scegliere un valore soglia data una
certa sensibilità e specificità
• In ascissa: 1-specificità
p
• In ordinata:sensibilità
58