Analisi critica

VALUTAZIONE CRITICA DEGLI STUDI
PROLOGO
Protocollo
CAPITOLO 1
CAPITOLO 2
CAPITOLO 3
CAPITOLO 4
Quesito
Background
Ricerca degli studi
Selezione degli studi
CAPITOLO 5
Valutazione critica
degli studi
CAPITOLO 6
CAPITOLO 7
CAPITOLO 8
EPILOGO
VALUTAZIONE CRITICA DEGLI STUDI
Processo sistematico mirato a
identificare le forze e le debolezze di un
articolo di ricerca per valutare l’utilità e
la validità dei suoi risultati
PERCHÈ È IMPORTANTE
SCOPO
Gli studi possono essere molto diversi tra loro
come qualità e per il rischio di sviluppare bias
Stabilire se i risultati siano vicini
alla verità e rilevanti nel setting
o nel gruppo di pazienti che ci
interessa
I risultati potrebbero dipendere da come è stato
condotto lo studio e non dalla reale efficacia
dell’intervento
Evidenze non valide possono portare a
conclusioni fuorviate e quindi a danni o
aumento dei costi immotivato
STRUMENTI DI VALUTAZIONE
CRITICA
• SCALE
− La qualità viene valutata mediante punteggi che combinati
insieme danno un punteggio riassuntivo
• CHECKLISTS
− Elenco di quesiti specifici che valutano gli elementi che
definiscono la qualità dello studio ma non viene calcolato un
punteggio riassuntivo
• DOMAIN-BASED
− La valutazione critica viene fatta in modo separato per diversi
ambiti della qualità
SCALE
Le scale non sono raccomandate
Calcolare un punteggio totale vuol dire dare
un peso alle singole voci della scala e questo
peso è difficile da giustificare
Valutare lo stesso trial con scale diverse può
portare a risultati diversi
Un punteggio totale non è trasparente per i
lettori
APPROPRIATEZZA DEL DISEGNO
APPROPRIATEZZA DEL DISEGNO
m
Au
L’RCT è considerato la tipologia di studio migliore
per valutare l’effetto di un intervento
to
en
sch
l ri
de
b
di
io
ias
Quando uno studio sperimentale non è possibile
o non è etico randomizzare i partecipanti si
possono cercare disegni quasi-sperimentali o
osservazionali.
http://www.cancerguidelines.ca/guidelines/backup/WebSite/Content/Files/gr_appraisal_quality_re
port.pdf
APPROPRIATEZZA DEL DISEGNO
QUALITÀ VERSUS RISCHIO DI BIAS
Il bias è un errore sistematico nella stima dell’
Possono però essere implementati in modo da
rendere probabile che i loro risultati siano
seriamente inficiati da bias e quindi si riduca il
loro valore ai fini di essere utilizzati per la
pratica.
effetto reale di un intervento
Il bias può emergere da diversi difetti nel disegno
dello studio. Più rigoroso sarà lo studio, minore sarà
il rischio di bias
Il rischio di bias
≠ qualità di uno studio. La qualità
si riferisce a quanto gli investigatori si attengano ai
migliori standard per condurre il loro studio.
QUALITÀ VERSUS RISCHIO DI BIAS
QUALITÀ VERSUS RISCHIO DI BIAS
(Handbook Cochrane 2011)
(Handbook Cochrane 2011)
Ci sono delle caratteristiche della qualità di
uno studio che probabilmente non influenzano
il suo rischio di bias.
Esempio: Approvazione etica, ottenere il consenso
informato, riportare il calcolo delle dimensioni del
campione
Gli studi possono essere condotti seguendo gli
standard migliori possibili ma essere ancora a
elevato rischio di bias.
Esempio:
Un trial dove sia impossibile la cecità dei
partecipanti può essere condotto seguendo gli
standard migliori possibili ma essere comunque a alto
rischio di bias per la mancanza di cecità.
FONTI DI BIAS
SELECTION BIAS
PERFORMANCE BIAS
Differenze sistematiche tra le caratteristiche di
base dei gruppi comparati
Differenze sistematiche tra i gruppi rispetto al tipo di
assistenza ricevuta o all’esposizione a fattori diversi
dall’intervento in oggetto.
RANDOMIZZAZIONE: I partecipanti dovrebbe essere allocati ai gruppi
usando una vera sequenza di randomizzazione. Usare la data di nascita, la
data di ingresso o il numero di ricovero non è una vera randomizzazione.
OSCURAMENTO DELL’ALLOCAMENTO (CONCEALMENT): I partecipanti e
gli investigatori non dovrebbero essere in grado di prevedere l’allocazione
prima che il partecipanti sia inserito nello studio. Allocazione centralizzata
(uso del telefono o numerazione generata dal web) o numeri sequenziali
contenuti in buste anonime.
CECITÀ: I partecipanti e gli investigatori dovrebbero essere
all’oscuro dell’allocazione per fare in modo che ognuno riceva la
stessa quantità di attenzioni, di trattamenti secondari o di esami
diagnostici.
DETECTION BIAS
ATTRITION BIAS O DI VIOLAZIONE
DEL PROTOCOLLO
Differenze sistematiche tra i gruppi dovute al
modo in cui viene determinato l’esito
Differenza sistematica nei ritiri dallo studio
tra i due gruppi
CECITÀ: La cecità di coloro che valutano gli esiti può ridurre il
rischio che la conoscenza dell’intervento ricevuto, piuttosto che
l’intervento stesso, influenzi la misurazione degli esiti.
OUTCOME DATA: Nel report del trial dovrebbe essere descritto
come sono stati misurati gli outcome nella sezione dei metodi.
OUTCOME DATA: Nell’analisi dei risultati dovrebbero essere inclusi tutti I
partecipanti che sono stati randomizzati, inclusi quelli che si sono ritirati
dallo studio o non hanno ricevuto l’intervento a cui erano stati destinati
(intention-to-treat)
Le ragioni per cui I partecipanti sono usciti dallo studio dovrebbero
essere riportate
REPORTING BIAS
Differenze tra gli esiti inseriti nel protocollo e
quelli che vengono riportati nel lavoro finale.
REGISTRAZIONE DEGLI OUTCOME: Dovrebbero essere riportati i
risultati per ogni outcome identificato all’inizio, primari e secondari.
I report degli studi non dovrebbero focalizzarsi solo su quegli
outcome che sono favorevoli o quelli che hanno dimostrato una
differenza statisticamente significativa tra i gruppi.
Tutti gli outcome, primari e secondari, dovrebbero essere descritti
nella sezione Metodi.
ALTRI BIAS
Relativi soprattutto a particolari disegni di studi (p.e.
carry-over nei trial cross over o il recruitment bias nei
trial randomizzati per cluster)
Altri si presentano in un largo spettro di studi ma solo in
particolari circostanze (p.e. la contaminazione
dell’intervento sperimentale con quello di controllo)
STRUMENTO DI VALUTAZIONE CRITICA
ESEMPIO
Cochrane Collaboration’
Collaboration’s Risk of Bias Tool:
Strumento di valutazione del rischio di bias negli RCT
basato su degli ambiti
I potenziali bias che si possono ritrovare in uno studio
sono stati suddivisi in ambiti/aree e sono state definite le
strategie per la loro valutazione.
GLI AMBITI
Ambiti
Generazione della Sequenza
Randomizzata
Oscuramento dell’allocazione
Cecità dei Partecipanti e del
Personale
Cecità di Coloro che valutano gli
Outcome
Dati incompleti sugli Outcome
Altre fonti di bias
LA VALUTAZIONE
1) Descrizione di come è stato considerato quell’ambito
all’interno dello studio
2) Assegnazione di un giudizio sul rischio di bias nello
studio per quell’area
–
–
–
Low risk of bias
High risk of bias
Unclear risk of bias
Bias
Selection Bias
Selection Bias
Performance Bias
Detection Bias
Reporting Bias
Other Bias
I CRITERI
Generazione della Sequenza Randomizzata
Selection bias (allocazione all’intervento pregiudicato da bias) dovuto a una inadeguata
generazione della sequenza di randomizzazione
Low risk of bias
Gli investigatori descrivono la generazione della sequenza di randomizzazione come:
-Tavola di numerazione random
-Generatore computerizzato di numeri random
-Testa o croce, pescare una carta o una busta, tiro dei dadi, tirare a sorte,
-Minimizzazione
High risk of bias
Gli investigatori descrivono una componente non randomizzata nella generazione
della sequenza. In genere riguarda alcuni approcci sistematici non randomizzati, per
esempio:
-Sequenze generata da: non ben specificato o anche la data di nascita, qualche
regola basata sulla data di ammissione o il numero nosologico
Altri approcci non randomizzati che si presentano meno frequentemente e che in
genere riguardano giudizi o categorizzazioni dei partecipanti come:
-Allocazione secondo il giudizio del clinico, le preferenze del partecipante, risultati di
un test di laboratorio, disponibilità dell’intervento
Unclear risk of bias
Informazioni insufficienti sul processo di generazione della sequenza
per permettere un giudizio di basso o alto rischio.
TABELLA RISCHIO BIAS COCHRANE
LO
STRUMENTO
TABELLA
RIASSUNTIVA
Review Manager
(RevMan) 5 Software
VERDE: Low risk
GIALLO: Unclear risk
ROSSO: High risk
TABELLA RISCHIO BIAS COCHRANE
STUDI OSSERVAZIONALI
(Handbook Cochrane 2011)
Esempio fittizio
http://www.cancerguidelines.ca/guidelines/backup/WebSite/Content/Files/gr_appraisal_quality_re
port.pdf
STUDI OSSERVAZIONALI
STUDI OSSERVAZIONALI
Gli studi che tracciano inferenze o testano ipotesi
attraverso I metodi osservazionali
Studi osservazionali descrittivi:
Gli eventi sono semplicemente osservati e descritti mentre seguono
il loro corso naturale
Studi osservazionali analitici:
Comparazione di due gruppi nei quali l’obiettivo è spiegare la
relazione di causa ed effetto dove non sia possibile condurre un
intervento controllato o sperimentale
http://www.cancerguidelines.ca/guidelines/backup/WebSite/Content/Files/gr_appraisal_quality_re
port.pdf
I BIAS PIÙ FREQUENTI
I BIAS PIÙ FREQUENTI
Selection bias
Differenze sistematiche tra i gruppi rispetto a fattori
diversi da quelli dell’esposizione sotto osservazione
Recall bias
Differenze nel modo in cui le informazioni sull’esposizioni
vengono ricordate o riferite dai partecipanti nei diversi gruppi
Misclassification bias
Errori nella categorizzazione dello stato di esposizione o
dell’outcome tra i gruppi in modo che non sia random
ma collegata all’esposizione o all’outcome.
Observation (information, detection) bias
Quando la conoscenza dello stato di esposizione o della presenza
dell’outcome influenza il modo in cui vengono riferite le
informazioni dai soggetti sotto osservazione o dagli investigatori
Attrition bias
Quando i soggetti che presentano l’outcome non
rispondono in modo selettivo o si perdono al follow-up
Le differenze tra I gruppi sulla quantità d’informazioni ottenute
CONFONDIMENTO
QUANDO LE DIFFERENZE NEGLI ESITI TRA I GRUPPI IN STUDIO SONO
DOVUTE A QUALCOSA DI DIVERSO DALL’ESPOSIZIONE SOTTO
OSSERVAZIONE
Fattore collegato all’esposizione e all’outcome che è distribuito nei
gruppi in modo irregolare
Variabile esterna correlata (in modo positivo o negativo) sia con la
variabile dipendente che con quella indipendente
Non è un bias.
I bias riguardano errori nella misurazione, i fattori di confondimento
invece sono errori di interpretazione di una misurazione accurata
STRUMENTO DI APPROCCIO CRITICO
Revisione sistematica sugli strumenti per
l’approccio critico degli studi osservazionali
Sanderson S, Tatt ID, Higgins JPT. Tools for
assessing quality and susceptibility to bias in
observational studies in epidemiology: a systematic
review and annotated bibliography. International
Journal of Epidemiology 2007;36:666-76.
STRUMENTI DI APPROCCIO CRITICO
Ci sono centinaia di strumenti per l’approccio critico
disponibile per gli studi di coorte, caso controllo e
cross-sectional
Alcuni sono specifici per un tipo di studio
osservazionale mentre altri sono più generici
Non c’è accordo su quali siano gli elementi importanti
per valutare il rischio di bias negli studi osservazionali
Non c’è un solo gold standard per l’approccio critico
degli studi osservazionali
STRUMENTI PER L’APPROCCIO CRITICO
COME SCEGLIERE LA CHECKLIST
La checklist dovrebbe includere delle voci che valutano:
Il metodo di selezione dei partecipanti
I metodi di misurazione dell’esposizione e degli outcome
Le fonti di bias specifiche per la tipologia di disegno
Metodo di controllo del confondimento
I metodi statistici
La presenza della menzione degli eventuali conflitti di interessi
La checklist dovrebbe fornire informazioni su come sia stata sviluppata e
deve essere stata testata per validità e affidabilità.
STROBE STATEMENT
von Elm E, et al. The Strengthening the Reporting of Observational Studies in
Epidemiology (STROBE) Statement: guidelines for reporting observational studies. BMJ.
2007;335(7624):806-808
PERSONE CHE DEVONO FARE LA
VALUTAZIONE
Almeno due ricercatori indipendenti.
Necessario l’accordo e deve essere stabilito a
priori cosa fare nel caso non si raggiunga
Checklist con 22 voci considerate essenziali
per scrivere nel modo giusto gli studi
osservazionali
http://www.strobe-statement.org/
Deve essere riportato tutto nella pubblicazione
definitiva
COSA FARE CON L’APPROCCIO
CRITICO
COSA FARE CON L’APPROCCIO
CRITICO
Restringere la principale meta analisi a studi a
TERZA VIA
basso rischio di bias
Presentare meta analisi stratificate rispetto al
rischio di bias
Presentare una meta analisi di tutti gli studi, insieme a un
riassunto del rischio di bias degli studi.
La scelta può dipendere
a)dal contesto della specifica revisione e
b)dal bilanciamento tra i potenziali bias e la perdita di precisione
che si avrebbe se gli studi ad alto rischio o a rischio di bias non
chiaro fossero esclusi.
Incorporare questo riassunto in una valutazione più ampia
di ogni outcome importante usando un sistema di
misurazione della qualità (GRADE)
“Summary of findings” Tabella riassuntiva dei risultati
Cochrane