Strumenti del processo diagnostico: il questionario

Strumenti del processo
diagnostico: il questionario
Costruzione del questionario
Analisi della validità e riproducibilità del
questionario attraverso un indice statistico
di concordanza : il kappa
Argomento della lezione
• Il questionario: strumento principale per
raccogliere le informazioni
• Come si costruisce un questionario
• Vari tipi di questionari
• Validazione di un questionario
• Confrontare le informazioni raccolte da un
questionario con un gold standard
(strumentazioni, esami, clinico) attraverso il
kappa di Coehn
Obiettivo della lezione
• L'obiettivo di questa lezione è riflettere sulla
complessità che c'è dietro la costruzione di un
buon questionario
• Essere in grado di rispondere alle seguenti
domande:
Come si costruisce un questionario?
quando si usa?
come faccio a sapere se il questionario che ho
costruito per raccogliere una serie di
informazioni sulla insufficienza renale funziona?
Il processo diagnostico
• Il
processo
diagnostico
consiste
nel
trarre
dall’osservazione di un individuo quegli elementi che
permettano di giudicare se è affetto o meno da una
determinata
malattia
e,
conseguentemente,
le
indicazioni sulla linea terapeutica da seguire.
• Alla base del processo diagnostico vi è l’acquisizione di
informazioni
riconducibili
alle
caratteristiche
dell’individuo che si presenta all’osservazione. Queste
informazioni possono essere raccolti attraverso:
sintomi riferiti,
esame obiettivo
esami strumentali o di laboratorio
Questionario, test
Che cos'è il questionario?
• Uno strumento per raccogliere informazioni
che può essere utilizzato in molti campi:
indagine clinica, stesura di linee guida e
protocolli terapeutici, nelle audit cliniche,
ricerca epidemiologica, valutazione dello stato
della qualità….
• È uno strumento apparentemente semplice,
ma il disegno di un questionario è un
processo complesso che coinvolge diversi
aspetti e considerazioni
Obiettivi possibili:
• Studiare i fattori di rischio (es. indagini
epidemiologiche)
• Verificare l'efficacia di misure applicate
(stesura di linee guida, analisi casistica, etc)
• Strumenti di diagnosi (disturbi
comportamentali, alimentari, mentali, etc…)
• Scheda raccolta dati (anamnesi, checklist)
Il questionario una definizione
I questionari sono
“strumenti di raccolta delle informazioni, definiti come un
insieme strutturato di domande e relative categorie di
risposta definite a priori da chi lo costruisce, ovvero di
domande cosiddette “chiuse” dove all’intervistato
(inteso come colui che risponde alle domande scritte
del questionario) viene richiesto di individuare tra le
risposte presentate quella che più si avvicina alla
propria posizione, e/o di domande “aperte”, che non
prevedono cioè delle risposte predeterminate”
(Zammuner, 1996).
ma alle quali il soggetto può rispondere riportando e
valutando la propria esperienza.
Il questionario
• Se è vero che tutti i questionari sono costituiti
da domande, non è vero che le domande da
sole bastano a fare un questionario
• Ciò che distingue un buon questionario da una
serie di domande è l'attività di pianificazione
• Ricordate sempre che:
OGNI DOMANDA HA LA RISPOSTA CHE SI
MERITA!!!
QUALE QUESTIONARIO?
• per costruire un questionario la prima
domanda da porsi è: "cosa voglio sapere?
cosa voglio misurare?"
• Stabiliti gli obiettivi bisogna scegliere se
utilizzare un questionario:
Già validato (creato, utilizzato, testato)
Già utilizzato – possibilità di comparare i dati
Creato ad hoc ->
• Ci occuperemo del terzo caso
Caratteristiche di base
• essere facile da leggere
• riportare istruzioni chiare
• occuparsi delle informazioni veramente
importanti
• avere già in mente il tipo di analisi che si
vorrà poi fare sui dati
il questionario deve essere trattato come un
delicato strumento scientifico e in quest’ottica
deve essere calibrato, controllato e utilizzato
Passi preliminari: la raccolta
delle informazioni
• Analisi della letteratura scientifica
sull’ambito di indagine.
• Analisi delle esperienze simili.
• Interviste o focus group con
“osservatori privilegiati” e operatori del
servizio.
Fasi della costruzione del
questionario
• Scelta e definizione delle aree di contenuto da
esplorare nel questionario.
• Formulazione dei relativi quesiti o item.
• Declinazione dei contenuti delle aree in singoli
quesiti che rilevano verbalmente le opinioni e
le percezioni dei rispondenti.
• Sistemazione dei quesiti in un ordine
adeguato.
Alcuni suggerimenti:
• all’inizio del questionario dare alcune brevi istruzioni su
come rispondere;
• iniziare possibilmente con domande semplici, che
mettano a proprio agio chi risponde
• raggruppare le domande che si riferiscono a uno stesso
tema per facilitare la concentrazione del rispondente su
un unico argomento alla volta, esaurito il quale si passa
al successivo
• posizionare le domande più complesse che richiedono
maggiore attenzione in posizione intermedia della
sequenza, non all’inizio poiché possono demotivare il
rispondente nel proseguire la compilazione, e non alla
fine quando la fatica si può far sentire
Alcuni suggerimenti:
• se è necessario usare una sequenza
temporale, è consigliabile porre prima le
domande riguardanti il passato, poi quelle
relative al presente
• condurre una analisi tramite pre-test dello
strumento ottenuto; ovvero testare su un
piccolo campione di soggetti il questionario.
Pre-test
• È consigliabile che lo strumento di rilevazione sia
somministrato a un gruppo di individui (10-20) con
caratteristiche simili a quelle del campione che si
intende intervistare.
• Lo scopo è quello di individuare e correggere i
possibili errori di interpretazione, le domande
superflue, le domande mancanti, le modalità di
risposta confuse o inappropriate, ecc.
• In questa fase risulta utile incoraggiare gli intervistati
a commentare le domande e le risposte, facendo
così emergere eventuali criticità dello strumento.
Tipi di domande
• Aperte : qualsiasi risposta possibile, risposte anche
lunghe, risposta trascritta e codificata in un secondo
tempo. Queste domande vanno bene per raccogliere
opinioni in interviste personali.
• Chiuse : chi risponde deve scegliere tra un limitato
numero di opzioni.
Dicotomiche (si/no ma aggiungere anche
non so)
A scelta multipla. Facili da codificare ed
analizzare. Il range di risposte possibili è
limitato.
• Ciascun tipo di domande presenta vantaggi e limiti.
esempi
Domande chiuse
Le domande sono accompagnate da una lista
di alternative (o categorie) di risposta fra le
quali il soggetto sceglie quella o quelle che
meglio rappresentano la sua risposta
Domande aperte
Le domande aperte permettono al
rispondente di esporre liberamente con le
proprie parole le sue percezioni
esempio:
quante volte in un mese si reca dal medico di base?
meno di una volta
una volta
due - tre volte
quattro volte
più di 4 volte
non so/non ricordo
esempio
quante volte in un mese si reca dal medico di base?
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Domande chiuse
• Vantaggi
Si risponde più velocemente
Tasso di risposta più alto
Più facili da analizzare
La lista di alternative aiuta a comprendere
meglio la domanda
• Limiti
Le categorie possono suggerire la risposta
Le categorie possono non comprendere tutte le
casistiche
Domande aperte
• Vantaggi
Qualità delle risposte, possono emergere
aspetti nuovi
Originalità delle risposte
Possibilità di approfondire gli argomenti
• Limiti
Più difficili da codificare
Le risposte possono mancare o possono
contenere informazioni irrilevanti
Richiede maggior tempo nelle risposte
Tipi di risposta chiusi
formati di risposta chiusi
Domande ad Alternativa Fissa
si deve scegliere da un elenco di
possibili risposte tra loro esclusive
esempio
età
meno di 20 anni
tra 20 e 40 anni
tra 41 e 60 anni
più di 60 anni
Domande a scelta multipla
chi l'ha informata della possibilità di
il rispondente compie una scelta da un accesso alla day-surgery (può
elenco di possibili risposte
indicare più di una alternativa)
il medico di medicina generale
specialista
amici conoscenti
libero accesso
altro
Domande a risposta graduata
come va in generale la sua salute
il rispondente compie una scelta sulla
molto bene
base di una scala a risposte graduate.
bene
discretamente
male
molto male
si usa quando
si conoscono bene le possibili
risposte, che vengono sintetizzate
nei punti di un elenco
è possibile chiedere agli intervistati
di scegliere una o più possibili
risposte
si chiede di indicare la categoria
verbale che più si avvicina alla
propria posizione
Response effect
• Quando gli intervistati scelgono la risposta
che occupa la stessa posizione nella scala
(scelgono sempre abbastanza)
• o nelle alternative di risposta, per esempio
sempre le prime risposte presentate o le
ultime, senza considerare il contenuto della
domanda.
• Se si teme uno di questi effetti, può essere
utile introdurre nella batteria alcune domande
di controllo a polarità invertita, che controllino
la sincerità delle risposte.
Punto intermedio e non so
• Solitamente si tende a utilizzare scale di
risposta che abbiano un numero pari di punti,
e a escludere il punto intermedio con etichetta
“moderatamente adeguato” o “così così”,
• In questo modo gli intervistati sono forzati a
prendere una posizione ed evitare che sia alto
il numero di coloro che non esprimono una
posizione netta circa l’oggetto dell’indagine.
• È consigliabile non introdurre tra le categorie
di risposta il punto “non so”.
target
• Il questionario deve essere modellato sulla
base delle caratteristiche socio-anagrafiche
• del target. Aspetti rilevanti possono essere:
Età, Sesso, tasso di Scolarizzazione
Tipo di Professione, etnia, religione, Nazionalità
Dimestichezza con la lingua italiana scritta e
parlata
scelta delle domande
ordine delle domande
modalità di risposta
lunghezza del questionario,
Costruzione delle domande
1. Usare parole, frasi e stile familiari alla maggior parte
delle persone
2. usare parole semplici e frasi brevi e semplici
3. cercare di essere specifici senza entrare in dettagli
molto elaborati
4. fare domande concise senza il rischio di dettagli
ambigui o domande doppie
5. cercare di essere precisi e non vaghi
6. Porsi l’obbiettivo di usare meno di 20 parole per
domanda
7. evitare domande fuorvianti o in cui si suggerisca la
risposta
8. evitare di immaginarsi in anticipo la risposta
9. cercare di essere realistici e non ipotetici
10.usare il buon senso
Qualche esempio
• Domande ambigue:
quante volte all’anno si è recato dal medico di
famiglia nel biennio 1989-1990?
• Due domande in una:
Ha accusato problemi respiratori quando fa troppo
caldo?
• Parole che non vengono comprese:
Soffre di dispnea?
• Eventi difficilmente ricordabili:
Quanto pesava all’età di 10 anni?
• Domande pilotate:
Lei non fuma,vero?
Qualche esempio
• Domande troppo lunghe con troppe idee
Ha mai usato integratori, antinfiammatori,
analgesici?
• Intervalli che si sovrappongono:
Quante visite avvengono in un anno? Fino a 10,
da 10a 20, da 20 in su?
• Non richiedere esattamente l’informazione
voluta:
Non ha mai un desiderio irresistibile verso
alcuni cibi? (per sapere cosa effettivamente le
persone mangiano)
E ancora...
• Scelta delle parole:dovrebbero essere scelte
con l’obiettivo di assicurare il corretto
significato. Criteri di scelta:
• la parola significa proprio ciò che intendiamo
dire?
• la parola ha qualche altro significato?
• il contesto rende chiaro ciò che vogliamo dire?
• esistono parole simili che potrebbero
confondere?
• esiste una parola o una frase più semplice?
somministrazione
• Autosomministrazione
È il soggetto, nel vostro caso il paziente che
compila il questionario
• Intervista
È un medico o un altro operatore che pone le
domande del questionario al soggetto
• Somministrazione postale
Il questionario viene inviato per posta
• Intervista telefonica
• Internet
differenze
• Tutte queste tecniche hanno dei limiti e dei
vantaggi che bisogna tenere presente nella
fase di costruzione
• In particolare se il questionario sarà
autosomministrato o postale le domande
dovranno essere particolarmente chiare e il
layout dovrà essere semplice accattivante
• I questionari postali dovranno essere spediti
in buste preaffrancate e indirizzate per ridurre
il tasso di non risposta che è il più alto tra le
tipologie di somministrazione
Esempi di questionari
Quando si
costruisce un
questionario è
buona norma
codificare le
risposte come
in questo caso.
Lo scopo è
facilitare
l’analisi
Questo
questionario fa
parte di uno
studio per le
linee guida del
trattamento
della tiroide
Si raccolgono
tutte le
informazioni
provenienti da
diverse fonti:
esame
obiettivo,
strumentale
etc
Questionario, test, scala
Questionario, test e scala sono la stessa cosa? no.
• Differenza tra questionario e scala
Nel questionario le risposte possono essere anche a
bassa articolazione (si/no)
Nella scala le risposte prevedono una maggiore
graduazione nella scelta (es le scale del dolore come
definisce il dolore..?molto forte, forte,
moderatamente forte…assente)
• Differenza tra questionario e test
Nel test il setting è rigidamente strutturato, oltre a
domande ci possono essere anche una serie di prove
(esempio i test di intelligenza, i test sulla memoria)
Vantaggi e limiti del
questionario
• I vantaggi principali del questionario sono il
basso costo e la rapidità di somministrazione.
• Questo strumento, però, presenta numerosi
limiti, come ad esempio, l’impossibilità per il
soggetto di approfondire la risposta data,
perché comunque è costretto a scegliere tra i
soli items proposti.
• I questionari vengono costruiti per misurare
“qualcosa” che non è misurabile in altri modi.
Questo ne costituisce il limite e il vantaggio.
Validità e attendibilità del
questionario
• Come per tutti gli strumenti diagnostici anche per il
questionario bisogna valutare la validità e l’attendibilità
o riproducibilità
• La validità si riferisce alla proprietà del giudizio clinico
di dimostrarsi in accordo con evidenze più probanti,
quale un più attento esame obiettivo o strumentale del
paziente, o la sua osservazione nel corso del tempo
(gold standard).
• La riproducibilità si riferisce alla proprietà del giudizio
clinico di dimostrarsi in accordo con quello derivante da
altre osservazioni dello stesso fenomeno (grado di
accordo tra operatori diversi o tra strumenti diversi)
validità
• La validità di uno strumento si riferisce al grado con cui
lo strumento stesso misura ciò che si prefigge di
misurare.
• Perché i dati raccolti siano validi, devono fornire
effettivamente le informazioni per ottenere le quali lo
strumento è stato costruito.
• Ci sono vari tipi di validità:
validità
validità
validità
validità
validità
concorrente/di criterio;
di costrutto;
di facciata;
convergente/discriminante;
predittiva
validità
Validità di contenuto/concettuale
Validità concorrente/di criterio
Capacità dello strumento di misurare
effettivamente ciò che si intende rilevare
esempio un test sull’alcolismo deve classificare
correttamente i soggetti in fumatori non fumatori
Come misurarla
Attraverso l’analisi indipendente dello
strumento da un gruppo di esperti
Corrispondenza tra i risultati ottenuti e un
criterio esterno correlato
esempio il test per alcolismo deve registrare accordo
con il test che rileva la presenza di alcol nel sangue
Come misurarla
Confrontando i risultati ottenuti da un
pre-test con altri risultati noti
Validità di costrutto
Validità di facciata
Corrispondenza tra i risultati ottenuti e la
costruzione teorica proposta.
Analisi dell’adeguatezza del materialestimolo
ai soggetti da esaminare.
Come misurarla
Elaborando una ipotesi teorica ed
esaminando la corrispondenza tra tale
ipotesi e i risultati ottenuti.
Come misurarla
Attraverso la richiesta di un giudizio
qualitativo intuitivo ai soggetti sul
materiale-stimolo
validità
Validità convergente e discriminante
Validità predittiva
La validità discriminante consiste nel
dimostrare un ragionevole grado di
indipendenza tra le varie aree che
compongono lo strumento.
Per validità convergente si intende la
misura della dipendenza di ogni item con il
fattore di riferimento.
Come misurarla
Per la misura della validità discriminante si può
utilizzare il coefficiente di cograduazione di
Spearman.
La validità convergente si misura tramite
correlazione tra ogni domanda/item e la sua scala
di appartenenza.
Indica la capacità della scala di predire
l’evoluzione del fenomeno che si intende
misurare.
Come misurarla
Si può utilizzare la cograduazione come
misura dell’intensità del legame tra le
variabili.
attendibilità
• Per attendibilità si intende una misurazione che,
applicata allo stesso oggetto, deve dare gli stessi
risultati anche quando viene compiuta da persone
diverse, in situazioni diverse, con strumenti diversi.
• Le verifiche empiriche dell’attendibilità riguardano:
l’omogeneità o coerenza interna dell’insieme
degli stimoli che compongono il test;
la concordanza tra forme parallele di uno
stesso test;
la stabilità delle reazioni di soggetti esaminate
più volte, ossia la verifica dei risultati al re-test.
attendibilità
Omogeneità /coerenza interna
Concordanza
Corrispondenza tra risposta e risposta
all’interno dello strumento.
Corrispondenza tra risultati di rilevazioni
ripetute con strumenti diversi.
Come misurarla
alfa di Cronbach: calcolare la correlazione
delle risposte a ogni domanda con le
risposte a tutte le altre domande.
Stabilità
Come misurarla
Replicare la rilevazione con strumenti
diversi e calcolare la correlazione tra i
risultati.
Corrispondenza tra risultati di rilevazioni
ripetute con lo stesso strumento.
Come misurarla
rilevazione nel tempo sugli stessi soggetti
e calcolare la correlazione tra i due
risultati.
Accordo tra due osservatori
• Per misurare il grado di accordo tra due osservatori
bisognerebbe che due clinici esaminassero
separatamente un certo numero di pazienti e che per
ognuno di essi formulassero il giudizio clinico relativo
alla classificazione dei pazienti in base:
a due categorie diagnostiche, ad esempio malattia
presente o assente, malattia A o B, malattia lieve o
grave;
a più di due categorie diagnostiche non ordinali, ad
esempio malattia A, B o C;
a categorie diagnostiche ordinali, ad esempio
malattia assente, lieve o grave, malattia assente,
sospetta o presente, ecc…
Come mettere i dati per
calcolare l’accordo
Accordo osservato
• Si definisce accordo osservato (AO) la proporzione di
pazienti per i quali i due clinici concordano nella
formulazione del giudizio clinico sul totale dei pazienti
sottoposti al giudizio stesso:
• Questa misura dell’accordo tra osservatori è tuttavia
piuttosto superficiale in quanto non considera che i due
clinici potrebbero concordare nella diagnosi per puro
effetto del caso
Accordo atteso
• Si definisce accordo atteso (AA) la proporzione attesa
di diagnosi concordanti per effetto del caso sul totale
dei pazienti
Indice K di concordanza oltre il
caso
Ne deriva che una misura della
proporzione di accordo che esclude la
quota dovuta al caso è data dall’indice
K di concordanza:
Indice kappa un esempio
• A 2 clinici viene chiesto di classificare 100 pazienti psichiatrici
in 2 categorie: malattia psichiatrica, malattia organica.
• L’accordo osservato è:
AO = 85 + 10 / 100 = 0.95
ovvero i due clinici concordano sulla diagnosi nel 95% dei casi.
Tuttavia, l’accordo atteso per effetto del caso è:
AA = (85 . 90 + 15 . 10) / 1002 = 0.78
ovvero l’accordo potenziale oltre il caso è di (1 – 0.78) = 0.22.
Ne deriva che l’indice K di concordanza è:
K = (0.95 – 0.78) / (1 – 0.78) = 0.77
Indice K generalizzato per
categorie diagnostiche ordinali
• Si sommano le diagnosi concordanti e si
“pesano” in base alla vicinanza diagnostica
esempio
esempio
• 2 clinici esaminano indipendentemente l’uno dall’altro 100
mammografie classificandole nelle seguenti tre categorie ordinali:
assenza di lesioni, presenza di lesioni dubbia e presenza di lesioni
certa.
• Indicizzando le tre categorie con 1 (assenza di lesioni), 2 (dubbia
presenza di lesioni) e 3 (certa presenza di lesioni) i pesi sono qui di
seguito indicati:
L’accordo osservato è:
AOw = 1 * (22/100) + 0.75 * (1/100) + 0 *(7/100) + 0.75* (2/100) + 1 *
1*(21/100)+ 0.75 *(3/100) + 0 * (8/100) + 0.75 * (4/100) + 1
* (32/100) = 0.83
L’accordo atteso per effetto del caso è:
AAw = [1 * (32 * 30)/1002)] + [0.75 * (26* 30)/ 1002)] + [0 *
(42*30)/ 1002)] + [0.75* (32 * 26)/ 1002)] + [1* (26 *26)/ 1002)] + [0.75*
(42 * 26)/ 1002)] + [0* (32 * 44)/ 1002)] + [0.75* (26*44)/ 1002)] + [1*
(42* 4)/ 1002) = 0.64
Ne deriva che l’indice K di concordanza pesato è:
Kw = (0.83 – 0.64) / (1 – 0.64) = 0.52
Indice di concordanza per dati
quantitativi
• Quando vogliamo misurare l’accordo tra due o
più strumenti od operatori e le modalità non
sono espresse in termini qualitativi (esempio
assenza/presenza malattia), ma quantitative
(livelli di colesterolo nel sangue)si utilizzano
altri strumenti:
• Il grafico di correlazione
• Il Coefficiente di Correlazione Lineare
• Il Coefficiente di Correlazione Intraclasse
(ICC)
Grafico di correlazione
correlazione
y = x + 0,2
R=1
operatore B
1,5
1
0,5
0
0
0,5
operatore A
1
Il coefficiente di correlazione
Intraclasse
• Stima quanto della variabilità totale osservata
è da attribuire alla variabilità tra diversi
operatori
vartra
ICC =
vartot
• È un rapporto tra la varianza tra gruppi e la
varianza totale
2
(
)
x
−
x
∑ i
var =
n
bibliografia
• Boncori L., Teoria e tecnica dei test. Torino, Bollati Boringhieri,
1993.
• Manganelli Rattazzi A.M., Il questionario. Padova, Cluep
Editrice, 1990.
• Zammuner V.L., Interviste e questionari. Roma, Borla Edizioni,
1996.
• Fleiss, J. L., Levin, B., & Paik M. C. (2003). Statistical methods
for rates and proportions.Hoboken, New Jersey: Wiley.
• http://proxy.racine.ra.it/ausl/EpiInfo/Forma/REGOLE%20PER%20UN%20QUESTIONARIO.htm
• http://ourworld.compuserve.com/homepages/jsuebersax/kappa
.htm