Doc 2 - Lezione 07

DOCIMOLOGIA 2
Gabriella Agrusti
Università degli Studi Roma Tre
Settima lezione
• Matematica:
Difficoltà
di una prova
Tutto dipende dai
punti di vista…
In una scuola ci sono 300 alunni di quinta
elementare. Marco e Maria vogliono
scoprire qual è il colore preferito degli
studenti di quinta.
Maria chiede a 30 persone.
Marco chiede a 150 persone.
Marco afferma che le sue conclusioni sono più
probabili di quelle di Maria. Perché?
Perché Marco è un uomo.
• Geografia:
Spiega che cosa indica la parola
“magma”.
Fumetti giapponesi.
Difficoltà
di una prova
Tutto dipende dai
punti di vista…
• Storia:
Dove fu firmata la Dichiarazione
di Indipendenza degli Stati
Uniti?
Alla fine del foglio.
• Fisica:
E’ più importante il sole o la luna?
La luna dà la luce di notte,
quando ne abbiamo bisogno
perché è buio. Il sole dà la
luce di giorno, quando non ci
serve. Quindi la luna è più
importante.
13. Come stabilire la difficoltà di una prova
• Accade spesso che si abbia una percezione
errata della difficoltà delle prove che aveva
sostenuto
• .. ma esistono modi non soggettivi e replicabili
per quantificare la difficoltà di una prova, o
meglio di un quesito
• Tecniche della analisi classica dei quesiti
Dalle puntate precedenti..
• Scrivere la definizione di
• Difficoltà di un quesito
• Discriminatività di un quesito
• Le formule per calcolare i rispettivi
indici
• Indicazioni di massima per
interpretarli
L’analisi classica degli item
• Comprende:
Frequenze di risposta
Indice di distrattività
Indice di difficoltà
Indice di discriminatività
Correlazione item-totale
Alfa di Cronbach
Frequenze di risposta
• Numero di occorrenze delle modalità di una
variabile nel campione
ossia
• quante volte ricorre una risposta in un quesito
• (per tutte le risposte possibili, per tutti i quesiti)
• Possono essere assolute, relative, cumulate,
percentuali
Quesito 1
Fq
assoluta
Fq
relativa
Fq
cumulata
Fq
%
A
6
0,188
6
19%
B
7
0,219
13
22%
C
4
0,125
17
12%
D
(corretta)
15
0,469
32
47%
totale
32
1
-
100%
Frequenze di risposta
ad un quesito a scelta multipla
A che cosa servono e come si calcolano
Distrattività
Come si interpreta
• Serve ad individuare quei distrattori poco
o per nulla attrattivi
• Teoricamente, la risposta corretta
dovrebbe avere sempre la frequenza
assoluta più elevata e i distrattori
dovrebbero dividere equamente i restanti
rispondenti
• Se un distrattore non viene scelto vuol
dire che non è plausibile (molto spesso
per ragioni indipendenti dai contenuti) e
rende per questo più facile il quesito
Indice di distrattività
• Si adopera per valutare il funzionamento dei
quesiti a scelta multipla
• È la percentuale di studenti che sceglie ciascun
distrattore..
• .. senza includere le risposte lasciate in bianco,
le doppie risposte o quelle incomprensibili
• Se N<100 NON si usa la frequenza % bensì
direttamente le frequenze assolute
Quesito 1
Fq
assoluta
Fq
relativa
Fq
%
A
25
0,13
13%
B
37
0,20
20%
C
41
0,22
22%
D
(corretta)
83
0,45
45%
totale
186
1
100%
Indice di distrattività
Si usa la frequenza % solo per N>100
Indice di difficoltà (sui pt grezzi)
• Resistenza che un quesito oppone alla sua
risoluzione
Df = nErrate/Numero rispondenti
• Si considerano errate anche le non risposte
• In inglese item facility (opposto: si calcola con
il numero di risposte corrette)
• Si può lasciare all’unità oppure riportare in %
Quesito 1
Quesito 2
Quesito 3
Quesito 4
Corrette
20
22
24
4
Errate
5
3
1
21
Totale
25
25
25
25
Difficoltà
0,2
0,12
0,04
0,84
Difficoltà %
20%
12%
4%
84%
Item facility
80%
88%
96%
16%
L’indice di difficoltà
Espresso in due modi: all’unità e in %
E poi a confronto con l’item facility
Indice di difficoltà (con pt diversi)
• Se abbiamo quesiti ai quali sono stati
assegnati pt diversi la formula diventa
Df = nCorrette/(Nrispondenti * pt assegnato)
• È in realtà ancora una volta una item facility
ma assegna peso diverso alle domande con
punteggio diverso
N studenti = 20
Corrette
(totale punti assegnati)
Quesito 1
Quesito 2
Quesito 3
8
8
8
(8 studenti) (4 studenti) (2 studenti)
Errate
12
32
72
Punti attribuiti per 1
risposta corretta
1
2
4
Calcolo dell’item facility = 8 /(20 * 1) =8/(20 *2)
=8/(20*4)
Item facility
0,4
0,2
0,1
Item facility %
40%
20%
10%
L’item facility e il peso dei quesiti
In questo caso l’indice tiene conto dei punteggi assegnati (considerando sempre
il numero di persone che rispondono correttamente all’intero quesito)
A parità di punteggi totali per item, gli item con più “peso” sono più difficili (o
meno facili) di quelli con punteggio grezzo (1 o 0) perché diminuisce il numero di
persone che ha dato la risposta corretta
Difficoltà – come si interpreta
• Non ci sono regole sempre valide,
tutto dipende dalla finalità della
prova nel suo complesso
• Solitamente se inferiore a 0.2 il
quesito è troppo facile, se
superiore a 0.8 troppo difficile
• All’interno di una stessa prova ci
devono essere sia quesiti più facili,
sia quesiti più difficili
Q1
Q2
Q3
Q4
Q5
%
Studente 1
1
1
1
1
1
100
Studente 2
0
1
1
1
1
80
Studente 3
0
0
1
1
1
60
Studente 4
0
0
0
1
1
40
Studente 5
0
0
0
0
1
20
0,80
0,60
0,40
0,20
0
Df
I problemi della difficoltà classica
Situazione del funzionamento ideale della difficoltà.
(Losito, p. 107)
Q1
Q2
Q3
Q4
Q5
%
Studente 1
1
1
1
1
1
100
Studente 2
0
1
1
1
1
80
Studente 3
0
0
1
1
1
60
Studente 4
0
0
0
1
1
40
Studente 5
0
0
0
0
1
20
0,80
0,60
0,40
0,20
0
Df
I problemi della difficoltà classica
Situazione del funzionamento ideale della difficoltà.
(Losito, p. 107)
Q1
Q2
Q3
Q4
Q5
%
Studente 1
1
1
1
1
1
100
Studente 2
0
1
1
1
1
80
Studente 3
0
0
1
1
1
60
Studente 4
0
0
0
1
1
40
Studente 5
0
0
0
0
1
20
Studente 6
1
1
0
0
0
40
0,66
0,50
0,50
0,33
0,17
Df
I problemi della difficoltà classica
Se aggiungiamo uno studente con un andamento di risposta anomalo, la
situazione non è più facilmente interpretabile.
Q1
Q2
Q3
Q4
Q5
%
Studente 1
1
1
1
1
1
100
Studente 2
0
1
1
1
1
80
Studente 3
0
0
1
1
1
60
Studente 4
0
0
0
1
1
40
Studente 5
0
0
0
0
1
20
Studente 6
1
1
0
0
0
40
0,66
0,50
0,50
0,33
0,17
Df
I problemi della difficoltà classica
Se aggiungiamo uno studente con un andamento di risposta anomalo, la
situazione non è più facilmente interpretabile.
Gli studenti 4 e 6 hanno lo stesso punteggio % ma hanno risposto a
quesiti di difficoltà diversa.
Q1
Q2
Q3
Q4
Q5
Q6
%
Studente 1
1
1
1
1
1
0
83
Studente 2
0
1
1
1
1
0
67
Studente 3
0
0
1
1
1
0
50
Studente 4
0
0
0
1
1
0
33
Studente 5
0
0
0
0
1
1
33
Df
0,80
0,60
0,40
0,20
0
0,80
I problemi della difficoltà classica
Se aggiungiamo un quesito dall’andamento di risposta anomalo il
punteggio non è più univocamente interpretabile.
Q1
Q2
Q3
Q4
Q5
Q6
%
Studente 1
1
1
1
1
1
0
83
Studente 2
0
1
1
1
1
0
67
Studente 3
0
0
1
1
1
0
50
Studente 4
0
0
0
1
1
0
33
Studente 5
0
0
0
0
1
1
33
Df
0,80
0,60
0,40
0,20
0
0,80
I problemi della difficoltà classica
Se aggiungiamo un quesito dall’andamento di risposta anomalo il
punteggio non è più univocamente interpretabile.
I quesiti 1 e 6 hanno la stessa difficoltà ma hanno ricevuto risposte
corrette da studenti con andamenti molto diversi tra loro al complesso
della prova.
Indice di discriminatività classico
• Quanto il quesito è in grado di discriminare –
distinguere tra migliori e peggiori
Ds = (Es- Ei)/Nfascia
• Varia da -1 a +1
• Se superiore a 0,3 è accettabile
• Va interpretata insieme alla difficoltà, alle
frequenze, alla distrattività e nel complesso
della prova
Indice di discriminatività calcolato
con la correlazione item-totale
• È la correlazione tra tutte le risposte date ad un
quesito e tutti i punteggi grezzi degli allievi (meno
il punteggio ottenuto al quel quesito)
• Differisce dalla discriminatività che è un semplice
confronto tra gli estremi
• Varia da -1 a +1 e si intrepreta:
–
–
–
–
–
<0 = da scartare
<0,19 = rivedere il quesito sostanzialmente
0,20-0,29 = quesiti accettabili
0,30-0,39 = quesiti buoni
>0,40 = quesiti ottimi
Quesito 1
Quesito 2
Quesito 3
Estremo superiore
5
4
6
Estremo inferiore
1
5
0
Numero studenti per
fascia
Discriminatività
6
6
6
0,7
-0,2
1
Correlazione item-totale
0,6
-0,2
0,7
L’indice di discriminatività e la correlazione pt bis
La correlazione pt biseriale è più precisa dell’indice di discriminatività
perché considera le risposte di tutti gli studenti a tutti i quesiti
contemporaneamente
Alfa di Cronbach
• Misura l’affidabilità o attendibilità di una prova in
termini di coerenza interna dei risultati
• Usa la varianza di ogni singolo quesito e quella
relativa a tutte le risposte a tutta la prova
• È un solo indice che si calcola per l’intera prova
• Non esiste la funzione in Excel per calcolarla
• Nella formula, K = numero dei quesiti
• È condizionata dal numero dei quesiti (minore il
numero, minore l’α di Cronbach): necessari
almeno una trentina di quesiti
Alfa di Cronbach
Come si interpreta:
>0.9 eccellente
0.8-0.9 molto buona
0.7-0.8 buona
– (ci sono quesiti che possono essere migliorati)
0.6-0.7 non del tutto soddisfacente
– (per poter trarre conclusioni è necessario usare
anche altre prove)
0.5-06 è necessario rivedere la prova
– (a meno che non abbia solo 10 quesiti o un
numero inferiore)
<0.5 prova non adatta ad alcun tipo di
valutazione
Esercitazione
• Valutare in base agli indici calcolati
l’andamento della prova ed evidenziare:
• i quesiti in cui solo qualche distrattore può
essere rivisto
• quelli che devono essere scartati
• quelli che hanno qualche problema nella risposta
corretta
• Stabilire se:
• la durata della prova è stata sufficiente
• si può pensare di tenere la prova nelle sue
caratteristiche complessive o è meglio rifarla
Per semplicità di lettura, la risposta corretta è
stata fissata alla A
L’importanza della revisione “cieca”
• L’analisi classica dei quesiti ci fornisce una base
facilmente comprensibile e controllabile per
considerare la prova
• È uno dei molti momenti possibili di revisione della
prova
– Ogni somministrazione è un’occasione per raccogliere
informazioni nuove sul suo funzionamento
• È possibile interpretarla alla luce di considerazioni
qualitative
– Sul gruppo di allievi considerato
– Sui contenuti e gli obiettivi cognitivi