Met - Lezione 18 - Laboratorio di Pedagogia sperimentale

I TEST STATISTICI
dott.ssa Gabriella Agrusti
Dulcis in fundo..



come scegliere un test statistico in base
all’ipotesi
come stabilire se due variabili sono associate
(correlazione di Pearson)
come stabilire se una differenza è
statisticamente significativa (t-test)
Test, test, test…






Test = prova in generale (non una serie di quesiti a scelta
multipla)
Origine: testum (lat.) => saggiare la qualità
Test psicologici ≠ test docimologici perché i primi
dovrebbero verificare capacità originarie, culture free
mentre i secondi verificano abilità trasmesse per via
culturale
Un test è fatto di item o quesiti, ha uno svolgimento
collettivo in un tempo determinato
(Se ben fatto) sarà più facile che sia attendibile se è
strutturato (stimolo chiuso/risposta chiusa)
..e i test statistici?
Che cos’è e come si sceglie un test statistico

Test statistico: verifica su base probabilistica della
significatività statistica dei risultati ottenuti
 Significatività
≠ “importanza”, indica invece che i risultati
non sono dovuti al caso, non sono accidentali


Prima di effettuare test statistici, è necessario
conoscere bene i propri dati (statistiche descrittive)
La scelta del test statistico dipende da:
 Le
domande della ricerca
 Il disegno della ricerca
 La natura dei dati che si intende analizzare
Strade tortuose..
Domande della
ricerca
Le differenze
sono
significative?
Le variabili
sono associate?
Chi quadrato,
t-test, ANOVA
Correlazione,
Chi quadrato
Si vogliono
misurare
variabili
latenti?
Si vogliono
predire i
punteggi o le
categorie?
Si vogliono
ricavare i
parametri della
popolazione da
un campione?
Le differenze sono
significative?
Quante condizioni
sperimentali?
più di due
due
ANOVA
Che tipo di
variabili?
nominali/ordinali
Chi quadrato
ordinali/continue
T-test su campioni
accoppiati o
indipendenti
Non si può
applicare
correlazione
a variabili
nominali
Le variabili sono
associate?
Che tipo di
variabili?
ordinali/continue
ordinali
Correlazione di
Pearson
Correlazione di
Spearman
Quante variabili
associate?
due
Chi quadrato su
tavole di
contingenza
più di due
Analisi log-lineare
Qualche «scorciatoia»
Componente aggiuntivo


Excel è dotato di un componente aggiuntivo per
l’analisi dei dati che ci permette di velocizzare il
lavoro
Cliccare su
 simbolo
di Office in alto a sinistra
 Opzioni Excel
 Componenti aggiuntivi
 Strumenti di analisi
Esercizio 1
Utilizzando
Excel..



Calcolare le statistiche descrittive dei
punteggi in entrata e in uscita
Riportare i valori non interi a due sole
cifre decimali
Eliminare le celle contenenti: Errore
standard, Varianza campionaria,
curtosi, asimmetria e somma
Ancora il coefficiente di correlazione


Excel lo calcola con la funzione CORRELAZIONE
Come si interpreta:
 >0,8
elevata
 <0,8 sufficiente
 <0,6 evidente ma non solida
 <0,4 bassa
 <0,2 nulla/debole

Per stabilire se è statisticamente significativa
bisogna consultare delle tavole di valori critici
Come si consultano le tavole
5.
Studente
Prova XYZ
Criterio
Pearson
1
22
24
0,957
2
23
26
3
26
26
4
18
20
5
15
18
6
19
19
7
27
28
…ciò vuol dire che 95 volte
su 100 la correlazione
trovata nei nostri 7 soggetti
si trova anche nella
popolazione di riferimento
ed statisticamente
significativa
1.
2.
3.
4.
Si calcolano i gradi di libertà
(Numero di studenti – 1)
Si sceglie il livello di
significatività (95%)
Si consulta la tavola (una coda)
Se il numero che si trova (.6215)
è inferiore alla correlazione
trovata (.957)…
Esercizio 2
Utilizzando
Excel..


Calcolare la correlazione di Pearson tra
la prova «ABC» e la prova criterio per
stabilirne la validità concorrente
Stabilire se la correlazione è
significativa o meno consultando la
tavola riportata nel foglio Excel
T-test su campioni accoppiati
Uno dei diversi t-test possibili
Due tipi di confronti

Gruppi INDIPENDENTI (composti da persone
diverse)
 Gruppo
 T-test

sperimentale e gruppo di confronto
su campioni indipendenti
Gruppi APPAIATI (composti dalle stesse persone)
 Un
solo gruppo sottoposto a test ripetuti
 T-test
su campioni accoppiati
Significatività di differenza tra medie





Situazione di pre-test / post-test
Piccoli gruppi: min 5 - max 60 studenti
Prove parallele: pari punteggio minimo e massimo,
stessi obiettivi cognitivi per coppie di quesiti
Oppure la stessa prova (test-retest)
Otteniamo due medie diverse: come facciamo a
stabilire che queste medie siano significativamente
differenti? (ossia che la differenza non sia dovuta al caso?)
Sperimentiamo…
Il grafico ci mostra la differenza
tra due medie.
È abbastanza marcata.
Sarà significativa o no?
www.socialresearchmethods.net
Le curve sono sempre
rappresentazioni
ideali e
approssimate di
distribuzioni reali,
che possono essere
raffigurate con
grafici a barre.
Quello che fa la differenza
Le medie nei tre casi sono
equidistanti. Ma mentre la
alta variabilità interna del
secondo caso rende questa
differenza quasi nulla, la
bassa variabilità interna del
terzo caso rende la
differenza molto
significativa.
Il t test o t di Student confronta la differenza
tra le medie in relazione alla variabilità dei
punteggi in ognuna delle due distribuzioni
www.socialresearchmethods.net
Le ipotesi


Hp1: le attività di storytelling porteranno ad un
incremento statisticamente significativo del
punteggio nella prova di comprensione della lettura
a scelta multipla
Hp0: le attività di storytelling NON porteranno a
nessun incremento statisticamente significativo nella
prova di comprensione della lettura
 Assunto:
il punteggi in entrata devono essere correlati
ai punteggi in uscita
 (per
essere certi che stiamo misurando la stessa cosa)
Esercizio 3
Utilizzando
Excel..





Calcolare la media della differenza tra
pt in Uscita e pt in Entrata
T-test due campioni accoppiati per
media
Diminuire i decimali
Interpretare la correlazione di Pearson
Interpretare il t-test
Come si riportano i risultati del t-test


“È stato effettuato un t-test su campioni appaiati
per stabilire se le attività di storytelling abbiano
contribuito all’incremento delle capacità di
comprensione.
La differenza media tra pre-test e post-test (M =
152, DS = 132,91) è significativamente maggiore
di zero con t(52) = 8.33, p (due code) <0,01.”
 In
alternativa si possono riportare i valori delle due
medie e delle due deviazioni standard
 Quando
il valore di p non è troppo piccolo (come nel nostro
caso) è sempre meglio riportarlo: ad es. p=0,021
CAVEAT

Bisognerebbe riportare anche l’intervallo di
confidenza della differenza media
 di
quanto potrebbe oscillare la mia differenza al
ripetere l’esperimento in condizioni simili?

Effetto della sovraesposizione della prova
 siamo
certi di aver isolato la variabile indipendente?
Quali correttivi potremmo introdurre per migliorare la
robustezza dell’esperimento?
RIEPILOGO E CONSIGLI PER L’ESAME
Che cosa bisogna studiare?
1.
2.
Origini e sviluppi della ricerca valutativa
Laboratorio Valutazione

3.
Basi di dati in Excel scaricabili dalla bacheca
elettronica
Schemi delle lezioni per individuare alcuni dei
punti più importanti
 Non
basta studiare gli schemi delle lezioni
 Ma non bisogna studiare senza il supporto degli schemi
4.
Materiali di approfondimento su
http://lps.uniroma3.it
Come devo studiare?

Origini e sviluppi della ricerca:
 Svolgere gli esercizi proposti in ciascun capitolo
 Attenzione
alle definizioni di termini specialistici
 Attenzione alle informazioni fattuali più rilevanti
(quando si è svolta una determinata indagine
docimologica, su quali soggetti, con quali scopi, con
quali approcci..)
 Attenzione agli aspetti tecnici (quali tipi di
scale/variabili/strumenti esistono? Per quali scopi sono
più adatti? ..)
 Ipotizzare delle conclusioni relative a quanto letto
Come devo studiare?

Laboratorio di valutazione
 Studiare
le introduzioni ai capitoli di B. Vertecchi
 Dagli schemi delle lezioni: le parti più importanti delle
sezioni “Problemi e procedure”
 Leggere NON basta per le sezioni “Problemi e
procedure”: bisogna usare Excel MENTRE si studia =>
utilizzare i file in Excel scaricabili dalla bacheca
elettronica
 Ma la parte più importante è cercare di interpretare i
risultati
Per ogni tecnica, indice, misura, test…

Trovare e annotare:
 Una
definizione (che cos’è e come si calcola? Esistono
più modi per calcolarlo/definirlo?)
 A che cosa serve (si usa: con quale scopo? Con quali
tipi di dati/variabili?)
 (almeno) Un esempio di come si interpreta (ho ottenuto
questo risultato: che vuol dire? È un risultato positivo o
negativo?)