Il testing e le prove di valutazione

Il testing e le prove di valutazione
Luisa Sartirana
SeLd’A Università Cattolica del Sacro Cuore, Milano
2
La verifica del profitto dell'allievo è esigenza
primaria di ogni insegnante che collochi la
propria opera educativa in una corretta visione
pedagogica, focalizzando la propria attenzione
sull'allievo per conoscerne i processi di
apprendimento e per accertare quanto, di ciò
che l'insegnante ha cercato di trasmettere, sia
stato effettivamente acquisito
G. Porcelli, 1975
Verifica, valutazione, test
3
distinzione fondamentale tra misurazione del profitto
e valutazione dell'allievo …
La misurazione del profitto consiste nella verifica
oggettiva del valore di un risultato scolastico,
esclusivamente sulla base della esattezza nozionale e
prescindendo da ogni considerazione sull'alunno che
ha fornito quel risultato. Il processo di valutazione è
invece un atto di natura complessa, nel quale i dati
ottenuti mediante la misurazione del profitto sono
posti in relazione alla personalità degli studenti, alla
loro condizione umana sotto il profilo biologico,
psichico, ambientale, socioeconomico, ecc.
G. Porcelli, 1975
Language Testing
4
Il complesso dei principi metodologici e
delle tecniche che presiedono alla
realizzazione, somministrazione e
utilizzazione delle prove oggettive di
profitto nell’apprendimento delle lingue
straniere
G. Porcelli, 1975
5



Quale valutazione?
Quali test?
Il test oggettivo:
 tecniche didattiche
 modalità di valutazione
 i certificati internazionali per bambini
e adolescenti
La valutazione
6
Valutazione formativa (valutare per l’apprendimento):

Legata al curriculum e in relazione con il processo di
insegnamento/apprendimento

Responsabilità della valutazione condivisa con
l’apprendente
Valutazione sommativa (valutare l’apprendimento):

Legata a ciò che il candidato deve saper fare, stabilito
in base a criteri esplicitati

Responsabilità della valutazione delegata a chi disegna
il test
La valutazione formativa
7


Sguardo diacronico (la valutazione non è
circoscritta nel tempo) e olistico (valutazione
globale dell’apprendente)
Può avvenire attraverso:




valutazione fra pari
autovalutazione
portfolio
Fatta dall’insegnante in classe e informale
(anche nella fase di restituzione dell’UD)
La valutazione sommativa
8



Sguardo sincronico
Valutazione quantitativa: Cosa lo
studente/il candidato sa fare rispetto ai
criteri esplicitati
Test di profitto - forte impatto e ricaduta
(High stake tests)
La valutazione formativa…
9

Osserva:







come si muove l’apprendente nell’ambiente
Il verbale e il non-verbale dell’apprendente
il rapporto con la lingua d’origine
Monitora il processo di apprendimento
Utilizza un feedback costruttivo
Corregge se necessario le modalità didattiche,
attraverso l’osservazione e l’analisi dei risultati
Promuove una ricaduta positiva sulla didattica
Cosa valutare
10

il contenuto:
comprensione dei dettagli e/o dei punti principali
capacità di riutilizzare il contenuto, di utilizzare
abilità metacognitive per la riflessione e la
rielaborazione autonoma del contenuto
Cosa valutare
11

le abilità linguistiche e le strutture
della lingua:
conoscenza del lessico specialistico, utilizzo delle
strutture adeguate alla discussione/rielaborazione
del contenuto)
ascoltare/leggere per cogliere il significato
consapevolezza delle strutture morfosintattiche…
Come valutare
12





il ruolo e il peso degli errori
evitare gli errori
i criteri di valutazione (chiari, espliciti e
condivisi)
le griglie di valutazione
valutare il singolo studente o la classe?
13
La valutazione sommativa
attraverso test oggettivi
I test di profitto sono strumenti di
misurazione e non di valutazione, né
sono gli unici di cui dispone
l'insegnante
G. Porcelli, 1975
Le caratteristiche di un test
14

Affidabilità

Validità

Ricaduta

Impatto
Validità
15
Un test è valido se costituisce
paradigmatico delle abilità
oggetto di misurazione… e
accuratamente ciò che si era
misurare
un esempio
che sono
se misura
proposto di
M. Barni, in M. Vedovelli, Manuale della Certificazione di Italiano L2, 2005
Affidabilità
16
Un test è affidabile se è in grado di
fornire risultati uguali se somministrato o
valutato in tempi differenti e da persone
differenti
M. Barni, in M. Vedovelli, Manuale della Certificazione di Italiano L2, 2005
Ricaduta e Impatto del test
17

Ricaduta (washback): effetto del test sulla
didattica e l’apprendimento

Impatto: “effetto” socio-politico dei
risultati del test
18
“In recent years, tests have been viewed
not only as pedagogical tools, but
especially as social and political
instruments that have a strong impact
on education and can determine social
order”
E. Shohamy, 2006
Un nuovo potere delle prove?
19
Nuovi ruoli per:

insegnanti (ridefinizione dei sillabi e
metodologie di insegnamento)

“esaminatori” (maggior potere, possibilità
di pressioni politiche…)

candidati (impatto su aspettative e
motivazione)
La responsabilità del tester
20




Va oltre il costrutto del test?
Copre anche gli aspetti politico-sociali del
testing?
Necessità di un “codice etico”?
Responsabilità “condivisa” con gli utenti
del test
Le fasi di sviluppo di un test
21
Processo ciclico in 3 fasi:
Progettazione
Sperimentazione
Elaborazione
La progettazione (analisi)
22




Chi sono i potenziali candidati, gli utenti
del nostro test
Quali abilità voglio testare? In che modo?
Qual è il costrutto di riferimento
Quali sono le risorse disponibili
(logistiche, finanziarie, tecniche)
Elaborazione - Le specifiche del test
23

Specifiche del costrutto – definiscono il contesto di
riferimento

Specifiche del/i task – specificano i compiti che
costituiscono il test, le informazioni e le istruzioni per i
candidati

Specifiche della valutazione – specificano i criteri di
valutazione e il loro utilizzo nella fase di valutazione
da S. Luoma, 2004
Possibili cornici teoriche delle prove
24
Orientamento alle forme linguistiche (lessico –
grammatica – pronuncia)
Orientamento comunicativo (la competenza
comunicativa è l’obiettivo globale della valutazione)
Orientamento alla situazione (parte dai bisogni
comunicativi in contesto – valutazione dei contenuti?)
25
Esempio di
specifiche
del test
M. Tabaglio IL TEST DI CONOSCENZA
DELLA LINGUA ITALIANA PER
SOGGIORNANTI DI LUNGO PERIODO, tesi
di Master in Didattica dell’Italiano L2
Le modalità pratiche di valutazione
26
numero e ruolo dei partecipanti
 luoghi e tempi di esecuzione
 sequenza delle varie parti
 informazioni e istruzioni per i candidati: chiare –
adeguate/pertinenti – complete – essenziali – con
un esempio
 informazioni per gli organizzatori
 formazione somministratori

27
Esempio di
istruzioni
M. Tabaglio IL TEST DI CONOSCENZA
DELLA LINGUA ITALIANA PER
SOGGIORNANTI DI LUNGO PERIODO, tesi
di Master in Didattica dell’Italiano L2
Le specifiche della valutazione
28
 Stabilire i criteri di valutazione
 Creare le griglie di valutazione
 Scrivere i documenti di valutazione
 Formare i valutatori e gli intervistatori
La costruzione del test
29






Il formato (quanti quesiti? Come ragrupparli?)
Il contenuto (lessico, strutture ecc.)
La scelta dei testi:
rilevanti per il candidato e in relazione con lo scopo del
test, differenziati in base al grado di autonomia del
candidato, di lunghezza adeguata e con sufficienti
nuclei informativi, velocità del parlato, fattibilità:
tecnologia/attrezzature richieste
La redazione dei quesiti (item)
Le procedure di correzione e
Le scale di valutazione
La sperimentazione
30

Trovare un campione congruo

Le analisi statistiche sugli item per la
revisione finale
30

Le analisi statistiche sugli item e sul test

(se necessario), la ridefinizione delle
specifiche del test
31
Testare le abilità di produzione
attraverso test oggettivi: tecniche e
valutazione
32
L’utilizzazione delle prove aperte… comporta da un lato la loro
scarsa strutturazione, dall’altro modalità di lettura delle
prestazioni non predeterminate.
…
Nella valutazione diretta della prestazione… il suo grado di
merito viene giudicato in modo soggettivo dall’esaminatore
che fa riferimento a parametri stabiliti in base al contesto di
valutazione, a linee guida e alla propria esperienza
A.M. Scaglioso in Manuale della Certificazione di Italiano L2, 2005
La valutazione olistica
33
•
•
•
•
Assegna un punteggio globale
Basata sull’”impressione generale”
del testo prodotto
Rende la correzione veloce, ma
potenzialmente meno affidabile
Non inficia la validità del test
La valutazione analitica
34
•
•
•
Richiede un punteggio separato per
aspetti diversi della prova, scelti ad hoc
da chi progetta il test
Tiene conto delle possibili differenze
nelle singole sottoabilità in ciascun
candidato
Rende la valutazione più affidabile
Perché una valutazione analitica
35

prevede (e valuta) i possibili diversi livelli di competenza
linguistica nelle varie abilità

obbliga a prestare attenzione anche ad aspetti in altro
modo sottovalutati

dà la possibilità di valutare i diversi aspetti isolatamente
(MA attenzione all’effetto “alone”!)

è necessario più tempo per la valutazione

c’è il rischio di perdere di vista la visione di insieme
I criteri di valutazione
36

Scelta sulla base del costrutto del(i) compito(i)
e del livello di competenza

Scelta degli aspetti da valutare: linguistici –
pragmatici - comunicativi

Possibilità di avere criteri diversi per diversi
task
Le griglie di valutazione
37


Possibilità di creare scale ad hoc per ciascun criterio di
valutazione
Definire:
 Il numero di livelli della scala (minimo 4 massimo 7)
 la presentazione di ciascun livello (valori numerici –
giudizi – definizioni..)
 L’eventuale feedback per i candidati
Esistono già griglie simili? Adattarle, testarle
e RItestarle
Gli esaminatori
38



2 figure separate nelle prove di produzione
orale: intervistatore e valutatore
Formare gli intervistatori: pianificare e
seguire il formato della prova
Formare i valutatori: definire e seguire i
criteri e le scale di valutazione (le procedure
di standardizzazione – la correzione a più
mani)
39
L’affidabilità della valutazione
attraverso la congruenza
Possibili cause di divergenza:
 Gradi diversi di severità o generosità a seconda del livello
medio delle prestazioni esaminate
 Diversa modalità di utilizzo della scala e dei voti relativi ai
livelli – la griglia è sufficientemente chiara?
 Scarsa chiarezza sull’oggetto della rilevazione e della
misurazione
Per aumentare la congruenza:
 Correlare i punteggi fra i diversi esaminatori
 Doppia valutazione di routine (due valutatori per esame)
Per una migliore valutazione
del test orale
40
Prima del test:
•
•
•
•
•
Pianificazione accurata del test e dei task (strutturare le
interviste e i dialoghi: maggiore la strutturazione – maggiore la
validità)
Scegliere tecniche appropriate alla tipologia di candidati e
Utilizzare più di un formato
Suddividere i compiti fra valutatore e intervistatore
Scegliere un luogo tranquillo e con una buona acustica
Durante il test:
•
•
•
Dare più di un fresh start
Per l’intervistatore: mostrarsi attento e rassicurare il candidato;
passare da un task/topic al successivo in modo naturale;
concludere l’esame non appena si ha un numero adeguato di
informazioni sulla performance
Per l’intervistatore/valutatore: prendere appunti in modo non
evidente
Favorire la validità
41
compiti e criteri rappresentativi dello scopo del
test
 creare scale di valutazione significative
(efficacia comunicativa vs correttezza
grammaticale; principi pragmatici privilegiati
rispetto agli aspetti morfosintattici; la
valutazione dell’errore)
 corrispondenza fra attività richieste/difficoltà e
punteggi assegnati

Le tipologie dei testi/prove scritte
42
Prove “guidate”:
• Compilare un modulo
• Rispondere a un questionario
• Compilare un curriculum vitae
• Testi di formato standard (cartoline, biglietti di invito/ringraziamento ecc.,
inserzioni e annunci pubblicitari)
motivanti perché corrispondenti alla vita reale - formato standard e ricorso a
formule fisse – minor grado di soggettività nella correzione (possibilità di
riferirsi a criteri univoci e condivisi)
Prove di composizione:
• Racconto immaginario o di un episodio della propria vita
• Descrizione
• Diari, lettere, email
necessità di definire scopo, destinatario, circostanze – contesto conosciuto e
motivante)
Le tecniche di testing
43




Devono rappresentare un indicatore affidabile e
valido dell'abilità che vogliamo testare
Devono elicitare risposte valutabili in modo
affidabile
Devono essere il più possibile economiche in
termini di costi/benefici e tempi (correzione e
modalità di fruizione)
Devono avere una ricaduta positiva
Le tecniche più comuni/prove orali
44
L’intervista:
•
•
•
relazione intervistatore/candidato non paritaria (elicitazione di
una sola tipologia di parlato; il candidato è restio a prendere
l’iniziativa)
necessità di strutturazione e pianificazione dell’intervista
(calibrare gli interventi dell’intervistatore)
evitare domande chiuse (SI’/NO), da utilizzare solo all’inizio della
prova
Varianti:
•
•
role-play: necessità di scegliere con attenzione i ruoli - per
creare autenticità - e di dare istruzioni chiare; peso di fattori
extralinguistici (attitudine a recitare); possibilità di valutare
fattori extralinguistici (es. svolgimento del compito)
utilizzo di immagini per elicitare descrizioni, raccontare una
storia ecc.
Le tecniche più comuni/prove orali
45
Il monologo:
•
•
non preparato: su argomenti familiari al candidato, descrizioni,
ricostruzioni/narrazioni di storie
preparato: rischio di scarsa autenticità; è un task veramente
richiesto al candidato?
L’interazione fra due candidati:
•
relazione paritaria, ma possibilità che un candidato assuma un
ruolo dominante, inficiando la performance dell’altro
Possibili strutturazioni dell’interazione:
•
role-play, discussione, negoziazione, dare/seguire istruzioni (per
completare un compito, ricreare una storia, un disegno ecc.)
46
Testare le abilità di comprensione:
tecniche e valutazione
Scegliere i testi
47
Successful choice of texts depends
ultimately on experience,
judgement and a certain amount of
common sense...
… practice is necessary
A. Hughes, Testing for Language Teachers, 2003
Il dialogo
48
Scambio bidirezionale faccia a faccia con presa di
parola libera
Forma primaria della comunicazione, massima
naturalezza
Necessità di eliminare le ambiguità e definire il
contesto comunicativo
Due-tre voci a velocità moderata
Per prove a scelta multipla o individuazione di
informazioni
Variante: conversazione telefonica
La messaggistica
49
Scambio unidirezionale a distanza
Messaggi registrati per fornire informazioni su
attività o orari di enti o comunicazioni registrate
in luoghi pubblici
Adatte a test per misurare competenze di base:
forma standardizzata, cura nella scelta del
lessico e articolazione del discorso semplice ma
strutturata
Per prove di individuazione di informazioni,
completamento di griglie o a scelta multipla
Alcune Tecniche più diffuse
50
Risposte chiuse
• Scelta Multipla
• Vero/Falso - Si/No/(Non dice)
• Abbinamento
• Completamento
Risposte semi-chiuse (produzione limitata)
• Cloze
• Individuazione di Informazioni
• Risposte brevi
Scelta multipla
51
 Molto adeguata per comprensione orale
 Veloce nella fase di correzione
 Affidabile nell’attribuzione del punteggio
 Poco economica in fase di realizzazione
(necessita di un lavoro di equipe – controllo e
revisione delle fasi di lavoro)
Item a scelta multipla
52
Alcuni termini:
Item: ciascun oggetto di verifica a cui viene
attribuito un punteggio
quesito (stem)
risposta
distrattori
chiave
Scrivere gli item a scelta multipla…
 Individuare quanti e quali punti sottoporre a verifica
 Presentare i quesiti seguendo la struttura del testo
 Dare un fresh start per ogni item
 Possibilità di focalizzare l’item su: argomento
generale del testo, principali nodi informativi,
inferenze, intenzioni di chi comunica
 Usare 4 distrattori
 Usare una lingua semplice e chiara (più semplice del
testo di partenza)
53
 Evitare riferimenti culturali e ambiguità
 Evitare: lessico complesso, strutture
idiomatiche, ridondanze, ripetizioni
 Preferire nomi ai pronomi
 Non scrivere input troppo lunghi (due righe
massimo per studenti di livello basso)
54
i distrattori e la risposta devono…
55
 essere plausibili
 avere lo stesso livello di difficoltà fra
loro
 essere legati al testo
 indurre alla riflessione
i distrattori e la risposta NON devono…
56

essere in contraddizione fra loro (due opposti
si annullano!)

ripetere parole dell’input

essere parzialmente veri (ambigui)

contenere informazioni vere ma non presenti
nel test

includere contenuti successivi
Scrivere i distrattori: espedienti grafici
57

Mantenere la stessa lunghezza – al limite due
distrattori più lunghi e due più corti

Se di lunghezza diversa, ordinarli (dal più corto
al più lungo o viceversa)

Ove possibile, iniziare sempre con la stessa
lettera (evitare un solo distrattore con lettera
diversa)

Ove possibile, elencare i distrattori in verticale
Abbinamento
58
Mettere in corrispondenza due serie di elementi
presentati in ordine casuale (possono essere
parole isolate, frasi, parti di frasi, parti di testi)
Necessità di concordanza logica o
morfosintattica
Più semplice del riordino testuale – anche per
candidati di competenza basica
Cloze
59
Cancellare una o più parole da un testo (in
genere ogni 5 o 7 parole o in base a un criterio,
ad es. una categoria o la difficoltà dell’item)
Ottimo per testare la competenza
metalinguistica di candidati non base
Possibilità di avere risposte non univoche
(necessità di stabilire risposte accettate e
punteggi in fase di elaborazione)
Completamento
60
Come il cloze, ma con scelta fra 3 o 4 soluzioni
strutturalmente accordate e plausibili
Testano le competenze morfologiche, sintattiche
o lessicali.
Variante: viene data fra parentesi la forma base
di una categoria grammaticale da accordare al
contesto
Individuazione di informazioni
61
Presentare una serie di affermazioni/frasi su di un testo
I candidati devono indicare se le informazioni sono presenti
o non presenti nel testo
Più elaborato del Vero/Falso
Necessità di:
•
scegliere un testo abbastanza lungo e fornire informazioni che
facciano riflettere i candidati
•
Fornire un numero piuttosto elevato di item
Richiede tempi lunghi di costruzione, è veloce nella
correzione, ma va previsto il punteggio negativo per le
risposte errate
62
Le prove di
certificazione internazionale

Test di profitto

Valutazione sommativa

High stake tests (forte impatto
socio-politico)
63
La certificazione della competenza linguistica
è diventata, oggi (…) lo strumento principale
per attuare funzioni di grande rilevanza: le
funzioni di garanzia, di mediazione e di
responsabilità etica.
M. Vedovelli, M. Barni, C. Bagna, S. Machetti
VADEMECUM LE CERTIFICAZIONI DI COMPETENZA LINGUISTICA IN ITALIANO COME LINGUA STRANIERA
Gli Enti Certificatori Italiani
64

Università per Stranieri di Perugia

Università per Stranieri di Siena

Università di Roma Tre

Società Dante Alighieri
65
Una lingua può vedere la presenza di più di un Ente Certificatore e
di più di una Certificazione (…)
Si tratta di scelte diverse, influenzate da tanti fattori: dall’idea di
‘Stato’ e dalla sua effettiva concretizzazione storica, ai tipi di politica
linguistica messi in atto dagli Stati per la diffusione della lingua;
dalle caratteristiche dei sistemi formativi all’ampiezza e qualità della
ricerca scientifica sulla materia. Un elemento determinante per la
scelta di diversificazione o di unitarietà è costituito dalle
caratteristiche dei pubblici.
M. Vedovelli, M. Barni, C. Bagna, S. Machetti
VADEMECUM LE CERTIFICAZIONI DI COMPETENZA LINGUISTICA IN ITALIANO COME LINGUA STRANIERA
Bibliografia e Siti
66
Bibliografia e sitografia:
Alderson, J. Charles, Clapham Caroline, Wall Dianne (20059), Language Test Construction and Evaluation, Cambridge, Cambridge
University Press
Brown J.D. (2005), Testing in language Programs, New York, McGraw Hill.
Hughes, Arthur (2003), Testing for Language Teachers, Cambridge, Cambridge University Press
McNamara, Timothy F. (2000), Language Testing, Oxford, Oxford University Press
Shohamy, E., (2001) The Power of Tests, New York, Routledge
Shohamy, E., (2006) Language Policy: Hidden agendas and new approaches, New York, Routledge
Vedovelli, M, (2005) Manuale della Certificazione di Italiano L2, Roma, Carocci Editore
Vedovelli, M. (2010) Guida all’Italiano per Stranieri, Roma, Carocci Editore
http://www.gporcelli.it/
Siti Enti Certificatori:

CELI - Università per Stranieri di Perugia (www.unistrapg.it)

CILS - Università per Stranieri di Siena (www.unistrasi.it)

Certificazione italiano L2 – Università di Roma Tre http://host.uniroma3.it/dipartimenti/linguistica/certificazione.html

PLIDA - Società Dante Alighieri (www.ladante.it)
67
[email protected]