Computer Adaptive Test per la valutazione dell

ComputerAdaptiveTestperla
valutazionedell’apprendimento
nell’e-learning
Veronica ROSSANO, Enrica PESARE, Teresa ROSELLI
Dipartimento di Informatica, Università degli Studi di Bari, Bari (BA)
Abstract
Valutazione e misura dell’apprendimento sono due parole chiave nel contesto dell’elearning, che negli ultimi anni è diventato un fenomeno di massa. Il pubblico che accede alle risorse didattiche dei MOOC non è più classificabile per la natura “massive” dei corsi online. E’ necessario, quindi, che la ricerca nel campo dell’informatica
proponga nuovi modelli e strumenti utili alla valutazione di ampie popolazioni. Una
soluzione promettente è l’uso della Computer Adaptive Test (CAT) come possibile approccio alla creazione di test che si adattano alle abilità riconosciute al soggetto. In
questo contesto, il contributo presenta la realizzazione di un gioco-quiz riguardante
argomenti di cultura generale che utilizza i modelli della Item Response Theory per
creare un test adattivo. Il quiz-gioco è stato sottoposto ad un test con gli utenti che
hanno condiviso il risultato fornito dal test.
Keywords
Computer Adaptive Test, Item Response Theory, MOOCs.
2
Rossano,Pesare,Roselli
Introduzione
La valutazione dell’apprendimento è uno dei temi centrali nel campo
dell’educazione,inparticolarmodonegliultimianniconl’evoluzionedelletecnicheperl’e-learning.InuovimodellidiinsegnamentoadottaticoniMOOC(MassiveOpenOnlineCourses)(Kennedy2014,Liyanagunawardenaetal.,2013),infatti,richiedonol’ideazionedinuovistrumenticheconsentanodifarevalutazioni
efficientiedaffidabiliancheconunavastaplateadifruitori.
Inletteratura,lediversesoluzionipropostevannodall’integrazionedimisure
qualitative (Admiraal et al., 2015, Muñoz-Merino, 2015), che consentono al docentediavereunquadropiùcompletodelfruitorepoichéconsideranoanchele
interazioniconlerisorseeleattivitàdidattichediuncorsoonline,alladefinizionedistrumentiche,partendodaidatiditracciamentodeisistemidie-learning,
forniscano la visualizzazione di informazioni dettagliate sul percorso compiuto
dallostudentenelcorso(Pesareetal.,2015,Siemens,2012).
Un’altra strategia può essere l’adozione del Computerized Adaptive Testing
(CAT)(vanderLinden&Glas,2000,Waineretal.,2000)cheimitailprocessovalutativo messo in atto da un docente durante una prova orale selezionando, in
maniera personalizzata, i quesiti da porre ai fruitori. L’uso del CAT consente di
crearetestchesianoingradodidareunavalutazionequantitativapiùefficacedi
untestrealizzatoutilizzandolaClassicalTestTheory(CTT)conunapopolazione
difruitorimoltoampia.ItestcostruitisecondolaCTT,infatti,presentanolostessonumerodiquesitiatuttiglistudentiegiungonoallamisurazionedell’abilità
mediantelatrasformazionedelnumerodirisposteesatteinunpunteggioglobale (Faraci, 2008). In questo caso, la valutazione ottenuta è fortemente legata al
campionedidomandescelteperiltestche,perquesto,puòesserescarsamente
informativo in contesti in cui la popolazione dei fruitori è molto ampia e non
classificabile,comeèquelladeiMOOC.
UnCATrisolvetaleproblematicaperchépresentauntestcostruitodinamicamentesullabasedelpersonalelivellodiabilitàdellostudentecheinteragiscecon
iltestinunospecificomomento.L’usodelCATconsentelapersonalizzazionedel
testsullabasedellerispostedatedallostudente:laprimadomandapostaèsceltatraquelledimediadifficoltà,ladifficoltàdelladomandasuccessivaèsceltain
base alla risposta data dallo studente. Il calcolo procede per approssimazioni
successiveesiconcludequandoraggiungeilvalorechepresentalamassimaapprossimazione. Questo consente di proporre test di lunghezza variabile: individuareillivellodiconoscenzautilizzandoilminimonumerodidomandenecessarieè,infattitragliobiettiviprincipalidiunCAT.Inoltre,l’effettocollateraleèla
minimizzazionedelsensodifrustrazionecheunostudenteprovaquandoledomandesonootroppofaciliotroppodifficili.Duesoggetti,unomoltobravoeuno
meno, risponderanno, in termini percentuali, correttamente allo stesso numero
didomandeperchéledomandepostealsoggettopiùbravosarannopiùdifficili
diquellepostealsoggettomenobravo.
ComputerAdaptiveTestperlavalutazionedell’apprendimentonell’e-learning3
Laricercadegliautorisiproponedivalutarel’applicabilitàdeitestadattivial
particolarecontestodeiMOOC.QuestostudioèvoltoafamiliarizzareconlateoriaeletecnichedelCATeproponeunprototipoditestadattivosuargomentidi
culturagenerale.Unavoltaperfezionatol’algoritmodautilizzare,sipotràprocedereallarealizzazionediuntestadattivosuspecificiMOOC.
ComputerAdaptiveTest:processodicostruzionediuntest
Comegiàanticipatol’obiettivoprincipalediunCATèquellodidefiniredinamicamente la composizione di un test adattando la sequenza dei quesiti (item)
alle capacità riconosciute all’utente. In generale, il processo di costruzione del
testèiterativo:
• Passo zero: stima iniziale delle conoscenze del soggetto;
• Passo uno: si esaminano tutti gli item disponibili e si determina quale sia il migliore da somministrare in base al livello corrente riconosciuto al soggetto;
• Passo due: item selezionato è somministrato e l’esaminato risponde;
• Passo tre: in base alla riposta fornita si stima il nuovo livello di conoscenza del
soggetto.
Ipassiuno,dueetresonoripetutifinoaquandoillivellodiconoscenzacorrettononèindividuato.
Unodeimaggioriproblemiperlacostruzionedeltest,èladefinizionedellivellodiconoscenzainizialedariconoscereall’utente.Questo,puòessereassimilato
al problema del “cold start” delle tecniche di raccomandazione collaborative
(Schaferetal.,2000)e,comeperesse,puòessererisoltointegrandoinformazioni provenienti da altre fonti. Una soluzione può essere, per esempio, quella di
chiedere all’utente di autovalutare la propria conoscenza e, in base alla sua risposta,scegliereopportunamentelaprimadomandadaporre.Perevitarediesseretroppoinvasivi,ilproblemapuòessererisoltoscegliendodisomministrare
come primo quesito un item di media difficoltà (normalmente indicato come
itemdipartenza).Sullabasedellarispostasistimailnuovolivellodiabilità:sela
rispostaècorrettalanuovastimasaràpiùalta,piùbassaaltrimenti.L’algoritmo
prosegueproponendoadognipassounitemdidifficoltàpariallivellodiabilità
stimato e aggiornando la stima del livello di abilità. All’aumentare del livello di
abilitàdellostudente,aumenteràillivellodidifficoltàdegliitemsomministrati.
La somministrazione degli item terminerà quando sarà verificata la condizione
distopprevistadalprogettistadelCAT.Adesempio,unodeipossibilicriterièla
valutazione dell’errore standard di misura (Standard Error Measure, SEM):
quandotaleerroreèinferioreadunasogliaprefissata,illivellodiabilitàsièstabilizzato.
Unaltrovantaggiodiuntestadattivoèlariduzionedelnumerodiquesitie,di
conseguenza,anchelariduzionedeltempoimpiegatoperstimareillivellodiconoscenzadiunsoggetto.Ilmiglioramentoèsostanzialeinterminidiefficienza:
4
Rossano,Pesare,Roselli
unCATèingradodideterminareilpunteggiodiunostudenteriducendolalunghezzadeltestfinoal60%poichéevitadisomministrarequesitipocoopernulla
informativi nella determinazione del punteggio (quesiti troppo facili oppure
troppodifficili).
Per costruire un CAT è necessario prima di tutto classificare la difficoltà di
ciascunitemdellabancadati.Perfarequestolaletteraturanelcampodellapsicologiametricaproponediusaredifferentiapprocci,nellospecificocasoèapplicata la Item Response Theory (IRT) (Baker, 2001, Faraci, 2008, Hambleton &
Swaminathan,1985).
ItemResponseTheory(IRT)
L’ItemResponseTheoryèunapprocciomatematicostatisticoutileperlastimadellaprobabilitàdirisponderecorrettamenteadognisingoloitem,infunzionedellivellodiabilitàpossedutodalsoggettoedialcuniparametripropridegli
item (Baker, 2001, Faraci, 2008, Hambleton & Swaminathan, 1985). Il livello di
abilità di ogni signolo soggetto, detto anche fattore o tratto, è indicato con θ e
rappresentaquellavariabilelatente(nondirettamenteosservabile)cheinfluenzal’andamentodeltestdiognisoggetto.L’IRT,inoltre,presupponechelarisposta ad una domanda sia influenzata anche dalle caratteristiche psicometriche
dell’item somministrato. Tali caratteristiche, o parametri, sono: il livello di discriminazione(a),illivellodidifficoltàdell’item(b)el’incidenzadelcaso,oguessing (c). Esistono diversi modelli dell’IRT che possono essere classificati sia in
funzionedelnumerodiabilitàmisuratedaltest(UnidimensionalioMultidimensionali),siainfunzionedelnumerodiparametripresiinconsiderazione(modelli
auno,dueotreparametri).
Perinostriscopièstatoutilizzatounmodellologisticoa3parametri(3PL)in
cuilaprobabilità,chel’itemihadimisurarel’abilitàθècalcolatadallaformula
(1).
(1)
Perogniitemiealvariaredeltrattolatente(θ)sicostruiscelacurvacaratteristicadell'item(ItemCharacteristicCurve-ICC),cherappresentaladistribuzione delle risposte in funzione della probabilità che soggetti, collocati in diverseposizionideltrattolatente,dianounarispostacorretta.Unavoltacalcolati
i parametri, è possibile calcolare la funzione informativa dell’item (2) (Item InformationFunction-IFF)cheesprimelaprecisioneconcuil’itemmisuraundato
rangediabilitàdelsoggetto.
ComputerAdaptiveTestperlavalutazionedell’apprendimentonell’e-learning5
(2)
Nellaformula(2)Qi(θ)èdefinitocome1-Pi(θ).LostudiodellaIIFèfondamentalenellasceltadell’itemdaselezionaredurantelacostruzionedeltestadattivo,perchèconsentedidefinireperognilivellodiabilitàqualiquesitisonopiù
informativi. Per chiarire meglio, in Figura 1 è mostrato il grafico di una IIF che
mostracomel’itemèsignificativoperunrangediabilitàda1.0a3.5eraggiunge
ilmassimoperθ=2.
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
-4,0-3,5-3,0-2,5-2,0-1,5-1,0-0,5 0,0 0,5 1,0 1,5 2,0 2,5 3,0 3,5 4,0
Figura 1 – Funzione Informativa dell’Item (Item Information Function - IFF)
Permigliorarel’efficaciadeltesteinsiemeottimizzareitempidiesecuzioneè
conveniente selezionare tutti gli item che possiedono una IIF elevata per una
moderataareadiabilità.Perquestoèfondamentalecurareilprocessodicalibrazione che deve prevedere un congruo numero sia di item sia di soggetti che rispondono agli item. Normalmente questo è considerato uno dei maggiori limiti
nell’adozionediunCAT.
QuizMania:unquiz-giococheutilizzailCAT
IlCATèstatoutilizzatoperprogettareedimplementareunquiz-giocoriguardanteargomentidiculturagenerale(storia,geografia,letteraturaescienze)con
l’obiettivodimettereapuntounastrategiaalgoritmicapercreareuntestadattivo.Ilquiz-giocoè,infatti,unpuntodipartenzaperesplorarelapossibilitàdiutilizzare il CAT nell’ambito dei corsi online, e più in particolare dei MOOC. Quiz-
6
Rossano,Pesare,Roselli
maniaèideatoperun’ampiafasciadiutenti,orientativamentedai15anniinsu
consufficienticonoscenzediculturagenerale.Datal’ampiapopolazioneacuisi
rivolge,l’interazioneelanavigazionesonostateprogettateinmanieradaessere
semplicieintuitive.
Processodicalibrazione
Per raccogliere i dati necessari alla stima dei parametri IRT e creare la item
bank, è stata inizialmente realizzata e diffusa online una versione del quiz non
adattiva.L’applicazioneèstatadiffusaattraversoisocialnetworkpersomministrareledomandeadunampionumerodipersone.Sonostateraccolterisposte
da200soggettisuungruppodi30item.Idatisonostatiutilizzatiperavviareil
processodicalibrazioneadottandoilmodelloIRTa3parametrieutilizzandoil
software Param3PL (http://echo.edres.org:8080/irt/param/). La tabella 1 presenta il risultato del processo di calibrazione che ha consentito di definire i tre
parametriperogniitem.
Tabella 1 – Esempio di risultato del processo di calibrazione: parametri calcolati per i
primi 4 item.
Item
1
2
3
4
…
Parametroa
(Discriminazione)
0.376
0.166
0.786
0.134
…
Parametrob
(Difficoltà)
-1.829 0.146
-0.711 5.000
…
Parametroc
(Guessing)
0.000
0.000
0.104
0.416
…
TaliparametrisonostatiusatipercalcolareilvalorediP(θ)edellafunzione
IIF(Tabella2)utileallaselezionedeiquesitiperlacomposizionedell’itembank.
Tabella 2 – Esempio di Funzione Informativa per ogni Item.
Item
MAX1(IIF)
Livellodiabilitàincuiricade
MAX(IIF)
1
0.035
-2
2
0.006
0
3
0.120
-1
4
0.259
3
…
---
….
Il processo di calibrazione degli item, inoltre, ha consentito di definire per
ognilivellodidifficoltànappartenenteall’intervallo[-5,5],laprobabilitàP(θm)
cheunutenteconlivellodiabilitàmrispondacorrettamentealladomandapro-
ComputerAdaptiveTestperlavalutazionedell’apprendimentonell’e-learning7
posta.Atitolopuramenteesemplificativo,intabella3sonofornitiidatirelativi
allevarieP(θm)delledomandeclassificateconlivellodidifficoltà0.
Tabella 3 – Probabilità di risposta corretta per ogni livello di abilità del soggetto rispetto
al livello di difficoltà della domanda
Difficoltà P
domanda (θ-5)
P
P
P
P
P
P
P
P
P
P
(θ-4)
(θ-3)
(θ-2)
(θ-1)
(θ0)
(θ1)
(θ2)
(θ3)
(θ4)
(θ5)
liv(0)
0,36
0,4
0,44
0,48
0,57
0,6
0,61
0,65
0,66
0,7
0,32
Algoritmodiselezioneecalcolodelpunteggio
L’algoritmodicreazionedeltestvieneavviatoconunastimaneutradelvalore
diabilità:alprimopassosiassociaalsoggettounvalorediabilitàparia0(valore
mediodell’intervallodiabilitàutilizzato)esiproponeunitemdimediadifficoltà.
Isuccessivitrequesitimiranoafocalizzareilrangediabilitàpiùvicinoallereali
competenzedell’utente.Iquesitisuccessivimiranoalla“conferma”delrangedi
abilitàdimostratodall’utentedurantel’interazione.Quandoillivellodidifficoltà
delladomandasistabilizzailtestterminaconungiudiziocomplessivovisualizzatosecondoiseguenticomunicriteridigiudizio:
•
•
•
•
•
"SCARSO", se il livello di abilità raggiunto è compreso tra [-5, -3]
"MEDIOCRE", se il livello di abilità raggiunto è compreso tra ]-3, -1]
"SUFFICIENTE", se il livello di abilità raggiunto è compreso tra ]-1, 1]
"BUONO", se il livello di abilità raggiunto è ]1, 3]
"OTTIMO", se il livello di abilità raggiunto è ]3, 5]
Inoltre,poichéilCATrealizzatoèpensatoperessereunquiz-gioco,èstatodefinitoancheunmodellodicalcolodelpunteggiocheconsenteall’utentediaccumulare punti per ogni partita giocata e scalare la classifica dei giocatori. Le rispostedell’utenteadogniquesitocontribuirannoalcalcolodelpunteggioinmanieradifferenteasecondadellivellodiabilitàedellivellodidifficoltàdelladomanda. Il punteggio attribuito ad ogni quesito, infatti, aumenta o diminuisce in
basesiaall’esitodellarispostasiaallivellodiabilità(θ)raggiuntodall’utente.Se
unutenteconlivellodiabilitàmrispondeaunadomandadilivellonilpunteggio
parzialeassegnatoallarispostadiminuiràoaumenteràindipendenzadelvalore
che si trova all’incrocio della tabella 3 liv(n)/ P(θm). Nel dettaglio, il calcolo del
punteggioparzialeavvienecomediseguitoindicato:
• 1 + (1 - P(θm)), in caso di risposta corretta
• -1 * P(θm), in caso di risposta errata
Supponendoperesempiom=-2en=0ilpunteggiosarà:1,56incasodirispostacorrettae-0,44incasodirispostaerrata.Aparitàdellivellodidifficoltàdella
8
Rossano,Pesare,Roselli
domanda(n)eall’aumentaredellivellodiabilitàdellostudente(m),ipunteggi
parzialiincasodirispostacorrettaeincasodirispostaerratasarannorispettivamente più piccolo di 1,56 e più alto di -0,44. Questo perché è plausibile che
all’aumentare del livello di abilità dello studente sia più alta la probabilità che
risponda correttamente e quindi diminuirà la premialità; aumenterà invece
l’incidenzadiun’eventualerispostaerrata.
Unesempiodiinterazione
Quiz-maniaèstatoprogettatoerealizzatocomeun’applicazionemultimediale
cheinteragisceconundatabaseMySQLdovesonomemorizzatetutteleinformazionirelativeagliutentieaisingoliitem.Questo,daunlato,consenteagliutenti
digiocarenuovamenteemigliorareilpropriolivellodiabilitàe,dall’altro,rende
l’applicazioneadattabileaqualunquealtrocontestooargomento.Perrealizzare
un quiz adattivo sulla programmazione, per esempio, sarà necessario cambiare
ledomandeall’internodeldatabase.Questopresuppone,però,chegliitemsiano
statisottopostiadunprocessodicalibrazione.
Perguidarel’utentedurantel’interazione,èstatorealizzatountutorvirtuale
cheapparecomeunalampadinainbassoadestra(Figura2),l’utentepuòinqualunquemomentochiuderloseritenutoinvasivo.
Figura 2 – Alcune schermate di Quiz-Mania
Perrendereesplicitoillivellodiabilitàriconosciutoall’utentedalsistemadurantel’interazioneconilquiz-gioco,inbassoasinistraèvisualizzataunabatteriacherappresentagraficamenteillivelloraggiunto.Quandol’utenteraggiungereletacchedicoloreverde,significacheilsistemagliriconosceunlivellodiabilitàparialmenoallivelloBuono.Siachel’utentediaunarispostacorretta,siache
l’utentediaunarispostasbagliatailfeedbackèfornitosiautilizzandouncodice
colore che utilizzando espressioni diverse del tutor virtuale. In aggiunta, al ter-
ComputerAdaptiveTestperlavalutazionedell’apprendimentonell’e-learning9
minedeltestunfeedbackconclusivocomunicaall’utenteillivellodiabilitàraggiunto.
Testcongliutenti
Alfinedivalutarelasoluzionerealizzataèstatoeffettuatountestcongliutenti con l’obiettivo di misurarne la soddisfazione. QuizMania è stato utilizzato da
uncampionedi40utentiacuièstatochiestodirispondereadunquestionariodi
soddisfazione d’uso dopo aver utilizzato il gioco. Il questionario è composto da
20domandeperognunadellequalièprevistaunarispostasuunascalaLikerta
5punti.Sonostatepostedomandevolteamisurarelachiarezzadelleinterfacce
edellemodalitàd’uso(Figura3a).Itesthannodimostratochegliutentihanno
espressoungiudiziopositivoinmerito.Perquantoconcernel’aspettodicalibrazione,èstatochiestoagliutentidiesprimereilloroparereriguardoallaqualità
della classificazione delle domande presentate (Figura 3b): 22 utenti sono stati
moltod’accordoconlaclassificazioneeffettuatadalsistema,12sonostatiabbastanzad’accordoe6nonhannoespressoalcunparere.Infine,èstatochiestose
la valutazione finale delle conoscenze attribuita dal sistema fosse conforme a
quanto ciascun utente si aspettava. La maggior parte degli utenti ha ritenuto la
valutazione appropriata e pressoché corrispondente alle reali conoscenze possedute(Figura4).
Figura 3 – Chiarezza delle interfacce e delle modalità d’uso (a); Attendibilità della classificazione delle domande (b)
Conclusioni
Nel contesto dell’e-learning, il tema della valutazione è molto importante e
moltodiscusso.Dalpuntodivistatecnologico,perrendereitestarispostamul-
10
Rossano,Pesare,Roselli
tipla,comunementeusatineipercorsionline,piùinformativiunasoluzionepromettenteèl’usodeiCAT,ovverotestadattivichecostruisconoiltestdinamicamente adattando la difficoltà e il numero di quesiti all’abilità dimostrata
dall’utentedurantel’interazione.Questorendeitestarispostamultiplapiùaffidabilisoprattuttoquandorivoltiadun’ampiapopolazionenonfacilmenteclassificabile, come avviene nella fruizione di MOOC. Una delle problematiche poste
dall’usoditestadattivièlanecessitàdiavereunabancadiitemsignificativa,ovveroènecessariocheesistanoquesitiinformativiperidiversilivellidiabilitàdel
soggetto.Perquestoènecessariosottoporregliitemadunprocessodicalibrazione per una corretta stima dei parametri e tale processo presuppone il coinvolgimentodiuncongruonumerodisoggettiacuisottoporregliitem(Şahina&
Weissb,2015).
Figura 4 – Valutazione finale del gioco
IlcontributoillustraunprimoapproccioconilCATchehaportatoallaprogettazioneerealizzazionediunquiz-gioco.Persuperareilproblemadellanumerositàdelcampione,labancadegliitemècostruitasuargomentidiculturagenerale(storia,geografia,letteraturaescienze).Quiz-maniaèstatoanchetestatocon
uncampionediutentiperrilevareeventualiproblemidiinterazioneeavereuna
primamisuradell’attendibilitàdellavalutazioneeffettuatadaltest.Infuturo,per
avere una misura della reale efficacia del test, sarà indispensabile aumentare il
numero di utenti e realizzare un test sperimentale che misuri la differenza tra
l’uso di un test CAT e un test realizzato secondo la CTT. Lo studio, inoltre, potrebbe confrontare anche la valutazione del CAT con la valutazione fatta da un
docentedurantelaprovaorale.
Riferimenti bibliografici
ADMIRAAL, W., HUISMAN, B., & PILLI, O. (2015), ASSESSMENT IN MASSIVE OPEN ONLINE COURSES.
ELECTRONICJOURNALOFE-LEARNING,13(4),207-216.
ComputerAdaptiveTestperlavalutazionedell’apprendimentonell’e-learning11
BAKER F.B. (2001), THE BASICS OF ITEM RESPONSE THEORY, ERIC CLEARINGHOUSE ON ASSESSMENT
ANDEVALUATION,WASHINGTON,AVAILABLEATHTTP://ERICAE.NET/IRT/BAKER.
DE LUCA, A. M., & LUCISANO, P. (2014), ITEMANALISITRAMODELLOEREALTÀ.ITALIAN JOURNAL OF
EDUCATIONALRESEARCH,(7),85-96.
FARACI, P. (2008), L’ITEM RESPONSE THEORY NELLA COSTRUZIONE DEGLI STRUMENTI
PSICOMETRICI.ITEMS,LANEWSLETTERDELTESTINGPSICOLOGICO,10(10),1-8.
HAMBLETON, R. K., & SWAMINATHAN, H. (1985), ITEM RESPONSE THEORY: PRINCIPLES AND
APPLICATIONS(VOL.7).SPRINGERSCIENCE&BUSINESSMEDIA.
KENNEDY, J. (2014), CHARACTERISTICS OF MASSIVE OPEN ONLINE COURSES (MOOCS): A RESEARCH
REVIEW,2009-2012.JOURNALOFINTERACTIVEONLINELEARNING,13(1).
LIYANAGUNAWARDENA,T.R.,ADAMS,A.A.,&WILLIAMS,S.A.(2013),MOOCS:ASYSTEMATICSTUDY
OF THE PUBLISHED LITERATURE 2008-2012.THE INTERNATIONAL REVIEW OF RESEARCH IN OPEN
ANDDISTRIBUTEDLEARNING,14(3),202-227.
MUÑOZ-MERINO, P. J., RUIPÉREZ-VALIENTE, J. A., ALARIO-HOYOS, C., PÉREZ-SANAGUSTÍN, M., &
KLOOS, C. D. (2015), PRECISE EFFECTIVENESS STRATEGY FOR ANALYZING THE EFFECTIVENESS OF
STUDENTS WITH EDUCATIONAL RESOURCES AND ACTIVITIES IN MOOCS.COMPUTERS IN HUMAN
BEHAVIOR,47,108-118.
PESARE,E.,ROSELLI,T.,ROSSANO,V.,&DIBITONTO,P.(2015),DIGITALLYENHANCEDASSESSMENTIN
VIRTUALLEARNINGENVIRONMENTS.JOURNALOFVISUALLANGUAGES&COMPUTING,31,252-259.
SCHAFER, J. B., FRANKOWSKI, D., HERLOCKER, J., & SEN, S. (2007), COLLABORATIVE FILTERING
RECOMMENDERSYSTEMS.THEADAPTIVEWEB(PP.291-324).SPRINGERBERLINHEIDELBERG.
SIEMENS, G. (2012), LEARNING ANALYTICS : ENVISIONINGA RESEARCH DISCIPLINEANDA DOMAINOF
PRACTICE. 2ND INTERNATIONAL CONFERENCE ON LEARNING ANALYTICS & KNOWLEDGE, (MAY),
PP.4–8.AVAILABLEAT:HTTP://DL.ACM.ORG/CITATION.CFM?ID=2330605.
ŞAHINA, A., & WEISSB, D. J. (2015), EFFECTSOF CALIBRATION SAMPLE SIZEAND ITEM BANK SIZEON
ABILITY ESTIMATION IN COMPUTERIZED ADAPTIVE TESTING. EDUCATIONAL SCIENCES: THEORY &
PRACTICE,6,1585-1595.
VANDERLINDEN,W.J.,&GLAS,C.A.(EDS.).(2000),COMPUTERIZEDADAPTIVETESTING:THEORYAND
PRACTICE.DORDRECHT:KLUWERACADEMIC.
WAINER, H., DORANS, N. J., FLAUGHER, R., GREEN, B. F., & MISLEVY, R. J. (2000), COMPUTERIZED
ADAPTIVETESTING:APRIMER.ROUTLEDGE.
Ringraziamenti
Si ringrazia Maria Magliulo, che ha realizzato Quiz Mania nella sua tesi di
laurea triennale e tutti coloro che hanno partecipato ai test.