e il modulo S
Transcript
e il modulo S
Primi risultati dell’identificazione delle determinanti universitarie e ambientali delle performance degli studenti* Maggio, 2014 (versione preliminare) Giovanni di Bartolomeo, Sapienza - Università di Roma Silvia Fedeli, Sapienza - Università di Roma Leone Leonida, Università di Messina * Gli autori ringraziano Fiorella Kostoris per i dati e i suggerimenti ricevuti e ringraziano Franco Peracchi per aver fornito i dati e alcune routine utilizzate per elaborali. 1 1. Introduzione Il lavoro si compone di due parti. Nella prima parte si considera l’impatto della qualità del corpo docente sui risultati del test TECO; nella seconda si verifica se e come questa possa essere un attrattore per gli studenti, confrontando le immatricolazioni degli studenti che hanno partecipato a TECO presso i due atenei romani (Sapienza e Tor Vergata). Nel dettaglio, nella prima parte, partendo dall’analisi esistente della performance degli studenti al test TECO (Peracchi, 2014) abbiamo verificato l’impatto della qualità del corpo docente, misurata dalla VQR dei docenti incardinati sui Corsi di studi. Nell’analisi, oltre alle variabili già considerate in Peracchi (2014) e l’indicatore VQR, abbiamo verificato anche la rilevanza di un indicatore indiretto della fascia di reddito (bassa) rappresentato dagli studenti che usufruiscono di agevolazioni per il diritto allo studio; il fatto che gli studenti frequentino le lezioni; il fatto che gli studenti parlino almeno un’altra lingua straniera; le disponibilità di strumenti di comunicazione e apprendimento, quali PC, smartphone e tablet. I risultati sono ottenuti controllando per macroarea (utilizzando la classificazione MIUR in 4 macro-aree disciplinari: Sanitaria, Scientifica, Sociale, Umanistica), per ateneo e per macroarea geografica dell’ateneo. La seconda parte sfrutta una peculiarità della banca dati utilizzata ovvero la presenza di due atenei (Sapienza e Tor Vergata) appartenenti alla medesima regione (il Lazio) sottoposti alla sperimentazione TECO. Per mezzo di un modello logit multinomiale abbiamo verificato le determinanti della scelta di tali studenti di iscriversi a uno o all’altro ateneo sotto diverse ipotesi. Inoltre, per i soli studenti fuori sede, abbiamo verificato le determinanti della probabilità di iscriversi a uno dei due atenei romani attraverso l’uso di un approccio di logit binomiale. 2. Il campione L’analisi è stata svolta utilizzando l’enorme mole d’informazioni raccolta in occasione della sperimentazione TECO. Questo test è stato disegnato per rilevare le competenze di carattere generalista dei laureandi italiani. La sperimentazione e stata condotta tra il maggio e il luglio 2013 in dodici Atenei e ha riguardato quasi 22 mila laureandi delle lauree triennali e a ciclo unico. Circa 9 mila studenti si sono iscritti al test e 5.800 lo hanno effettivamente sostenuto. Le caratteristiche del campione sono analizzate nel dettaglio da Peracchi (2014), da cui, di seguito, riportiamo alcune tabelle. Il campione TECO è stato integrato con i dati VQR sulla valutazione media dei docenti per corsi di studi, in cui i singoli studenti risultavano incardinati.1 Occorre notare che corsi di studi/atenei considerati sono pesati in base al numero dei partecipanti al test, perciò differenze ad essi riferite non hanno validità generale/nazionale e non possono essere interpretate come graduatorie. 1 L’indicatore di qualità del corpo docente è un dato sensibile, per cui è stato trattato solo a livello aggregato di corso di studi. 2 In maggior dettaglio, come emerge dall’analisi di Peracchi (2014) dei dati TECO, a fronte di 21.872 idonei e 9.170 preiscritti, solo 5.898 studenti hanno partecipato al test. Il tasso di partecipazione tra gli idonei è pari al 27%, più elevato per i maschi (28,6%) che per le femmine (25,9%). Come si evince dalla Tabella 1, la partecipazione presenta, inoltre, una notevole variabilità tra gruppi di lauree (relativamente elevato per i gruppi di laurea scientifici; molto basso per i gruppi Arte 15,5%, Psicologia 17,4%, Odontoiatria 18% e Medicina 18,9%; misto per i gruppi della macro-area Sociale, dal 20,3% del gruppo Giurisprudenza al 34,6% del gruppo Economia). Tabella 1 – Numero di partecipanti (N(partec) e tasso di partecipazione tra gli idonei (mean(partecip)) e tra i preiscritti (mean(prepart)) per gruppo di lauree. Fonte: Peracchi (2014) Tabella 2 – Numero di partecipanti (N(partec) e tasso di partecipazione tra gli idonei (mean(partecip)) e tra i preiscritti (mean(prepart)) per Ateneo. Fonte: Peracchi (2014) 3 Il tasso di partecipazione presenta anche una notevole variabilità tra Atenei, con minimi del 13,9% e del 16,8% rispettivamente per Bologna e Tor Vergata, e massimi del 62,9% e del 64,3% rispettivamente per Piemonte Orientale e Udine (cfr. Tabella 2). La Tabella 3 mostra la distribuzione dei partecipanti al test per titolo di studio dei genitori separatamente per Ateneo classificati in 4 categorie. Emerge che la percentuale con laurea o post-laurea è più elevata tra i padri che tra le madri (30,2% vs 29,6%). Essa è inoltre più elevata per gli Atenei del Centro e del SudIsole che per quelli del Nord. La Tabella 4, relativa alla distribuzione dei partecipanti al test per il diploma dello studente condizionatamente al titolo di studio dei genitori, mostra che la frazione di studenti con diploma di maturità classica o scientifica cresce al crescere del titolo di studio della madre e del padre, raggiungendo l'80% del totale tra gli studenti i cui genitori hanno un titolo post-laurea. La tabella 5 mostra la distribuzione dei partecipanti al test secondo il diploma dello studente condizionatamente alla professione dei genitori (dirigente, impiegato, operaio, altro). Tabella 3 – Distribuzione dei partecipanti al test per titolo di studio dei genitori separatamente per Ateneo. Fonte: Peracchi (2014) 4 Tabella 4 – Distribuzione dei partecipanti al test per tipo di diploma di scuola media superiore condizionatamente al titolo di studio dei genitori. Fonte: Peracchi (2014) Tabella 5 –Distribuzione dei partecipanti al test per tipo di diploma di scuola media superiore condizionatamente alla professione dei genitori. Fonte: Peracchi (2014) Nella valutazione dei risultati ottenuti a TECO, ci è sembrato importante verificare se avessero avuto effetti sulla performance degli studenti ulteriori variabili rispetto a quelle usate da Peracchi (2014). In particolare abbiamo considerato: la qualità del corso di studi (cds) (misurata dai risultati ottenuti alla VQR dai docenti del cds stesso), un indicatore indiretto della fascia di reddito (bassa) rappresentato dagli studenti che usufruiscono di agevolazioni per il diritto allo studio; il fatto che gli studenti frequentino le lezioni; il fatto che gli studenti parlino almeno un’altra lingua straniera; la distanza dalla sede di studio degli studenti (ossia se sono fuori comune, fuori provincia o fuori regione). Sotto riportiamo alcune statistiche descrittive per macroarea (Tabelle 6 e 7) utilizzando la classificazione MIUR in 4 macro-aree disciplinari: la macro-area Sanitaria (comprendente i gruppi di lauree Farmacia, Medicina, Odontoiatria e Veterinaria), la macro-area Scientifica (comprendente i gruppi di lauree Agroalimentare, Architettura, Beni culturali, Biologia, Chimica, Ingegneria, Matematica Fisica e Statistica, e 5 Territorio), la macro-area Sociale (comprendente i gruppi di lauree Comunicazione, Economia, Formazione, Geografia, Giurisprudenza, Politico, Psicologia e Sociale), e la macro-area Umanistica (comprendente i gruppi di lauree Arte, Beni culturali, Filosofia, Formazione, Geografia, Lettere, Lingue, e Storia). Dalla Tabella 6 emerge che la macroarea sanitaria è quella con il miglior risultato della VQR e, insieme alla macroarea scientifica, è quella con il più altro numero di studenti frequentanti. La macroarea umanistica risulta la peggiore ed è anche quella con la percentuale più alta di studenti che usufruiscono di agevolazioni per il diritto allo studio. Tabella 6. Numero di partecipanti (N(partec) e risultato della VQR per corso di laurea mean(r_cour~r), quota di studenti che usufruiscono di agevolazioni per il diritto allo studio mean(borsaR), quota di studenti frequentanti mean(freque~a), quota di studenti che parlano almeno un’altra lingua straniera mean(ling~R) per macroaree. Macro-area N(partecip) mean(r_co~r) mean(borsaR) mean(freq~R) mean(ling~R) Sanitaria Scientifica Sociale Umanistica 997 2,157 2,137 1,055 1.18 1.11 1.12 1.1 .128 .167 .145 .194 .914 .929 .855 .861 .708 .722 .576 .746 Total 6,346 1.13 .158 .89 .675 Tabella 7. Numero di partecipanti (N(partec) e quota di studenti fuori comune mean(dist1), fuori provincia mean(dist2) fuori regione mean(dist3) per macroaree. Macro-area N(partecip) mean(dist1) mean(dist2) mean(dist3) Sanitaria Scientifica Sociale Umanistica 997 2,157 2,137 1,055 .213 .226 .264 .27 .358 .316 .298 .295 .185 .159 .177 .173 Total 6,346 .244 .313 .172 Le Tabelle 8 e 9 riportano le statistiche descrittive delle stesse variabili per gruppo di lauree secondo la stessa classificazione usata da Peracchi che accorpa le 64 classi ministeriali in 25 gruppi di lauree: Agroalimentare, Architettura, Arte, Beni culturali, Biologia, Chimica, Comunicazione, Economia, Farmacia, Filosofia, Formazione, Geografia, Giurisprudenza, Ingegneria, Lettere, Lingue, Matematica, Fisica e Statistica (MatFisStat), Medicina, Odontoiatria, Politico, Psicologia, Sociale, Storia, Territorio e Veterinaria. 6 Dalla Tabella 10 emerge che il gruppo di lauree in matematica e fisica è quello che ha ottenuto la VQR più alta, seguito a breve distanza dal gruppo di lauree in filosofia, che, tuttavia, rientra nella macroarea umanistica, che e’ quella che ha avuto il risultato peggiore in termini di VQR. Tabella 10 – Numero di partecipanti (N(partec) e risultato della VQR per corso di laurea __000003, quota di studenti che usufruiscono di agevolazioni per il diritto allo studio __000004, quota di studenti frequentanti __000005, quota di studenti che parlano almeno un’altra lingua straniera __000006 per gruppo di lauree. Gruppo di lauree N(partecip) __000003 __000004 __000005 __000006 Agro-alimentare Architettura Arte Beni culturali Biologia Chimica Comunicazione Economia Farmacia Filosofia Formazione Geografia Giurisprudenza Ingegneria Lettere Lingue Matematica Fisica Medicina Odontoiatria Politico Psicologia Sociale Storia Territorio Veterinaria 180 273 64 155 301 118 132 477 407 109 141 53 943 474 224 296 404 452 44 263 193 91 58 400 94 1.1 .967 .986 1.04 1.18 1.04 .96 .976 1.09 1.29 1.03 .864 1.24 1.08 1.11 1.12 1.3 1.28 1.12 1.11 1.12 .998 1.15 1.02 1.2 .172 .11 .234 .161 .176 .169 .129 .184 .13 .174 .191 .302 .0997 .184 .21 .193 .158 .126 .227 .163 .192 .187 .207 .188 .0851 .756 1 .922 .845 .824 .873 .902 .96 .963 .917 .851 .887 .804 .975 .804 .872 .95 .845 1 .749 .927 .912 .931 .978 .989 .722 .821 .781 .677 .674 .712 .659 .683 .614 .706 .716 .736 .44 .698 .772 .777 .693 .783 .909 .703 .648 .725 .759 .752 .66 Total 6,346 1.13 .158 .89 .675 7 Tabella 11 – Numero di partecipanti (N(partec) e quota di studenti fuori comune mean(dist1), fuori provincia mean(dist2) fuori regione mean(dist3) per gruppi di lauree. Gruppo di lauree N(partecip) mean(dist1) mean(dist2) mean(dist3) Agro-alimentare Architettura Arte Beni culturali Biologia Chimica Comunicazione Economia Farmacia Filosofia Formazione Geografia Giurisprudenza Ingegneria Lettere Lingue Matematica Fisica Medicina Odontoiatria Politico Psicologia Sociale Storia Territorio Veterinaria 180 273 64 155 301 118 132 477 407 109 141 53 943 474 224 296 404 452 44 263 193 91 58 400 94 .206 .216 .219 .245 .216 .22 .25 .239 .226 .193 .383 .245 .288 .243 .254 .28 .233 .215 .159 .221 .238 .352 .293 .222 .17 .6 .293 .156 .245 .395 .432 .265 .285 .44 .284 .433 .245 .306 .278 .286 .307 .215 .27 .341 .3 .301 .341 .224 .257 .436 .0889 .201 .203 .0839 .213 .0763 .242 .197 .172 .275 .0496 .283 .15 .137 .254 .169 .151 .166 .25 .137 .259 .143 .172 .185 .298 Total 6,346 .244 .313 .172 Le Tabelle 12 e 13 riportano le statistiche descrittive delle stesse variabili per macroarea geografica dell’ateneo. Gli atenei del Sud e isole hanno ottenuto il peggior risultato in termini di VQR e sono anche quelli con la più alta percentuale di studenti a basso reddito. Gli atenei del Centro mostrano la più alta percentuale di studenti frequentanti e sono anche quelli con il più alto numero di studenti provenienti da fuori regione. La mobilità da fuori provincia caratterizza invece gli atenei del Nord, mentre gli atenei di Sud e Isole hanno la prevalenza di studenti locali (fuori comune). Le Tabelle 14 e 15 mostrano la distribuzione delle variabili per atenei partecipanti. Sempre alla luce della ponderazione derivante dal numero di studenti partecipanti rispetto agli idonei emerge che l’ateneo di Bologna ha avuto il miglior risultato della VQR per corso di laurea mean (r_cour~r), Messina il peggiore, i due atenei del Lazio (Sapienza e Tor Vergata) hanno risultati simili, ma entrambi sotto la media nazionale. Infine le tabelle 16 e 17 riportano la distribuzione per diploma di scuola superiore degli studenti partecipanti al test da cui emerge, per esempio, che i corsi di studi con la più alta VQR sono stati scelti dai partecipanti provenienti dal liceo classico, quelli provenienti dallo scientifico, invece, frequentano di più le lezioni. 8 Tabella 12 – Numero di partecipanti (N(partec) e risultato della VQR per corso di laurea mean(r_cour~r), quota di studenti che usufruiscono di agevolazioni per il diritto allo studio mean(borsaR), quota di studenti frequentanti mean(freque~a), quota di studenti che parlano almeno un’altra lingua straniera mean(ling~R) per macroarea geografica. Area Ateneo N(partecip) mean(r_co~r) mean(borsaR) mean(freq~R) mean(ling~R) Centro Nord Sud-Isole 2,979 2,248 1,119 1.11 1.2 1.02 .163 .139 .182 .932 .852 .858 .691 .645 .692 Total 6,346 1.13 .158 .89 .675 Tabella 13 – Numero di partecipanti (N(partec) e quota di studenti fuori comune mean(dist1), fuori provincia mean(dist2) fuori regione mean(dist3) per macroarea geografica. Area Ateneo N(partecip) mean(dist1) mean(dist2) mean(dist3) Centro Nord Sud-Isole 2,979 2,248 1,119 .196 .199 .463 .236 .464 .214 .207 .177 .0661 Total 6,346 .244 .313 .172 Tabella 14 – Numero di partecipanti (N(partec) e risultato della VQR per corso di laurea mean(r_cour~r), quota di studenti che usufruiscono di agevolazioni per il diritto allo studio mean(borsaR), quota di studenti frequentanti mean(freque~a), quota di studenti che parlano almeno un’altra lingua straniera mean(ling~R) per Ateneo Ateneo N(partecip) mean(r_co~r) mean(borsaR) mean(freq~R) mean(ling~R) BO CA FI LE ME MI NA PD PO RM1 RM2 UD 378 134 715 205 134 936 646 557 425 1,681 205 330 1.23 1.01 1.14 1.09 .833 1.2 1.05 1.27 1.17 1.07 1.08 1.12 .169 .179 .183 .234 .209 .134 .161 .156 .136 .155 .141 .13 .95 .948 .944 .712 .978 .782 .861 .978 .755 .936 .82 .961 .704 .664 .691 .737 .642 .697 .693 .634 .539 .701 .585 .652 Total 6,346 1.13 .158 .89 .675 9 Tabella 15 – Numero di partecipanti (N(partec) e quota di studenti fuori comune mean(dist1), fuori provincia mean(dist2) fuori regione mean(dist3) per Ateneo Ateneo N(partecip) mean(dist1) mean(dist2) mean(dist3) BO CA FI LE ME MI NA PD PO RM1 RM2 UD 378 134 715 205 134 936 646 557 425 1,681 205 330 .146 .515 .269 .722 .246 .185 .415 .259 .0306 .165 .293 .355 .296 .269 .38 .132 .0896 .482 .254 .542 .456 .173 .137 .294 .381 .00746 .119 .0146 .313 .137 .0433 .131 .275 .219 .0976 .242 Total 6,346 .244 .313 .172 Tabella 16 – Numero di partecipanti (N(partec) e risultato della VQR per corso di laurea mean(r_cour~r), quota di studenti che usufruiscono di agevolazioni per il diritto allo studio mean(borsaR), quota di studenti frequentanti mean(freque~a), quota di studenti che parlano almeno un’altra lingua straniera mean(ling~R) per diploma di scuola superiore Diploma N(partecip) mean(r_co~r) mean(borsaR) mean(freq~R) mean(ling~R) Tecn/Prof Classico Scientif Altro liceo Altro istit 987 1,551 2,606 513 359 1.11 1.14 1.13 1.1 1.13 .173 .139 .157 .181 .159 .874 .874 .919 .842 .894 .667 .653 .688 .663 .699 Total 6,016 1.13 .157 .892 .674 Tabella 17 – Numero di partecipanti (N(partec) e quota di studenti fuori comune mean(dist1), fuori provincia mean(dist2) fuori regione mean(dist3) per diploma di scuola superiore Diploma N(partecip) mean(dist1) mean(dist2) mean(dist3) Tecn/Prof Classico Scientif Altro liceo Altro istit 987 1,551 2,606 513 359 .284 .219 .24 .222 .337 .407 .271 .3 .357 .401 .148 .182 .175 .173 .131 Total 6,016 .246 .321 .169 10 3. Le determinanti universitarie e ambientali delle performance degli studenti Per le statistiche descrittive dei risultati ottenuti dagli studenti al test TECO, si rinvia all’analisi di Peracchi (2014)2. Qui ricordiamo brevemente alcune caratteristiche del test. Il test consiste di due moduli somministrati separatamente: il modulo PT (Performance Task o Prova di Prestazione) e il modulo SRQ (Selected Response-Questions o Prova a Risposta Multipla). Il modulo PT mira a valutare le competenze dei laureandi in materia di pensiero critico e comunicazione scritta, e viene valutato con riferimento a tre ambiti distinti: analisi e soluzione dei problemi (Analysis and Problem Solving o APS), efficacia di scrittura (Writing Effectiveness o WE), e tecnica di scrittura (Writing Mechanics o WM). Il punteggio nel modulo PT è ottenuto combinando le valutazioni separate fornite per i tre diversi ambiti. Il modulo SRQ è suddiviso in tre parti che intendono misurare tre diversi aspetti delle competenze generaliste: la parte CR (Critical Reading) la parte CA (Critique an Argument), la parte SRQ (Scientific and Quantitative Reasoning). Il punteggio nel modulo SRQ è uguale al numero di risposte esatte nelle 20 domande. Nella nostra analisi abbiamo considerato entrambi i moduli; inoltre, seguendo, Peracchi (2014), abbiamo anche considerato il punteggio totale dello studente calcolato come media aritmetica di opportune trasformazioni lineari dei punteggi nei moduli PT e SRQ. La Tabella 11 riporta i risultati delle stime di modelli di regressione lineare per i punteggi totali ottenuti nel TECO in 5 specificazioni del modello: 1. all1 corrisponde alla specificazione di base di Peracchi con l’aggiunta della variabile di reddito (ossia borsa di studio, che indica se lo studente usufruisce di forme di diritto allo studio destinate solo a studenti provenienti da famiglie a basso reddito) 2. all2 aggiunge alla specificazione di base l'attività di studente lavoratore, il non parlare l'italiano a casa, la cittadinanza non italiana, la distanza del comune di residenza dalla sede dell'Ateneo, il titolo di studio della madre e del padre e la professione della madre e del padre (la categoria di riferimento per entrambi è impiegato). Considera inoltre la dotazione tecnologica dello studente (se possiede pc, tablet e smartphone), se parla lingue diverse dall’italiano e se frequenta le lezioni. 3. all3 aggiunge alla specificazione all2 la variabile qualitativa del corso di studi rappresentata dai risultati ottenuti dai docenti alla VQR 4. all4 aggiunge alla specificazione all3 gli effetti fissi di ateneo (l’Ateneo di riferimento è RM1) 5. all5 aggiunge alla specificazione all3 gli effetti delle macroaree secondo la classificazione ministeriale (la macroarea di riferimento e’ quella umanistica) e le macroaree geografiche (la macroarea geografica di riferimento e’ il Centro). 2 In particolare si vedano le figure1-5 e le tabelle 34-42. 11 Dalla tabella 11 relativa al punteggio totale risulta che, tra le nuove variabili considerate, la variabile di reddito (borsa di studio), che indica se lo studente usufruisce di forme di diritto allo studio destinate a studenti provenienti da famiglie a basso reddito, risulta significativa e con segno negativo solo nella specificazione di base, ma perde significatività in tutte le altre specificazioni. Neanche la dotazione tecnologica dello studente (se possiede personal computer, tablet e smartphone) e il fatto che parli lingue diverse dall’italiano risultano mai significative. E’ interessante notare che la variabile qualitativa del corso di studi è sempre significativa e con segno positivo nelle tre specificazioni all3, all4 e all5 e nei tre moduli. Tuttavia, la frequenza alle lezioni non risulta significativa in nessuna specificazione econometrica. Gli studenti degli atenei del Nord Italia hanno migliori performance, mentre gli studenti dell’area umanistica hanno la peggiore performance rispetto a quelli appartenenti alle macroaree sanitaria, scientifica e sociale. Il risultato piuttosto contro intuitivo per cui la qualità dei docenti dei corsi di studi influenza positivamente la performance degli studenti al test, ma è irrilevante il fatto che gli stessi studenti frequentino le lezioni ci ha indotto a verificare i risultati delle stime anche per: i punteggi ottenuti nel modulo PT e i punteggi ottenuti nel modulo SRQ. I risultati sono contenuti nelle tabelle 19 e 20, sempre per le 5 specificazioni del modello indicate precedentemente. 12 Tabella 18 – Stime di modelli di regressione lineare per il punteggio totale nel TECO3 Variable Eta Femmina Anzianita diploma Voto diploma Media voti borsa studio Tecn/Prof Classico Altro liceo Altro istit Lavoratore Lingua non ital Cittad non ital lingue frequanza iscritti Fuori comune Fuori provincia Fuori regione pc tablet smartphone Madre non dipl Madre laureata Padre non dipl Padre laureato Madre dirig Madre operaia Madre inoccup Padre dirig Padre operaio Padre inoccup VQR CdL BO CA FI LE ME MI NA PD PO RM2 UD Sanitaria Scientifica Sociale Nord Sud-Isole Constant N df_m r2_a F rmse all1 -5.910*** -15.872*** 1.246 1.623*** 13.616*** -9.978* -34.873*** 2.796 -27.253*** -23.194** all2 -2.210 -20.154*** -1.315 1.439*** 14.178*** -3.990 -27.724*** 5.735 -28.035*** -0.124 1.472 -38.470*** -83.668*** -1.564 -14.333 0.000 -7.354 4.666 -13.660** -5.441 -7.391 2.375 -3.997 4.648 -3.037 -1.890 -8.825 -10.491 -19.914*** 15.660** 1.752 -4.632 all3 -0.970 -18.417*** -2.545 1.354*** 14.361*** -3.897 -26.295*** 4.254 -27.344*** -0.286 -0.826 -39.151*** -81.972*** -2.420 -11.121 -0.001 -7.352 2.309 -12.662** -4.620 -6.877 1.824 -5.411 3.294 -1.418 -4.612 -11.691* -9.562 -21.056*** 16.388*** -0.016 -3.079 66.317*** all4 -8.078*** -22.318*** 5.227** 1.706*** 13.759*** -0.618 -34.244*** 8.881* -29.015*** -9.042 -4.480 -38.281*** -90.031*** -0.454 -8.310 0.001 -6.410 -13.414** -27.957*** -4.115 -6.228 2.223 -5.121 2.289 -0.753 -4.666 -5.683 -7.010 -9.875* 14.400** -0.408 -2.276 21.015** 50.224*** -18.489 27.844*** -62.308*** -71.266*** 38.448*** -56.802*** 33.576*** 28.338*** -33.183** 50.954*** all5 -8.220*** -21.328*** 5.375** 1.666*** 16.172*** 0.497 -32.634*** 8.809* -24.809*** -2.838 -3.311 -37.968*** -84.563*** 2.207 -8.271 -0.001 -0.888 -6.623 -23.090*** -1.721 -6.113 2.383 -4.025 2.280 -0.475 -4.293 -6.463 -8.522 -12.540** 13.798** 0.320 -1.312 29.954*** 1362.375*** 1467.185*** 1414.841*** 1333.783*** 34.936*** 26.325*** 48.104*** 21.633*** -69.153*** 1356.699*** 6290 11 .0909 52.2 153 5918 33 .109 21.3 150 5540 34 .114 20.5 149 5540 45 .149 21.6 146 5540 39 .149 25.2 146 legend: * p<.1; ** p<.05; *** p<.01 3 Gli errori standard su cui si basa il sistema di asterischi di fianco ai coefficienti stimati (*: valore-p<:1; **: valore-p<:05; ***: valore-p<:01) sono robusti in presenza di eteroschedasticità di forma ignota. Le statistiche riportate nella parte inferiore della tabella sono la numerosità campionaria (N), il numero di covariate del modello escluso il termine costante (df m), l'R2 aggiustato per i gradi di libertà (r2 a), la statistica F per la significatività della regressione (F), e l'errore quadratico medio della regressione (rmse). 13 Le stime riportate nelle Tabelle 19 e 20 sono coerenti con quelle relative al punteggio totale. Dalle stime risulta che, tra le nuove variabili considerate rispetto a Peracchi (2014), la variabile di reddito risulta significativa e con segno negativo solo per il modulo SRQ per le tre specificazioni più parsimoniose, ma perde significatività quando controlliamo per gli atenei e le aree scientifiche. Non è mai significativa per il punteggio PT. Di nuovo, la dotazione tecnologica dello studente e il fatto che parli lingue diverse dall’italiano non risultano mai significative. La frequenza alle lezioni risulta significativa con segno negativo solo per la determinazione del punteggio nel modulo SRQ, ma, anche in questo caso, perde significatività nella specificazione all4 quando controlliamo per atenei. Non e’ mai significativa per il modulo PT. La variabile qualitativa del corso di studi è sempre significativa e con segno positivo nelle tre specificazioni all3, all4 e all5 per entrambi i moduli PT e SRQ. I risultati ottenuti per ciascun modulo separatamente e soprattutto il risultato che la qualità dei docenti dei corsi di studi influenza positivamente la performance degli studenti al test, ma e’ irrilevante il fatto che gli stessi studenti frequentino le lezioni si presenti solo per il modulo PT ci ha indotto a riflettere su cosa il test avesse effettivamente valutato e, in particolare, quanto fosse in grado di misurare la formazione ricevuta all’università. Di fatto il modulo PT valuta le competenze degli studenti con riferimento ai tre ambiti di analisi e soluzione dei problemi, efficacia di scrittura e tecnica di scrittura. Il punteggio nel primo ambito deve riflettere la capacità dello studente di prendere una decisione, o trarre una conclusione, o prendere una posizione e sostenerla con un'argomentazione coesiva che utilizzi accuratamente le informazioni appropriate (fatti, concetti, dati calcolati, caratteristiche salienti) tratte dall’archivio documenti che erano forniti allo studente per rispondere al test. L’efficacia della scrittura è individuata nella capacità di fornire argomentazioni organizzate in modo logico e coerente elaborando i fatti e i concetti in modo particolarmente convincente. La tecnica di scrittura è individuata nella conoscenza delle regole dell’italiano scritto (concordanze, tempi, uso delle maiuscole, punteggiatura e ortografia) e padronanza della lingua, compresi sintassi (struttura della frase) e lessico (scelta e uso dei vocaboli). La versione italiana del test era molto meno tollerante della versione americana nella valutazione di errori riguardanti gli ambiti di tecnica ed efficacia della scrittura e i valutatori dei test erano stati forniti di un decalogo rigorosissimo su cosa poteva essere considerato errore più o meno grave (cfr. Vendruscolo, 2014). Tutto ciò forse riesce a spiegare perché’ la frequenza alle lezioni risulta ininfluente sulla performance dei partecipanti a TECO. Di fatto questo modulo del test (che peraltro determina anche i risultati delle stime ottenuti per i punteggi totali della Tabella 18) non sta valutando la formazione ricevuta all’università, ma piuttosto la dotazione di formazione che gli studenti si ritrovano al terzo anno di università, ma che hanno ragionevolmente appreso altrove, per esempio alla scuola elementare, e su cui la formazione universitaria non necessariamente riesce a incidere. 14 Tabella 19 – Stime di modelli di regressione lineare per il punteggio riscalato nel modulo PT.4 Variable Eta Femmina Anzianita diploma Voto diploma Media voti borsa studio Tecn/Prof Classico Altro liceo Altro istit Lavoratore Lingua non ital Cittad non ital lingue frequanza iscritti Fuori comune Fuori provincia Fuori regione pc tablet smartphone Madre non dipl Madre laureata Padre non dipl Padre laureato Madre dirig Madre operaia Madre inoccup Padre dirig Padre operaio Padre inoccup VQR CdL BO CA FI LE ME MI NA PD PO RM2 UD Sanitaria Scientifica Sociale Nord Sud-Isole Constant N df_m r2_a F rmse all1 -3.432 -2.251 -0.128 1.670*** 13.006*** -4.174 -36.506*** 6.376 -17.834* -25.116** all2 1.208 -7.838 -3.186 1.315*** 14.871*** 5.049 -26.406*** 9.813 -10.055 2.705 -2.694 -34.456*** -91.195*** -5.127 -1.394 0.002 -0.290 9.112 -8.556 -8.366 -1.724 2.790 -5.032 1.259 -2.111 -0.086 -8.156 -15.277* -23.044*** 9.371 1.002 -6.607 all3 3.517 -6.359 -5.596** 1.271*** 15.219*** 5.632 -24.965*** 6.996 -7.989 0.454 -4.018 -33.708*** -91.643*** -5.888 -1.834 0.002 -1.300 5.766 -7.133 -8.871 -3.065 3.296 -7.105 -1.109 -1.410 -3.701 -12.527 -14.629* -25.249*** 12.381 0.268 -4.651 61.310*** all4 -2.814 -10.651* 1.243 1.572*** 14.864*** 9.164 -33.573*** 11.236* -10.891 -7.996 -7.755 -33.120*** -100.628*** -3.435 -0.221 0.003** 0.447 -9.700 -21.688** -8.048 -2.343 3.572 -7.029 -1.621 -0.934 -3.197 -7.150 -12.322 -14.564** 10.175 0.026 -3.822 17.058 46.469*** -17.458 23.044** -59.066*** -68.775*** 42.986*** -44.681*** 33.080*** 56.998*** -28.564 51.827*** all5 -3.906 -12.493** 2.369 1.628*** 16.081*** 9.231 -34.533*** 7.528 -13.354 -5.560 -8.428 -34.332*** -95.418*** -1.037 3.997 -0.001 2.278 -4.447 -18.452** -5.405 -2.293 4.028 -6.732 -0.958 -1.205 -2.285 -7.891 -14.055* -16.971** 10.388 0.760 -3.060 27.830** 1390.510*** 1523.659*** 1509.616*** 1442.009*** 11.967 0.243 38.988*** 26.589*** -60.074*** 1440.828*** 6290 11 .0487 30.2 198 5918 33 .0603 13.1 194 5540 34 .0632 12.5 193 5540 45 .0833 12.6 191 5540 39 .0841 14.7 191 legend: * p<.1; ** p<.05; *** p<.01 4 Gli errori standard su cui si basa il sistema di asterischi di fianco ai coefficienti stimati (*: valore-p<:1; **: valore-p<:05; ***: valore-p<:01) sono robusti in presenza di eteroschedasticità di forma ignota. Le statistiche riportate nella parte inferiore della tabella sono la numerosità campionaria (N), il numero di covariate del modello escluso il termine costante (df m), l'R2 aggiustato per i gradi di libertà (r2 a), la statistica F per la significatività della regressione (F), e l'errore quadratico medio della regressione (rmse). 15 Tabella 20 – Stime di modelli di regressione lineare per il punteggio riscalato nel modulo SRQ.5 Variable Eta Femmina Anzianita diploma Voto diploma Media voti borsa studio Tecn/Prof Classico Altro liceo Altro istit Lavoratore Lingua non ital Cittad non ital lingue frequanza iscritti Fuori comune Fuori provincia Fuori regione pc tablet smartphone Madre non dipl Madre laureata Padre non dipl Padre laureato Madre dirig Madre operaia Madre inoccup Padre dirig Padre operaio Padre inoccup VQR CdL BO CA FI LE ME MI NA PD PO RM2 UD Sanitaria Scientifica Sociale Nord Sud-Isole Constant N df_m r2_a F rmse all1 -8.383*** -29.570*** 2.614 1.579*** 14.227*** -15.790** -33.257*** -0.739 -36.656*** -21.243* all2 -5.625** -32.524*** 0.547 1.564*** 13.490*** -13.038* -29.074*** 1.696 -46.065*** -2.963 5.676 -42.518*** -76.122*** 1.980 -27.255** -0.002 -14.387** 0.243 -18.719** -2.521 -13.060 1.973 -2.983 7.988 -3.971 -3.687 -9.461 -5.739 -16.788** 21.947*** 2.510 -2.642 all3 -5.446** -30.525*** 0.491 1.439*** 13.509*** -13.438* -27.653*** 1.551 -46.753*** -1.037 2.391 -44.645*** -72.272*** 1.021 -20.393* -0.003* -13.384* -1.134 -18.157** -0.363 -10.683 0.356 -3.730 7.658 -1.440 -5.518 -10.829 -4.526 -16.872** 20.393** -0.289 -1.493 71.350*** all4 -13.328*** -34.036*** 9.192*** 1.841*** 12.660*** -10.409 -34.942*** 6.568 -47.191*** -10.100 -1.179 -43.497*** -79.405*** 2.501 -16.387 -0.001 -13.237* -17.111** -34.188*** -0.174 -10.111 0.881 -3.228 6.160 -0.584 -6.128 -4.189 -1.728 -5.192 18.623** -0.831 -0.718 25.004** 53.931*** -19.525 32.639*** -65.697*** -73.787*** 33.910*** -68.904*** 34.049*** -0.299 -37.804** 50.114*** all5 -12.522*** -30.208*** 8.365*** 1.705*** 16.268*** -8.247 -30.762*** 10.134 -36.313*** -0.129 1.831 -41.653*** -73.677*** 5.424 -20.530* -0.002 -4.032 -8.789 -27.694*** 1.970 -9.928 0.744 -1.330 5.478 0.243 -6.296 -5.007 -3.020 -8.115 17.206** -0.111 0.450 32.091*** 1334.413*** 1410.838*** 1320.336*** 1225.904*** 57.901*** 52.434*** 57.205*** 16.699*** -78.237*** 1272.850*** 6290 11 .0698 39.4 193 5918 33 .0816 16.1 191 5540 34 .0854 15.5 190 5540 45 .112 16.2 188 5540 39 .112 18.6 188 legend: * p<.1; ** p<.05; *** p<.01 5 Gli errori standard su cui si basa il sistema di asterischi di fianco ai coefficienti stimati (*: valore-p<:1; **: valore-p<:05; ***: valore-p<:01) sono robusti in presenza di eteroschedasticità di forma ignota. Le statistiche riportate nella parte inferiore della tabella sono la numerosità campionaria (N), il numero di covariate del modello escluso il termine costante (df m), l'R2 aggiustato per i gradi di libertà (r2 a), la statistica F per la significatività della regressione (F), e l'errore quadratico medio della regressione (rmse). 16 Risulta inoltre che soprattutto la provenienza degli studenti da una regione diversa da quella dell’ateneo influenza negativamente la performance degli stessi al test in entrambi in moduli SRQ e PT e quindi la performance complessiva. Per questo motivo ci e’ sembrato interessante analizzare, nella prossima sezione, la tipologia dei partecipanti al test, sfruttando una peculiarità della banca dati che contiene sempre un solo ateneo per regione, con l’eccezione del Lazio, anzi della città di Roma di cui sono presenti i due atenei di Sapienza e Tor Vergata. 4. Qualita’ dei corsi di laurea e scelta dell’ateneo da parte degli studenti che hanno partecipato a TECO: il caso degli atenei romani. L’analisi precedente ha mostrato il ruolo della qualita’ della ricerca sulla performance degli studenti iscritti agli atenei che hanno partecipato a TECO, ma ha anche mostrato che la frequenza alle lezioni non influenza affatto la loro performance, che e’ invece influenzata negativamente dalla mobilita’ degli stessi. Tali risultati ci hanno indotto a studiare le caratteristiche dei partecipanti a test per individuare le determinanti della loro scelta dell’ateneo in cui studiare soprattutto alla luce del fatto che essere fuori sede influenza negativamente la performance. La nostra attenzione va ancora al ruolo della variabile che misura la qualita’ della ricerca degli atenei nella determinazione della scelta degli studenti, a parita’ di altre condizioni. Tale aspetto ci sembra di particolare interesse in ambito accademico, dal momento che e’ possibile verificare empiricamente se la componente di insegnamento dell’universita’ sia statisticamente legata alla componente di ricerca, due ambiti che sono usualmente visti come relativamente slegati nella determinazione delle carriere degli attori coinvolti, sia dal punto di vista dei docenti sia degli studenti universitari. Come accennato, la nostra analisi e’ resa possibile dalla presenza, nel campione di atenei che hanno partecipato alla sperimentazione TECO, di due atenei locati nella stessa città: Roma. Questo implica che e’possibile tentare di spiegare i motivi che hanno spinto gli studenti verso un ateneo piuttosto che un altro, rispettando quanto piu’ possibile le parita’ di condizioni locali e regionali. In altri termini, stiamo cercando di rispondere alle domande seguenti: quali sono le varibili che hanno determinato la scelta degli studenti partecipanti a TECO a iscriversi a un particolare ateneo piuttosto che a un altro? Quanto e’ importante la qualita’ della ricerca nella determinazione di questa decisione? E’ risaputo (vedi Kostoris, 2014) che le variabili di contesto familiare svolgono - in Italia ma presumibilmente anche all’estero - un ruolo determinante nel tipo di scelta che cerchiamo di spiegare. Nel tentativo di verificare se e quanto queste variabili siano determinanti, la strategia di scelta della forma ridotta del modello da presentare e’ stata duplice. Da un lato, abbiamo aggiunto quante piu’ possibili variabili di controllo all’insieme di variabili esplicative. Per questo motivo, il set di variabili che utilizziamo per spiegare la decisione di iscriversi a uno degli atenei romani ricalca da vicino quello utilizzato per spiegare i risultati del test TECO. Dall’altro lato, abbiamo condotto l’analisi utilizzando 17 sottoinsiemi via via decrescenti di osservazioni in modo che fosse possibile ipotizzare che la scelta fosse dipesa teoricamente sempre meno da variabili di contesto locale e familiare. In altri termini, partiamo da una analisi relativa all’intero campione di individui, ci muoviamo verso il sottocampione di individui che hanno deciso di studiare fuori provincia, per arrivare a quel sottocampione di studenti che hanno scelto di studiare fuori sede e fuori regione. L’approccio utilizzato è quello di decisione logistica multinomiale, in cui abbiamo costruito la variabile dipendente in modo che il valore zero sia associato alla decisione di iscriversi a un ateneo non locato nella capitale (decisione che rappresenta il cosiddetto stato base); il valore 1 della variabile e’ associato alla scelta di iscriversi a Roma-Tor Vergata e, infine, il valore 2 e’ associato alla scelta di iscriversi a RomaSapienza. La tabella 14 riporta il dettaglio dell’analisi condotta per: tutti gli studenti partecipanti a TECO (coeff1); tutti gli studenti fuori sede che arrivano da fuori provincia (coeff2); tutti gli studenti iscritti che arrivano da fuori regione (coeff3). Infine, la tabella 15 considera i risultati per tutti gli studenti fuori sede, che arrivano da fuori regione e scelgono Roma-Sapienza rispetto a Roma-Tor Vergata. In assenza di variabili che possano essare utilizzate come strumenti, il punteggio TECO non è stata incluso in questa analisi che percio’ serve a individuare la tipologia del campione di studenti. Gli errori standard riportati in tabella sono robusti alla eventuale presenza di eteroschedasticita’. Dalla tabella 14 risulta che le caratteristiche individuali degli studenti e molte delle variabili di contesto sono statisticamente significative e con il segno atteso. Data la storia dei due atenei e la centralita’ che Roma-Sapienza riveste all’interno del panorama universitario Italiano, l’effetto delle variabili di contesto risulta essere piu’ rilevante per gli studenti che scelgono di iscriversi all’Universita’ Roma-Tor Vergata rispetto a quelli che scelgono Roma-Sapienza. Questo risultato e’ in linea con le aspettative. Quest’ultimo ateneo e’ inoltre scelto in eguale misura da maschi e femmine, e di eta’ media statisticamente superiore tanto al resto d’Italia che al secondo ateneo romano sotto esame. I risultati associati al voto di diploma, che a nostro parere, puo’ essere utilizzato come una misura della qualita’ dei partecipanti al test nei vari atenei, mostrano un risultato positivo degli iscritti a Roma-Tor Vergata sia rispetto all’altro ateneo romano sia al resto d’Italia. La variabile che riveste maggior interesse per la nostra analisi, cioè quella che indica la qualita’ dei corsi di studi misurata dai risultati alla VQR, risulta essere significativa con valore negativo. Questo risutato suggerisce che la qualita’ dell’ateneo, nella misura in cui e’ catturata dalla variabile VQR, e’ rilevante nella scelta dell’ateneo in cui gli studenti hanno deciso di iscriversi. Il segno negativo e’ dovuto al fatto che i due atenei romani hanno una VQR piu’ bassa della media degli altri atenei Italiani. A sostegno di questa ipotesi troviamo che l’effetto negativo sulle scelta degli studenti è piu’ forte per Roma-Tor Vergata, che ha appunto ottenuto una valutazione VQR leggermente inferiore a quella che ha ottenuto RomaSapienza. I risultati dell’analisi riportati fino a questo momento mostrano che esistono delle differenze statisticamente significative nell’impatto delle variabili che determinano la scelta di iscriversi a Roma18 Sapienza e Roma-Tor Vergata rispetto al resto d’Italia. In quanto segue approfondiamo invece le differenze tra i due atenei romani. Nel portare avanti questa analisi, tentiamo di ridurre al minimo l’impatto delle variabili di contesto, dal momento che sappiamo essere determinanti di queste decisioni e che tale rilevanza rischia di nascondere l’eventuale effetto di altre variabili di interesse. Abbiamo dunque deciso, nel produrre i risultati riportati nella tabella 15, di utilizzare unicamente il campione di studenti partecipanti a TECO che, da fuori regione, hanno deciso di scriversi a uno dei due atenei romani: la distanza con la regione in cui l’ateneno e’ locato riduce appunto il ruolo delle variabili di contesto. In questo caso la variabile dipendente assume valore 1 se lo studente risulta iscritto a Roma-Sapienza e 0 se e’ iscritto a Roma-Tor Vergata. Data la natura della variabile dipendente, l’analisi di avvarra’ di un approccio di stima di logit binomiale, in cui si modella la probabilita’ di iscriversi a Roma-Sapienza. Un segno positivo associato a un coefficiente statisticamente significativo deve intendersi a favore di questa scelta, quando il segno sia negativo e il coefficiente statisticamente significativo il risultato deve intendersi come a favore della scelta di iscriversi a Roma-Tor Vergata. A conferma dell’analisi precedente, gli studenti che hanno partecipato a TECO e che hanno scelto RomaSapienza hanno avuto un voto del diploma inferiore rispetto agli studenti che scelgono Roma-Tor Vergata; inoltre, nuovamente a conferma dell’analisi precedente, le variabili di contesto familiare sembrano rivestire un ruolo molto importante nella scelta tra i due atenei. In questo senso, i coefficienti significativi relativi al contesto di provenienza sembrano indicare che essi arrivano da famiglie in cui la madre non e’ occupata o svolge un lavoro che qualifica come operaia, e in cui entrambi i genitori sono non diplomati. Con la sola eccezione della laurea della madre, i partecipanti a TECO che hanno deciso di iscriversi a Roma-Sapienza sembrano provenire da contesti svantaggiati rispetto a quelli che decidono per Roma Tor-Vergata. La variabile che misura la qualita’ della ricerca dell’ateneo ha un effetto positivo nella scelta, ossia il miglior risultato in termini di VQR di Sapienza rispetto a Tor Vergata sembra aver avuto un effetto significativo e positivo nella preferenza per il primo ateneo. Questo suggerisce ancora una volta che la qualita’ dell’ateneo rappresenta una varibile significativa nell’attrarre studenti universitari. 19 Tabella 14 Variable coeff_1 coeff_2 coeff_3 0.183** -0.370 -0.259*** -0.008 0.089 -14.509*** -0.455 1.109* -0.590 0.192 -13.860*** -11.576*** -0.301 -1.107** 0.591 0.137*** -0.336** 0.385 -0.437 -0.239 -17.313*** -18.583*** 0.279 -13.495*** -1.166 -0.774 -1.332 0.348 -2.741*** -0.482 -1.211 0.129 -0.849 0.683 -14.120*** -0.404 1.762*** -0.840 -1.212 -0.550 -2.766** -0.479 -2.080 -0.673 0.112 -0.158 0.365 -0.560 -0.050 -0.308* 0.025 -0.080*** -0.054 -0.662*** 0.070 -1.018*** -1.996*** -0.619** 0.309 -0.156 -0.168 -0.085 0.181 -0.047*** -0.062 -1.355*** -0.727*** -0.979*** -1.802*** -0.329 -0.534 -1.802** -0.410** 0.036 -0.226 -0.149 -2.428*** 0.124 0.443* 1.101*** -0.272 -0.011 0.141 1.343*** -0.046 0.219 -0.180 -0.013 -2.017*** -0.000 0.337 0.187 -0.027 0.160 0.464 2.128*** 1735 46 906 46 0 1 Eta Femmina Anzianita diploma Voto diploma Media voti Tecn/Prof Classico Altro liceo Altro istit Lavoratore Lingua non ital Cittad non ital Fuori comune Fuori provincia Fuori regione Madre non dipl Madre laureata Padre non dipl Padre laureato R_COURSE_N_VQR Madre dirig Madre operaia Madre inoccup Padre dirig Padre operaio Padre inoccup Constant 0.088** -0.675*** -0.152*** 0.008 -0.042 -1.021*** 0.343** -0.686* -0.099 0.090 0.316 -1.620 -0.839*** -1.873*** -1.395*** -0.410* -0.339* -0.229 -0.568*** Eta Femmina Anzianita diploma Voto diploma Media voti Tecn/Prof Classico Altro liceo Altro istit Lavoratore Lingua non ital Cittad non ital Fuori comune Fuori provincia Fuori regione Madre non dipl Madre laureata Padre non dipl Padre laureato R_COURSE_N_VQR Madre dirig Madre operaia Madre inoccup Padre dirig Padre operaio Padre inoccup Constant 0.076*** -0.136** -0.079*** -0.060*** -0.013 -0.964*** -0.222*** -1.003*** -1.685*** -0.100 0.155 -0.497** -1.148*** -1.412*** -0.379*** -0.078 -0.072 -0.152* -0.168** -1.361*** 2 0.317*** Statistics N df_m 6346 38 legend: * p<.1; ** p<.05; *** p<.01 20 Tabella15 Variable R_COURSE_N_VQR Eta Femmina Anzianita diploma Voto diploma Media voti Tecn/Prof Classico Altro liceo Altro istit Fuori provincia Lavoratore Lingua non ital Madre non dipl Madre laureata Padre non dipl Padre laureato Madre dirig Madre operaia Madre inoccup Padre dirig Padre operaio Padre inoccup Constant coeff 1.979* 0.051 0.590 -0.007 -0.110*** -0.002 -0.171 0.339 -1.779*** -1.515 -0.564 -0.624 -0.114 -0.903* 1.614** 1.467** -0.413 0.058 1.962** 1.074** 0.563 -0.281 0.513 0.408 N df_m 538 23 legend: * p<.1; ** p<.05; *** p<.01 5. Conclusioni Estendendo l’analisi svolta da Peracchi (2014) abbiamo verificato l’impatto sulla performance degli studenti al test TECO delle seguenti variabili: la qualità del corpo docente, misurata dalla VQR dei docenti incardinati sui Corsi di studi, un indicatore indiretto della fascia di reddito (bassa) rappresentato dagli studenti che usufruiscono di agevolazioni per il diritto allo studio; la frequenza alle lezioni; la conoscenza di almeno un’altra lingua straniera; le disponibilità di strumenti di comunicazione e apprendimento, quali PC, smartphone e tablet. Abbiamo inoltre analizzato la tipologia di studenti che hanno partecipato al test TECO verificando le determinanti della loro scelta di iscriversi a un particolare ateneo. Sotto quest’ultimo aspetto, sfruttando una peculiarita’ della banca dati che contiene un ateneo per regione ad eccezione del Lazio, abbiamo potuto verificare che, per esempio, gli studenti fuori sede che hanno scelto di studiare a Roma-Sapienza sono quelli meno bravi in termini di dotazione iniziale (hanno il punteggio alla maturita’ piu’ basso) scelgono Sapienza per i suoi migliori risultati in termini di ricerca e provengono da famiglie di ceto medio basso. Stiamo parlando, ovviamente, solo dei partecipanti al test non dell’universo degli studenti. Quanto alle determinanti della performance al test, tra i risultati ottenuti, uno in particolare ci e’ sembrato interessante per quanto contro intuitivo: la qualità dei docenti dei corsi di studi influenza positivamente la 21 performance degli studenti, ma e’ irrilevante il fatto che gli stessi studenti frequentino le lezioni, che riteniamo essere un elemento fondamentale della formazione universitaria. Tale risultato - che emerge per la valutazione complessiva del test e per il modulo PT - ci ha indotto a riflettere su cosa il test stesse effettivamente valutando e, soprattutto, se e quanto fosse in grado di misurare la formazione ricevuta all’università. Considerando le caratteristiche del modulo PT – che valuta la capacità dello studente di prendere una decisione o una posizione e sostenerla con un'argomentazione appropriata, ma anche l’efficacia della scrittura e la tecnica di scrittura individuata nella conoscenza delle regole dell’italiano scritto (concordanze, tempi, uso delle maiuscole, punteggiatura e ortografia) e padronanza della lingua, compresi sintassi e lessico - siamo riusciti a spiegare perché’ la frequenza alle lezioni risulta ininfluente sulla performance dei partecipanti a TECO. Di fatto questo modulo del test (che, peraltro traina il risultato complessivo) non sta valutando la formazione ricevuta all’università, ma piuttosto la dotazione di formazione che gli studenti si ritrovano al terzo anno di università, ma che hanno ragionevolmente appreso altrove, per esempio alla scuola elementare, e su cui la formazione universitaria non necessariamente riesce a incidere. Che dire pertanto dell’uso di TECO come strumento di valutazione? L’uso del test alla fine del corso di studi dice poco o nulla sulla qualita’ degli atenei. Potrebbe essere rilevante soltanto se ogni coorte di studenti fosse sottoposta al test all’ingresso e alla fine del corso di studi in modo da poter valutare in modo comparabile il valore aggiunto dell’istruzione universitaria rispetto alla dotazione iniziale. Bibliografia Cipollone P. (2014), “Criteri di selezione delle domande CAE+ e adattamento TECO all’Italia”, relazione presentata alla Conferenza “Le competenze dei laureandi italiani nella sperimentazione TECO”, 11 marzo 2014, Roma, Auditorium Antonianum. Kostoris, F. (2014), Relazione sui principali risultati della sperimentazione TECO”, relazione presentata alla Conferenza “Le competenze dei laureandi italiani nella sperimentazione TECO”, 11 marzo 2014, Roma, Auditorium Antonianum. Peracchi, F. (2014), “TECO 2013: un primo esame dei risultati”, dattiloscritto, Università di Tor Vergata. Ricci R. (2014), “Il laboratorio cognitivo e le caratteristiche tecniche di TECO” , relazione presentata alla Conferenza “Le competenze dei laureandi italiani nella sperimentazione TECO”, 11 marzo 2014, Roma, Auditorium Antonianum. Vendruscolo, F. “La logica dello scoring”, relazione presentata alla Conferenza “Le competenze dei laureandi italiani nella sperimentazione TECO”, 11 marzo 2014, Roma, Auditorium Antonianum. 22