L`EFFICACIA DEI CORSI DI FORMAZIONE PROFESSIONALE PER

 L’EFFICACIA DEI CORSI
DI FORMAZIONE PROFESSIONALE PER DISOCCUPATI:
i risultati di una analisi condotta in Piemonte
Valentina Battiloro (ASVAPP – Progetto Valutazione)
Luca Mo Costabella (ASVAPP – Progetto Valutazione)
marzo 2014 1.
Introduzione Negli ultimi anni buona parte delle risorse destinate alle politiche attive del lavoro è stata investita
nella formazione professionale. A fronte di un impegno economico consistente è tuttavia ancora
scarsa l’evidenza circa la reale efficacia di questa misura, intesa come capacità di provocare dei
cambiamenti in chi la riceve. L’influenza esercitata dallo svolgimento di un corso di formazione
può essere di varia natura: per esempio può contribuire all’aumento delle competenze professionali
del partecipante, può facilitarne il reingresso nel mercato del lavoro, può indurlo (soprattutto nel
caso dei più giovani) a intraprendere altre esperienze formative o un nuovo percorso di studi. Nel
caso di corsi destinati ai disoccupati l’attenzione maggiore è tuttavia rivolta agli esiti occupazionali,
e l’efficacia è quindi intesa soprattutto come capacità della formazione professionale di migliorare
le opportunità lavorative dei partecipanti.
Solo negli ultimi anni in Italia si è vista una certa diffusione delle valutazioni degli effetti della
formazione, principalmente per via delle richieste contenute nei vari bandi di valutazione
indipendente dei programmi cofinanziati dal FSE. Gli adempimenti a queste richieste hanno
prodotto diversi tentativi di analisi, realizzate con differenti disegni.
Quella presentata nel seguito è un’esperienza di valutazione, condotta in un momento di poco
precedente alla “diffusione indotta” di questi studi, realizzata in Piemonte con l’obiettivo di stimare
gli effetti della formazione professionale per disoccupati nel 2008-2009. Questa sintesi si propone
di sottolineare le scelte metodologiche, i punti di forza e debolezza dell’impianto analitico proposto
in relazione alle possibili alternative, e di descrivere i principali risultati ottenuti.
2.
La stima degli effetti in termini controfattuali I corsi di formazione professionale svolti dai disoccupati hanno “prodotto un effetto” sugli esiti
occupazionali dei partecipanti?
Per rispondere a questa domanda è possibile utilizzare diversi approcci che hanno in comune la
necessità di tradurre la domanda sull’efficacia in termini controfattuali: “se i partecipanti ai corsi
non vi avessero partecipato, la loro situazione lavorativa sarebbe stata diversa?”. La risposta a
questo quesito implica un confronto tra due situazioni: quella reale, in cui i formati hanno
effettivamente svolto il corso (la situazione fattuale), e quella immaginaria in cui si sarebbero
trovati se non lo avessero fatto (situazione controfattuale). Mentre la situazione fattuale è
direttamente osservabile, quella controfattuale è puramente ipotetica. Per quanto sia impossibile
osservarla direttamente, si può però cercare di fornirne una buona approssimazione.
La via più indicata per approssimare “quello che sarebbe successo in assenza di formazione” è
l’osservazione di un gruppo di persone simili che non abbiano svolto la formazione, o gruppo di
controllo. L’individuazione di questo gruppo è un passo delicato nella scelta del disegno di analisi:
il gruppo dei trattati (i formati) e quello di controllo (i non formati) dovrebbero essere caratterizzati
da simili condizioni di partenza (in altri termini: composti da persone che, prima della formazione,
avevano caratteristiche simili); solo in questo caso si può infatti supporre che un gruppo possa
fornire una buona approssimazione del controfattuale per l’altro (essendo simili in partenza, simili
sarebbero stati gli esiti lavorativi se nessuno avesse partecipato ai corsi). Maggiore la somiglianza,
minore il rischio che le stime degli effetti soffrano di “distorsione da selezione” (selection bias). Nel
caso di valutazioni non sperimentali, nelle quali il gruppo di controllo va spesso costruito a
posteriori, la stima degli effetti va prodotta ricorrendo a tecniche statistiche ad hoc per
l’eliminazione della “distorsione da selezione”, ma è prima ancora importante individuare un
gruppo di controllo che dia a priori una buona garanzia rispetto alla confrontabilità con il gruppo dei
trattati.
Nel caso della formazione professionale un primo approccio può basarsi sull’utilizzo come gruppo
di controllo di quanti si sono iscritti alla formazione e si sono ritirati ad un certo punto del percorso.
Questa scelta ha certamente dei punti di forza, tra i quali quello di individuare un momento comune
a partire dal quale osservare i due gruppi (l’iscrizione al corso) e la riduzione del rischio di
distorsione legata alla volontà di partecipare ai corsi (tutti in principio manifestano l’interesse di
partecipare); dall’altro lato, questa scelta porta con sé alcuni rilevanti limiti. Il primo è la scarsa
numerosità delle unità di controllo (soprattutto se circoscritte a quelli che non hanno terminato il
corso solo per alcuni specifici motivi). Il secondo, più importante, e sempre legato ai motivi di
abbandono, riguarda il fatto che in buona misura coloro che si ritirano dalla formazione lo fanno
perché nel frattempo hanno trovato un lavoro. Il processo di selezione è quindi direttamente
connesso agli esiti lavorativi successivi che costituiscono l’outcome dell’analisi; il confronto tra gli
esiti dei due gruppi produce stime a forte rischio di distorsione, e non è garantito che anche le
tecniche più sofisticate di controllo del selection bias possano correggerle in modo adeguato.
Un secondo approccio potrebbe basarsi sul confronto tra gli esiti occupazionali dei formati e quelli
dei non formati non ammessi ai corsi per mancanza di posti disponibili. Questo secondo approccio,
simile per molti aspetti ad un esperimento controllato in cui la partecipazione o meno ad un
determinato intervento è frutto del caso (ad esempio l’ordine di arrivo delle domande di
partecipazione), garantirebbe la somiglianza tra partecipanti e non, anche in termini di motivazioni
iniziali. Il limite all’utilizzabilità di questo approccio è in primo luogo legato al fatto che nella
maggior parte dei casi non si verifica un esubero delle richieste rispetto ai posti disponibili nei
singoli corsi. Inoltre, nei rari casi in cui questo avviene non è possibili rintracciare agevolmente
informazioni su quanti fanno domanda di partecipazione e non vengono successivamente accolti,
dal momento che le agenzie formative nella maggior parte dei casi non si attrezzano a questo scopo.
Questo implicherebbe dunque approntare un sistema di raccolta dati potenzialmente oneroso, sia dal
punto di vista organizzativo che dal punto di vista economico.
Un approccio alternativo, di seguito descritto, si basa sull’idea di confrontare gli esiti dei formati
(che erano disoccupati al momento di inizio del corso) con quelli di altri disoccupati non formati.
La sfida è quella di individuare due gruppi di disoccupati a una certa data, uno dei quali è composto
di persone che svolgono successivamente un corso di formazione. Una possibilità è quella di
concentrarsi sui disoccupati iscritti ai Centri per l’Impiego (CPI).
Questo tipo di approccio può soffrire da un lato di un limite di generalizzabilità dei risultati, dal
momento che il gruppo di formati osservato si limita agli iscritti ai CPI, che sono solo un
sottogruppo (in verità più che nutrito) dei disoccupati che frequentano corsi di formazione
professionale. Per quanto riguarda le minacce alla validità dei risultati, va considerato che la scelta
di partecipare o meno ai corsi, che differenzia i due gruppi, potrebbe essere il riflesso di
caratteristiche differenti in partenza. Ma in questo caso si tratta, più che di una scelta maturata a
posteriori e potenzialmente in stretta connessione con gli esiti lavorativi successivi, di una scelta
fatta a priori, legata in maggiore misura alla situazione precedente all’inizio dei corsi. Questa
situazione è il più classico caso di autoselezione a cui si cerca classicamente di rimediare con le
tecniche ad hoc di valutazione non sperimentale. È comunque determinante, per la validità delle
stime, che queste siano prodotte ricorrendo alle citate tecniche in modo competente e consapevole;
altrettanto importante, per ottenere stime affidabili è necessario disporre di un ricco set di
informazioni sulle condizioni iniziali dei due gruppi.
Per quanto riguarda i dati utilizzati, l’analisi si basa sugli archivi amministrativi del Sistema
Informativo Lavoro Piemonte (SILP). È un sistema che, al pari degli altri archivi amministrativi,
consente di raccogliere informazioni a basso costo, a fronte di un maggiore impegno, crescente con
la complessità del sistema (non irrilevante nel caso del SILP, se se ne vogliono sfruttare a fondo le
potenzialità), per la manipolazione ed elaborazione preventiva delle basi di dati. Per quanto riguarda
la ricchezza delle informazioni, il SILP permette di osservare le anagrafiche di base, il livello di
istruzione, gli eventuali rapporti con i CPI e la partecipazione in alcune politiche del lavoro. Più
importante, attraverso l’archivio delle Comunicazioni Obbligatorie di avviamento (COB), anch’esse
contenute in SILP, è possibile non solo osservare gli esiti lavorativi che definiscono gli outcome
dell’analisi, ma fornire una descrizione ricca di dettagli della storia lavorativa che ha preceduto
l’iscrizione al CPI (che sta all’origine della creazione dei due gruppi di analisi). La storia lavorativa
precedente è ben nota per essere la principale determinante degli esiti lavorativi successivi di un
disoccupato.
Una volta definiti i gruppi di analisi e costruito il dataset a partire dai dati del SILP, le stime degli
effetti sono prodotte ricorrendo al propensity score matching, illustrato nel paragrafo successivo.
3.
La metodologia adottata: il matching sul propensity score Una volta individuati i due gruppi di soggetti da cui partire per stimare l’effetto dei corsi di
formazione, cioè gli iscritti ai CPI in un certo periodo che abbiano o meno frequentato un corso di
formazione, è necessario ricorrere a un metodo che consenta di confrontare credibilmente i due
gruppi. Il propensity score matching è una procedura basata sull’abbinamento di ogni individuo che
ha partecipato a un corso con uno o più individui non formati ad esso simili. Per ogni formato, gli
esiti lavorativi dell’insieme di controlli ad esso abbinati ne stimeranno il “personale” controfattuale.
La somiglianza tra individui sulla quale si basa l’abbinamento è determinata dal confronto dei
propensity score, cioè della probabilità condizionata alle caratteristiche individuali di partecipare a
un corso. Questa può essere vista come un indice sintetico di tutte le caratteristiche individuali
osservabili: due individui con propensity score simile saranno caratterizzati da condizioni di
partenza simili.
Questo procedimento assicura la possibilità di ottenere una stima corretta dell’effetto ad una
condizione: la partecipazione ai corsi deve dipendere esclusivamente da caratteristiche osservabili.
Se esistessero delle caratteristiche non osservabili che hanno contribuito a determinare la
partecipazione, le stime dell’effetto rimarrebbero parzialmente distorte. Per quanto sia però
realisticamente impossibile riuscire a osservare tutti i fattori che hanno influenzato la probabilità di
partecipare, a livello pratico è importante osservarne la maggior parte, in modo da mantenere entro
certi limiti l’eventuale distorsione residua. Per questo motivo, l’utilizzo del metodo di stima è
subordinato (oltre che alla scelta di un gruppo di controllo che non pregiudichi a priori la credibilità
dell’analisi, come già detto) alla disponibilità di un ampio set di informazioni individuali sulle
condizioni di partenza; in caso contrario, nessun metodo può, per quanto sofisticato, ridurre in
modo soddisfacente le distorsioni delle stime.
A questo proposito, l’utilizzo del SILP dà buona fiducia: come citato nella sezione precedente,
nonostante non sia esaustivo delle condizioni individuali in tutte le potenziali dimensioni di
interesse (mancano ad esempio le condizioni famigliari), esso assicura la possibilità di osservare
una vasta gamma di informazioni (soprattutto, di informazioni che hanno un ruolo predominante
nello spiegare gli esiti lavorativi), e di conseguenza di eliminare una parte consistente delle
differenze di partenza. A titolo di esempio, tra le caratteristiche rispetto alle quali si verifica la
somiglianza (e quindi si controlla per le differenze di partenza) si possono citare:
• genere, età, nazionalità, residenza;
• titolo di studio;
• qualifiche per cui ci si dichiara in cerca di lavoro;
• storia lavorativa nei due anni precedenti all’iscrizione al CPI: serie storica a cadenza mensile
delle condizioni lavorative, numero di lavori svolti, contratti di lavoro prevalenti.
Il propensity score individuale, stimato sulla base delle caratteristiche descritte, può variare dallo
0% (probabilità minima di partecipazione a un corso) al 100% (probabilità massima). Sotto
opportune (e verificabili) condizioni, due individui (formato e non formato) con propensity score
simile hanno mediamente simili condizioni di partenza. In altri termini, se nessuno partecipasse a un
corso di formazione ci aspetteremmo di osservare esiti lavorativi simili (quindi, se sono diversi, ne
deduciamo un effetto della formazione). Dopo la stima del propensity score, si procede
all’abbinamento di formati e non formati utilizzando la tecnica dell’abbinamento a raggio: un
formato con propensity score pari a p è abbinato per confronto con tutti i non formati il cui score
abbia una distanza da p non superiore a una soglia prefissata. Nel nostro caso, la soglia è fissata a
un punto percentuale.
La procedura utilizzata si basa inoltre sul matching esatto su alcune caratteristiche: gli individui
abbinati devono avere non solo un simile propensity score, ma devono essere identici rispetto a
genere, età, nazionalità e anno di iscrizione al CPI.
4.
Le caratteristiche dei due gruppi osservati L’analisi condotta in Regione Piemonte si è basata sulla popolazione degli iscritti ai CPI regionali
tra il 2007 e il 2008 e dei formati nel 2008-2009. L’universo di iscritti ai CPI tra il 2007 e il 2008
comprende circa 212.000 persone. A partire da questo macrogruppo si operano alcune restrizioni.
La prima selezione porta all’esclusione degli iscritti con disabilità ratificata ai sensi della l.68/99, gli
iscritti nelle liste di mobilità e coloro per cui il CPI non ratifica l’effettiva disponibilità al lavoro.
Un ulteriore criterio di selezione comporta l’esclusione dei partecipanti alla formazione che non
hanno portato a termine il corso con successo. Questi vengono esclusi sia dal gruppo dei formati
che dal gruppo di controllo.
I criteri di selezione descritti portano a ridurre l’universo iniziale a circa 120.000 iscritti (4.403
formati, 115.775 non formati).
Il gruppo dei non formati è quindi particolarmente numeroso rispetto a quello dei formati. Questo
rappresenta un indubbio vantaggio, dal momento che per ogni formato è possibile pescare da un
ampio bacino per la ricerca di non formati ad esso simili. Ne consegue la possibilità di trovare, per
quasi tutti i formati, degli individui “abbastanza simili” rispetto ai quali imbastire un confronto. Dei
4.403 partecipanti ai corsi, solo 10 sono stati esclusi dall’analisi per mancanza di un termine di
paragone soddisfacente.
La procedura di abbinamento utilizzato ha permesso di costruire, a partire da un bacino di iscritti
mediamente diversi dai formati, un gruppo di controllo con le stesse caratteristiche. Questo
consente di affermare con buona fiducia che, se nessuno avesse svolto corsi di formazione, i due
gruppi avrebbero mostrato dopo l’iscrizione esiti lavorativi simili, ed ha più senso condurre un
confronto per verificare in che misura la formazione professionale modifichi le opportunità
lavorative.
5.
Le stime ottenute L’analisi si concentra sulla condizione lavorativa degli iscritti ai CPI, declinata in due dimensioni:
• la probabilità di occupazione mensile nel 2010;
• la percentuale di tempo lavorato nel 2010.
In media, il miglioramento prodotto dalla partecipazione a un corso di formazione è di entità
marginale: la probabilità di occupazione nel 2010 è quasi identica a quella controfattuale, pari al
40% circa. Lo stesso vale per la percentuale di tempo lavorato in un anno, pari al 40% (circa 5 mesi
su 12) con o senza formazione professionale.
Tuttavia, le stime degli effetti mostrano una forte eterogeneità, ed è possibile identificare categorie
di beneficiari per cui la formazione produce un considerevole aumento delle opportunità lavorative;
questo comporta ovviamente che se ne trovino altre per cui si stima all’opposto una riduzione del
tasso di occupazione. Eventuali stime negative non sono necessariamente assurde (“potrà mai un
corso di formazione essere addirittura dannoso?”). Al di là di una possibile distorsione residua, è
ben noto il ruolo dell’effetto di lock in, tale per cui chi decide di partecipare a un certo intervento lo
fa in sostituzione ad altre attività (ad esempio una più intensa ricerca di lavoro) che, in un primo
momento, potrebbero dare luogo a esiti migliori.
Le analisi restituiscono un quadro complesso, dove gli effetti stimati mostrano sensibili differenze
tanto rispetto alle caratteristiche dei partecipanti quanto rispetto a quelle dei corsi frequentati.
Dal lato delle caratteristiche demografiche e sociali, la distinzione più evidente è quella relativa a
genere e nazionalità. Per quanto riguarda il genere dei partecipanti, si evidenzia per le donne un
aumento nella probabilità di occupazione di circa 5 punti percentuali (45% contro un valore atteso
di 40% circa), mentre all’opposto si stima per gli uomini una probabilità di 3-4 punti più bassa a
seguito della partecipazione ai corsi (hanno una probabilità di occupazione del 32%, con un
controfattuale stimato del 36%). Spostando l’attenzione sulla nazionalità, sono gli stranieri a
beneficiare in maggiore misura della partecipazione ai corsi: già dopo 12 mesi dall’iscrizione la
probabilità di occupazione è pari a quella che si sarebbe osservata senza formazione, per diventare
poi progressivamente superiore. Pur essendo visibile un effetto differenziale per le due
caratteristiche (anche considerando una al netto dell’altra), è forte la connessione tra le due, e in
particolare chi risulta beneficiare in larga misura della partecipazione ai corsi sembra essere la
popolazione femminile straniera.
Età e titolo di studio non sembrano invece svolgere un ruolo particolare nella determinazione degli
esiti. Infine, la storia lavorativa precedente all’iscrizione ai Centri comporta poche differenze negli
effetti prodotti dalla formazione.
Un secondo ordine di dettaglio riguarda la relazione tra tipologia di corso ed effetti prodotti: si può
affermare che gli unici corsi a produrre un visibile miglioramento della condizione lavorativa dei
partecipanti sono quelli nell’ambito sociosanitario (per l’appunto, quelli con una rilevante
partecipazione delle donne straniere). In tutti gli altri casi, la probabilità di occupazione osservata
non è superiore (anzi, mediamente inferiore di qualche punto percentuale) a quella che si sarebbe
osservata in assenza di partecipazione.
Un ultimo ordine di risultati riguarda la relazione tra effetti stimati e durata dei corsi (quest’ultima è
tra l’altro in stretta relazione con la tipologia di titolo rilasciato dopo il corso -attestato di frequenza,
qualifica, titolo di specializzazione-). I corsi sono stati riclassificati a questo scopo in tre gruppi:
• corsi “brevi”, di durata inferiore a 600 ore;
• corsi “medi”, di durata almeno pari a 600 ore e inferiore a 1000;
• corsi “lunghi”, di durata almeno pari a 1000 ore.
Nel caso dei corsi più brevi le stime restituiscono un quadro piuttosto simile a quello generale.
L’effetto medio dei corsi non è rilevante: la probabilità di occupazione nel 2010 (e così la
percentuale di tempo lavorato nell’anno) è quasi del 40%, e si discosta in misura marginale da
quella che si sarebbe osservata in assenza di formazione.
Per quanto riguarda i corsi di durata media, compresa tra le 600 e le 1000 ore, si stima un effetto
tendenzialmente negativo, mediamente di 5 punti percentuali.
Sono invece i corsi più lunghi a produrre i maggiori benefici: in media, partecipare a un corso
“lungo”, cioè di durata almeno pari a 1000 ore, implica un aumento della probabilità di occupazione
tra i 5 e i 15 punti percentuali. Questo ultimo risultato non è semplicemente un ulteriore riflesso del
ruolo svolto dai corsi sociosanitari, e di una loro eventuale maggiore frequenza in alcune classi di
durata: le stime relative ai corsi più lunghi sono diffusamente migliori per tutti gli ambiti formativi
osservati.
6.
Conclusioni La formazione professionale rivolta ai disoccupati ha come obiettivo prioritario quello di offrire un
supporto all’occupabilità dei partecipanti. Un’analisi degli effetti della formazione deve quindi
sensatamente concentrarsi sulla misura in cui coloro che frequentano i corsi aumentano le proprie
chance occupazionali.
L’analisi descritta si basa sul confronto tra gli esiti lavorativi di due gruppi di disoccupati, composti
dagli iscritti ai CPI, uno dei quali partecipa a corsi di formazione professionale. Le stime degli
effetti prodotti sono ricavate ricorrendo al propensity score matching, una procedura basata sul
confronto di ogni formato con uno o più disoccupati non formati che mostrino con esso una stretta
somiglianza. Il matching è una tecnica ad hoc per la stima degli effetti che garantisce buoni risultati,
ma a certe condizioni. A parte la necessità che (indipendentemente dalla tecnica utilizzata) il
disegno di analisi sia a priori solido e credibile, le variabili di controllo, o osservabili, devono essere
abbastanza ricche ed esaustive. Se così non fosse, la somiglianza iniziale tra formati e non formati
sarebbe verificata in modo parziale, con la conseguenza di un rischio di distorsione residua delle
stime. Per quanto riguarda questo aspetto, l’utilizzo dei dati amministrativi presenti nel Sistema
Informativo Lavoro Piemonte permette di disporre di un numero consistente di variabili, e
soprattutto di fornire una descrizione individuale ricca e dettagliata rispetto alle caratteristiche che
esercitano la maggiore influenza sulla successiva probabilità di occupazione.
L’analisi evidenzia un effetto medio molto contenuto: dopo avere terminato un corso di formazione
nel biennio 2008-2009, un disoccupato si ritrova nel 2010 ad avere mediamente la stessa probabilità
di occupazione che avrebbe avuto se non avesse partecipato al corso. Un’analisi stratificata per
sottogruppi mette in evidenza un quadro di maggiore dettaglio e varietà. In sintesi, si può affermare
che il beneficio maggiore dei corsi si osserva per la popolazione femminile e quella straniera. In
stretta connessione con questa evidenza è il fatto che gli effetti positivi più rilevanti (in alcuni casi,
gli unici) si stimano per i corsi nell’ambito sociosanitario. Il beneficio prodotto dalla formazione
varia inoltre con la durata dei corsi (che spesso corrisponde al rilascio di attestati differenti): sono in
particolare i corsi più lunghi a dare i risultati migliori.
In molti casi l’effetto stimato non è solo nullo, ma negativo. Fermo restando che ciò possa essere in
parte dovuto a una distorsione residua, rispetto alla quale la qualità del matching offre un buon
grado di fiducia, si ritiene che il risultato sia da addebitare all’effetto di lock in, cioè quel
meccanismo per cui il partecipante a un progetto o a un corso sperimenta nel breve periodo esiti
peggiori proprio a causa della partecipazione, che riduce l’intensità della ricerca di un lavoro. È un
evento che occorre con una certa frequenza nell’ambito delle politiche del lavoro e della
formazione; ciò che motiva l’esecuzione di analisi sul medio-lungo periodo, sul quale dovrebbe
essere possibile verificare se tale effetto si sia riassorbito e la politica analizzata abbia prodotto
infine un beneficio.