Dati e indicatori di interesse per la valutazione

Sistema Nazionale di Valutazione per la Politica Regionale
Gli effetti della politica regionale: gli strumenti per misurarli e valutarli
14-15 ottobre 2009
Dati e indicatori di interesse
per la valutazione
Paola Stocco
Il monitoraggio
Il monitoraggio può essere definito come l’osservazione e la
documentazione sistematica e continua di qualsiasi
processo in un certo periodo di tempo
Questo comporta diverse fasi:
• Impianto
• Implementazione
• Risultati
• Effetti
Isfol – Struttura nazionale di valutazione Fse
Area valutazione politiche risorse umane
Monitoraggio e valutazione
Il monitoraggio è una attività servente. Costituisce la base dati
per quantificare indicatori significativi riguardo l’evoluzione del
programma in termini di realizzazioni.
La valutazione si avvale del supporto dei dati monitoraggio per
esprimere un giudizio di efficacia del programma che vada oltre
gli output prodotti e consideri anche gli effetti attesi e inattesi
(valutazione di processo e di realizzazione, valutazione di
risultato e d’impatto).
Isfol – Struttura nazionale di valutazione Fse
Area valutazione politiche risorse umane
Indicatori come strumenti per la valutazione
Gli indicatori sono lo strumento per aiutare a capire il
contenuto degli interventi e le priorità
Categorie di indicatori:
• Realizzazione o prodotto (output)
• Risultato (outcome)
• Impatto specifico (outreach)
• Impatto generale (impact)
La logica valutativa favorisce la cultura della trasparenza e
della responsabilità coinvolgendo gli attori “decisori” e
“attuatori” nella condivisione degli strumenti.
Isfol – Struttura nazionale di valutazione Fse
Area valutazione politiche risorse umane
Gli indicatori e la valutazione
La valutazione definisce a priori gli elementi sottoposti a
giudizio attraverso l’individuazione del set di indicatori che
devono essere quantificati.
Un indicatore può essere definito come la misura delle
realizzazioni, dei risultati e degli impatti collegati al
programma.
Un buon indicatore dovrebbe fornire informazioni semplici
che sia i fornitori che gli utilizzatori possono facilmente
comunicare e comprendere (C.E. Means, 1999).
Isfol – Struttura nazionale di valutazione Fse
Area valutazione politiche risorse umane
Sistema di indicatori: fornitori e utilizzatori
I potenziali utilizzatori delle informazioni (stakeholders) hanno
specifiche aree di responsabilità e necessitano di specifiche
informazioni.
Autorità di gestone incaricata
del sistema di indicatori
Fornitori di informazione:
• Enti attuatori
Utilizzatori dell’informazione:
• Committenti del Monitoraggio
• Autorità di gestione
• Autorità di implementazione
• Commissione Europea
• Valutatori Esterni
Isfol – Struttura nazionale di valutazione Fse
Area valutazione politiche risorse umane
Complessità delle informazioni
letteratura
studi di caso
documentazione
ANALISI QUANTITATIVE
V
ANALISI QUALITATIVE
A
INDICATORI DI IMPATTO
L
U
INDAGINI AD HOC
INDICATORI DI CONTESTO
E TARGET
(statistiche ufficiali e microdati
di indagini)
T
A
Z
I
DATI MONITORAGGIO
INDICATORI DI RISULTATO
INDICATORI DI OUTPUT
Dati non coerenti
O
N
E
Isfol – Struttura nazionale di valutazione Fse
Area valutazione politiche risorse umane
Indicatori di realizzazione
Il monitoraggio dei progetti afferenti al FSE ’07-’13 richiede le
informazioni necessarie e sufficienti per fornire ai vari decisori la
quantificazione degli indicatori di realizzazione
•
•
•
•
Destinatari (N.) (e loro caratteristiche)
Durata (Ore)
Imprese (N.)
Giornate/uomo prestate (N.)
necessari per restituire informazioni sullo stato di avanzamento
del programma e sulle caratteristiche del target
Documento di riferimento: “Protocollo di colloquio per il monitoraggio
unitario dei progetti 2007/2013”
Isfol – Struttura nazionale di valutazione Fse
Area valutazione politiche risorse umane
Indicatori di risultato
Per ciascun obiettivo specifico è stata predisposta una scheda
relativa all’indicatore di risultato, in cui vengono specificate:
•
•
•
•
•
•
•
•
•
Descrizione dell’indicatore
Unità di misura
Fonte dei dati (distinta per numeratore e denominatore)
Anno di riferimento del valore atteso
Anno di riferimento del valore iniziale (base line)
Declinazioni previste per la valorizzazione corrente dell’indicatore
Formula per il calcolo del valore iniziale (base line)
Formula per il calcolo del valore atteso
Formula per il calcolo del valore corrente
Documento di riferimento: “Schede tecniche per il calcolo degli
indicatori comuni di risultato presenti nei PO di Fse ’07-’13”
Isfol – Struttura nazionale di valutazione Fse
Area valutazione politiche risorse umane
Indicatori di risultato
Gruppo 1. Tassi di copertura ( n/N )
La popolazione di riferimento è costituita da individui o imprese.
Gruppo 2. Rapporti di composizione ( nh /n )
In generale gli indicatori si calcolano rapportando il numero fisico dei progetti
in alcuni casi si fa riferimento alla loro dimensione finanziaria (impegni).
Gruppo 3. Tassi di inserimento occupazionale lordo
La popolazione è costituita da individui.
Documento di riferimento: “Schede tecniche per il calcolo degli indicatori
comuni di risultato presenti nei PO di Fse ’07-’13”
Isfol – Struttura nazionale di valutazione Fse
Area valutazione politiche risorse umane
Indicatori di impatto
Aree tematiche di interesse della valutazione di efficacia:
• Adattabilità: effetto della partecipazione ad interventi di formazione
continua sul binomio “lavoratori & imprese”
• Occupabilità: effetto della partecipazione ad interventi formativi
sull’occupabilità individuale
Il presupposto per quantificare l’impatto netto è la disponibilità di basi
dati adeguate sui partecipanti (trattati) e sul gruppo di controllo (non
trattati)
Isfol – Struttura nazionale di valutazione Fse
Area valutazione politiche risorse umane
Altri indicatori per specifici temi di valutazione
Indicatori e valori obiettivo (target) vincolanti nel QSN 2007-2013:
Indicatori per gli obiettivi di servizio in area Mezzogiorno collegati a
meccanismi di incentivazione al raggiungimento dei valori target
Indicatori per ambiti di policy rilevanti sull’intero territorio nazionale
“percentuale di adulti in età 25-64 anni che partecipano alla
formazione permanente”
L’indicatore LLL, inserito nell’ambito della Priorità 1 “Miglioramento e
valorizzazione delle risorse umane”, costituisce uno degli indicatori
chiave per misurare il grado di apprendimento permanente (life long
learning) nell’ambito della strategia di Lisbona
Obiettivo SEO: entro il 2010 il 12,5% della popolazione adulta dovrebbe
partecipare all’apprendimento permanente
Isfol – Struttura nazionale di valutazione Fse
Area valutazione politiche risorse umane
Indicatore LLL
L’indicatore è sensibile alla capacità della policy di orientare le
opportunità formative verso i gruppi che ne sono tipicamente più
distanti
La sua quantificazione segnala in che misura un sistema è in
grado di promuovere l’aggiornamento e la manutenzione di
importanti competenze di base dell’individuo che apprende
L’esercizio di targeting può essere utilizzato per indirizzare
meglio la programmazione e individuare modalità e tipologie di
intervento più efficaci
Isfol – Struttura nazionale di valutazione Fse
Area valutazione politiche risorse umane
Indicatore LLL
A seguito del processo di condivisione della definizione e dei dati disponibili per
la sua quantificazione è stato prodotto il documento “Scheda tecnica per il
calcolo del target dell’indicatore LLL (ILLL) al 2013” che pone in evidenza
l’importanza della disponibilità di dati provenienti da diverse fonti informative
all’interno della stessa amministrazione.
L’esercizio di targeting è visto come espressione di un percorso che implica il
pieno coinvolgimento delle responsabilità tecniche e di programmazione nel
campo della formazione professionale e delle politiche attive del lavoro
Isfol – Struttura nazionale di valutazione Fse
Area valutazione politiche risorse umane