La costruzione e a0vazione dei Piani di Valutazione

La costruzione e a.vazione dei Piani di Valutazione: tensioni e opportunità tra “documento di piano” e “processi di valutazione” Contributo metodologico e sintesi dei feedback raccol4 sulla costruzione dei Piani di valutazione 4 Febbraio 2016, Centro Congressi Via Cavour 50, Roma Liliana Leone (Esperto progeHo Nuval Formez PA) 1 Quality assessment del PdV: Feedback della Commissione Europea e del NUVAP • 
• 
• 
• 
• 
• 
Management and planning: Responsibility and coordina5on: Design and methods: Data availability and data systems: Skills and exper5se: Use and communica5on: •  Reminder: Execu4ve Summary in English in evalua4on reports 2 1.Organizzazione, gesRone e affinamento del PdV •  IdenRficazione chiara dell’unità/organismo responsabile della gesRone del PdV. Accordi per assicurare l’indipendenza degli esperR esterni e dell’Unità di valutazione nei cfr dei responsabili del PO. •  Informazioni sul sistema di controllo della qualità delle V (deliv..) •  Il Piano elenca le valutazioni condoHe nel periodo precedente e ne indica i contenuR principali. Aree di miglioramento: •  Indicare come le evidenze esistenR (es: precedenR valutazioni) sono state considerate per determinare il PdV •  N° risorse umane impegnate nel Nucleo di valutazione •  Indicare come i risultaR delle valutazioni saranno connessi al “annual implementaRon and progress reporRng” e ai report previsR alla fine del periodo di programmazione (v. report 2022 che sinteRzza le valutazioni) 3 2.Coordinamento e gesRone del PdV •  Il Piano chiaramente descrive come sono divise le responsabilità tra Autorità di GesRone, Steering Group (SG), Comitato di monitoraggio e il ruolo del the “Permanent CommiHee for the CoordinaRon and IntegraRon of the 2014-­‐2020 programme (PCCI)”. •  DeHaglia come saranno coinvolR gli stakeholders nella formulazione del Piano e nella revisione e sintesi dei risultaR delle v. Aree di miglioramento: •  Indicare ruolo e composizione del Comitato di Monitoragio (PMC). •  Indicare non solo il budget complessivo ma anche quello per singole valutazioni indicate e per le altre a.vità (es: a.vità formaRve sulla valutazione). •  Scambi di info su aspe. trasversali delle valutazioni x mutuo apprendimento •  Chiarire eventuali incoerenze con voce PO-­‐ Assistenza Tecnica •  Menzionare se risorse finanziare per la formazione provengono dai PRA 4 3. Disegno della valutazione e metodi preferiR nella conduzione delle valutazioni •  Il Piano offre una lista delle domande valutaRve prioritarie, a queste seguono gli Ob. ValutaRvi, le scelte sugli approcci e i requisiR dei daR. Aree di miglioramento: •  1)IdenRficare lo scopo e i contenuR di cc valutazione del PO, 2) linkare i metodi, 3) determinare i daR richiesR e 4) idenRficare le fonR. •  Porre aHenzione alla coerenza tra quesiR valutaRvi e criteri valutaRvi •  I quesiR miraR a verificare i progressi del programma dovrebbero essere espressi con modalità normaRva e non descri.va •  I quesiR valutaRvi devono ricoprire “all the OP investment prioriRes and specific objecRves”…. DeHagliare i quesiR e gli obie.vi delle valutazioni ; le schede relaRve alle valutazioni del primo anno dovrebbero essere complete •  Includere anche la valutazione dell’assistenza tecnica. •  Prevedere a.vità valutaRve anche sull’efficienza del programma (Ex art. 56 CPR) 5 3. Disegno della valutazione e metodi preferiR nella conduzione delle valutazioni •  Circa l’approccio controfaHuale indicare dove e come verrà uRlizzato (output indicators, unit of analysis, etc.). •  Prevedere un N° adeguato di V. anche in funzione del budget •  Prevedere anche “valutazioni su esperienze di policy concluse ma di interesse temaRco aHuale, anche se formalmente appartenenR a un ciclo di programmazione pregresso” 6 Alcuni chiarimenR sui metodi •  Quali sono gli approcci per la valutazione degli impa.? •  Con il termine ‘approcci’ possiamo intendere un insieme integrato di opzioni uRlizzate per realizzare alcune o tuHe le a.vità previste in una valutazione. Un singolo approccio può uRlizzare più metodi di indagine. •  Cosa si intende nei Piani di valutazione per approcci di valutazione di impaHo “di natura qualitaRva o quanRtaRva”? •  Maggiore precisione nei termini usaR nei Piani (es: Analisi quali-­‐
quanRtaRve, Approccio quanRtaRvo – qualitaRvo, Metodo di valutazione contro faHuale..) •  Gli approcci ada. a rispondere a quesiR sul “come e perché” l’insieme degli intervenR ha prodoHo determinaR esiR di per sé non sono di natura qualita5va! 7 Approcci per la valutazione degli impa. Due diverse domande. Entrambe dovrebbero interrogare la teoria del programma esplicitando le teorie del cambiamento e le assunzioni circa gli effe. aHesi e il legame di quesR con gli intervenR Valutazione di ImpaCo Basata sulla Teoria (TBIE): Perché un intervento produce determinaR effe. (aHesi e inaHesi) e come funziona? Perché? Per chi? SoHo quali condizioni? Valutazione di impaCo controfaCuale. L’intervento pubblico nel suo complesso ha avuto un effeHo? E se si, posiRvo o negaRvo e di quali dimensioni? Funziona l’intervento e c’è un legame causale con gli effe. rilevaR? Come sarebbero andate le cose senza l’intervento? Precondizioni: base daR con informazioni analiRche su caraHerisRche dei target/ beneficiari e dei contesR. Precondizioni: Esistenza baseline e informazioni su situazioni con beneficiari ‘supported –not supported’ in un certo momennto nel tempo. Approccio uRlizzato prevalentemente per cerR intervenR (es: formazione, sussidi alle imprese, CCT e welfare to work…) e con ampi campioni 8 La valutazione degli impa.: approcci per la valutazione degli impa. e metodi Valutazione di ImpaCo Basata sulla Teoria (TBIE): Perché un intervento produce determinaR effe. (aHesi e inaHesi) e come funziona? Perché? Per chi? SoHo quali condizioni? Valutazione di impaCo controfaCuale. L’intervento pubblico nel suo complesso ha avuto un effeHo? E se si, posiRvo o negaRvo e di quali dimensioni? Funziona l’intervento e c’è un legame causale con gli effe. rilevaR? Come sarebbero andate le cose senza l’intervento? Approcci vari: Valutazione basata sulla teoria ( TBE, Theory driven), Valutazione Realista, ContribuRon analysis, PropsecRve EvaluaRon Synthesis, Strategic assessment, .. Metodi: generalmente metodi mis9 (case analysis, quasi esperimen9..) La valutazione realista non impone l’uso di parRcolari metodi (neutrale) Approccio controfaCuale Metodi: differenza-­‐nella-­‐differenza, RCT, propensity score matching, metodo delle variabili strumentali… 9 Esempi di Schemi allegaR ai Piani di valutazione 10 OggeCo della valutazione valutazione dell'aCuazione del Piano di rafforzamento amministra5vo Principali quesiR guida di interesse NB: un maggior deJaglio delle domande di valutazione emergerà dal lavoro dello steering group di cui al punto 3) Verificare se ed in quale misura l’aHuazione del PRA ha contribuito a migliorare la capacità amministraRva e gesRonale della Regione Natura della ricerca Valutazione primaria, realizzata nel corso dell’aHuazione del PRA Approccio valutaRvo, metodi di indagine e daR Approccio valutaRvo basato sulla teoria, finalizzato a rilevare quali meccanismi hanno effe.vamente indoHo effe. posiRvi o negaRvi sulla struHura amministraRva regionale TraHo da Bozza PdV Regione Emilia Romagna, p.20 11 Uso delle revisioni nei Piani Titolo:'Revisione(della(letteratura(e(sintesi(delle(evidenze(di(efficacia'
Tipologia'di'Valutazione:'Revisione(della(letteratura'
Oggetto:''
Evidenze(di(efficacia(di(programmi(mirati(a(favorire(l’efficacia(delle(Amministrazioni(grazie(a(
interventi(di(ICT,((digitalizzazione,(rafforzamento(del(rilascio(di(open(data(
Principali'domande'di'Valutazione:'
Quali(strategie(nelle(riforme(basate(sulla(digitalizzazione(della(pubblica(amministrazione((si(
sono(rivelate(più(efficaci(nel(settore(della(Giustizia?(
Approccio/Metodo/Fonti:'
Approccio:((Revisione(sistematica(–'
Metodo:'
Sintesi(realista(o(theoryEdriven(review(
Fonti:'(interviste,(analisi(studi(valutativi(
Interna/esterna(((Valutatore(indipendente(
Tempistica((2016(E(2017(
!
TraHo da Bozza PdV PON Governance 2014-­‐2020 12 Schema PdV FSE PO AMBITO TEMATICO
AMBITI DI APPROFONDIMENTO
PROBLEMATICA
OBIETTIVO/
CAMBIAMENTI ATTESI
DOMANDE DI VALUTAZIONE Scuola primaria e secondaria FSE: Asse III -­‐ Istruzione e formazione StrumenR [intervenR di sostegno agli studenR, formazione di docenR e formatori, stage/laboratori/
alternanza scuola lavoro, azioni di orientamento, percorsi formaRvi di istruzione e formazione professionale] etc… [Obie.vi specifici 10…..] -­‐ Tasso di abbandono scolasRco, I e II anno scuole secondarie superiori, più alto del valore medio nazionale (Istat 2013), in peggioramento costante nell'ulRmo seHennio; -­‐  elevato tasso di ripetenza; -­‐  Ecc. 1.Ridurre il fallimento formaRvo precoce e il tasso di abbandono scolasRco perseguendo il target Europa 2020 2.Innalzare la qualità Etc. In che misura le diverse azioni messe in campo hanno contribuito a ridurre il tasso degli abbandoni scolasRci precoci e ad aumentare la partecipazione all'istruzione superiore e i tassi di riuscita, in parRcolare di gruppi svantaggiaR? TraHo in parte da: Bozza Piano di Valutazione Regione Sardegna 2014-­‐2020 13 Titolo
Effetti
sul
sistema delle
imprese delle
azioni della
Rete dell’Alta
Tecnologia
(RAT) e degli
interventi
realizzati
nell’ambito
dei progetti di
ricerca
collaborativa
Efficacia
delle azioni a
sostegno
delle start up
e della loro
crescita
Tipol
ogia
valut
azion
e
oggetto
Principali domande di valutazione Ex Post
POR Emilia Romagna FESR 2007-2013
Approccio/
metodo/
fondi
Intern
a/ester
na
Strate
gica/
Operat
iva
Efficacia
degli
interventi del POR
sul sistema delle
imprese
delle
azioni della Rete
dell’Alta
Tecnologia e degli
interventi realizzati
nell’ambito
dei
progetti di ricerca
collaborativa.
Asse 1 Attiv. I.1.1
e Asse 1 Attiv I.1.2
1) Quanto la Rete dell’Alta Tecnologia (RAT) e i
tecnopoli sono stati propositivi verso le imprese e
quanto sono stati reattivi alle esigenze delle
imprese?
2) La RAT e i tecnopoli svolgono un ruolo di
attrazione e collegamento tra il sistema della ricerca
e quello delle imprese?
3) Quali modelli organizzativi e gestionali sono più
efficaci?
4) I progetti finanziati hanno generato ulteriori ambiti
di sviluppo in progetti comunitari (es: Horizon 2020)?
Etc…..
Metodi misti con
approccio basato
sulla
teoria,
analisi
controfattuale e
analisi dei modelli
organizzativi
dei
tecnopoli.
Saranno utilizzati i
dati del sistema di
monitoraggio, dati
primari rilevati sul
campo
e
dati
statistici.
Esterna
Strate
gica
Efficacia
delle
azioni a sostegno
delle start up e
della loro crescita,
tasso
di
sopravvivenza,
cause
della
mortalità o della
mancanza
di
strategie
di
espansione. Asse
1, I.2.1 Asse 2 II.1
1)
..quali
imprese
state
finanziate
nella
programmazione 2007-2013 sono sopravvissute?
2) Quanto la qualità dei business plan spiega i
risultati (e la sopravvivenza) delle start up
finanziate?
4) …quelle che non partecipano al bando a supporto
dell’espansione, quale è la causa?
5) Quanto sono state efficaci le azioni a sostegno
dello start-up e coerenti con gli obiettivi propri
dell’azione del POR?
Approccio basato
sulla teoria.
Dati monitoraggio,
primari rilevati sul
campo e dati
pubblici
Esterna
TraHo in parte da Bozza PdV Emilia Romagna 2014-­‐2020 14 Piano di valutazione PON per la Scuola 2014-­‐2020 p.19 e p.43 15 4. Disponibilità dei daR: modalità con cui si rendono disponibili informazioni e daR uRli alla valutazione •  Indicare Rpo di daR di cui si ha bisogno e fonR esplicitando uso di daR del sistema di monitoraggio dell’OP, uso di database nazionali e daR primari da raccogliere •  Aree di miglioramento: •  Poiché i metodi sono indicaR in modo abbastanza generico in questa fase, occorre verificare la coerenza tra i tempi delle valutazione e la disponibilità dei daR necessari a realizzarle e idenRficare i possibili gap e rimedi •  DeHagli su serie di daR che devono essere raccolte 16 Coerenza tra domande valutaRve e scelte metodologiche Piano di valutazione PON per la Scuola 2014-­‐2020 p.52 17 5. Reclutamento delle experRse necessarie •  IdenRficazione chiara dell’unità/organismo responsabile della gesRone del PdV. Accordi per assicurare l’indipendenza degli esperR esterni. Aree di miglioramento: •  Indicare le competenze esistenR e le experRse dello staff interno nelle aree della valutazione e del monitoraggio. IdenRficare i gap, i bisogni, e loro soddisfacimento tramite reclutamento competenze esterne e piani formaRvi •  Individuare budget dedicato alla partecipazione e caraHerisRche dei sogge. che vi parteciperanno 18 6. Modalità di comunicazione e diffusione •  IdenRficare gli uRlizzatori delle valutazioni e i mezzi aHraverso cui saranno comunicaR I risultaR delle valutazioni. Aree di miglioramento: •  DeHagliare i mezzi per la comunicazione interna/esterna preferibilmente su misura per Rpo di stakeholder, e le dotazioni finanziarie per la comunicazione, la pubblicizzazione e il follow up della valutazione •  “it would be useful to make clear that each evalua9on report should include, at least: terms or reference, objec9ves and expected results, data and methods used, findings and conclusions, as well as lessons learnt” 19 Brevi riferimenR bibliografici • 
• 
• 
• 
• 
• 
European Commission DG Regional Policy, Guidance document on Monitoring and EvaluaRon. European Regional Development Fund, European Union 2015. hHp://ec.europa.eu/regional_policy/sources/docoffic/2014/working/wd_2014_en.pdf EVALSED, Sourcebook Methonìd and Techniques. European Union hHp://ec.europa.eu/regional_policy/sources/docgener/evaluaRon/guide/
evaluaRon_sourcebook.pdf European Commission, EvaluaRon Plan Guidance, 2014 hHp://ec.europa.eu/regional_policy/sources/docoffic/2014/working/
evaluaRon_plan_guidance_en.pdf Piani di Valutazione 2014-­‐2020: indicazioni generali e breve guida ai materiali di orientamento disponibili. Nota tecnica NUVAP -­‐ Novembre 2015 Westhorp, G. (2014) 'Realist impact evaluaRon: an introducRon'. Methods Lab. London: Overseas Development InsRtute. hHp://beHerevaluaRon.org/resources/realist-­‐impact-­‐evaluaRon-­‐introducRon Marchesi, M., L. Tagle, L., . Befani B., Approcci alla valutazione degli effe. delle poliRche di sviluppo regionale. Metodi Collana materiali UVAL n.22, 2011 hHp://www.dps.tesoro.it/documentazione/uval/materiali_uval/
MUVAL_22_Valutazione_impaHo.pdf 20