SISTEMA NAZIONALE DI VALUTAZIONE

PROGETTO NUVAL
LA VALUTAZIONE DEGLI EFFETTI DELLE POLITICHE REGIONALI
PERCORSO FORMATIVO PER I NUCLEI DI VALUTAZIONE E PER LE AMMINISTRAZIONI
Perché il percorso formativo
Rispondendo alla sollecitazione del Quadro Strategico Nazionale 2007-2013, della
Delibera CIPE n. 16612007 per l'attuazione del QSN e della Commissione Europea,
numerose amministrazioni regionali e centrali prevedono, nei propri Piani delle
valutazioni, già per il 2008 ed il 2009, valutazioni ex-post di interventi delle passate
programmazioni, al fine di comprendere gli effetti degli interventi effettuati. Si tratta di un
compito relativamente nuovo per le amministrazioni, finora responsabili prevalentemente
di fare condurre valutazioni ex-ante, in itinere o intermedie. Esso, quindi, pone peculiari
questioni sia alle amministrazioni stesse – chiamate ad esprimere domande valutative, ad
elaborare mandati di valutazione o capitolati, a selezionare i valutatori (laddove questi
siano esterni), e ad organizzare la gestione tecnica delle valutazioni – sia ai Nuclei –
chiamati a realizzare l’interlocuzione con i valutatori o a condurre direttamente le ricerche
valutative. Inoltre, le amministrazioni hanno la responsabilità di cominciare fin da ora ad
impostare le future valutazioni di impatto del periodo di programmazione 2007-2013.
Valutare gli impatti significa individuare gli effetti ultimi, di lungo termine, siano essi
negativi o positivi, di un intervento (progetto, programma o politica): non solo gli effetti
desiderati e attesi, ma anche quelli imprevisti. Tali effetti possono essere economici,
sociali, ambientali.
Esistono, evidentemente, numerosi approcci a tale compito, e su di essi è in corso un
dibattito in campo internazionale, soprattutto sulle politiche di sviluppo. Tale dibattito ha
dato vita al coordinamento di diversi gruppi di lavoro1. Innanzitutto, esiste una tradizione2
di valutazione d’impatto basata sull’idea di dimostrare che gli effetti riscontrati sono il
risultato dell’intervento, e solo di esso, e di individuare l’effetto netto di un intervento,
depurato di altri effetti (spiazzamento o displacement; peso morto o deadweight)3.
1
In particolare, nell’ambito del Network of Networks of Impact Evaluation sono stati elaborati due documenti:
uno interamente dedicato al disegno sperimentale (RCT) (NONIE, 2007a NONIE: Impact evaluation
guidance: section one, in http://www.worldbank.org/ieg/nonie/), ed un altro che presenta altri approcci
(NONIE, 2007b, NONIE: Impact evaluation guidance: subgroup two, in http://www.worldbank.org/ieg/nonie).
2
Questo filone di ricerche valutative ha avuto una grande fioritura negli anni ’70 negli USA, è poi continuato
su scala più ridotta nei decenni successivi, ed è tornato attualmente alla ribalta con varie iniziative ispirate al
concetto di Evidence Based Policy (EBP), le quali ritengono che di fronte ai fallimenti di molti interventi nel
campo sociale e dello sviluppo sia necessario capire “cosa funziona”, al fine di finanziare solo quello e
sospendere altri interventi.
3
Brancati, R. (2007), L’offerta pubblica e la domanda dei privati. Le politiche per le imprese, Rapporto Met
2006, Donzelli, Roma. Allo scopo di confrontare i risultati ottenuti nella situazione in cui è stato condotto
l’intervento con una situazione “senza intervento” (logica controfattuale) è possibile operare sia procedendo
a ritroso, prevalentemente con metodi statistici (confrontando la situazione reale con una ipotetica in cui sia
mancato l’intervento), sia predisponendo fin dall’inizio dell’intervento un’osservazione di due situazioni,
1
Esistono, poi, altri approcci, che affrontano in modo diverso la questione di individuare,
misurare e giudicare gli impatti degli interventi: per esempio, l’approccio della valutazione
“libera dagli obiettivi” (Scriven), della “valutazione basata sulla teoria” (Weiss) o della
“valutazione realistica” (Pawson e Tilley)4.
Le differenze tra i vari approcci derivano da diversi fattori quali a) la concezione stessa
dell’intervento, che può essere visto come un “trattamento” circoscritto su un gruppo
target, o come un’opportunità colta in modo diverso da ciascun gruppo di attori; b) la
concettualizzazione dei meccanismi di causazione; c) il modo di considerare e “trattare” la
disomogeneità dei soggetti e dei contesti in cui essi operano.
Di conseguenza, ciascun approccio corrisponde ad una diversa domanda di valutazione:
per esempio, l’approccio sperimentale risponde a domande del tipo “il tipo di intervento x
consegue i risultati prefissati?” o, in modo più ambizioso “cosa funziona per risolvere il
problema y?”, mentre l’approccio realista risponde a domande del tipo “quale tipo di
intervento funziona per quali gruppi in quali contesti? Cosa, nell’intervento stesso o nelle
circostanze in cui si trovano i soggetti che se ne avvalgono, lo fa funzionare?” o, in modo
più sintetico, “cosa funziona meglio dove, per chi e perché?”. Altri approcci si domandano
cosa significhi, per un determinato intervento in una determinata area, avere successo
(“cosa viene prodotto dall’intervento z per quali gruppi? Quali criteri ci portano a giudicare
che questo è un bene? Gruppi diversi – l’amministrazione, i destinatari, etc. – danno
giudizi diversi? Come è possibile arrivare ad un giudizio, ed ad un’azione, comuni?”),
oppure, nei casi in cui un intervento sia riuscito a produrre un successo, cosa abbia
condotto a tale successo (“nei casi in cui l’intervento z funziona, cos’è che lo fa
funzionare?”).
A queste divergenze di impostazione corrisponde quindi una diversa scelta dei metodi da
utilizzare nella valutazione. Si deve misurare la “robustezza” dei metodi in base alla loro
idoneità rispetto agli interventi da valutare ed alle domande cui rispondere. Ciascun
metodo, tuttavia, presenta dei limiti: risponde ad alcune domande e non ad altre. E’ bene,
quindi, quando sia possibile, sviluppare disegni di valutazione a “metodi misti”.
Obiettivi del percorso formativo
Per individuare l’approccio con cui affrontare una determinata valutazione è necessario
comprendere a quali domande sia prioritario rispondere e conoscere meriti e limiti di
ciascun approccio.
A tale fine, e per consentire alle amministrazioni di cogliere pienamente l’opportunità di
comprendere e dimostrare, a beneficio delle amministrazioni stesse e dei partner sociali
entrambe reali, inizialmente omogenee (quella sperimentale, soggetta all’intervento, e quella di controllo, in
cui l’intervento non c’è stato) scelte in modo casuale (disegno sperimentale).
4
Vedi in Stame, N. (2001), “Tre approcci principali alla valutazione: distinguere e combinare”, in Palumbo,
M., Il processo della valutazione, Angeli, Milano e in Stame, N., a cura di (2007), Classici della valutazione,
Angeli, Milano.
2
ed istituzionali, gli effetti degli interventi, si propone un percorso formativo che riguardi i
problemi inerenti la valutazione ex –post:
•
•
•
•
Individuazione del tipo di valutazione più adatta all’intervento da valutare ed alla
domanda, cioè agli aspetti che si sarà scelto di valutare;
Espressione della domanda;
Definizione del disegno della singola valutazione;
Metodi di condurre la valutazione e pratiche.
Complessivamente, ci si propone, attraverso un percorso articolato, di chiarire il senso
delle scelte che si compiono nel corso di una valutazione e che riguardano i soggetti
committenti, le amministrazioni responsabili degli interventi, ed i soggetti che sono
chiamati a svolgere le valutazioni, siano essi esterni o interni all’amministrazione (Nuclei).
Struttura del percorso formativo
A tal fine il percorso formativo include, oltre all’incontro iniziale, incontri ad hoc focalizzati
su esperienze concrete, e la possibilità, per un numero limitato di singoli componenti dei
Nuclei, di partecipare a corsi brevi focalizzati su metodi specifici o su particolari questioni e
pratiche valutative.
Gli incontri
Dopo il primo incontro di illustrazione del percorso formativo e dei concetti fondamentali, la
modalità prevalente di svolgimento delle giornate è quella del seminario, con una
dimensione ideale tale da consentire un’effettiva interazione. I seminari sono finalizzati a
fornire ai partecipanti un’esperienza dei rispettivi meriti, limiti ed ambiti di applicabilità dei
vari modi di rispondere alle concrete domande valutative che fronteggiano (come
committenti di valutazioni, come responsabili della gestione tecnica p. e., in uno Steering
Group, come valutatori) e di come tali approcci si possono combinare.
Ciascuna sessione individuerà gli strumenti utilizzabili per i compiti che i partecipanti
dovranno affrontare nel concreto, sarà ancorata ad un esempio concreto di valutazione e
finalizzata alla soluzione collettiva di un particolare problema possibilmente proposto dai
partecipanti stessi o selezionato dai formatori.
Gli incontri sono destinati ai componenti dei Nuclei, ai soggetti che avranno la
responsabilità degli interventi e del loro coordinamento ed a quanti, nelle amministrazioni,
avranno la responsabilità di gestire le valutazioni. Il percorso formativo colloca i vari
incontri in una sequenza logica: il vantaggio formativo sarà massimizzato da una
partecipazione costante. Pertanto, ed in considerazione della necessità di programmare la
dimensione dei singoli seminari, si incoraggia l’iscrizione preventiva dei singoli partecipanti
all’intero percorso formativo.
3
Organizzazione delle sessioni
Sessione I – Roma, 29 maggio 2008, salone UVAL
VALUTARE GLI EFFETTI DEGLI INTERVENTI E DELLE POLITICHE: APPROCCI, CONDIZIONI
ISTITUZIONALI E DIBATTITO
Con la programmazione 2007-2013, le Amministrazioni centrali e regionali hanno la
possibilità di avvalersi in modo nuovo delle attività di valutazione e in particolare possono:
•
•
•
•
Formulare domande valutative su questioni rilevanti per l’Amministrazione;
Chiedere valutazioni ex post su interventi delle precedenti programmazioni;
Decidere quali soggetti dovranno condurre quali valutazioni, potendo scegliere anche
di attribuirne alcune al proprio Nucleo;
Definire le modalità della gestione tecnica delle valutazioni: come garantire qualità e,
allo stesso tempo, autonomia del/i valutatore/i affiancando loro un’interlocuzione
metodologica e di merito. Tale interlocuzione potrà essere svolta dal Nucleo o da
Steering Group creati ad hoc.
L’innovazione più rilevante riguarda la valutazione ex post di interventi delle passate
programmazioni: essa, infatti, apre la possibilità di valutarne gli effetti. Affinché questa
opportunità sia pienamente colta, è stato deciso di offrire alle Amministrazioni e in
particolare ai Nuclei, un percorso formativo che riguardi i problemi inerenti la valutazione di
impatto: la formulazione della domanda e del disegno di valutazione, l’individuazione del
tipo di valutazione più adatta all’intervento da valutare, i metodi di conduzione della
valutazione, le pratiche che vi si svolgono.
Questa prima giornata è destinata ai Referenti della programmazione unitaria, ai
Responsabili dei Piani delle valutazioni ed ai Coordinatori e Componenti dei Nuclei. La
giornata sarà dedicata ad una descrizione del percorso formativo ed all’analisi dei concetti
alla base delle scelte fondamentali che si compiono nell’individuare ed iniziare una
valutazione. Tali scelte riguardano in primo luogo i committenti, le Amministrazioni
responsabili degli interventi, i soggetti che dovranno svolgere le valutazioni, in particolare i
Nuclei, ed i potenziali beneficiari degli interventi.
Obiettivi della sessione:
• Cosa significa che la valutazione deve essere “fatta su misura dell’intervento da
valutare”;
• Domande di valutazione e metodi adatti a rispondere;
• Elementi che entrano in un piano di valutazione: scopi, contesto, risorse;
• Relazioni tra stakeholder e valutatori.
Docente: Nicoletta Stame
4
Testi consigliati
NONIE Subgroup 2, 2008, Impact Evaluation Guidance disponibile al seguente indirizzo:
http://www.worldbank.org/ieg/nonie/docs/NONIE_SG2.pdf;
Rossi P. H., Freeman H., Lipsey M. W., 2007, “Costruire le valutazioni su misura”, in
Classici della valutazione, a cura di Nicoletta Stame, Franco Angeli, Milano
(traduzione italiana di “Tailoring Evaluation”, 1999, in Evaluation, a Systematic
Approach, Sage, Thousand Oaks, CA);
Stame N., 2001, “Tre approcci principali alla valutazione: distinguere e combinare”, in M.
Palumbo, Il processo di valutazione: decidere, programmare, valutare, Milano,
Angeli.
Sessione II – Roma, 19 giugno 2008, Centro Congressi Frentani
L’APPROCCIO CONTROFATTUALE PER VALUTARE GLI EFFETTI DI UNA POLITICA PUBBLICA:
POTENZIALITÀ E LIMITI DEL METODO SPERIMENTALE
Una delle domande che è legittimo, se non doveroso, porsi in relazione ad ogni intervento
pubblico è “produce gli effetti desiderati?”. Una risposta a questa domanda offrirebbe al
decisore pubblico argomenti per decidere se ridurre o ampliare l’intervento e stimoli per
riesaminare criticamente la logica dell’intervento e le sue modalità di implementazione. È
una domanda alla quale peraltro è difficile rispondere, perché la risposta presuppone
l’individuazione del legame causale tra l’attuazione dell’intervento e i cambiamenti
osservati nelle variabili su cui l’intervento intende incidere.
Tra gli approcci elaborati dalla comunità scientifica internazionale per rispondere a questa
domanda c’è l’approccio controfattuale, che mira ad identificare e stimare gli effetti e ad
individuare i rapporti di causa-effetto con gli interventi: L’idea fondamentale è la definizione
di effetto come differenza tra cosa è successo dopo l’intervento e cosa sarebbe successo
se l’intervento non fosse stato attuato”, definito anche situazione controfattuale. La sfida è
tradurre questa definizione in metodi analitici concretamente utilizzabili con i dati a
disposizione. Il seminario fornirà una panoramica introduttiva dell’approccio controfattuale
e dei metodi sperimentali e non-sperimentali ad esso collegati, ne discuterà potenzialità e
limiti, e proporrà un approfondimento relativo all’utilizzo del metodo sperimentale nel
campo dell’istruzione.
Obiettivi della sessione:
• Esplorare le basi concettuali dell’approccio controfattuale;
• Discutere le differenze tra questo approccio e quello degli “indicatori di impatto”;
• Capire cosa è un randomized controlled trial, le sue potenzialità e i suoi forti limiti;
• Capire la logica dei metodi non-sperimentali, in particolare l’uso di un gruppo di
controllo ex-post ottenuto mediante abbinamento;
• Analizzare un caso statunitense di randomized controlled trial in campo educativo.
5
Docenti: Alberto Martini (Università del Piemonte Orientale, PRO.VA), Roberto Agodini
(Matematica Policy Research – Princeton - USA).
Testi consigliati
Agodini R., Dynarski M., 2004, “Are Experiments the Only Option? A Look at Dropout
Prevention Programs”, in Review of Economics and Statistics, vol. 86, no. 1,
February 2004;
Berk R., 2005, Randomized Experiments as the bronze standard, Department of statistics,
Ucla, available at: http://repositories.cdlib.org/uclastat/papers/2005080201/ ;
Campbell D. T., Stanley J. C., 2004, Disegni sperimentali e quasi-sperimentali per la
ricerca, Edizioni Eucos, Roma (traduzione di Experimental and Quasi-Experimental
Designs for Research, 1966, Houghton Mifflin Company, Boston);
Campbell Donald T., 2007, “Riforme come esperimenti”, in Classici della valutazione, a
cura di Nicoletta Stame, Franco Angeli, Milano (traduzione italiana di Donald T.
Campbell, 1969, “Reforms as experiments” in American Psychologist, vol. 24 n. 4);
Martini A., 2006, “Metodo sperimentale, approccio controfattuale e valutazione degli effetti
delle politiche pubbliche”, in Rassegna Italiana di Valutazione, n. 34, 2006,
http://www.prova.org/contributimetodologici/martini_metodo%20sperimentale%20e%20logica%20controfattuale.pdf
Martini A., 2008, How Counterfactuals got lost the way to Brussels, prepared for the
Symposium “Policy and programme evaluation in Europe: cultures and prospects”
Strasbourg, July 3-4, 2008;
Martini A., Mo Costabella L., Sisti M., 2006, “Valutare gli effetti delle politiche pubbliche:
metodi e applicazioni al caso italiano”, in “Materiali Formez”, Scaricabile da
http://www.prova.org/contributimetodologici/2008/04/valutare_gli_effetti_delle_pol.ht
ml;
Sessione III – Roma, 17 luglio 2008, Centro Congressi Frentani
L’ APPROCCIO REALISTA
La sessione si concentra sulla valutazione realista, compatibile con numerosi metodi
quantitativi e qualitativi e basata su una concezione specifica (appunto realista) dei
rapporti di causazione. Le valutazioni condotte con questo approccio ambiscono a
rispondere a domande del tipo “Quale tipo di intervento funziona per quali gruppi in quali
contesti? Cosa, nell’intervento stesso o nelle circostanze in cui si trovano i soggetti che se
ne avvalgono, lo fa funzionare?” o, in sintesi, “Cosa funziona dove, per chi e perché?”. La
sessione utilizza esempi concreti relativi alle politiche sulla sicurezza per illustrare concetti,
vantaggi, limiti e difficoltà legati a tale approccio.
La prima parte della sessione espone gli elementi che hanno condotto allo sviluppo
dell’approccio denominato “valutazione realistica” a partire da alcune sperimentazioni
storiche. Si presentano i concetti base dell’approccio attraverso l’analisi di casi ‘classici’ (v.
le misure per il contrasto della violenza domestica e i sistemi di video-sorveglianza) tratti
dalla valutazione di politiche per la sicurezza e dall’esperienza decennale sviluppata
dall’Home Office (UK) nel settore della valutazione dei programmi per la riduzione della
6
criminalità. Si prosegue con un esempio tratto dalla letteratura valutativa italiana e con un
esercizio valutativo applicato alle misure di riqualificazione dei beni confiscati. Si
esporranno alcune caratteristiche metodologiche che contraddistinguono le interviste
realizzate nella valutazione realista. A tal fine, nella seconda parte della mattinata, viene
presentata una testimonianza – un progetto realizzato nell’ambito di un Accordo di
Programma Quadro della Regione Sicilia – in cui strategie di sviluppo locale si associano
alla riqualificazione di beni confiscati.
Due sono gli obiettivi della seconda parte della sessione. Saranno dapprima passati in
rassegna i principali concetti della valutazione realistica, al fine di sistematizzare gli spunti
emersi nella prima parte della sessione dedicata ad esempi concreti. In secondo luogo,
sarà discussa la collocazione della valutazione realistica tra i diversi approcci alla
valutazione. Si farà riferimento ad esperienze internazionali di valutazione di politiche per
la legalità e la sicurezza, in particolare di politiche per la sicurezza urbana e di iniziative di
comunità contro la criminalità.
Obiettivi della sessione:
• Impadronirsi dei principali concetti della valutazione realistica (meccanismi e contesti);
• Sviluppare ipotesi di disegni di ricerca su politiche per la legalità e la sicurezza a partire
dalle indicazioni della valutazione realistica;
• Approfondire possibili convergenze e divergenze tra gli approcci allo scopo di
apprezzare, nel concreto svolgere delle valutazioni, vantaggi e limiti di ciascuno;
• Esplorare i meccanismi sottostanti ad azioni di riqualificazione di beni confiscati ed alle
politiche per la riduzione del crimine;
Docenti: Ferruccio Biolcati Rinaldi (Università degli Studi di Milano), Gaetano Giunta
(Presidente EcosMed), Liliana Leone (Studio CEVAS).
Testi consigliati
Biolcati
Rinaldi
F.,
2006,
Povertà,
teoria
e
tempo.
La
valutazione
delle politiche di sostegno al reddito, Franco Angeli, Milano, ISBN
88-464-7554-2: in particolare il cap. 2;
Leone L., 2008, Giovani, legalità e riqualificazione degli spazi. Valutazione di casi
eccellenti di un Accordo di Programma Quadro regionale, Maggioli Editore, II°
report di valutazione dell’APQ è scaricabile al seguente indirizzo
www.cevas.it/casi/index.htm;
Pawson R., Tilley N., 2007, “Una introduzione alla valutazione scientifica realista”, in
Stame N. (a cura di), Classici della valutazione, Franco Angeli, Milano, pp. 371-385
(traduzione di “An Introduction to Scientific Realist Evaluation”, in Chelimsky E.,
Shadish W., 1997, Evaluation for the 21st Century, Sage, Thousand Oaks, CA).
Pawson R. e Tilley N., 1998, “Caring communities, paradigm polemics, design debates”, in
Evaluation, v. 4, n. 1, pp. 73-90;
Pawson R., 2001, “Evidence Based Policy: I. In Search of a Method”, ESRC UK Centre for
Evidence Based Policy and Practice, Working Paper 3, October 2001 London.
http://kcl.ac.uk/content/1/c6/03/45/88/wp3.pdf ;
Pawson, Nick Tilley, 1997, Realistic Evaluation, Sage, London;
7
Tilley N., 2004, “Applying theory-driven evaluation to the British Crime Reduction
Programme. The theories of the programme and of its evaluations”, in Criminal
Justice © 2004 SAGE Publications London, Thousand Oaks and New Delhi.
Siti con informazioni sui casi menzionati nella sessione
Home
Office-UK,
sito dedicato
a:
Crime
Reduction, Tilley
http://police.homeoffice.gov.uk/news-and-events/tilley-awards4/ o
http://www.crimereduction.homeoffice.gov.uk/tilley/tilleyawards2008.htm;
Award,
Sessione IV – Roma,18 settembre 2008, Centro Congressi Frentani
LA VALUTAZIONE BASATA SULLA TEORIA
“Come spiegare il funzionamento di un intervento pubblico?”, “A che serve, dal punto di
vista di un’amministrazione pubblica, la valutazione basata sulla teoria?”, “Qual è il valore
aggiunto di una teoria che spiega il funzionamento dei fenomeni oggetto di valutazione?”.
Queste sono le domande a cui si risponde nel corso della sessione, che sviluppa alcuni
concetti presentati nella sessione precedente sull’approccio realista generalizzandone
l’impianto teorico-metodologico.
Il programma della giornata parte dalla logica di base della valutazione, ovvero
dall’individuazione dei criteri di valutazione di un intervento (“cosa si va a guardare per
valutarlo?”) e mette in evidenza la necessità di una conoscenza approfondita dei
meccanismi di intervento per arrivare alla corretta formulazione del giudizio.
Successivamente, si concentra sull’elemento esplicativo del funzionamento delle azioni
pubbliche, il meccanismo sociale, portando esempi di meccanismi che spiegano gli effetti
delle politiche pubbliche.
I meccanismi illustrano e spiegano l’azione degli attori coinvolti in un intervento e le loro
interazioni. Essi riguardando tutti i livelli a cui gli attori agiscono e interagiscono: la
decisione politica, l’attività amministrativa di spesa, l’attuazione diretta e le sue implicazioni
organizzative, gli attuatori, gli erogatori del servizio, gli utenti e i destinatari diretti, infine i
destinatari indiretti. Ciascuno di questi livelli influenza ed è influenzato dagli altri: di
conseguenza, le domande di valutazione devono tener conto dell’interdipendenza
esistente tra di essi ed esplicitarla nel caso (frequente) in cui resti implicita. Come
esemplificazione e sintesi, verrà presentata la “Program Action-Interaction Chart”, che
illustra graficamente i meccanismi all’opera e li collega, evidenziando le interazioni
sollecitate dall’intervento pubblico oggetto di valutazione.
Nel corso della giornata verranno illustrati alcuni meccanismi di base e altri specifici alle
politiche regionali. Inoltre, verranno inseriti momenti di partecipazione/interazione in cui
verrà chiesto ai partecipanti di contribuire con le proprie conoscenze riguardanti il
funzionamento sostanziale di programmi o politiche. E’ prevista una testimonianza diretta
di un committente che riporterà la propria esperienza nell’utilizzazione di una valutazione
basata sulla teoria ed il contributo che essa ha fornito alla riflessione ed alle proprie
pratiche quotidiane.
8
Obiettivi della sessione:
• Analizzare i meccanismi di funzionamento degli interventi nella politica regionale, nelle
politiche sociali locali e negli interventi di cooperazione internazionale;
• Esplorare il concetto di meccanismo esplicativo come costrutto intellettuale per
accrescere la conoscenza del funzionamento di programmi e di politiche;
• Illustrare metodi per rilevare ed interpretare azioni ed interazioni degli individui che
programmano, attuano e sono destinatari delle politiche;
• Illustrare l’utilità di valutazioni basate sulla teoria;
• Mostrare i metodi con cui passare dalle conoscenze implicite alle ipotesi da indagare in
un percorso valutativo.
Docenti: Barbara Befani (valutatrice indipendente), Marco Accorinti (IRPPS-CNR).
Testi consigliati
Befani, B., 2008, “I risultati della valutazione: dagli studi di caso alla teoria di medio raggio”
in Accorinti, M. Terzo settore e capitale sociale: obiettivi, politiche, interventi”,
Biblink editori;
Connell, J.P. e Kubisch, A.C., “L'approccio della teoria del cambiamento applicato alla
valutazione delle iniziative integrate di comunità: stato dell'arte, prospettive e
problemi” in Classici della valutazione, a cura di Nicoletta Stame, Franco Angeli,
Milano (traduzione di “Applying a Theory of Change Approach to the Evaluation of
Comprehensive Community Initiatives: Progress, Prospects, and Problems” in
Fulbright-Anderson K., Kubisch A.C., Connell J.P. (a cura di), New Approaches to
Evaluating Community Initiatives: vol II, Theory, Measurement and Analysis, The
Aspen Institute, Washington, 1998);
Elster, J., 1993, Come si studia la società: una cassetta degli attrezzi per le scienze
sociali, Il Mulino (traduzione di Nuts and Bolts for the Social Sciences, 1989,
Cambridge University Press);
Hedstrom, P., 2006, Anatomia del sociale: sui principi della sociologia analitica, Bruno
Mondadori (traduzione di Dissecting the Social: on the Principles of Analytical
Sociology, 2005, Cambridge University Press);
Hedstrom, P., Swedberg, R., 1998, “Social Mechanisms: an Introductory Essay” in
Hedstrom, P., Swedberg, R., Social Mechanisms: an Analytical Approach to Social
Theory, Cambridge University Press;
Weiss Carol H., 2007, “La valutazione basata sulla teoria”, in Classici della valutazione, a
cura di Nicoletta Stame, Franco Angeli, Milano (traduzione di “Theory-based
evaluation: Past, Present and Future”, in Rog D.J. (ed.), 1997, Progress and Future
Directions in Evaluation, in “New Directions for Evaluation”, n. 76, Jossey-Bass, San
Francisco).
Riferimenti bibliografici
Nomisma, 1991, Strategie e valutazione nella politica industriale - Esigenze, proposte,
esperienze a livello locale, Franco Angeli, Milano;
9
Sessione V – Roma, 16 ottobre 2008
LA VALUTAZIONE PARTECIPATA
“Quali sono gli effetti attesi e inattesi che gli interventi producono? Quali gruppi si
avvantaggiano e quali sono svantaggiati dall’intervento? Quali giudizi sono dati dagli
attori sugli effetti della policy? Come è possibile arrivare ad un giudizio e ad un’azione
comuni?” Queste sono le domande cui la valutazione partecipata ambisce a rispondere.
La sessione, a partire dai significati e dalle implicazioni teoriche della valutazione
partecipata, ne svilupperà le implicazioni pratiche (p.e., quando, come e con quali
cautele coinvolgere gli stakeholder di un intervento nella sua valutazione, quali le
modalità e gli strumenti idonei, quali i saperi professionali da attivare) con riferimento ad
esempi concreti tratti da politiche formative e sociali. Indagherà, inoltre, sul valore
aggiunto dell’approccio partecipativo e sui suoi limiti, e sull’utilità sia per l’attuazione, sia
per la riprogrammazione delle strategie e degli interventi, sia, ancora, per la
riformulazione di strategie, di programmi e di interventi nel prossimo ciclo di policy.
Il programma della giornata mette in evidenza come, per cogliere pienamente gli effetti
degli interventi, sia necessario apprezzare le difformi prospettive da cui i molteplici gruppi
di interesse coinvolti osservano la policy. Particolare attenzione, pertanto, sarà prestata
all’analisi di tali prospettive, in funzione dei rispettivi ruoli - di decisore, di valutatore, di
esperto, ma anche di gestore, operatore, beneficiario e destinatario finale di una policy.
Poiché ogni livello decisionale richiede un livello appropriato di partecipazione e
possiede proprie esigenze valutative, la riflessione prenderà in esame la tipologia di
soggetti da includere nei processi valutativi e decisionali e di scegliere modalità di
partecipazione congruenti, in funzione del livello decisionale considerato e dell’oggetto
della valutazione.
Sarà quindi proposto un modello che tenta di considerare congiuntamente,
equilibrandoli, tali aspetti, in un ciclo integrato di progettazione e valutazione partecipata,
proponendo ai partecipanti di applicarne gli elementi fondamentali alle politiche e ai
programmi di loro competenza nell’ambito di lavori di gruppo.
Obiettivi della sessione:
• esplorare il concetto di partecipazione, illustrando il supporto che la partecipazione ai
processi valutativi può dare al governo di processi complessi;
• stimolare una riflessione relativa ai fattori che consigliano l’adozione di processi
partecipati di valutazione;
• contestualizzare la partecipazione ai processi valutativi nella politica regionale, con
particolare attenzione agli attori implicati, ai livelli interessati, alle fasi della politica;
• illustrare i modi in cui la partecipazione può essere inserita nel quadro di processi
valutativi complessi.
Docenti: Claudio Torrigiani (valutatore indipendente)
Testi consigliati
House E. R., Howe K., 2007, “Valutazione e democrazia deliberativa”, in Classici della
valutazione, a cura di Nicoletta Stame, Franco Angeli, Milano (traduzione di
10
“Deliberative Democratic Evaluation”, in Ryan K. E., De Stefano L. (eds.), 2000,
Evaluation as a Democratic Process, in “New Directions for Program Evaluation”, n.
85, Jossey-Bass, San Francisco);
Patton M. Q., 2007, “Alla scoperta dell’utilità del processo”, in Classici della valutazione, a
cura di Nicoletta Stame, Franco Angeli, Milano (traduzione di Discovering Process
Use, 1998, in “Evaluation”, vol 4, n. 2, Sage Publications).
Torrigiani, C., in corso di stampa, “Partecipazione e valutazione partecipata”, in La
partecipazione fra ricerca e valutazione, a cura di Mauro Palumbo e Claudio
Torrigiani, Franco Angeli, Milano.
Sessione VI – Roma, 25 novembre 2008
APPREZZARE GLI EFFETTI DEI PROGRAMMI E DEI PROGETTI PER LO SVILUPPO REGIONALE: CAMPI
DI UTILIZZAZIONE, PRESUPPOSTI E LIMITI DELLA MATRICE DI CONTABILITÀ SOCIALE (SAM)
Quali settori possono beneficiare (o essere danneggiati), ed in quale misura, dai
programmi pubblici di investimento? Come si distribuiscono nell’economia e nella società
tali effetti? Tra i metodi elaborati per rispondere a tali domande si trovano quelli basati
sull’utilizzazione delle Matrici di Contabilità Sociale (SAM). Lo strumento ambisce a
stimare i possibili effetti di un intervento nell’economia, che descrive in modo stilizzato, ed
a fornire indicazioni sulla possibile distribuzione degli effetti. Presenta, poi, il vantaggio di
poter essere utilizzato per la stima di effetti non monetari di programmi e progetti, come,
p.e., le emissioni di CO2. Dotato di elevata complessità tecnica, il metodo si presta bene
all’elaborazione e comunicazione di messaggi sintetici per il decision-maker. Tale
caratteristica, tuttavia, rende necessaria una grande precauzione nell’utilizzazione dei
risultati ottenibili.
Il seminario fornisce un orientamento per l’utilizzazione di questo strumento nel supporto
alla decisione. Nella prima parte saranno presentati i concetti fondamentali per la
costruzione delle SAM a livello nazionale e regionale. Facendo riferimento alle recenti
esperienze regionali di utilizzazione per le valutazioni ex ante, sarà esplorata l’utilizzabilità
dello strumento nell’ambito delle valutazioni degli interventi della politica regionale: a quali
domande si può rispondere, con quali cautele nel rapporto con i decision-makers, in quali
casi può essere impiegato, da chi e in quali contesti istituzionali.
Nel pomeriggio, il seminario, attraverso una trattazione dei temi legati alla costruzione ed
utilizzazione dei sistemi informativi in generale ed uno studio di caso, affronterà
l’argomento dei requisiti informativi indispensabili per costruire sistemi informativi, tra cui,
appunto, le SAM. La natura dello strumento, infatti, rende questo aspetto particolarmente
delicato.
Obiettivi della sessione:
• Individuazione delle condizioni che rendono le SAM utilizzabili nel supporto alla
decisione sui programmi della politica regionale
• Conoscenza degli elementi fondamentali di una Matrice di Contabilità Sociale
• Conoscenza e condivisione dei presupposti e requisiti informativi.
11
Docenti: Sara Savastano e Cataldo Ferrarese (Università degli Studi di Roma “Tor
Vergata”); Gerardo Baione (IPI); Mauro Masselli (Rete dei Nuclei di valutazione degli
investimenti).
Testi consigliati
Caramaschi Elena, (2004), Matrice di contabilità sociale e distribuzione del reddito.
Un’applicazione al caso italiano, disponibile all’indirizzo internet
http://www.irpet.it/index.php?page=pubblicazione&pubblicazione_id=29
Casavola P. , Masselli M., (2002), Quali statistiche territoriali per la valutazione degli
investimenti pubblici
Ferrarese C., Vezzani A., (2005), La regionalizzazione della Matrice di Contabilità Sociale
Masselli M. (2003), Corso “zero” di statistica. Mimeo
Maiolo S., Scandizzo P., (2006), La valutazione di impatto economico di progetti industriali
ed infrastrutturali attraverso la Matrice di Contabilità Sociale (SAM)
Scandizzo P., (2006), Le matrici di contabilità sociale regionali: una nuova metodologia di
stima.
Sessione VII – Roma, 21 gennaio 2009
PIANI, DOMANDE E MANDATI DI VALUTAZIONE: L’APPLICAZIONE RIGOROSA
DEGLI APPROCCI E DEI METODI.
Questa sessione si propone di fornire ai partecipanti gli strumenti necessari per elaborare,
sulla base delle esigenze espresse dagli attori, domande che orientino il lavoro dei
valutatori. La sessione, quindi, al fine di accompagnare i partecipanti nello svolgimento di
tale compito, raccoglierà ed utilizzerà gli spunti teorici emersi nelle sessioni precedenti.
Il percorso formativo è stato disegnato tenendo conto delle richieste, diverse da quelle
riscontrate nei periodi precedenti di programmazione, cui le amministrazioni ed i Nuclei di
Valutazione dovranno rispondere nel corso del periodo di programmazione 2007-2013:
- focalizzarsi sulla valutazione ex post degli effetti della politica regionale; definire Piani
delle valutazioni attraverso i quali le amministrazioni ed i loro partner sociali ed
istituzionali selezionino cosa si valuta (e, di conseguenza, cosa non costituirà oggetto
di valutazione);
- elaborare domande di valutazione centrate su questioni critiche e concrete, evitando
domande generiche o focalizzate meramente su fonti finanziarie;
- prendere in considerazione le posizioni dei soggetti interessati alla politica regionale
(ed in particolare di coloro che usufruiscono degli interventi) nel definire i Piani,
nell’elaborare le domande valutative e nel condurre le valutazioni.
Per rispondere a queste aspettative il percorso è stato impostato secondo i seguenti
principi:
- la valutazione degli effetti possiede proprie caratteristiche che la distinguono dalla
valutazione ex ante e dalla valutazione in itinere;
- la valutazione degli effetti può essere condotta attraverso vari approcci valutativi;
- non esiste un approccio che sia adatto a tutte le situazioni (tipi di interventi valutati,
domande di valutazione), ma ogni valutazione richiede un apposito disegno di
valutazione, “cucito su misura”, come è stato detto nella prima sessione (Stame).
12
Ciascuna sessione (tranne la prima, dedicata alla descrizione del corso e la sesta,
dedicata alle caratteristiche dei sistemi informativi ed alle matrici SAM) ha affrontato un
singolo approccio alla valutazione ex post degli effetti, evidenziando le situazioni in cui
esso risulta idoneo:
- l’analisi controfattuale (seconda sessione: Martini e Agodini)
- la valutazione realista (terza sessione: Leone e Biolcati)
- la valutazione basata sulla teoria (quarta sessione: Befani e Accorinti)
- la valutazione partecipata (quinta sessione: Torrigiani).
Questa settimo incontro intende prendere spunto dai temi individuati nei Piani per
ragionare su: come formulare le domande di valutazione; come formalizzare la domanda
di valutazione in un mandato indirizzato ad una struttura interna (Nucleo di valutazione) o
a soggetti esterni; quali siano gli elementi indispensabili per applicare ciascun approccio in
modo rigoroso e tale da massimizzarne i vantaggi; come aumentare la partecipazione
nella valutazione degli attori principali sul singolo territorio.
La sessione si articolerà in una serie di lavori di gruppo che consentiranno ai partecipanti
di utilizzare gli spunti provenienti dai precedenti seminari in un contesto quanto più
possibile aderente alla realtà. I gruppi saranno affiancati da docenti, ciascuno
specializzato in un approccio, che li aiuteranno nell’esaminare le implicazioni (in termini di
tempi, risorse, esigenze metodologiche), i vantaggi e gli svantaggi di ciascun approccio ed
evidenzieranno lezioni da tenere presente nella definizione dei mandati.
Obiettivi della sessione:
ƒ Orientamento all’applicazione degli elementi teorici oggetto delle precedenti sessioni
nella pratica del lavoro valutativo dei Nuclei e delle amministrazioni
ƒ Accompagnamento all’attuazione dei Piani delle valutazioni
ƒ Individuazione degli elementi metodologici ed organizzativi necessari per l’applicazione
rigorosa di ciascun approccio valutativo
Docenti: Ferruccio Biolcati-Rinaldi (Università degli Studi di Milano); Paola Casavola
(Esperto indipendente); Filippo Ciucci (Università degli Studi di Genova); Liliana Leone
(CEVAS); Luca Mo Costabella (PRO.VA.); Nicoletta Stame (Università degli Studi di Roma
“Sapienza”).
Testi consigliati
Rossi P.H., Freeman H., Lipsey M.W., (2007), Costruire le valutazioni “su misura”, Classici
della valutazione, a cura di Nicoletta Stame, Franco Angeli, Milano (traduzione di
“Tailoring Evaluation”, 1999, in “Evaluation, a Systematic Approach”, Sage
Publications).
13