Controfattuale e valutazione delle politiche per

Controfattuale e valutazione
delle politiche per le imprese
Dossier di documentazione - 2
Novembre 2009
CONTROFATTUALE E VALUTAZIONE
DELLE POLITICHE PER LE IMPRESE
a cura di
Alessandra Cicali
Controfattuale e valutazione delle politiche per le imprese
Dossier di documentazione – 2
Novembre 2009
Regione Toscana Giunta Regionale
Direzione Generale Competitività del sistema regionale e sviluppo delle competenze
Area di coordinamento “Industria, Artigianato, Innovazione Tecnologica”
A cura di Alessandra Cicali
Borsa di studio “Valutazione di interventi regionali a favore delle imprese”
Referente Angelita Luciani
Settore Ricerca industriale, Innovazione e Trasferimento Tecnologico
Dossier realizzato in collaborazione con Sviluppo Toscana Spa
2
Indice
CONTROFATTUALE E VALUTAZIONE DELLE
POLITICHE PER LE IMPRESE
1. Valutazione: uno strumento per decidere....................................................4
1.1 Che cos'è la valutazione.......................................................................5
1.1.1. Valutazione: i fondamenti teorici.........................................8
1.1.2. Valutazione: i fondamenti metodologici..............................9
1.2 Storia della valutazione......................................................................11
1.2.1 Istituzionalizzazione delle pratiche di valutazione.............12
1.2.2 Ruolo e sviluppo della valutazione nell'UE........................13
1.3 La valutazione e le sue funzioni.........................................................17
1.3.1 La valutazione ex ante.........................................................17
1.3.2 La valutazione in itinere......................................................18
1.3.3 La valutazione ex post.........................................................19
2. “Does it work?” Analisi controfattuale delle politiche pubbliche............20
2.1 Stimare la situazione controfattuale: metodi e tecniche.....................24
3. La valutazione delle politiche di aiuto alle imprese.................................30
3.1 Valutare le procedure di implementazione.........................................32
3.2 Impatto delle politiche per le imprese: il controfattuale....................34
4. Valutazione controfattuale:.......................................................................37
4.1 La legge 488/92 alla prova del controfattuale....................................37
4.1.1. Legge 488: esperienze di valutazione................................40
4.1.2 Il FSRA: metodi, obiettivi e risultati...................................57
4.3 La valutazione dell'impatto degli incentivi pubblici per la R&S: il
primo caso tedesco...................................................................................63
4.3.1 Valutazione del programma di sostegno dei costi del
personale di ricerca: metodi, obiettivi e risultati..........................63
4.4 L'impatto delle azioni di sostegno all'export nei Paesi in via di
sviluppo....................................................................................................66
4.4.1 La promozione dell'export nei Paesi in via di sviluppo:
metodi, obiettivi e risultati...........................................................67
APPENDICE - Tecniche di ricerca per la valutazione.................................71
BIBLIOGRAFIA..........................................................................................94
3
1. Valutazione:
uno strumento per decidere
La crescente complessità del contesto socioeconomico, la pluralità delle
esigenze dei territori e le aumentate pressioni di vari gruppi di interesse sui
centri decisionali pubblici hanno determinato, negli ultimi decenni, una
maggiore necessità di compiere analisi rigorose sui programmi delle
politiche pubbliche.
I fattori che hanno concorso a rafforzare questa esigenza sono stati
ampiamente studiati nell'ambito delle Scienze dell'Amministrazione e sono
molteplici: dall'elevato grado di specializzazione decisionale dei livelli di
governo -con la conseguente dispersione di autorità attraverso processi
frammentati e diversificati- alla progressiva interdipendenza tra gli
interventi; dalla trasversalità degli obiettivi, sia rispetto ai confini territoriali
amministrativi che ai tradizionali settori delle politiche pubbliche, alla
pluralità dei livelli di governo; senza dimenticare la moltiplicazione dei
centri di pressione economica, sociale e istituzionale contestualmente alla
progressiva contrazione delle risorse finanziarie disponibili.
In questo contesto è utile ricorrere in modo sempre più frequente e
puntuale ad attività di valutazione delle politiche pubbliche, in particolare
attraverso l'uso di indagini di tipo controfattuale. D'altronde Fabrizio Barca
(Dirigente generale presso il ministero italiano dell'Economia e delle
Finanze) dedica alla valutazione delle politiche di coesione il “pilastro 7”
del suo “Rapporto”1, indicando nel controfattuale un'efficace risposta alle
esigenze valutative:
...i risultati più promettenti sono offerti da una famiglia di
metodologie definite con il nome di “controfattuale” e orientate a
valutare l'impatto di un intervento, stimando quale sarebbe stata la
sitazione se questo non avesse avuto luogo, principalmente
analizzando quanto è avvenuto presso una popolazione “abbastanza
simile” a quella trattata, ma non interessata dalla politica pubblica.
Le informazioni richieste da questo metodo sono ingenti. Mentre le
risposte che offre sono limitate. In particolare, non permette di
capire “come” un intervento funziona, né può offrire indicazioni
certe sull'eventualità che un intervento generi gli stessi effetti se
applicato ad un altro gruppo o ad un altro contesto. Relativamente a
cosa funziona, però, la valutazione controfattuale è più efficace e
affidabile di altri metodi. Inoltre, quando la valutazione di impatto è
progettata parallelamente all'intervento può avere un forte effetto
disciplinare creando, per i policy maker, un incentivo a concentrarsi
sugli obiettivi e sulla sezione dei beneficiari.
(in traduzione dal Rapporto Barca, aprile 2009).
1 Si tratta del cosiddetto “Rapporto Barca”: An agenda for reformed cohesion policy. A
place-based approach to meeting European Union challenges and expectation, aprile
2009, rapporto indipendente richiesto dal Commissario per le politiche regionali, Danuta
Hübner.
4
1.1 Che cos'è la valutazione
Facendo un passo indietro, dal concorrere degli elementi precedentemente
citati deriva la forte esigenza di legittimazione, razionalizzazione e
trasparenza dei processi decisionali pubblici che, almeno in parte, ha trovato
risposta nella diffusione e nel radicamento della pratica della valutazione,
intesa come analisi sistematica, condotta con i metodi della ricerca empirica
e mirata al miglioramento dei programmi delle politiche pubbliche,
attraverso la formulazione di giudizi sulla loro progettazione e attuazione,
sulla loro efficacia e sull'impatto che determinano. In altre parole:
...the application of systematic research methods to the assessment of
program design, implementation and effectiveness (Chelimsky, 1989)
Emergono da questa definizione alcune delle principali caratteristiche
della valutazione, innanzitutto, si tratta di:
✗
✗
✗
✗
un'osservazione della realtà empirica
praticata attraverso procedure rigorose e codificate
mirata alla formulazione di giudizi
orientata ad applicazioni future
Importante è rilevare che i giudizi in questione sono di tipo comparativo
e non assoluto. Si formulano, infatti, attraverso il confronto della realtà
rilevata con gli obiettivi attesi, con gli standard o i valori di benchmark
precedentemente stabiliti o con ricostruzioni della situazione controfattuale
(cfr cap. 2), sulla base delle diverse possibili domande di valutazione.
Elemento da cui non prescindere, inoltre, è la presenza di committenti
dell'attività di valutazione, coinvolti direttamente sia nei processi decisionali
e nelle fasi di progettazione e implementazione della politica da valutare,
che nel processo di valutazione (Lippi, 2007).
Del resto, questo coinvolgimento dei policy maker nell'attività valutativa
appare del tutto naturale se riconosciamo la valutazione come parte
integrante dei processi decisionali che portano alla formulazione e
all'implementazione
della
politica
pubblica,
nell'ambito
del
policy/programme cycle (EVALSED, 2007-2013), illustrato nella figura 1.
In ogni fase dello sviluppo dell'azione pubblica, infatti, è necessario
praticare un'attività di riflessione che produca conoscenze e giudizi
condivisi, fondati su osservazioni razionali e oggettive.
5
Figura 1
Ciclo di programmazione e valutazione delle politiche pubbliche
Formulazione della
politica
Programmazione
Valutazione di
fattibilità (ex ante)
Revisione della
politica
Avvio
della politica
Conclusione del
programma
Implementazione
del programma
Valutazione dei
risultati (ex post)
Valutazione
in itinere
Elaborazione da EVALSED 2007-2013
Ciascuno dei passaggi, illustrati nella figura 1, del resto, presenta
necessità valutative diverse. In fase di programmazione (cfr par.1.3.1), per
esempio, un ruolo chiave della valutazione è quello di raccogliere
informazioni dai vari stakeholder e attori pubblici, al fine di assicurare che i
programmi rispondano ai bisogni dei destinatari della politica. Tale
feedback, comunque, non riguarda questa sola fase: in momenti successivi, è
utile confrontarsi direttamente con i destinatari effettivi e potenziali
dell'intervento.
Nell'ambito della valutazione ex ante, inoltre, si operano valutazioni
mirate alla scelta degli strumenti e degli interventi più adatti a raggiungere i
fini cui le politiche pubbliche sono destinate. Quindi si valuta per scegliere
tra alternative relative ai programmi da attuare.
In fase di implementazione (cfr par. 1.3.2), invece, la valutazione è volta a
capire il modo in cui il programma è condotto e gestito. Attraverso il
monitoraggio e l'analisi delle difficoltà di gestione incontrate, infatti, si può
operare una correzione di medio-corso dei problemi rilevati. L'obiettivo
ovviamente è quello di migliorare il funzionamento dell'amministrazione
che applica la politica. Attività di valutazione riconducibili a questa fase
sono il controllo di gestione e la certificazione di qualità.
6
Una volta concluso il programma (cfr par. 1.3.3) è utile verificare quali
siano stati i risultati2, l'impatto3 e gli effetti4 dell'intervento, con particolare
attenzione alle conseguenze inattese (positive o negative) e agli effetti
perversi che l'azione può aver provocato. Nell'analisi ex post, la difficoltà
maggiore è quella di isolare il rapporto causale tra l'intervento e il suo
effetto, da altri fattori esterni e indipendenti dall'azione pubblica. A questo
fine si utilizza l'indagine controfattuale, ovvero quella tesa a confrontare la
realtà osservata con la situazione che si sarebbe presentata in assenza di
intervento (cfr cap.2).
Inoltre, nella ciclicità del processo di valutazione-programmazione delle
politiche pubbliche è implicito un orientamento al futuro, nell'ottica di un
perfezionamento continuo dell'azione di governo, da un lato attraverso un
processo di apprendimento (capacity building), dall'altro nell'ottica
dell'accountability.
Rientrano nell'ambito dell'apprendimento due importanti funzioni della
valutazione:
✗
la produzione di riflessioni e conoscenze, al fine di correggere gli
errori e migliorare le performance. Questo avviene attraverso la
continua ridefinizione di problemi e soluzioni, resa possibile dalla
natura retrospettiva dell'attività di valutazione (teoria sistemica del
policy making).
✗
la creazione di consapevolezza derivante dall'interazione tra
stakeholder e contesto, attraverso l'attivazione di processi
partecipativi e condivisi. In questa accezione, la valutazione è in
grado di far emergere bisogni, carenze e richieste (collettivi) e di
produrre capacità di riflessione e informazione, così da generare
conoscenze e fini condivisi (empowerment).
Sul piano dell'accountability, invece, il ruolo della valutazione è quello di
“responsabilizzare” i policy maker rispetto ai programmi che adottano. Si
tratta, in altre parole, di render conto della buona riuscita della propria
azione. La valutazione, così, permetterebbe di esercitare un controllo su chi
è preposto a prendere le decisioni legittimandone (o meno) l'operato.
2 Vantaggi (o svantaggi) che i beneficiari diretti hanno ottenuto dalla partecipazione ad un
programma di intervento pubblico giunto alla sua conclusione. I risultati possono essere
osservati al momento in cui un operatore ha portato a compimento l'intervento e si trova a
rendere conto del modo in cui ha allocato e gestito i fondi pubblici (EVALSED, 2007-2013)
3 Conseguenza diretta o indiretta di un intervento, ormai concluso, sui destinatari
dell'intervento (nel medio o nel lungo termine) o su beneficiari indiretti. L'impatto può
essere osservato anche al livello macro (impatto globale). Gli impatti possono essere
positivi o negativi, attesi o inaspettati (EVALSED, 2007-2013).
4 Cambiamento di tipo sociale e economico che risulta direttamente o indirettamente
dall'implementazione di un intervento. Gli effetti includono i risultati e gli impatti di un
intervento, sia positivi che negativi, attesi o inattesi (EVALSED, 1998).
In modo più tecnico, possiamo definire l'effetto di una politica come il cambiamento nella
variabile-risultato attribuibile in senso causale alla variabile trattamento (Sisti, 2007).
Un'altra definizione rigorosa è quella che sottostà al “modello dei risultati potenziali”
teorizzato da Rubin (1974), per cui l'effetto causale del tattamento T sull'i-esimo individuo
corrisponde alla differenza tra due risultati potenziali, quello dell'esposizione di “i” al
trattamento e quello della non esposizione di “i” al trattamento.
7
Un'ultima caratteristica che contraddistingue la policy evaluation è quella
della transdisciplinarietà. L'azione pubblica, infatti, riguarda i campi più
disparati: da quello sanitario a quello ambientale, dal sociale all'economico.
A questa varietà di materie, corrisponde altrettanta varietà di necessità,
applicazioni, approcci metodologici. Per questo, lo sforzo di definire la
natura e le funzioni della valutazione secondo uno schema unico potrebbe
risultare vano e persino riduttivo. Infatti, non solo le pratiche e le tecniche di
valutazione sono molteplici, ma anche l'impianto teorico che ne costituisce
la ratio non è univoco.
1.1.1. Valutazione: i fondamenti teorici
La letteratura esistente in materia di valutazione permette di ricondurre le
pratiche valutative ad alcuni modelli teorici, tra loro diversi. Il più
immediato è quello che si riferisce alla teoria positivista. Questa tradizione,
tipica delle scienze naturali, si fonda sulla convinzione che sia possibile
ottenere una conoscenza oggettiva attraverso l'osservazione. Anche nelle
scienze economiche e sociali, quindi, sarebbe possibile praticare esperimenti
ripetibili, con l'obiettivo di descrivere regolarità e leggi, basate su lineari
rapporti di causa-effetto. L'obiettivo di questo approccio sarebbe, nel
migliore dei casi, quello di produrre evidenze quantificabili sulla relazione
tra input e outcome di un intervento pubblico, utilizzando perlopiù modelli
econometrici applicabili alla valutazione.
Lo schema galileiano, però, presenta grossi limiti qualora lo si voglia
applicare allo studio dei fenomeni socio-economici. Gli ostacoli sono
evidenti: in primo luogo è tecnicamente impossibile ripetere l'esperimento
ceteris paribus, laddove le condizioni sono complesse e difficilmente
controllabili, in secondo luogo la stessa misurabilità degli outcome è
fortemente limitata.
In particolare, i fattori che limitano la misurabilità dei fenomeni
socioeconomici sono i seguenti (EVALSED, 2007-2013- THE GUIDE):
✗
✗
✗
✗
✗
l'osservazione di una realtà generalmente complessa e incompleta
richiede necessariamente un'interpretazione;
ciò che viene osservato è sempre mediato, semplificato o distorto dai
metodi e dalle tecniche utilizzati per raccogliere i dati;
difficilmente si possono riscontrare regolarità e leggi che non
variano sulla base del contesto locale;
gli stessi fenomeni cambiano nel tempo e interagiscono spesso in
modo imprevedibile;
lo studio del contesto socioeconomico non prescinde da giudizi
soggettivi.
Agli antipodi dell'approccio positivista, troviamo quello costruttivista
che, nella convinzione che i fenomeni sociali (e quindi anche economici)
siano il semplice costrutto dell'interazione tra gli universi simbolici degli
attori che compongono la società, abbandona la centralità dei rapporti causaeffetto (nel nostro caso tra l'implementazione delle politiche pubbliche e i
loro risultati) e si concentra sullo studio in profondità dei processi e delle
8
dinamiche che hanno prodotto un certo esito. Il valutatore sarebbe quindi
costruttore di un sistema di significati e relazioni negoziati con gli
stakeholder all'interno dell'arena di policy making. Strumenti privilegiati
della valutazione sarebbero, quindi, quelli della ricerca qualitativa: dal focus
group all'osservazione partecipante.
In posizione intermedia tra i due estremi precedentemente descritti,
troviamo l'approccio pragmatista e quello realista.
Nell'ambito del pragmatismo si raccolgono una serie di riferimenti
teorici e metodologici anche piuttosto eterogenei tra loro, ma accomunati
dall'intento di risultare funzionali a contesti circoscritti, abbandonando
qualunque volontà di generalizzazione. Il valutatore quindi, alla stregua di
un consulente, risponde ad un bisogno cognitivo specifico esplicitamente
espresso dagli stakeholder.
Infine, l'approccio realista, che si è andato affermando nell'ultimo
decennio, sembra mirato a trovare una posizione di sintesi tra costruttivismo
e positivismo. Si recupera, infatti, la centralità di un nesso causale tra
interventi e risultati, ma ponendo l'attenzione sul contesto di riferimento. In
altre parole, la ratio di questo approccio si fonda sulla convinzione che
nessun programma di intervento è valutabile a prescindere dal contesto in
cui è stato applicato: un programma è valido se funziona in più contesti.
L'obiettivo del valutatore è quindi quello di individuare alcune regolarità
rilevanti nello schema contesto-meccanismo-risultato. Il ruolo dei valutatori
è quello di sottolineare i meccanismi causali e spiegare perché le cose
funzionano in contesti differenti, aprendo la scatola nera (black box) che
cela i sistemi di interazione tra contesto, programma e risultati.
1.1.2. Valutazione: i fondamenti metodologici5
Seppur con le significative differenziazioni presenti sul piano teorico
precedentemente descritte, al fine di evidenziare alcuni elementi essenziali e
costitutivi dei processi di valutazione, può risultare utile ricondurre le varie
pratiche ad uno schema metodologico comune.
Innanzitutto possiamo dire che nella valutazione è sempre implicito un
nesso di causa – effetto tra la politica pubblica applicata e il risultato
prodotto. La differenza tra i vari approcci si concentra, al più, sulle modalità
con cui questo rapporto causale tra il programma della politica pubblica e
l'effetto osservato/atteso viene isolato da altre possibili e molteplici cause.
L'obiettivo comune a tutti gli approcci, quindi, è quello di separare la
relazione causale tra intervento e risultato, dalle altre cause che
contribuiscono a produrre lo stesso esito senza distorcere il fenomeno
indagato.
A questo fine è necessario:
identificare e circoscrivere l'oggetto da valutare (fenomeno)
✗
stabilire gli aspetti del cambiamento che si vogliono osservare
(criterio)
✗
utilizzare un elemento di confronto (parametro)
La prima delle tre fasi non può prescindere da un confronto con gli
stakeholder con cui precisare quale sia l'effetto atteso dell'intervento.
✗
5 Paragrafo liberamente tratto da Lippi, 2007
9
Il secondo passaggio, con cui si stabiliscono i criteri sulla cui base
effettuare le osservazioni del fenomeno, è necessario per compiere
un'operazione di semplificazione. Questo step è nuovamente frutto di
un'attività di negoziazione tra stakeholder e valutatori, per quanto esistano
criteri di valutazione ormai diffusi, quali:
✗
✗
✗
✗
✗
✗
✗
l'efficienza ovvero il confronto tra i risultati e le risorse, non solo
finanziarie, impiegate per ottenerli,
l'efficacia
- interna, ovvero il rapporto tra i risultati ottenuti e gli obiettivi
prefissati ed
- esterna ovvero il rapporto tra i risultati ottenuti e i bisogni
preesistenti,
l'economicità intesa come analisi del rendimento dell'intervento
pubblico valutando il contenimento dei costi a parità di risultati,
la rilevanza volta a verificare la corrispondenza tra obiettivi e
bisogni,
l'utilità volta a verificare la corrispondenza tra obiettivi e
soddisfazione dei destinatari,
l'equità intesa come rapporto tra la distribuzione dei costi e la
distribuzione dei benefici,
la coerenza
- interna corrispondenza tra obiettivi e finalità del programma,
- esterna corrispondenza tra obiettivi e indirizzi politici dei decision
maker
Il terzo stadio, infine, prevede la definizione di un parametro di confronto
che costituisca la misura di riferimento della comparazione alla base della
valutazione. Come prima accennato (par. 1.1), infatti, la valutazione si fonda
su giudizi comparativi, poiché si definisce sulla base di un confronto dei
risultati con standard (valore arbitrario indicato dagli stessi policy maker in
fase di definizione degli obiettivi), benchmark (valore esemplare stabilito da
esperti sulla base del confronto tra diverse performance) o situazione
controfattuale (valore/situazione che si sarebbe rilevata in assenza di
trattamento).
1.2 Storia della valutazione: dalle prime
all'istituzionalizzazione delle pratiche valutative
esperienze
Il ruolo della valutazione come disciplina autonoma emerge per la prima
volta nel Nord America, durante gli anni del dopoguerra. Questi primi passi
mossi nella direzione della valutazione delle politiche pubbliche si
rifacevano essenzialmente a tre filoni di intervento: quello nel settore
dell'istruzione, con l'obiettivo di testare i nuovi curricula scolastici, quello
legato alla corretta allocazione delle risorse finanziarie e quello della
valutazione dei programmi per combattere la povertà. In questi anni,
pratiche valutative non ancora svolte in modo sistematico hanno iniziato a
10
diffondersi anche nei Paesi nordici dell'Europa (in particolare in
Scandinavia, Paesi Bassi e Gran Bretagna) dove, comunque, un primo
radicamento delle pratiche di valutazione ha luogo negli anni Sessanta e
Settanta. In questo periodo, l'attenzione si concentrava su alcuni modelli
economici formali utili per valutare l'impatto dei programmi delle politiche
pubbliche. Queste attività di valutazione erano perlopiù riservate agli
ambienti universitari e ai centri di ricerca e la valutazione era
essenzialmente ex post. In questa fase si sono diffuse tecniche di valutazione
quali l'analisi shift-share6 che è stata molto utilizzata per l'economia
regionale, le tavole input-output7 e altri metodi econometrici per la
valutazione. Tuttavia queste tecniche hanno rapidamente conosciuto un
relativo declino, in particolare per il fatto che questi metodi si adattavano
poco allo studio del cambiamento nel comportamento degli agenti
economici, elemento di conoscenza essenziale in economie sottomesse agli
intensi processi di ristrutturazione che si sarebbero praticati di lì a poco.
Non a caso, negli anni Ottanta, l'approccio alla valutazione si sarebbe
modificato sensibilmente: l'attenzione si sarebbe concentrata sull'obiettivo
di misurare il grado di efficienza della gestione delle risorse pubbliche, per
esempio attraverso l'utilizzazione del rapporto costi- efficacia. È il periodo
dell'approccio value for money, l'obiettivo è quello di minimizzare i costi a
parità di risultato ed è dettato dall'esigenza di razionalizzare l'allocazione
delle risorse finanziarie pubbliche. Questo movimento ha coinciso con le
riforme del settore pubblico di molti Paesi e trova la sua concreta traduzione
nelle guidelines della Audit Commission degli Stati Uniti e nella Financial
Management Initiative8 del Regno Unito. Grande merito di questo approccio
è l'aver permesso di ampliare e diffondere la pratica della valutazione, fino a
quel momento orientata al breve termine e confinata alla pratica di ristretti
gruppi di esperti. Il principale fallimento di questo approccio, invece, risiede
in due punti di debolezza: quello di risultare relativamente sconnesso dal
contesto di riferimento e quello di limitarsi allo studio dei soli effetti
economici direttamente misurabili o convertibili in termini monetari,
tralasciando tutti gli aspetti sociali e qualitativi che sfuggono ai criteri di
efficienza in senso stretto (Mairate, in Jacob et al., 2007).
Così, tra gli anni Ottanta e Novanta, si è assistito all'emergere di una serie
di approcci che tendono a combinare la ricerca con l'azione a carattere
partecipativo, mettendo l'accento sul fenomeno dell'apprendimento e sul
carattere democratico della valutazione. Il denominatore comune di questi
approcci sta nel fatto che, oltre a definire gli effetti delle politiche pubbliche,
tenta di comprendere come queste funzionino e attraverso quali processi si
siano ottenuti certi risultati.
6 L'analisi shift-share è una tecnica che consente di scomporre il tasso di crescita di una
grandezza economica in componenti strutturali e locali.
7 La prima teorizzazione delle tavole input output fu praticata da Wassily Leonitef nel 1941,
si trattava di matrici quadrate in grado di rappresentare schematicamente le interrelazioni
tra i vari settori di un sistema economico, in termini di output (beni e servizi prodotti da
ciascun settore) utilizzati in altri processi produttivi come input (fattori di produzione). Solo
negli anni Sessanta Richard Stone applicò il modello ai sistemi di contabilità nazionale,
ragionando in termini di risorse e applicazioni.
8 La Financial Management Initiative (FMI) è stata lanciata nel 1982 nel Libro Bianco
Efficiency and Effectiveness e prevedeva l'introduzione di un sistema computerizzato di
gestione dei budget.
11
1.2.1 Istituzionalizzazione delle pratiche di valutazione
Nel ripercorrere la storia del radicamento della pratica valutativa, è
importante rilevare che si è assistito ad una progressiva istituzionalizzazione
di questa pratica. In altre parole, la valutazione, inizialmente applicata in
modi e contesti informali, è stata progressivamente dotata dei caratteri
dell'obbligatorietà, inquadrata in sedi ufficiali e munita di staff ufficialmente
ed esclusivamente preposti a questo compito. Istituire luoghi stabili e
riconosciuti per compiere i processi di valutazione, del resto, significa anche
facilitare la professionalizzazione della materia valutativa, creando expertise
specifici. Si tratta di un passaggio che, come accennato precedentemente, ha
riguardato prima i Paesi anglosassoni e solo successivamente quelli europei
che, in alcuni casi (Paesi scandinavi, Germania, Paesi Bassi e Francia)
hanno provveduto a istituzionalizzare le pratiche di valutazione negli anni
Settanta-Ottanta, in concomitanza con l'Unione Europea che fece un primo
timido passo in questa direzione nel 1988, all'atto dell'istituzione dei Fondi
Strutturali. Diversa è l'esperienza dei Paesi dell'Europa meridionale, dove la
policy evaluation è stata istituzionalizzata negli anni Novanta proprio per
effetto delle pratiche sempre più affinate e diffuse dall'Unione Europea. Il
caso italiano, in questo quadro, risulta particolarmente rappresentativo. Qui,
infatti, la valutazione trova applicazione in istituzioni stabili e ufficiali, a
partire dagli anni Novanta-Duemila, in risposta a pressioni europee ed
interne (mondo accademico, istituti di ricerca, parte dell'associazionismo,
livelli di governo inferiori) sempre più forti. Questo processo, del resto, ha
determinato un certo disordine nel complesso delle pratiche di valutazione,
per esempio si è diffusa prima la pratica della valutazione ex ante (VIA9 e
VAS10 ne sono esempi) rispetto alla ex post e soprattutto si è sviluppata
prima la pratica al livello gestionale e successivamente al livello di governo.
1.2.2 Ruolo e sviluppo della valutazione nell'Unione Europea
La valutazione, nell'ambito delle politiche comunitarie, è stata
definitivamente introdotta con il pacchetto Delors II, che copre il periodo di
programmazione 1994-1999. È proprio in questo momento che il Consiglio
Europeo di Edimburgo ha deciso di raddoppiare il peso dei fondi strutturali
passando allo 0,46% del PIL comunitario. Successivamente, nel quadro di
Agenda 2000 e preparando l'allargamento dell'Unione Europea, si è
verificato un rafforzamento dei meccanismi di valutazione, sviluppato di
pari passo con l'introduzione di un certo rigore nella gestione delle finanze
pubbliche europee. Un rigore che si è manifestato, per esempio,
nell'introduzione della riserva di premialità, ovvero nella concessione di una
parte dei fondi (il 4%) legata ai criteri di performance.
Possiamo dire, quindi, che il consolidamento delle pratiche di
valutazione, in Europa, è strettamente legato al carattere regionale conferito
alle politiche di sviluppo economico. È in particolare la programmazione
delle politiche di coesione attivate attraverso i Fondi Strutturali che segnano
i vari passaggi evolutivi finora compiuti nell'ambito della valutazione,
secondo lo schema illustrato di seguito (fig.2).
9 Valutazione di Impatto Ambientale.
10 Valutazione Ambientale Strategica.
12
Figura 2
L'evoluzione della valutazione dei Fondi Strutturali11
VALUTAZIONE EX ANTE
1994 - 1999
La valutazione ex ante deve essere condotta in partnership dalla Commissione e
dallo Stato membro. Deve includere la valutazione di impatto ambientale.
La Commissione valuta il piano tenendo conto della valutazione ex ante.
2000 - 2006
Lo Stato membro è il principale responsabile della valutazione ex ante.
L'obiettivo della valutazione ex ante è definito: particolare
attenzione deve essere riservata all'impatto ambientale, al mercato del lavoro e
alle pari opportunità. La valutazione ex ante è incorporata nel piano.
2007 - 2013
Lo Stato membro è il principale responsabile della valutazione ex ante.
L'obiettivo della valutazione ex ante è definito e i risultati vengono incorporati
nei programmi. Viene introdotto il principio di proporzionalità11: la
valutazione ex ante non è obbligatoria nel Quadro Strategico Nazionale
di Riferimento mentre, per i programmi regionali che hanno per obiettivo
la competitività e l'occupazione, gli Stati membri possono decidere se valutare i
programmi insieme.
VALUTAZIONE DI MEDIO TERMINE
1994 - 1999
Non c'è una richiesta esplicita relativa alla necessità di raccogliere informazioni e
comunicarle. Non ci sono disposizioni che definiscono il ruolo del Monitoring
Commettee.
11 Testo in traduzione da “ EVALSED, 2007-2013, The Guide”
11 Il principio di proporzionalità regola l'esercizio delle competenze esercitate dall'Unione
europea. Esso mira a limitare e inquadrare l'azione delle istituzioni dell'Unione. In virtù di
tale regola l'azione delle istituzioni deve limitarsi a quanto è necessario per raggiungere gli
obiettivi fissati dai trattati. In altre parole, l'intensità dell'azione dev'essere in rapporto con
la finalità perseguita. Ciò significa che laddove l'Unione dispone di diversi modi
d'intervento essa deve selezionare, a parità di efficacia, quello che lascia la maggiore libertà
agli Stati membri e alle persone. Il principio di proporzionalità è chiaramente iscritto nel
diritto primario all'articolo 5, comma 3 del trattato che istituisce la Comunità europea
(TCE). Un protocollo sull'applicazione dei principi di sussidiarietà e di proporzionalità,
allegato al TCE dal trattato di Amsterdam, specifica i criteri di applicazione di questi due
principi (http://europa.eu/scadplus/glossary/proportionality_it.htm)
13
2000 - 2006
Lo Stato membro è responsabile della valutazione di medio termine in
partnership con la Commissione, che ne valuta la rilevanza.
L'obiettivo di medio termine è definito. La valutazione è organizzata dall'autorità
di gestione del programma e condotta da un valutatore indipendente, deve essere
compiuta entro il 31 dicembre 2003. Per facilitare la valutazione l'autorità di
gestione deve creare un sistema di raccolta dei dati finanziari e statistici necessari
per la valutazione di medio termine ed ex post. La Commissione di monitoraggio
esamina i risultati di medio termine e può proporre cambiamenti nel programma.
Un aggiornamento della valutazione di medio termine è completato entro la fine
del 2005.
2007 - 2013
Lo Stato membro è responsabile della valutazione in itinere, in collaborazione con
la Commissione. Gli Stati membri sono incoraggiati a redigere piani guida per la
valutazione, poiché il focus si sposta da un approccio di conformità ad un
approccio basato sui bisogni. Gli Stati membri dovrebbero valutare sulla base di
ciò che hanno bisogno di conoscere. La valutazione è obbligatoria quando c'è uno
scollamento significativo con gli obiettivi originariamente programmati.
VALUTAZIONE EX POST
1994 - 1999
La valutazione ex post deve essere praticata in partnership tra la Commissione e
lo Stato membro, valutando l'impatto delle misure applicate in termini di obiettivi
desiderati.
2000 - 2006
La Commissione è la principale responsabile della valutazione ex post in
partnership con lo Stato membro. L'obiettivo della valutazione ex post è
definito; la valutazione è condotta da un valutatore indipendente entro tre anni
dalla fine del periodo di programmazione. Prima del 31 marzo 2004, il 4% le
risorse destinate a ciascuno Stato membro sono trattenute e saranno allocate su
riserva della performance, giudicata dalla Commissione sulla base delle proposte
dello Stato membro (riserva di premialità). La performance è indicata sulla
base di indicatori di efficienza e di implementazione manageriale e finanziaria
definiti dallo Stato membro, previa consultazione della Commissione.
2007 - 2013
Nessun cambiamento è stato apportato rispetto al precedente periodo di
programmazione. La “riserva di performance” è opzionale per gli Stati membri.
14
È importante sottolineare che l'evoluzione sopra descritta si svolge nel
quadro delle politiche di sostegno allo sviluppo regionale, ovvero in un
regime di sostegno che si fonda su alcuni principi da cui, in sede di
valutazione non si può prescindere (Mairate, in Jacob et al., 2007):
✗
la programmazione pluriennale è scandita secondo tempi e con
una ciclicità che differiscono da quelli nazionali ed è volta a dare
stabilità e coerenza strategica all'azione di sostegno.
In particolare, le politiche comunitarie hanno un ciclo di vita limitato
a 5 o 7 anni. La valutazione può, quindi, apportare un contributo
significativo a questo ciclo di interventi, in termini di accumulazione
di conoscenze, sia attraverso le lezioni tratte dall'esperienza, sia dalle
idee e dalle proposte che possono conseguire. C'è dunque un
processo di apprendimento che può rivelarsi utile al momento di
rinnovare le politiche (cfr. par 1.1);
✗
l'addizionalità, per cui i finanziamenti erogati dall'Unione Europea non
coprono da soli il totale delle risorse previste dai programmi, ma vi deve
essere una compartecipazione al livello nazionale. Le risorse europee, in
altre parole, devono sommarsi e non sostituirsi a quelle nazionali.
Questo principio, insieme a quello della sussidiarietà12, pone i
valutatori di fronte ad un problema di non facile soluzione, ovvero lo
sforzo di identificazione del valore aggiunto comunitario. Si tratta, in
altre parole, di comprendere quale sia l'apporto aggiuntivo che
l'intervento comunitario fornisce rispetto a quello che potrebbe
essere condotto da altri attori di livello nazionale, regionale o locale;
✗
il partenariato, per cui i programmi sono il frutto del
coinvolgimento di vari attori istituzionali, organizzazioni non
governative, associazioni e rappresentanti della società civile.
Il carattere decentrato (legato anche al principio di sussidiarietà
sopra citato) della gestione dei programmi comunitari ovviamente
rende la valutazione ancor più necessaria. Per quanto l'Europa sia il
centro decisionale, infatti, l'esecuzione e la messa in opera dei
programmi sono demandati al livello regionale o locale e talvolta
delegati a degli organismi esterni al quadro dell'amministrazione
pubblica. La valutazione ha, quindi, innanzitutto un ruolo molto
importante nel ridurre il gap che esiste in termini di informazione tra
i livelli che operano sul territorio e quelli che decidono.
12 Il principio di sussidiarietà è definito dall'articolo 5 del trattato che istituisce la Comunità
europea. Esso mira a garantire che le decisioni siano adottate il più vicino possibile al
cittadino, verificando che l'azione da intraprendere a livello comunitario sia giustificata
rispetto alle possibilità offerte dall'azione a livello nazionale, regionale o locale.
Concretamente ciò significa che nei settori che non sono di sua esclusiva competenza
l'Unione interviene soltanto quando la sua azione è considerata più efficace di quella
intrapresa a livello nazionale, regionale o locale. Il principio di sussidiarietà è strettamente
connesso ai principi di proporzionalità e di necessità, secondo cui l'azione dell'Unione non
può andare al di là di quanto necessario per il raggiungimento degli obiettivi del trattato
(http://europa.eu/scadplus/glossary/subsidiarity_it.htm)
15
L'Europa, del resto, non è venuta meno al compito di gestire la
complessità di programmi che implicano una moltitudine di attori a diversi
livelli di responsabilità e di obiettivi complementari e interdipendenti. In
particolare, la Commissione Europea ha assunto un ruolo determinante nella
progressiva diffusione di una cultura della valutazione legata alla gestione
dei programmi, dotandosi di standard di valutazione (2002), sviluppando
metodi e tecniche condivise e diffuse attraverso la diffusione di documenti
specifici (la collezione MEANS ne è esempio), fornendo assistenza
permanente agli stati membri attraverso la produzione di strumenti di
supporto metodologico e, infine, costruendo una rete di valutazione (1992)
che consiste in una piattaforma multilaterale di cooperazione e di scambio di
esperienze.
1.3 La valutazione e le sue funzioni
Come accennato in apertura, la valutazione, nell'ambito del policyprogramme cycle, assume funzioni e caratteristiche diverse. Nei vari stadi
della programmazione, infatti, cambiano le esigenze, le funzionalità e
conseguentemente le tecniche che contraddistinguono le pratiche valutative.
Di seguito, si approfondiscono brevemente le modalità e le particolarità di
ciascuno stadio della valutazione: ex ante, in itinere, ex post.
1.3.1 La valutazione ex ante
La valutazione ex ante contiene in sé l'ambizione di compiere una
previsione su quanto accadrà in conseguenza dell'implementazione di una
politica pubblica. Lo stadio in cui si applica è quindi quello all'inizio del
policy-programme cycle: si valuta prima che il programma venga adottato.
In qualche modo, quindi, si osservano gli effetti di un intervento ancor
prima che questo venga attuato. La funzione della valutazione ex ante
appare chiara: mira ad assicurare i policy maker sulla rilevanza e la coerenza
del programma che intendono adottare e sugli effetti che potrebbe generare.
Predispone, inoltre, elementi di fondatezza per il monitoraggio e le
valutazioni successive, assicurando che ci siano obiettivi espliciti e, dove
possibile, quantificabili. Aiuta a specificare i criteri di selezione per la scelta
dei progetti e, infine, favorisce la trasparenza delle decisioni, permettendo
una chiara spiegazione delle scelte fatte e dei loro effetti attesi.
Secondo le linee guida della Commissione Europea:
Le valutazioni ex ante si attuano nel momento in cui le autorità
pubbliche sono coinvolte nella discussione e nella negoziazione
sui programmi futuri. In questa fase si è soggetti a forti
pressioni: l'incalzare delle scadenze, la scarsa formalizzazione
dei programmi che devono essere valutati, l'incorrere in
cambiamenti e rettifiche in corso d'opera, richieste di
riservatezza ecc... Il team di valutazione quindi deve essere in
grado di rispondere in modo rapido e flessibile al cambiamento
e di applicare tecniche di analisi dei bisogni e degli effetti
16
socioeconomici allo stesso tempo (EVALSED, 2007 – THE
GUIDE).
In modo più analitico possiamo distinguere tra due diverse funzioni
attribuibili alla valutazione ex ante: quella di staffing e quella di auditing.
Nel primo caso la raccolta e l'elaborazione razionale di informazioni è
mirata alla costruzione di un giudizio che mira a ridurre l'incertezza dei
decisori e talvolta, in funzione di accrescimento dell'accountability, quella
della collettività. Esempio di questo tipo di valutazione è la AIR, Analisi
d'Impatto della Regolazione. Questo strumento è utilizzano in vari Paesi del
mondo a supporto dei parlamentari che, prima di votare una legge, possono
documentarsi sugli effetti attesi da quel tipo di regolazione (Lippi, 2007).
La funzione di auditing, invece, è volta a rassicurare i decisori pubblici e
le loro collettività di riferimento, relativamente agli effetti di un intervento.
Questo si rende particolarmente utile e necessario nel caso di scelte
controverse o per cui si temono effetti inattesi rilevanti. Esempi di questo
tipo di valutazione sono previsti per legge come le già citate VIA
(valutazione di impatto ambientale) e VAS (Valutazione ambientale
strategica).
1.3.2 La valutazione in itinere
Possiamo definire la valutazione in itinere come un'analisi di processo,
poiché analizza i risultati di medio corso, interrogandosi sulle dinamiche che
li hanno generati. In altre parole, con l'analisi di medio termine si mira ad
analizzare il percorso e i meccanismi che si frappongono tra la decisione e il
risultato. La seconda fase del policy-programme cycle, che generalmente
tende a sfuggire al controllo dei decisori pubblici, viene così sottoposta ad
un processo di ricostruzione cognitiva che permette, quando questo si rivela
necessario, di correggere o rimodulare i programmi in fase operativa.
Secondo quanto espresso nell'ambito delle linee guida della Commissione
Europea:
Dipendono dalle conclusioni della valutazione di medio
termine gli aggiustamenti che possono essere apportati in corso
d'opera. In questa fase, inoltre, si valutano la gestione
finanziaria, la qualità del monitoraggio e la sua
implementazione. La valutazione in itinere, peraltro, mostra
come, e se, le intenzioni originarie vengono perseguite e
controlla se si sono realizzati cambiamenti di fatto rispetto agli
obiettivi iniziali. Aiuta a preparare aggiustamenti e
riprogrammazioni e li sostiene in modo trasparente.
La valutazione in itinere dipende fortemente dalle
informazioni tratte dal sistema di monitoraggio, ma anche dalla
valutazione ex ante e dalle informazioni sul contesto e sulla sua
evoluzione. Generalmente consiste in un breve ed esaustivo
esercizio, focalizzato principalmente sui risultati del
17
programma, senza addentrarsi in analisi di impatto che non
hanno ancora avuto il tempo di emergere. Inoltre è possibile e
auspicabile riferirsi a valutazioni in profondità o tematiche
relative ai programmi precedentemente attuati, quando tali
analisi esistono. La valutazione di medio termine ha una natura
“formativa”, in quanto produce feedback diretti nel programma
migliorandolo (EVALSED, 2007 – THE GUIDE).
Potremmo quindi identificare la valutazione in itinere come l'analisi dei
processi di attuazione, condotta al fine di mantenere il controllo sul
programma anche nella fase in cui l'implementazione degli interventi è
avviata, così da permettere ai policy maker di disporre operazioni correttive
in corso di attuazione. Le dinamiche che si sono innescate nella fase di
implementazione del programma sono ricostruibili secondo tre metodi di
analisi (Lippi, 2007): quella cronologica, ovvero attraverso la ricostruzione
diacronica degli eventi, quella degli attori e delle poste in gioco, che mira a
ricostruire il sistema delle relazioni e i rapporti di potere attraverso
diagrammi e quella delle interazioni e dei giochi, che ricostruisce i ruoli e i
meccanismi di interazione.
Non dobbiamo dimenticare, infine, che durante la fase di
implementazione degli interventi si pratica l'attività di monitoraggio. Non
si tratta di un'attività di valutazione in senso stretto, ma della raccolta
sistematica e ciclica di informazioni che saranno strumentali alla
valutazione vera e propria. Con il monitoraggio, infatti, si registrano e si
osservano gli output mentre questi vengono generati, facendo riferimento a
sistemi di indicatori precedentemente definiti.
Possiamo distinguere tra due tipi di monitoraggio:
✗
quello confermativo per cui gli indicatori di performance hanno lo
scopo di tenere sotto controllo più linee di attuazione della
medesima politica, riscontrando periodicamente gli andamenti
secondo alcuni criteri, quali l'impiego di risorse finanziarie e
organizzative, la coerenza tra le azioni realizzate e gli obiettivi,
l'attuabilità del progetto a determinate condizioni ecc...
✗
quello esplorativo, volto a rilevare una serie di dati sull'oggetto di
intervento al fine di comprendere, man mano che il programma
viene attuato, se si stanno raggiungendo gli obiettivi prefissati.
1.3.3 La valutazione ex post
La valutazione che stimola riflessione e verifica per eccellenza è quella
ex post. A spiegarlo in modo chiaro e sintetico è, ancora una volta, la Guida
della valutazione europea:
La valutazione ex post ricapitola e giudica l'intero
programma, in modo particolare relativamente ai suoi impatti.
Gli obiettivi sono quelli di rendere conto dell'uso delle risorse, di
riferire dell'efficacia e l'efficienza degli interventi e comprendere
18
fino a che punto gli effetti attesi siano stati raggiunti. L'analisi
ex post si concentra sui fattori di successo e insuccesso, sulla
sostenibilità dei risultati e sull'impatto complessivo del
programma. Si tenta, quindi, di trarre conclusioni che possano
essere generalizzate e applicate ad altri programmi o altre
regioni.
Idealmente, i risultati di questa valutazione dovrebbero essere
utilizzabili in fase di programmazione degli interventi successivi
ovvero, al più tardi, un anno prima della conclusione del
programma. Tuttavia, per riuscire a rilevare gli impatti prodotti,
la valutazione deve essere effettuata almeno a due o tre anni
dalla conclusione del programma. Intanto, spesso si richiede una
revisione provvisoria dei programmi da poco conclusi, così da
legare la valutazione ex ante con il ciclo di programmazione
successivo.
Se applicata in modo sistematico, l'analisi di impatto è sempre
un esercizio di larga scala. La valutazione ex post, quindi, tende
a includere ricerche sul campo di lungo periodo, con tempi che
si aggirano tra i 12 e i 18 mesi (EVALSED, 2007 – THE
GUIDE).
Quello praticato e diffuso nell'ambito dell'Unione Europea, in particolare
per quanto riguarda le politiche di coesione e sviluppo finanziate dai Fondi
Strutturali, è un uso della valutazione in funzione di verifica (audit). Anche
per questa fase, però, non mancano altre funzioni valutative, a partire da
quella tradizionale di staffing, ovvero quella di supporto specialistico alle
scelte dei decisori. Non si devono dimenticare, inoltre, la funzione di
sorveglianza (oversight) praticata in molti paesi in qualità di controllo della
legiferazione13 e il piloting, per cui i programmi vengono sottoposti a una
vera e propria fase sperimentale.
13 Per quanto sia essenzialmente rimasta lettera morta, questo tipo di valutazione è stato
istituito in Italia, parallelamente alla già citata AIR (legge 50/1999), con la legge 246/2005
e prende il nome di VIR (Valutazione di Impatto della Regolazione).
19
2. “Does it work?”
Analisi controfattuale delle politiche pubbliche
Nell'ambito della valutazione ex post, la domanda di valutazione più
immediata e spontanea che ci si possa porre è: l'intervento ha funzionato? I
risultati auspicati sono stati raggiunti?
Si tratta, per la verità, di un interrogativo particolarmente caro alla
tradizione anglosassone e di alcuni Paesi del Nord Europa, che solo negli
ultimi anni si sta diffondendo come pratica di valutazione nell'Europa
continentale e mediterranea. Peraltro, per quanto il quesito possa apparire
scontato, associarlo a risposte fondate lo è molto meno. Rispondere a questo
tipo di domanda, infatti, presuppone l'identificazione di un nesso di causalità
tra la realizzazione dell'intervento e un certo cambiamento, osservabile a
seguito dell'implementazione di tale azione. Per far questo è necessario
isolare l'oggetto di studio da condizioni esterne che possono incidere sul
risultato finale, evitando di attribuire all'azione pubblica effetti (positivi o
negativi) indotti da altri fattori.
CAUSE ENDOGENE
(programma)
CAMBIAMENTO
(obiettivi/risultati)
CAUSE ESOGENE
(altre) cause)
In altre parole, il cambiamento osservato una volta terminata
l'implementazione del programma (CL = cambiamento lordo) risulterà
dall'azione diretta del programma (quella che determina l'effetto netto che ci
interessa individuare, EN) e dalla dinamica spontanea generata da fattori
esogeni al programma, ovvero il controfattuale (C).
CL
= EN
+
C
(1)
EFFETTO DEL PROGRAMMA
CONTROFATTUALE
L'individuazione di un nesso di causalità tra l'intervento in esame e un
determinato effetto atteso, quindi, non può prescindere dal preliminare
isolamento delle variabili studiate, rispetto a fattori terzi che influiscono
sull'oggetto di studio.
Poiché non è possibile individuare e controllare tutti gli elementi che
incidono sul cambiamento finale, la via per sgombrare il campo di studio da
fattori di causalità estranei all'intervento è quella di “misurare” l'effetto netto
(EN) del programma, ovvero l'effetto direttamente dipendente dall'azione
implementata. Come descritto dall'espressione (1.1), l'effetto netto altro non
è che la differenza tra il cambiamento lordo, ovvero il valore osservato nella
variabile risultato dopo l'attuazione dell'intervento, e lo stesso valore
misurato in assenza di intervento, in altre parole il controfattuale (C).
20
(1.1)
EN = CL - C
Definiamo, infatti, controfattuale la situazione che si sarebbe verificata in
assenza di intervento.
A questo punto, problema, non di poco conto, è quello di misurare il
cambiamento lordo e il controfattuale.
Identificare il primo valore non è operazione scontata. Sarà, infatti,
necessario chiarire quali fossero gli obiettivi dell'azione pubblica, sulla base
di questo individuare degli indicatori che ne rappresentino una misura,
isolare un certo contesto e il gruppo di soggetti su cui misurare gli effetti
(gruppo sperimentale, Gs). La differenza tra le misure effettuate al tempo
T0, ovvero prima dell'attuazione dell'intervento, e al tempo T1, ovvero a
intervento concluso, darà una stima del cambiamento lordo verificatosi.
Ancora più ardua risulterà l'intenzione di giungere a una definizione della
situazione controfattuale. Per definizione, infatti, si tratta di un valore
ipotetico e non misurabile (Holland, 1986), per cui l'unica via per
identificarlo è procedere nel definire una sua approssimazione, costruendo
un gruppo di controllo (Gc), costituito da soggetti che non abbiano
beneficiato dell'intervento.
L'effetto netto, quindi sarà, in prima istanza, così approssimabile:
EN = (Gs t0-Gs t1) – (Gct0-Gct1)
(2)
CAMBIAMENTO LORDO CONTROFATTUALE
Per facilità di esposizione, ci riferiamo alla figura 3 che riassume i
principali metodi di valutazione ex post, distinguendo, tra l'altro, metodi
sperimentali e quasi-sperimentali (Campbell, 1966).
Figura 3. Valutazione ex post degli effetti di un intervento
Analisi controfattuale
Esperimento naturale
L'intera popolazione è soggetta
all'intervento. Quindi è necessario
disporre di una serie storica che,
utilizzando alcuni metodi statistici,
ne
operi
una
proiezione,
identificabile come
situazione
controfattuale. Il confronto tra le
misurazioni effettive successive
all'intervento e i corrispettivi valori
suddetti costituisce la stima
dell'effetto netto.
EN = (Pt0-x – Pt1+x) per x = 1, 2...
P =popolazione
Metodo sperimentale
Misurazione di valori indice del
successo dell'intervento per gruppi
sperimentali e di controllo composti
per estrazione casuale.
EN = (Gst1 – Gct1);
(con Gs e Gc assimilabili per
estrazione casuale)
21
Metodi quasi sperimentali
Misurazione, pre e post intervento,
di valori indice del successo
dell'intervento
per
gruppi
sperimentali e di controllo. In
alternativa al doppio confronto prepost (differenza nelle differenze), si
possono utilizzare tecniche di
costruzione del gruppo di controllo
e sperimentale (matching statistico,
confronto attorno al punto di
discontinuità)
affinché
questi
abbiano caratteristiche simili e
siano, quindi, comparativamente
assimilabili.
EN = (Gst0 - Gst1) – (Gct0 – Gct1);
OPPURE
EN = (Gst1 – Gct1)
(con Gs e Gc assimilabili per
costruzione)
Metodi che rinunciano alla costruzione di gruppi di controllo
Metodi non sperimentali
Misurazione
del
valore
dell'indicatore
prima
della
realizzazione dell'intervento e dopo
la
sua
implementazione
ripetutamente nel corso del tempo.
CL = (Gst0 – Gstx) per x = 1, 2...
e
CL = (∑ Gstx) per x = 1, 2...
Misurazione
del
valore
dell'indicatore
soltanto
dopo
l'implementazione dell'intervento
ad intervalli ripetuti.
Per descrivere i metodi indicati in figura 3 come non sperimentali14 ci
limitiamo a dire che questi rinunciano a priori alla costruzione di un gruppo
di controllo e, quindi, alla definizione di una plausibile approssimazione
della situazione controfattuale. Questo, a scapito della plausibilità del
risultato, avviene ogni volta che non sia possibile (per scarsa disponibilità di
dati) o sia troppo costoso formare un gruppo di controllo. In questi casi la
componente distorsiva viene mitigata reiterando le misurazioni nel tempo.
Ripercorrendo la tabella dall'alto, invece, troviamo il cosiddetto
esperimento naturale, praticabile quando l'intervento è rivolto all'intera
popolazione (non esistono quindi gruppo sperimentale e gruppo di
controllo), e la situazione controfattuale è rappresentata dalla stima della
dinamica spontanea (cosa sarebbe avvenuto in assenza di intervento),
individuabile effettuando la proiezione futura di una serie storica relativa a
misurazioni della variabile risultato e confrontandola con le misurazioni
della variabile risultato in tempi successivi all'implementazione della
politica pubblica studiata.
Nel secondo caso (metodo sperimentale), invece, si presuppone che il
gruppo sperimentale e il gruppo di controllo siano mediamente equivalenti
perché selezionati in modo casuale. L'assegnazione casuale, infatti,
garantisce che l'unica differenza significativa tra i due gruppi sia quella di
aver o non aver beneficiato del sostegno pubblico conferendo un certo
rigore all'operazione di definizione del controfattuale.
14 La distinzione tra metodi quasi-sperimentali e non sperimentali presente nella figura 3 è
funzionale ad operare una distinzione tra i due gruppi, ma in gran parte della letteratura sul
tema i due termini sono utilizzati indistintamente.
22
Il metodo sperimentale, però, spesso non è applicabile, in particolare
perché, per ragioni di tipo etico, politico o giuridico, non è possibile
escludere una parte della popolazione dalla possibilità di usufruire
dell'intervento o decidere in modo random chi siano i beneficiari.
Non a caso le situazioni in cui è possibile ricorrere al metodo
sperimentale sono ben rare purché non riguardino la realizzazione di
progetti pilota, ovvero (come accennato precedentemente, par. 1.3.3) dei
veri e propri esperimenti (social experiments) praticati su scala ridotta,
simulando – per così dire - quanto per le scienze fisiche e naturali avviene in
laboratorio. Non si deve dimenticare, però, che questo approccio riferendosi
alla sfera sociale pone forti limiti alla ricostruzione di condizioni ceteris
paribus. Questo genere di esperimento, infatti, è fortemente limitato dai
condizionamenti che i soggetti (individuali e collettivi) subiscono a causa
della consapevolezza dell'osservazione cui sono sottoposti. I comportamenti,
in altre parole, possono non essere spontanei. La stessa implementazione
dell'intervento, del resto, può risultare diversa se effettuata su scala ridotta:
basti pensare all'interazione, tendenzialmente maggiore, tra erogatore,
valutatore e beneficiario.
Per questi motivi e, in particolare, perché in linea di massima la selezione
dei beneficiari (e non), per ovvi motivi, sfugge completamente al controllo
dei valutatori, solitamente, l'identificazione dell'effetto dell'intervento
richiede di seguire metodi con cui sia possibile riuscire a ridurre, da un lato,
la distorsione che deriva dai processi di selezione (i beneficiari hanno
determinate caratteristiche) e dall'altro la distorsione determinata da fattori
esterni all'intervento che incidono, direttamente o indirettamente, su quanto
deve essere verificato. Si ricorre così al metodo di ricerca quasi–
sperimentale.
Attraverso i metodi qui indicati come quasi-sperimentali, invece, è
possibile condurre un'analisi di tipo controfattuale e quindi stabilire, con un
certo grado di ragionevolezza, un nesso di causa-effetto tra l'azione pubblica
e il suo risultato. Questa situazione si verifica quando il gruppo sperimentale
e il gruppo di controllo vengono costruiti in modo tale che siano
comparativamente assimilabili. I due gruppi, insomma, pur non essendo
formati per estrazione casuale potranno essere considerati come mediamente
equivalenti e, quindi, simili per tutte le caratteristiche osservabili che
possono influire sull'esito del programma (assumendo che le variabili non
osservabili non generino complessivamente effetti sulla variabile risultato).
Costruire gruppi con queste caratteristiche è operazione complessa,
soprattutto a causa della disponibilità e della reperibilità dei dati non sempre
ampie. Per compiere questa operazione si possono usare varie tecniche,
quali il confronto attorno al punto di discontinuità, la tecnica della
differenza nelle differenze, il matching e la regressione statistica.
2.1 Stimare la situazione controfattuale: metodi e e tecniche
Se la principale sfida posta dall'approccio controfattuale è quella di
distinguere la dinamica spontanea dagli effetti dell'azione pubblica che si
vogliono valutare, una prima tecnica praticabile è quella che prende il nome
di differenza nelle differenze, peraltro già indicata con l'espressione 2:
23
EN = (Gst0 - Gst1) – (Gct0 – Gct1)
Come indicato nella figura 3, si tratta della misurazione, pre e post
intervento di valori indice del successo dell'azione pubblica (d'ora in avanti
individuazione del valore della variabile risultato), per gruppi sperimentali e
di controllo.
Il metodo si basa sull'assunto che le differenze strutturali tra il gruppo
sperimentale e il gruppo di controllo siano del tutto comprese nelle
differenze osservabili al tempo t0, (si controlla la distorsione da selezione)
senza che questo determini una diversità nel trend di mutamento seguito
successivamente. Implicitamente, infatti, si sottintende che la situazione
controfattuale sia quella determinata dall'applicazione, al gruppo
sperimentale, del cambiamento osservato nel gruppo di controllo; vale a
dire: in assenza di intervento la dinamica di cambiamento che si sarebbe
verificata all'interno del gruppo sperimentale sarebbe quella effettivamente
riscontrata nel gruppo di controllo. Questo assunto può generare una
distorsione sul risultato finale (distorsione da dinamica spontanea), poiché le
stesse condizioni di partenza e altre caratteristiche non osservabili, o non
osservate, dei due gruppi possono essere motivo di differenti trend di
sviluppo della situazione osservata.
Per fare un semplice esempio: poniamo che si voglia intervenire per
favorire l'internazionalizzazione di imprese che, a fronte di un'elevata
qualità di prodotto, mostrino una bassa propensione ad agire in campo
internazionale. Ammettiamo che la variabile risultato su cui si voglia agire
sia il valore annuo delle esportazioni e che l'intervento sia circoscritto ad
uno specifico territorio. Le imprese saranno soggette ad una fase di
autoselezione (solo alcune decideranno di partecipare al progetto) e ad una
fase di selezione (solo quelle con determinate caratteristiche saranno
effettivamente finanziate). Questi processi selettivi, ovviamente, non sono
neutri anzi, è molto probabile che comprendano alcune variabili che
possono influire in modo significativo sulla probabilità di futura
internazionalizzazione dell'impresa, genereranno quindi distorsione da
selezione. A questo rischio di errore se aggiunge un altro: quello di
distorsione da dinamica spontanea. Si impone, in altre parole, la necessità di
distinguere l'effetto causale del trattamento dalla naturale evoluzione del
fenomeno (alcune o tutte le imprese avrebbero accresciuto l'ammontare
delle proprie esportazioni pure in assenza di intervento e questo, a causa di
una serie di fattori – tra cui anche le caratteristiche di partenza dei due
gruppi - non sempre controllabili, potrebbe avvenire in misure diverse
all'interno del gruppo di controllo e del gruppo sperimentale).
Un possibile correttivo può essere apportato osservando i trend di
cambiamento degli anni precedenti a t0 (se la differenza tra i trend degli anni
precedenti è maggiore o minore rispetto al dato stimato per la dinamica che
si è verificata tra t0 e t1 questo valore può essere utilizzato a correzione del
risultato della semplice differenza nelle differenze relativa a t0 e t1).
Ovviamente questo non è sempre possibile poiché i valori della variabile
risultato per gli anni precedenti a t0 non sono sempre disponibili.
Per lungo tempo, del resto, la via più percorsa è stata diversa: costruire
modelli matematici in cui inserire quante più variabili fosse possibile.
Modelli che consistono in sistemi di equazioni, di cui si specificano la forma
24
funzionale e le restrizioni necessarie per tener conto delle componenti non
osservabili. Si cerca, in altre parole, di stimare tutte le cause dell'effetto
totale sulla variabile risultato per stimare l'effetto marginale dell'intervento
sulla variabile risultato. Queste tecniche di grande validità teorica, appaiono
difficilmente efficaci sul piano empirico, imponendo il controllo di molte
variabili. Il più semplice esempio di questo genere di modelli è quello della
regressione lineare11. Ad ogni modo il meccanismo di fondo rimane questo:
per studiare la relazione tra variabili (la variabile trattamento, la variabile
risultato e variabili terze che influiscono sulla variabile risultato) si
costruisce una funzione (imponendo di fatto una forma – in questo caso
lineare - alla relazione studiata) e si osserva come “si comporta” per certe
misurazioni dei suoi componenti.
Il fascino di riuscire a costruire modelli, anche grafici, in grado di
descrivere l'interazione tra l'implementazione del programma, altri fattori
esterni al programma ed effetti di questi, però, non deve indurre a facili
entusiasmi. L'utilizzo di questo metodo è fortemente condizionato dalla
presenza di variabili non osservabili e, come altri metodi, dalla mancanza di
grandi quantità di dati.
Si può tornare, allora, all'uso di metodi “più empirici”, come quello del
matching statistico. Questa tecnica può essere utilizzata anche qualora non
si abbiano informazioni pre-intervento relative alla variabile risultato. Si
tratta, infatti, di creare un gruppo di controllo a posteriori, in modo tale che
questo abbia caratteristiche quanto più simili a quelle del gruppo
sperimentale. Presupponendo che la costruzione del gruppo di controllo sia
effettuata correttamente, infatti, potremo (alla stregua di quanto avviene con
l'estrazione casuale) considerare i due gruppi come mediamente equivalenti
e quindi avremo la possibilità di utilizzare il modello di confronto proprio
del metodo sperimentale: EN = (Gst1 – Gct1). In questo caso, l'assunto di
fondo consiste nel considerare non significative tutte le variabili non
osservabili, purché si sia tenuto conto delle osservabili.
Le tecniche per praticare l'abbinamento statistico sono varie e dipendono
da due scelte fondamentali:
✔
la scelta della distanza tra due unità di confronto (ovvero la
definizione del livello di similarità che deve intercorrere tra unità del
gruppo di controllo e del gruppo sperimentale),
✔
il criterio in base al quale effettuare l'abbinamento
Per quanto riguarda il primo punto, la misura della distanza utilizzata più
11 In questo caso il modello utilizzato è lineare: Yi = α + β Ti + λ fattore1 + єi
Con:
Yi rappresenta la variabile risultato misurata, al tempo t1, sull'i-esima unità di studio;
Ti rappresenta la variabile trattamento;
єi rappresenta il termine di errore dato da tutte le variabili non osservabili (con media 0);
λ fattore1 rappresenta un elemento terzo che incide sulla variabile risultato;
α e β sono i coefficienti da stimare.
25
frequentemente è quella del cosiddetto propensity score, ovvero la
probabilità che una certa unità sia assegnata al trattamento date le
caratteristiche che presentava in precedenza dell'implementazione
dell'azione pubblica. Questa probabilità può essere attribuita attraverso due
diversi modelli per dati binari: logit (o logistica), oppure probit12.
La funzione Logit, per esempio, permette di identificare in un valore
compreso tra 1 e 0 che indica la probabilità, date certe caratteristiche
esplicative pre-trattamento, di accedere all'erogazione dell'intervento
pubblico. Quanto più questo valore sarà vicino a 1 tanto maggiore sarà la
probabilità di accedere al trattamento.
Il secondo problema riguarda il criterio di abbinamento tra unità trattate e
non trattate. Come mostra la figura 4 i principali criteri di abbinamento
sono: l'abbinamento con l'unità più vicina, l'abbinamento nell'ambito di un
certo raggio, quello con stratificazione e attraverso la funzione di Kernel.
Figura 4. Matching statistico: come abbinare le unità di confronto
Abbinamento con l'unità più vicina
A ciascuna unità trattata viene
abbinata l'unità con propensity
score più vicino. In linea di
CON:
massima, ciascuna unità non
trattata può essere assegnata a più
Yit = valore della variabile risultato per la unità trattate. Il gruppo di controllo,
i-esima unità trattata.
quindi può essere numericamente
più
piccolo
del
gruppo
yic= valore della variabile risultato per
sperimentale.
Motivo di debolezza di questo
l'unità di controllo abbinata all' i-esima
metodo sta nel fatto che l'unità di
unità trattata.
controllo più vicina può risultare
Nt = numero di unità trattate presenti nel anche molto diversa (perché in
valore assoluto lontana
dal
campione
punteggio dell'unità sperimentale)
dall'unità sperimentale che le viene
assegnata.
∑ i (yit – yic)/ Nt
12 Si tratta di funzioni che raffigurano la probabilità che una variabile dicotomica (nel
nostro caso ricevere o non ricevere il trattamento) assuma una delle due modalità, date certe
condizioni.
Logit P (T=1) = e Xβ /1+ e Xβ
Probit P (T=1)= 1-e -exp (Xβ)
26
Radius Matching
Ad ogni unità trattata sono abbinate
tutte le unità di controllo con
propensity score compreso entro
CON:
una
certa
distanza
(raggio)
Yit = valore della variabile risultato per la tendenzialmente molto vicina a 0.
i-esima unità trattata.
È quindi possibile che non tutte le
unità sperimentali siano abbinate ad
yic= valore medio della variabile risultato almeno una unità di controllo, così
come è possibile che una unità
per l'unità di controllo abbinata all' isperimentale sia abbinata a più
esima unità trattata.
unità di controllo (in questo caso si
tr
N = numero di unità trattate che calcola la media aritmetica delle
trovano almeno un abbinamento variabili risultato delle unità di
controllo).
all'interno del raggio prescelto.
Motivo di debolezza di questo
metodo è la possibile perdita di
Ntr ≤ Nt
unità trattate. Si deve notare, in
proposito, che esiste un trade off tra
l'ampiezza del raggio scelto e la
numerosità delle unità confrontate.
∑ i (yit – yic)/ Ntr
Abbinamento con stratificazione
L'abbinamento è applicato sulla
base di intervalli, costruiti in modo
tale che le unità trattate e non
Medie delle differenze nei vari strati, trattate -al loro interno- abbiano lo
ponderate con il numero di unità stesso propensity score.
trattate presenti all'interno dello Un motivo di debolezza di questo
strato stessometodo è costituito dal fatto che, in
alcuni
strati,
possono
non
comparire unità trattate o unità non
Costruzione degli strati:
trattate e si ha, quindi, nuovamente
una perdita di informazione.
∑ k Δk Nkt / Nt
CON:
Δk = ∑i yit / Nkt - / ∑i yic / Nkc
Nkt = numero di unità trattate
presenti nello strato k
Nkc = numero di unità non trattate
presenti nello strato k
27
Abbinamento con la funzione di Kernel
A ciascuna unità trattata sono
abbinate tutte le unità non trattate
ponderate in ragione della distanza
del loro propensity score da quello
dell'unità trattata.
Non vi è quindi perdita di
informazione.
n
∑i (yit – ∑j=1
wij Yjc)/ Nt
c
CON:
∑j=1 wij YjNkt = media ponderata
della variabile risultato di tutte le
unità trattate, da calcolare per
ciascuna unità trattata.
I pesi wij sono costruiti sulla base
della funzione matematica Kernel,
in modo che risultino inversamente
proporzionali rispetto alla distanza
tra il propensity score di ciascuna
unità sperimentale e di controllo. Il
valore massimo, ovviamente è
raggiunto per propensity score
uguali.
Infine, per gli interventi che presuppongono una selezione pubblica e
l'assegnazione di agevolazioni attraverso la compilazione di una graduatoria,
è possibile procedere utilizzando alcuni metodi fondati sulla discontinuità
di trattamento. La logica di fondo è di facile intuizione: poiché le
graduatorie sono stilate attraverso l'assegnazione di un punteggio, di solito,
in parte assegnato sulla base di criteri di merito (la validità del progetto
presentato) e in parte in misura della necessità e delle caratteristiche del
richiedente, è possibile supporre che punteggi ravvicinati siano alla base di
un buon grado di similarità tra i partecipanti al bando. Una volta accettato- o
verificato - questo assunto, sarà semplice individuare nel punteggio soglia,
determinato dall'agente pubblico sulla base delle risorse disponibili, la
discriminante che permetterà di distinguere tra trattati (gruppo sperimentale)
e non trattati (gruppo di controllo). In definitiva il confronto avverrà tra gli
ultimi dei beneficiari e i primi degli esclusi, soggetti che mediamente
differiscono soltanto per l'esposizione al trattamento. Chiaramente questo è
tanto più vero se le unità esaminate hanno punteggi compresi entro un
raggio limitato rispetto al punteggio soglia. Il confronto finale, del resto,
sarà compiuto tra le medie dei due gruppi, medie che saranno
statisticamente più significative se estratte da un numero più alto di
osservazioni. Esiste quindi un trade -off tra la necessità di mantenere la forte
similarità tra il gruppo di controllo e il gruppo sperimentale (confrontando,
per esempio i primi 5 esclusi e gli ultimi 5 inclusi tra loro molto simili) e la
necessità di limitare la perdita di informazione (confrontando per esempio
gli ultimi 30 inclusi e i primi 30 esclusi). Il fatto di operare su piccoli
numeri, peraltro, aumenta fortemente l'arbitrarietà dei risultati.
È la regressione statistica ad offrire un possibile “correttivo”. Più
precisamente, in questo caso, si tratta di regression discontinuity design,
28
modello statistico che permette di mantenere l'impianto logico del confronto
attorno al punto di discontinuità utilizzando tutte le osservazioni disponibili.
Il modello consiste in una regressione lineare che includa le relazioni tra
variabile risultato (Yi), variabile trattamento (Ti), punteggio (φ punteggio) e
un termine di interazione (prodotto) tra il punteggio e la variabile
trattamento (δTi * punteggio):
(3)
Yi = α + β Ti + φ punteggioi + δTi * punteggioi + єi
riscrivibile come
Yi = ( α + β Ti) + (φ + δTi) punteggioi + єi
pendenza e intercetta variano per T=0 e per T=1
La rappresentazione grafica della funzione 3 consisterà in due rette
(poiché la variabile trattamento è dicotomica) che metterà in relazione la
variabile risultato dopo il trattamento e il punteggio, per gruppi trattati e non
trattati. La distanza verticale tra le due rappresenterà l'effetto dell'intervento
T.
29
3. La valutazione delle politiche di
aiuto alle imprese
Prima di illustrare con qualche esempio il quadro teorico fin qui descritto,
stringiamo leggermente il campo, occupandoci di uno specifico settore di
politiche pubbliche: quello del sostegno delle imprese.
Rispetto a quanto già detto, la valutazione degli interventi a favore delle
imprese non presenta particolari specificità ma, come è ovvio, risponde alla
specifica ratio che sottostà a questo genere di interventi.
Innanzitutto, è necessario notare che il fine ultimo delle politiche di aiuto
alle imprese è quello di ottenere effetti complessivi sul sistema economico.
Per fare alcuni esempi: aumentare la competitività del sistema
imprenditoriale favorendo l'innovazione tecnologica e organizzativa o
aumentare l'occupazione.
In secondo luogo, è importante specificare che ci si riferisce sempre ad un
ambito definito e portatore di esigenze e difficoltà specifiche: le imprese di
un determinato territorio, settore o scala dimensionale.
In altre parole, si interviene su una specifica popolazione (una particolare
categoria di imprese, per esempio per settore, dimensioni o localizzazione
geografica) al fine di indurre un cambiamento specifico relativamente alla
condizione o a ad alcuni comportamenti specifici, così da ottenere effetti
positivi su più ampia scala.
In linea di massima, in qualche modo, si intende correggere alcune
imperfezioni del mercato esistente, andando a rimuovere delle barriere che
penalizzano alcuni soggetti con potenzialità riconosciute, ma non totalmente
espresse. Ne sono esempio le azioni di sostegno rivolte ad imprese di
piccole dimensioni o start up che, sviluppate attorno a progetti validi, con
elevate potenzialità di crescita e la possibilità di costituire un veicolo
importante per ottenere ricadute positive sul territorio, siano ostacolate dalla
difficoltà di accedere al credito o ad alcuni servizi avanzati.
L'intervento, ovviamente, presuppone l'individuazione di alcuni obiettivi,
l'accertamento della loro desiderabilità, l'individuazione degli strumenti più
appropriati a perseguirli e dell'ambito a cui si intende rivolgersi, nonché
l'implementazione dell'azione pianificata. La valutazione, nella logica
integrata del policy-programme cycle - descritto e rappresentato in apertura
(par. 1.1) - può dare, a ciascuna delle fasi di questo processo, un contributo
prezioso in quanto a riflessione, condivisione e verifica dello stesso
intervento.
In particolare, a ciascuno dei passaggi rappresentati nella figura 5,
corrispondono specifiche domande di valutazione che saranno analizzate nei
paragrafi che seguono. Nello specifico, ci si focalizzerà su due particolari
dimensioni: quella della verifica della correttezza delle procedure di
selezione dei beneficiari e quelle, che più ci interessano, di valutazione degli
effetti diretti delle politiche di sostegno alle imprese, facendo alcuni esempi
sulle domande di valutazione che possono essere poste e su alcuni strumenti
(in parte già presentati) utilizzabili.
30
Figura 5
Programmi di sostegno alle imprese: alcuni passaggi
Individuazione di problemi e difficoltà,
analisi del contesto socioeconomico
Definizione degli strumenti
(natura dell'intervento,
risorse utilizzate...)
Definizione di fini e obiettivi
Definizione dei requisiti di
ammissibilità
AUTOSELEZIONE
da parte delle imprese
potenzialmente beneficiarie
SELEZIONE
da parte del decisore pubblico
IMPLEMENTAZIONE
Realizzazione dei progetti
EFFETTI SULLE IMPRESE
EFFETTI SUL SISTEMA ECONOMICO
31
3.1 Valutare le procedure di implementazione: selezionare e
raggiungere le imprese target
È opportuno rilevare che, nella valutazione degli interventi a sostegno
delle imprese, così come in altri campi, vengono frequentemente applicati i
criteri descritti precedentemente (par. 1.1.2). Si tratta, peraltro, di criteri
particolarmente diffusi e ormai radicati anche nel senso comune: concetti
quali efficienza, efficacia ecc...
Qui, invece, è opportuno soffermarsi su un altro aspetto particolarmente
rilevante per la valutazione delle politiche pubbliche in generale (si pensi
all'ambito sociale o a quello sanitario, laddove l'argomento può sollevare
dilemmi di carattere etico) e assolutamente delicato in quanto ad aiuti per le
imprese. Si parla del problema della corretta selezione dei beneficiari e del
loro effettivo raggiungimento.
Praticare una cattiva selezione per interventi che dovrebbero avere un
certo impatto economico, infatti, può risultare fortemente distorsivo e
generare effetti indesiderati, incidendo negativamente sugli equilibri di
mercato.
È utile, quindi, chiedersi se chi ha ottenuto, o otterrà, un determinato
aiuto pubblico sia effettivamente il tipo di beneficiario che si intendeva
raggiungere con quell'intervento e che non ci siano processi di selezione o
auto-selezione che si discostino dalle intenzioni originarie.
In primo luogo, a questo fine, può risultare opportuno chiedersi se il
sostegno offerto alle imprese sia effettivamente accessibile per i beneficiari
a cui si rivolge. Si deve, quindi, ricostruire e giudicare l'iter informativo e
burocratico che l'impresa deve compiere per accedere all'agevolazione
offerta. Questa fase preliminare, infatti, comporta dei costi a carico dei
beneficiari, in particolare in termini di tempo. Si tratta allora di stimare i
costi di transazione e di informazione che le imprese si trovano a sostenere.
Questa fase è importante e delicata perché costi di accesso troppo alti
possono essere alla base di una selezione avversa relativa alle imprese
partecipanti e perché tempi e sforzi di accesso troppo elevati possono
indebolire l'efficacia dell'intervento.
La via semplice e poco onerosa per stimare questo dato è quello di
riferirsi alla documentazione prodotta nella fase di implementazione
dell'intervento e calcolare la durata media dell'iter amministrativo compiuto
dalle imprese. In alternativa, è possibile effettuare un'indagine diretta presso
le imprese beneficiarie per verificare se si sia sviluppato un mercato di
consulenza mirato a sostenere l'accesso al contributo o servizio pubblico
offerto. In tal caso, i prezzi di mercato riconducibili all'erogazione dei
servizi di consulenza costituiscono una stima diretta dei costi di transazione.
La scarsa accessibilità al finanziamento, ma anche altri fattori, possono
determinare un basso livello di tiraggio o di partecipazione. Si tratta di due
indicatori, orientati a stimare come l'intervento sia stato accolto dai suoi
potenziali beneficiari, e identificabili rispettivamente come il rapporto tra i
fondi richiesti e i fondi stanziati e come il rapporto tra le imprese richiedenti
e le imprese aventi diritto all'azione di sostegno (figura 6).
32
Figura 5
Tasso di tiraggio e tasso di partecipazione
Tasso di tiraggio=
fondi richiesti/fondi disponibili
ECCESSO DI
RISORSE STANZIATE
•
•
•
•
Lo svantaggio
ipotizzato non sussiste
veramente
Condizioni di accesso
troppo onerose
Scarsa efficacia
effettiva o percepita del
finanziamento
Cattiva informazione
100%
VALORE
OTTIMALE
RAZIONAMENTO
DELLE RISORSE
•
•
Criteri di ammissione
non compresi
correttamente dalle
imprese (per il tasso di
partecipazione)
Elevato favore verso
l'intervento (ma non
dice se gli obiettivi
sono stati raggiunti e se
le imprese selezionate
sono quelle “giuste”)
Tasso di partecipazione=
imprese richiedenti/imprese aventi diritto
Come mostra la figura, valori ottimali dei due indicatori dovrebbero
attestarsi attorno al 100%. Mentre man mano che ci sia vicina allo zero si
rileva un eccesso di risorse stanziate, riconducibili, attraverso ulteriori
analisi, a fattori di varia natura: lo svantaggio ipotizzato non sussiste
veramente, condizioni di accesso all'erogazione dell'intervento troppo
onerose, scarsa efficacia effettiva o percepita del finanziamento, cattiva
informazione dei potenziali beneficiari.
Al contrario, valori molto superiori alla soglia del 100% lasciano
immaginare che vi sia un ampio favore nei confronti dell'intervento, un dato
che vale la pena di approfondire. Non necessariamente, infatti, questo
significa che i fondi siano stati erogati in modo appropriato o che si siano
effettivamente raggiunti gli obiettivi prefissati. Un tasso di partecipazione
molto elevato, peraltro, può segnalare la mancata comprensione o corretta
comunicazione dei criteri di ammissibilità.
Si evidenzia, così, un'ulteriore questione da tenere in considerazione e
anche la più importante: la correttezza del processo di targeting. In altre
parole, è necessario chiedersi se le imprese beneficiate avessero
effettivamente i requisiti stabiliti per l'ottenimento del finanziamento o se, al
contrario, sia stato favorito uno specifico sottogruppo o abbiano usufruito
dell'intervento imprese per cui questa azione non sarebbe stata strettamente
necessaria. A questo fine è necessario operare un confronto tra campioni di
imprese beneficiarie e non beneficiarie.
Ovviamente la verifica del raggiungimento del target dell'intervento
secondo i criteri prefissati, non può essere l'unica preoccupazione del
valutatore e dei policy maker committenti. Per esempio: perché progetti
correttamente assegnati possono non essere realizzati in modo adeguato o
non essere portati a termine e fondi di finanziamento pubblico possono
essere utilizzati impropriamente. La verifica della corretta messa in opera
33
degli interventi si pratica attraverso l'uso dei documenti prodotti in fase di
implementazione relativi alle procedure amministrative seguite e alla
contabilità, ma anche a relazioni illustrative ampiamente variabili dal punto
di vista qualitativo e di completezza delle informazioni riportate.
Si giunge così a quelli che, nell'ambito della valutazione, possono essere
definiti i quesiti per eccellenza: quali risultati hanno effettivamente prodotto
gli interventi compiuti? Si tratta di cambiamenti che si sarebbero verificati
comunque? E qual è l'impatto complessivo che l'azione ha avuto sul sistema
economico a cui si è riferita?
3.2 Impatto ed effetto netto delle politiche per le imprese:
individuare il controfattuale
Torniamo, adesso, a parlare di valutazione ex post e in particolare di
valutazione degli effetti. Come spiegato nel capitolo 2 la domanda di
valutazione che riguarda questa fase valutativa è: il progetto ha funzionato?
Naturalmente questo interrogativo può essere declinato in domande più
specifiche sulla base di determinate circostanze ed esigenze.
In generale, comunque, un problema particolarmente “vivo” nell'ambito
della valutazione delle politiche per le imprese riguarda l'effettiva necessità
e insostituibilità dell'intervento pubblico.
La maggior parte delle azioni di sostegno alle imprese, infatti, consiste
nel finanziamento, generalmente parziale, di un progetto specifico. La prima
domanda da porsi, quindi, è relativa all'effettiva utilità pubblica dell'aiuto
all'impresa.
I fondi di finanziamento pubblico hanno permesso la realizzazione di
progetti che altrimenti non sarebbero stati realizzabili, oppure hanno
semplicemente sostituito risorse private riducendo i costi per l'impresa?
La risposta a questa domanda passa dal concetto di deadweight, ovvero
dall'individuazione e la quantificazione dei progetti che avrebbero visto la
luce anche in assenza di finanziamento.
EN=EL-D
Effetto Netto = Effetto Lordo - Deadweight
Progetti finanziati grazie all'aiuto pubblico =
Totalità dei progetti finanziati –
Progetti che sarebbero stati realizzati comunque
Come è evidente, il concetto di deadweight è quantomeno analogo a
quello di controfattuale. Possiamo dire, infatti, che il termine indica un caso
speciale di controfattuale. Il caso in cui alcuni beneficiari abbiano ricevuto
risorse pubbliche per modificare un proprio comportamento ma, in realtà, si
siano comportati esattamente come avrebbero fatto in assenza di sussidio
(Martini, 2008)
34
Nella pratica, come avveniva per il controfattuale, misurare il deadweight
risulta un'operazione assai complessa. Le vie per individuarne l'entità sono
due: la verifica diretta, ponendo una semplice domanda alle imprese che
hanno ricevuto il finanziamento12, oppure il confronto attorno al punto di
discontinuità (cfr par 2.1).
L'individuazione del deadweight attraverso verifica diretta tende, con
ogni probabilità, a produrre sottostime significative di questo valore. I
soggetti intervistati, infatti, sono in linea di massima portati a giudicare
positivamente il finanziamento che li ha beneficiati e di cui in futuro
potrebbero ulteriormente usufruire. La seconda operazione, invece, risulta
complessa in quanto approssimazione del controfattuale secondo le modalità
e con le difficoltà precedentemente descritte (cap.2).
In questo caso la domanda che ci poniamo è:
I cambiamenti avvenuti nel gruppo di controllo sono maggiori rispetto a
quelli del gruppo sussidiato?
Qualora si disponga di archivi di informazioni longitudinali, ovvero
relative a segmenti temporali diversi, è possibile operare un confronto tra le
performance delle imprese finanziate e non finanziate prima e dopo
l'intervento, seguendo il metodo della differenza nelle differenze che– come
abbiamo visto - opera un confronto pre-post sia tra le imprese del gruppo di
osservazione, costituito da imprese che hanno attivato progetti sussidiati, sia
tra le imprese del gruppo di controllo, costituito da imprese che hanno
attivato progetti spontanei.
Il quesito base per la valutazione degli effetti rimane, però, quello
caratteristico dell'analisi controfattuale:
I cambiamenti verificati tra le imprese sussidiate si sarebbero verificati
anche in assenza di intervento pubblico?
Le tecniche per praticare questo genere di valutazione esposte nel
capitolo 2 e sintetizzate nelle prime tre righe della tabella in figura 3.
Generalmente, perché le condizioni non permettono di operare
diversamente, si ricorre ai metodi quasi-sperimentali, in particolare: la già
citata differenza nelle differenze, oppure al semplice modulo EN = (Gst1 –
Gct1) utilizzando particolari tecniche di composizione del gruppo
sperimentale e del gruppo di controllo quali il matching statistico o il
confronto attorno al punto di discontinuità.
Un ultimo quesito, per la verità di difficile soluzione, risulta determinante
per valutare l'effettiva utilità delle politiche di sostegno economico: cosa
dire circa l'impatto che si ottiene su un certo sistema economico, attraverso
gli interventi di sostegno alle imprese?
Con questa domanda si va a trattare un punto piuttosto controverso delle
politiche di sostegno alle imprese, mettendo in discussione l'ultimo
passaggio illustrato nella figura 5:
12 Ovviamente la domanda in questione suonerebbe più o meno così: avrebbe realizzato
questo investimento o progetto anche in assenza di finanziamento pubblico?
35
In che modo, gli effetti ottenuti al livello delle imprese si ripercuotono
positivamente sul sistema economico (e sociale) a cui ci si riferisce?
Sul piano teorico, la risposta è di tipo intuitivo: l'attivazione di un certo
numero di progetti è leva per la creazione di posti di lavoro, committenza
verso altre imprese non beneficiarie del sussidio, innesco di processi
innovativi che a loro volta determineranno un aumento della disponibilità di
reddito, ma anche di beni intangibili quali conoscenze e professionalità che
andranno a migliorare la qualità della vita.
Sul piano pratico, l'individuazione degli effetti indiretti degli interventi
risulta estremamente difficile. Le variabili in campo (ma anche le loro
interazioni e gli effetti che a loro volta determinano), infatti, sono molte e
complesse, controllarle è operazione ardua, non dimenticando che possiamo
assistere al manifestarsi di effetti secondari negativi. Il più noto e semplice
esempio è quello dell'effetto di spiazzamento, per cui i vantaggi direttamente
fruibili da parte delle imprese sussidiate vanno direttamente a discapito di
imprese concorrenti non sussidiate, che vedranno diminuire produzione e
occupazione. In linea di massima, la valutazione degli interventi in favore
delle imprese si ferma al gradino di valutazione precedente, verificando e
analizzando gli effetti diretti dell'azione pubblica.
Casi concreti di valutazione di politiche pubbliche in favore delle imprese
saranno presentati nei capitoli che seguono.
36
4. Valutazione controfattuale:
esperienze a confronto
Illustrato l'impianto teorico su cui si fonda il metodo di analisi
controfattuale, ne osserviamo alcune applicazioni pratiche, illustrando
altrettante esperienze valutative effettuate in passato. La scelta dei casi mira
a coprire situazioni eterogenee da più punti di vista:
✗
✗
✗
l'ambito geografico - si coprono diverse realtà nazionali - dall'Italia
al Cile passando per la Germania - riferendosi conseguentemente a
contesti giuridici ed economici diversi tra loro;
la natura degli istituti che hanno condotto e commissionato la
pratica valutativa - istituti di ricerca, ministeri o università - e,
soprattutto
il genere di politica valutata - dall'erogazione di sovvenzioni a fondo
perduto a quella di servizi di consulenza e formazione - anche in
corrispondenza di un'evoluzione nel tempo, del modo di pensare gli
interventi di sostegno alle imprese e allo sviluppo territoriale.
Del resto, coerentemente con l'intento di questo lavoro, la
rappresentazione dei casi prescelti si concentrerà maggiormente sugli aspetti
metodologici degli studi valutativi, piuttosto che sui loro risultati e le
implicazioni che ne conseguono. In particolare l'analisi di ciascun caso si
suddividerà su tre sezioni: la domanda di valutazione, la metodologia
seguita, i risultati.
4.1 La legge 488/92 alla prova del controfattuale12
La legge 488/92 è stata, per molti anni, uno dei pilastri dell'intervento
pubblico in favore delle imprese, rappresentando il principale strumento di
sostegno agli investimenti, in Italia. Basti pensare che, tra il 1996 e il 2003,
sono stati elargiti, nell'ambito della 488, aiuti per circa 17 miliardi di euro, il
30% del totale dei finanziamenti concessi alle imprese nello stesso periodo.
L'intervento si prefiggeva alcune priorità: quella di ridurre le disparità
economiche tra i territori, sostenendo gli investimenti nelle aree in ritardo di
sviluppo (2/3 dei circa 31.000 progetti approvati riguardava il Sud) e il
mantenimento di una certa attenzione verso il manifatturiero (6 dei 13 bandi
pubblicati riguardavano proprio questo settore). Peraltro, per la prima volta,
si metteva fine alla lunga tradizione dei finanziamenti “a pioggia” e si
apriva un nuovo corso del sostegno allo sviluppo economico e territoriale:
l'elargizione dei fondi era legata a precisi progetti che, sulla base di criteri
stabiliti dal legislatore (cfr par. 4.1.1.), sarebbero andati a formare
graduatorie sulla cui base assegnare le risorse.
12 Fonti: Bronzini R., De Blasio G., Qual è l'effetto degli incentivi agli investimenti: una
valutazione della legge 488/92, Roma, Banca d'Italia, 2006;
Martini A., Costabella L., Sisti M., Valutare gli effetti delle politiche pubbliche: metodi e
applicazioni al caso italiano, Formez, 2006.
Ministero dell’Industria, Commercio e Artigianato (2000), Indagine sulla legge 488/92, a
cura della Direzione Generale per il Coordinamento degli Incentivi alle Imprese, Roma.
37
La complessità e l'importanza di questa legge, in quanto a metodo e in
termini quantitativi, hanno fatto sì che gli studi valutativi praticati in merito
alla sua efficacia siano stati ampi e molteplici.
Di seguito, e dopo una breve descrizione della natura e dei criteri
dell'intervento, saranno illustrati tre diversi lavori di valutazione della legge.
Il primo, pubblicato nel giugno del 2000, porta il nome di Indagine sulla
legge 488/92 ed è stato commissionato, all'Istituto Tagliacarne, dall'allora
Ministero dell'Industria, del Commercio e dell'Artigianato. Il secondo,
Valutazione della legge 488/92: gli effetti occupazionali sul territorio, è
stato pubblicato nel 2003 e condotto dallo stesso Ministero delle Attività
Produttive (secondo la denominazione che ha assunto successivamente13).
Infine, si farà riferimento allo studio pubblicato nel marzo 2006, ad opera
del Servizio Studi della Banca d'Italia, Qual è l'effetto degli incentivi agli
investimenti? Una valutazione della legge 488/92.
4.1.1 Legge 488: metodi e obiettivi
Come già accennato, la 488 prevedeva l'elargizione di contributi a fondo
perduto in qualità di cofinanziamento a programmi di investimento
pluriennali volti
alla realizzazione di nuove attività produttive ovvero
all’incremento della capacità produttiva e dell’occupazione,
all’aumento della produttività, al miglioramento delle condizioni
ecologiche legate ai processi produttivi, all’aggiornamento
tecnologico, al rinnovo, alla riorganizzazione, alla diversificazione
della produzione, alla modifica dei cicli produttivi, alla ripresa
dell’attività, al cambiamento della localizzazione degli impianti di
unità produttive esistenti (art. 3).
Potenziali destinatarie erano le imprese di tutti i principali settori di
attività: manifatturiero, commerciale, turistico e dei servizi.
Importante il vincolo di collocazione in aree in ritardo di sviluppo, tra cui
il Mezzogiorno, le zone del Centro-Nord a declino industriale o rurali
svantaggiate e le aree depresse ammesse agli aiuti di competenza regionale.
L'iter seguiva un percorso a più tappe. Innanzitutto il Ministero
dell'Industria pubblicava i bandi. Le imprese interessate, nel rispetto delle
modalità e dei tempi stabiliti dal bando, presentavano le domande di
ammissione al finanziamento, corredate da un piano di investimento
articolato su due-quattro anni e comprensivo della descrizione dell'impresa
dal punto di vista organizzativo e finanziario, di un'analisi del mercato di
riferimento e del dettaglio delle spese da sostenere. La fase istruttoria e la
formulazione del giudizio di ammissibilità spettava alle banche
concessionarie. Da qui, scaturiva la formazione delle graduatorie da parte
del Ministero che, eseguita la ripartizione dei fondi, li avrebbe trasferiti alle
banche concessionarie. Per ciascun bando sarebbero state compilate due
graduatorie per importi superiori a 26 milioni di euro, una per il Centro
Nord e l'altra per il Sud, e due (una ordinaria e una speciale) su base
regionale e riservate a importi inferiori alla soglia dei 26 milioni.
13 Attualmente Ministero dello Sviluppo Economico.
38
Rilevante è specificare quali fossero i criteri di selezione stabiliti dal
Ministero. Si tratta di cinque parametri volti ad orientare la concessione dei
sussidi verso i progetti più portati al raggiungimento degli scopi di sviluppo
e riequilibrio delle disparità territoriali prefissati dal legislatore. Più
precisamente: occupazione attesa, capitale proprio immesso, percentuale di
contributo richiesto, parametro ambientale e parametro regionale, secondo
le modalità riportate nella figura (6) di seguito.
Figura 6
OCCUPAZIONE ATTESA. È un indicatore calcolato rapportando al
capitale investito la differenza tra il numero di addetti attesi “a regime”
(cioè dopo l’attuazione dell’investimento) e il numero di addetti 12 mesi
prima della richiesta di finanziamento. Questo indicatore, quindi,
assumerà valori maggiori laddove maggiore sarà l’occupazione che si
intende creare per unità di capitale investito: ciò al fine di evitare che i
contributi vadano a finanziare interventi capital intensive, quando uno
degli obiettivi della politica è l’aumento dell’occupazione.
CAPITALE PROPRIO IMMESSO. Questo indicatore tiene conto
solamente dei nuovi mezzi propri investiti nell’impresa, quindi aumenti
di capitale sociale e conferimenti in conto capitale versati appositamente
in riferimento all’iniziativa. Il valore che l’indicatore assume è dato dal
rapporto tra il capitale proprio immesso e l’investimento complessivo.
Questo criterio premia le imprese che si assumono una quota maggiore di
rischio e che, quindi, implicitamente dichiarano la loro fiducia nella
buona riuscita del progetto.
PERCENTUALE DI CONTRIBUTO RICHIESTO. È il rapporto tra
l’importo richiesto dall’impresa e l’entità massima dell’agevolazione
concedibile. Gli importi massimi concedibili sono stabiliti dall’Unione
Europea e dipendono dalle dimensioni dell’impresa (privilegiando quelle
minori) e dall’ubicazione dell’unità produttiva (privilegiando le aree
maggiormente svantaggiate). L’indicatore assumerà valori tanto più alti,
quanto più bassa sarà l’entità dell’agevolazione richiesta. L’uso di questo
criterio intende massimizzare il numero degli investimenti agevolati dato
l’ammontare di fondi disponibili e scoraggiare l’imprenditore dal
richiedere finanziamenti superiori rispetto a quelli strettamente necessari
per attivare l’iniziativa.
PARAMETRO AMBIENTALE. È un parametro che incorpora un
concetto complesso quale “l’attenzione dimostrata dall’impresa
richiedente nei confronti delle tematiche ambientali”. Viene ricavato
attraverso le risposte date, in sede di compilazione della richiesta, a
domande riguardanti la situazione pre e la situazione post intervento
relativamente alla quantità di rifiuti prodotti e ai consumi di acqua e
energia provenienti da fonti rinnovabili.
PARAMETRO REGIONALE. È dato dalla somma dei punteggi
prestabiliti dalle Regioni in base a priorità settoriali o territoriali, che
tengono conto di tre aspetti: l’ubicazione, il settore di attività e la
tipologia di investimento.
Fonte: Martini 2006
39
4.1.2. Legge 488:esperienze di valutazione
INDAGINE SULLA LEGGE 488/92
Come già indicato, il primo dei tre studi che esamineremo è stato
pubblicato nel giugno del 2000, porta il nome di Indagine sulla legge
488/92 ed è stato praticato e redatto dal Ministero dell'Industria in
collaborazione con l'Istituto Tagliacarne.
Questo studio si articola in due parti, corrispondenti a due diversi intenti
di indagine.
Le domande di valutazione
Il primo dei quesiti posti nell'ambito dello studio in questione riguarda
l'addizionalità degli investimenti agevolati. In altre parole ci si chiede quale
sia l'effetto incentivante delle agevolazioni. La domanda da porsi è quindi:
–
I contributi della legge 488 hanno spinto le imprese a realizzare
progetti di investimento che altrimenti non avrebbero effettuato?
Alla base di questo interrogativo sottostà un punto delicato e
fondamentale per capire quale sia stata l'effettiva efficacia della legge 488.
Ci si sta chiedendo, infatti, se la possibilità di accedere al contributo abbia
indotto le imprese ad investire di più, o se abbia semplicemente permesso
all'impresa di ridurre il costo di un investimento che si sarebbe sostenuto
comunque, pena le possibili distorsioni del mercato che conseguono alla
sostituzione dei mezzi propri o dell'indebitamento, con risorse pubbliche.
Questo non è l'unico quesito che ci si pone in questa fase. L'altro riguarda
la performance delle aziende agevolate in termini di occupazione, fatturato e
redditività.
La domanda da porsi è quindi:
–
Aver ricevuto il sostegno pubblico offerto dalla legge 488 ha migliorato
la performance aziendale delle imprese beneficiarie?
Chiarite le questioni conoscitive da approfondire, ovviamente, è
necessario stabilire con precisione quali siano le modalità di indagine.
Metodologia
Anche se potremmo pensare che l'analisi di tipo controfattuale sarebbe la
via maestra per rispondere al primo quesito, dobbiamo constatare che,
nell'ambito di questo primo step dell'indagine, questa non è stata la
metodologia utilizzata. Ne esponiamo comunque brevemente le modalità,
sia per completezza di informazione, che nell'ottica di confronto con
metodologie alternative a quella controfattuale (la scelta di fondare le
risposte relative alla stessa domanda di valutazione sul metodo
controfattuale è stata fatta nello studio della Banca d'Italia, presentato più
avanti; cfr pag. 49).
40
Si è svolta, infatti, un'indagine diretta sulle imprese coinvolte nel primo
e nel secondo bando della legge 488, privilegiando la raccolta di
informazioni presso le imprese agevolate14. In altre parole, l'effetto
incentivante dell'agevolazione è stato valutato ricorrendo alla formulazione
di domande rivolte direttamente agli imprenditori beneficiari (per la
precisione: prevalentemente beneficiari) e non attraverso il confronto tra i
tassi di completamento degli investimenti per due gruppi di imprese
distinguibili, in linea di massima, solo per l'avvenuto o mancato acceso
all'agevolazione pubblica.
Tornando alla metodologia effettivamente utilizzata, possiamo dire che
l'universo di riferimento era costituito da 2.291 imprese, finanziate sui bandi
del 1996 e del 1997, che avevano concluso l'intervento agevolato entro il
settembre del 1999. Da questo gruppo è stato selezionato un campione di
1.391 imprese, stratificate in base alla localizzazione (Centro-Nord e Sud) e
alla dimensione aziendale (piccola, media e grande impresa).
Una parte delle imprese è stata interpellata nel corso del 1999, l'altra nel
2000, attraverso un questionario a somministrazione mista, ovvero
autocompilato per quanto riguarda la sezione sui dati di bilancio e per
intervista diretta nelle parti descrittive e di valutazione soggettiva.
Il questionario è stato articolato in quattro sezioni: la prima volta alla
rilevazione di informazioni di carattere generale, la seconda relativa alla
descrizione del mercato di riferimento dell'impresa, la terza riguardante gli
investimenti effettuati e l'accesso al credito e l'ultima relativa ai risultati
economici. Il perno di questa parte dell'indagine, comunque, risiede in
alcune esplicite richieste di attribuzione di un legame di causalità tra
l'ottenimento dell'agevolazione e l'effettuazione dell'investimento, nonché
tra l'ottenimento dell'agevolazione e la natura dell'investimento. Si va, per
esempio, ad indagare se l'incentivo pubblico abbia influito sulle scelte
localizzative degli imprenditori.
Diverse sono le scelte metodologiche compiute per rispondere alla
seconda domanda di valutazione, quella relativa alla performance di
impresa. In questo caso la natura del quesito avrebbe reso improbabile il
ricorso ad un beneficiary survey, esponendo eccessivamente la valutazione
al giudizio soggettivo. Si è optato, quindi, per l'indagine controfattuale.
La scelta degli indicatori sulla cui base valutare la performance
aziendale ha portato alla valutazione di quattro dimensioni distinte:
fatturato, occupazione, margine operativo lordo (MOL) e redditività del
capitale investito (ROI). In particolare l'intento era quello di stimare l'effetto
dell'intervento pubblico sul tasso di crescita di ciascuna di queste variabili
nel tempo. Questo richiede che per ogni impresa siano disponibili almeno
due osservazioni annuali relativamente a ciascuna delle quattro voci
14 L'indagine include solo un piccolo campione di imprese non agevolate. Il metodo
controfattuale, invece, avrebbe richiesto un abbinamento rigoroso (secondo i metodi
descritti nel capitolo 2) tra imprese finanziate e non finanziate. Il confronto tra il
comportamento delle imprese agevolate (gruppo sperimentale) e non agevolate (gruppo di
controllo) avrebbe permesso di approssimare, in misura ragionevole, quale sarebbe stato il
comportamento delle imprese agevolate in assenza di finanziamento. Vedremo, comunque,
che la scelta del beneficiary survey, praticata dla Ministero dell'Industria (e dall'Istituto
Tagliacarne), non comporta – almeno in questo caso– particolari distorsioni sul risultato.
41
indicate e che queste osservazioni si riferiscano a periodi diversi, uno
precedente all'eventuale erogazione del finanziamento e l'altra successiva.
Dato che il campione comprende imprese che hanno partecipato ai bandi del
1996 e del 1997, gli anni prescelti per la rilevazione dei dati sono il 1995
(pre) e il 1998 (post).
Il reperimento dei dati, ovviamente, non è stato semplice ed ha richiesto
l'integrazione di più fonti statistiche. Le informazioni sulle caratteristiche
delle aziende, infatti, erano ricavabili sulla banca dati della legge 488 del
Ministero, la stessa utilizzata per la formulazione delle graduatorie e per la
gestione del processo di erogazione. Qui, però, l'unità di osservazione non
era costituita dalla singola impresa (che aveva la possibilità di partecipare
con più progetti), ma dall'intervento, per un totale di 13.554 operazioni
ammesse in graduatoria nei primi due bandi, di cui 11.608 con dati
completi. Integrando questi dati con alcune informazioni provenienti
dall'Archivio Statistico delle Imprese Attive ASIA-ISTAT, si sono ricavate le
informazioni essenziali per l’analisi degli effetti sull’occupazione e il
fatturato. In fin dei conti, questi dati corrispondevano a 7.350 imprese, di
cui 5.932 agevolate (nel senso che almeno uno degli interventi presentati è
stato finanziato) e 1.418 imprese non agevolate (nel senso che nessuna delle
domande presentate, pur essendo entrate in graduatoria, è stata finanziata).
Non tutti i dati necessari allo svolgimento dell'indagine, però, sono
reperibili all'interno delle banche-dati citate. In particolare, per l'analisi della
redditività risultava necessario avere a disposizione i dati di bilancio delle
imprese. Questo ha determinato la perdita del 30% delle imprese in
graduatoria. Una quota significativa anche alla luce del fatto che si tratta di
una categoria ben precisa di imprese: quelle che non essendo costituite
come società di capitali non sono obbligate a presentare i bilanci.
Le fonti utilizzate per reperire i dati di bilancio sono state AIDA e la
banca-dati e i bilanci di impresa delle Camere di Commercio.
Come spiega chiaramente Martini (2006) l'eterogeneità delle fonti
utilizzate ha influito sulla scelta del campione, inducendo a optare per una
soluzione “mista”:
la molteplicità di fonti informative ha fatto sì che fossero disponibili
campioni diversi per le analisi. Da un lato, è stato utilizzato il
campione completo di circa 7.000 imprese, i cui dati sono dalla bancadati del Ministero, dalla banca-dati AIDA e da quella delle Camere di
Commercio. Questa soluzione “mista” garantisce una notevole
dimensione campionaria, ma a prezzo di una ridotta omogeneità nei
dati. In particolare, può essere messa in dubbio la confrontabilità dei
dati ricavati da una fonte per il 1995 e da un’altra fonte per il 1998. Per
ovviare a questo problema, i valutatori utilizzano anche un campione
ridotto di circa 2.000 imprese, in cui tutte le informazioni sulle
variabili-risultato sono tratte dalla banca-dati AIDA, sia per il 1995 sia
per il 1998. Con questa soluzione si sacrifica la dimensione del
campione (e la sua rappresentatività), ma si ottiene una migliore
qualità dei dati.
Il campione, per la sua stessa costruzione comprende sia imprese
agevolate sia imprese che, pur ammesse in graduatoria, non hanno ottenuto
il finanziamento. Le prime andranno a far parte del cosiddetto gruppo
42
sperimentale e le altre del gruppo di controllo. Per rendere verosimile il
confronto, però, è necessario tenere sotto controllo le differenze di partenza
tra i due gruppi (cfr cap.2).
Le soluzioni adottate rappresentano tre varianti di un modello-base, che
consiste nella regressione lineare rappresentata di seguito,
Yi = α + β Ti + λ dim + δloc + Φ set + єi
dove:
–
la variabile dipendente (Yi) rappresenta il tasso di crescita (per la
precisione, il logaritmo del tasso di crescita) di ciascuna dimensione
della performance aziendale (ovvero, alternativamente, il logaritmo del
tasso di crescita del fatturato, del numero di dipendenti, del margine
operativo lordo e del ROI),
–
la variabile-trattamento (Ti) è quella che indica se l’impresa è stata
agevolata o non agevolata,
–
il coefficiente stimato (β) della variabile (Ti) rappresenta l’effetto
dell’agevolazione sul tasso di crescita di ciascuna dimensione della
performance aziendale,
–
le variabili di controllo (rappresentate nel modello come λdim, δloc e Φ
set) sono le caratteristiche dimensionali (grande, media, piccola),
geografiche (Centro-Nord e Mezzogiorno) e il settore economico in cui
opera l’impresa,
–
єi rappresenta il termine di errore dato da tutte le variabili non
osservabili (con media 0).
Le varianti al modello appena descritto costituiscono tre diversi metodi
per eliminare le differenze di partenza tra i due gruppi di imprese,
rispettivamente:
1. la prima variante aggiunge alle variabili esplicative la probabilità
stimata che la singola impresa sia inclusa tra le agevolate
(propensity score, cfr. par. 2.1). La probabilità è stata stimata come
funzione dei tre indicatori utilizzati nella formazione delle
graduatorie e può essere pensata come un’approssimazione del
punteggio ricevuto nella fase di selezione. La sua inclusione nella
regressione ha la funzione di correggere il fatto che le agevolate
hanno a priori caratteristiche più favorevoli delle non agevolate e
quindi sono più alte in graduatoria.
43
2. la seconda variante del modello-base restringe il campione utilizzato
nella regressione. Facendo riferimento alle sole imprese che si
collocano in graduatoria nella vicinanza della soglia di ammissione:
vengono, cioè, utilizzate le più alte in graduatoria tra le escluse e le
più basse in graduatoria tra le incluse (confronto attorno al punto
di discontinuità, cfr. par. 2.1).
3. la terza variante utilizza, tra le imprese non agevolate, solo quelle
che hanno riportato, durante l’indagine campionaria, di avere
comunque effettuato l’investimento. Questo fatto dovrebbe renderle
più simili alle imprese agevolate e quindi dovrebbe far risaltare
ancora di più l’effetto dell'agevolazione sulla performance
aziendale.
Risultati
Venendo alla presentazione dei risultati, possiamo subito notare che la
scelta di utilizzare la forma del beneficiary survey, nell'intento di trovare
risposte alla prima delle due domande di valutazione, non ha prodotto le
distorsioni temute. Al di là del peso cognitivo a carico degli intervistati
(insito in ogni indagine condotta per interviste), la preoccupazione
riguardava la presenza di un incentivo (legato, per esempio, alla percezione
di una maggiore possibilità di accedere ad altri finanziamenti in futuro) a
distorcere in positivo le risposte date. L'esito, presentato nel rapporto del
Ministero, sotto il titolo “L'efficacia dell'intervento come rilevata
dall'impresa”, appare del tutto al riparo da questo rischio. Non c'è, infatti, un
giudizio ampiamente positivo relativamente all'addizionalità degli interventi
e agli effetti della legge 488.
La presentazione analizza le risposte degli imprenditori da più punti di
vista:
✔
✔
✔
✔
✔
✔
il raggiungimento degli obiettivi prefissati con l'investimento
la sostituibilità tra finanziamento privato ed agevolazione
l'impatto sulla localizzazione degli impianti
l'impatto sui processi tecnologici
l'impatto sul costo del finanziamento
alcune considerazioni sull'efficienza del provvedimento
Qui ci soffermiamo brevemente soltanto sull'esito ottenuto relativamente
al secondo punto, quello più propriamente legato al tema dell'addizionalità,
coerentemente con quanto richiesto dalla domanda di valutazione.
Solo il 15% degli intervistati ha sostenuto che la decisione di avviare
l'investimento è stata condizionata dalla possibilità di accedere al
finanziamento in maniera significativa o determinante (fig. 7). Al CentroNord questo valore è più elevato di ben 10 punti percentuali, attestandosi sul
5%. Complessivamente, il 41% degli imprenditori avrebbe ugualmente
realizzato il progetto con risorse private.
44
Come abbiamo in parte già visto, risulta significativa la differenza tra la
distribuzione delle risposte date al Centro-Nord e al Sud (al Centro-Nord
l'85% degli imprenditori avrebbe comunque effettuato l'investimento,
mentre al Sud questa quota scende al 71%). La differenza potrebbe essere
attribuile ad un'effettiva disponibilità finanziaria (propria o per
indebitamento) delle imprese del Sud, ma anche da un maggior peso
dell'effetto incentivante al Meridione, a cui è stato destinato l'88% dei fondi
della 488.
Figura 7. Distribuzione delle risposte
Con riferimento agli investimenti
Frequenza percentuale delle risposte
realizzati ricorrendo alla legge 488, la
decisione di attivarli quanto è stata
condizionata dalla possibilità di
SUD
CENTRO
ITALIA
accedere a tali forme di
NORD
finanziamento?
- in nessuna maniera: si sarebbe
comunque investito lo stesso
ammontare
27
49
41
- in qualche misura: si sarebbe
comunque investito ma con un
ammontare inferiore
44
36
39
- in maniera significativa: sarebbe
stato radicalmente modificato il piano
di investimenti
17
7
11
9
1
4
3
100
7
100
5
100
- in maniera determinante: si
sarebbero annullati gli investimenti
- non indica
TOTALE
Fonte: Ministero dell'Industria (2000)
Come già illustrato, l'approccio utilizzato per rispondere alla seconda
delle domande di valutazione è più complesso. I risultati in questo caso
variano in modo significativo sulla base della variabile-risultato considerata
(fatturato, occupazione, margine operativo lordo e redditività del capitale
investito), seppure facendo rilevare una sostanziale incidenza positiva
dell'intervento, soprattutto relativamente ai primi due parametri.
I risultati sono rappresentati in modo più specifico nelle figure 8a e 8b, in
cui le cifre rappresentate indicano la differenza percentuale tra i logaritmi
dei tassi di crescita di ciascuna variabile-risultato per imprese agevolate e
non agevolate.
45
Figura 8a. Gli effetti sulla performance di impresa15 (fonte AIDA)
Modello utilizzato
Differenza % tra i tassi di crescita
per imprese agevolate e non agevolate
Fatturato Occupazione Mol/fatturato
ROI
Campione costruito
attorno al punto di
18%
15%
25%
discontinuità
G.ppo di controllo:
non agevolate che
47%
21%
-8%
hanno investito
Probabilità di
agevolazione inclusa
12%
17%
12%
nel modello
Fonte: Martini (2006) su dati del Ministero dell'Industria (2000)
39%
11%
17%
Ai questi risultati si è aggiunta una stima calcolata su un campione più
ampio di imprese, derivante dall'integrazione dei dati già analizzati con altri
di fonte CERVED (figura 8b).
Figura 8b. Gli effetti sulla performance di impresa (fonte CERVED)
Modello utilizzato
Differenza % tra i tassi di crescita
per imprese agevolate e non agevolate
Fatturato Occupazione Mol/fatturato
ROI
Probabilità di
agevolazione inclusa
23%
23%
-4%
nel modello
Fonte: Martini (2006) su dati del Ministero dell'Industria (2000)
-4%
Come rilevato dallo studio del Ministero, con una certa cautela, possiamo
concludere che l'effetto delle agevolazioni previste dalla legge 488 risulta
positivo e significativo per le variabili di crescita prese in esame (fatturato e
occupazione) e incerto per quanto riguarda gli effetti sulla redditività.
Infatti, l'effetto sul tasso di crescita del fatturato risulta positivo e
significativo (variando tra il 12 e il 18%) nei quattro casi, l'effetto sul tasso
di crescita dell'occupazione risulta sempre positivo (variando dal 15 al 23%)
seppure non sia statisticamente significativo in uno dei quattro casi (relativo
al metodo di costruzione del gruppo di controllo utilizzando le sole imprese
non agevolate che hanno ugualmente investito).
Il segno meno, invece, seppure relativo a stime che non risultano
statisticamente significative, appare in tre delle 8 stime relative alla
redditività.
15 I valori in grassetto sono quelli statisticamente significativi.
46
VALUTAZIONE DELLA LEGGE 488/92: GLI EFFETTI OCCUPAZIONALI
SUL TERRITORIO
Il secondo degli studi preannunciati in apertura del capitolo 4 porta il
titolo, Valutazione della legge 488/92: gli effetti occupazionali sul
territorio, è stato pubblicato nel 2003 e condotto dal Ministero delle
Attività Produttive.
In proposito, il primo elemento da notare riguarda gli intenti dell'attività
valutativa, non più orientati a stimare gli effetti direttamente prodotti sulle
imprese ma, piuttosto, a considerare le ricadute dell'intervento sui territori.
La domanda di valutazione
Il quesito si fa, in qualche modo, più interessante dal punto di vista del
carattere di “politica pubblica” dell'intervento da valutare. Se l'intento
dell'azione pubblica, infatti, è quello di favorire la crescita economica e lo
sviluppo nei territori svantaggiati, mirando ad effetti di riequilibrio delle
disparità territoriali, è proprio all'unità di studio del territorio che si deve
guardare. Al contempo, però la sfida si fa molto più complessa, poiché le
variabili in gioco aumentano e il modo in cui queste interagiscono e
influiscono sul risultato finale è ancora meno prevedibile e controllabile.
In questo caso, il parametro di valutazione prescelto è quello
dell'occupazione creata dall'intervento.
Torniamo quindi al punto di partenza, ovvero alla domanda di
valutazione che, in questo caso, potrebbe suonare così:
–
Qual è stato l'effetto che l'applicazione della legge 488 ha prodotto
sull'occupazione complessiva delle aree in cui le imprese agevolate
sono localizzate?
Notiamo che l'effetto in questione è la risultante di effetti di segno
diverso, positivi e negativi, che possono coesistere.
In particolare è ragionevole attendersi:
✗
un effetto positivo diretto, legato alla creazione di posti di lavoro
nelle imprese agevolate (il numero di nuovi occupati è elemento
essenziale nella valutazione del progetto);
✗
la creazione di esternalità positive generate dall'accumulazione di
capitale e quindi dall'effettuazione di ulteriori investimenti da parte
delle imprese agevolate e non agevolate;
✗
un effetto di spiazzamento, per cui si ottiene una limitazione degli
investimenti da parte di altre imprese dello stesso territorio, che
risulterebbero spiazzate nel loro posizionamento sul mercato.
47
Metodologia
In questo caso, la scelta della variabile-risultato va da sé, si tratta infatti
di stimare gli effetti della legge in materia di occupazione. Per quanto
riguarda la scelta dell'unità territoriale cui fare riferimento. Si rinuncia
ad utilizzare il consueto, ma poco significativo dal punto di vista statistico,
livello delle unità amministrative (comune, provincia o regione), preferendo
lavorare per SLL, sistemi locali del lavoro16 .
In particolare la variazione del numero degli occupati per SLL è
facilmente reperibile a partire dai censimenti dell'industria e dei servizi
(Istat). Gli anni rilevanti ai fini dell'indagine sono il 1996 e il 2001. In altre
parole, si osserverà la variazione dell'occupazione tra questi due anni.
Una maggiore riflessione richiede, invece, la scelta relativa alla
variabile-trattamento.
Secondo la mappa configurata dall'Istat nel 1991, i sistemi locali del
lavoro erano 784. Come è ovvio, la legge 488 (trattamento) non è stata
applicata in modo omogeneo sul territorio nazionale, e quindi è
diversamente distribuita tra i diversi SLL. In particolare, considerando i
primi cinque bandi 488 per l’industria manifatturiera, 223 SLL (di cui 33 al
Sud e 190 al Nord) non sono stati destinatari di alcuna agevolazione
nell'ambito della 488. In questo caso, però, risulterebbe alquanto impreciso
suddividere i sistemi locali del lavoro in modo dicotomico, fra trattati e non
trattati. Poiché fra i trattati rientrerebbero sistemi locali con entità di
intervento ben diverse tra loro.
16 Secondo la corrente definizione Istat i sll “rappresentano i luoghi della vita quotidiana
della popolazione che vi risiede e lavora. Si tratta di unità territoriali costituite da più
comuni contigui fra loro, geograficamente e statisticamente comparabili. I sistemi locali
del lavoro sono uno strumento di analisi appropriato per indagare la struttura
socioeconomica dell’Italia secondo una prospettiva territoriale”. L’obiettivo dei sll è,
quindi, innanzitutto quello di prescindere dai consueti vincoli amministrativi, per quanto
quella comunale costituisca l’unità elementare per l’individuazione degli spostamenti
quotidiani per motivi di lavoro. Fonte basilare per la costruzione dei sistemi locali del
lavoro è costituita dai dati locali del censimento. Non a caso, a partire dal 1971 una
crescente attenzione è stata rivolta ai dati censuari con riferimento locale ed è stato
introdotto, per la prima volta, il quesito sugli spostamenti quotidiani per motivi di lavoro o
di studio. Possiamo successivamente definire tre concetti-guida stabiliti al fine di compiere
l’opera di regionalizzazione effettuata attraverso i sistemi locali del lavoro:
l’autocontenimento (per cui attraverso il rapporto tra il lato della domanda e quello
dell’offerta degli spostamenti per motivi di lavoro, si misura la capacità di un territorio di
comprendere il maggior numero di relazioni umane che intervengono tra le località
residenza e quelle di lavoro), il vincolo di contiguità (per cui si presuppone che connessioni
tra località non contigue non siano significative) e la definizione della località centrale (per
cui ci si riferisce al sistema locale utilizzando il nome della località più attrattiva confronti
di quelle circostanti). Sulla base di questi elementi, e utilizzando specifici algoritmi e
metodi di calcolo trasparenti e condivisi a livello internazionale, si ottiene una griglia di sll
che copre l’intero territorio nazionale; una griglia che approssima mercati del lavoro
autocontenuti. I sll sono stati definiti per la prima volta tramite il censimento del 1981,
risultando ben 955. Il loro numero è sceso a 784 con i dati censuari del 1991 e risultano 686
secondo le elaborazioni dell’ultimo censimento (2001). La variabilità nel tempo della
griglia territoriale costituita dai sll, può essere percepita come un limite ai fini dello studio
socio-economico del territorio. Tale variabilità, ovviamente, è data dallo stesso metodo di
costruzione di queste unità di indagine e può essere superata, almeno parzialmente,
mantenendo la stessa griglia territoriale per più tempo.
48
Si dovrebbe piuttosto riuscire a definire l'intensità di trattamento ricevuto
dai diversi SLL. Tale intensità, e quindi la variazione della variabile
trattamento, è definita come il numero di posti di lavoro direttamente creati
nelle imprese beneficiarie e documentati in sede di rendicontazione degli
investimenti effettuati. Stiamo parlando, quindi, di posti di lavoro
effettivamente creati nelle imprese agevolate, per effetto diretto della 488.
In altre parole, 122.646 occupati (di cui 86.218 al Sud) creati nel periodo
1996-2001, relativi ai primi sei bandi “industria”, e distribuiti in modo
disomogeneo sul territorio della penisola. Riscontreremo, infatti, sistemi
locali con nessuno di questi occupati (d'ora in avanti occupati-488) laddove
nessun intervento è stato applicato e SLL con un numeri tendenzialmente
più elevati di occupati-488, man mano che scendiamo verso Sud.
Fatte queste premesse, è possibile descrivere il modello di regressione
utilizzato per la valutazione, definibile come una doppia differenza nelle
differenze, quella pre-post (1996-2001) e quella tra unità trattate e non
trattate, nella fattispecie meglio definibili come SLL ad elevata intensità di
trattamento e SLL a bassa intensità di trattamento.
OCCi,'01 – OCCi,'96 = costante + α Occ488i + γ (OCCi,'96 – OCCi,'91) + βXi + єi
dove:
–
la variabile OCCi,anno indica il numero di occupati osservati in ciascun
i-esimo SLL nell’anno indicato;
–
la variabile dipendente OCCi,'01 – OCCi,'96 rappresenta, quindi, la
variazione dell’occupazione osservata in ciascun SLL tra il 2001 e il
1996;
–
la variabile Occ488i indica il numero cumulato di posti di lavoro
rendicontato in ciascun i-esimo SLL dalle imprese agevolate;
–
la voce OCCi,'96 – OCCi,'91 rappresenta la crescita occupazionale
osservata nei 5 anni precedenti, cioè tra il 1996 e il 1991 (quando la
legge 488 non era ancora in vigore);
–
βXi indica una serie di caratteristiche proprie di ciascun SLL che
possono influenzare sia il ricorso alla legge 488 che la dinamica
dell’occupazione, nella fattispecie: il tasso di crescita della popolazione,
la superficie del SLL, o il fatto che il SLL sia prevalentemente urbano o
ad alta specializzazione produttiva;
–
єi rappresenta il termine di errore dato da tutte le variabili non osservabili (con media 0);
–
infine, α è il coefficiente di interesse dal punto di vista della valutazione
degli effetti. Se la stima del coefficiente risultasse significativamente più
grande di uno, ciò significherebbe che ad un posto di lavoro creato
49
direttamente nelle imprese finanziate dalla legge 488 corrisponde un
incremento maggiore di un’unità nella crescita dell’occupazione sul
territorio.
Per la sua stessa struttura, questo modello di regressione presenta
numerosi problemi di stima, per cui il tradizionale metodo dei minimi
quadrati presenta possibilità di distorsione, evitabili con altre tecniche
statistiche: quello delle variabili strumentali e il Generalized Method of
Moments.
Risultati
Dal punto di vista del metodo, l'elaborazione fa emergere differenze
significative fra i tre metodi di stima (minimi quadrati, variabili strumentali
e metodo generalizzato dei momenti), come si nota nella figura 9.
Sul lato dei risultati emerge, invece, una contrapposizione notevole tra il
Centro-Nord, dove in linea di massima sembra prevalere l'effetto di
spiazzamento, e il Sud dove, al contrario, si registra un effetto
moltiplicativo significativo.
Figura 9. Le stime sugli effetti della 488 sull'occupazione nei territori
Modello economico utilizzato
Minimi quadrati ordinari
Variabili strumentali
M. generalizzato dei momenti
Stima dell'effetto di un occupato488 sulla
crescita dell'occupazione a livello locale
Mezzogiorno
0,66
1,91
3,75
Centro-Nord
-2,18
-0,16
-1,79
Fonte: Martini (2006) su dati del Ministero dell'Industria (2000)
QUAL È L'EFFETTO DEGLI INCENTIVI AGLI INVESTIMENTI? UNA
VALUTAZIONE DELLA LEGGE 488/92
L'ultimo degli studi sulla 488/92 che presenteremo, Qual è l'effetto degli
incentivi agli investimenti? Una valutazione della legge 488/92, è stato
effettuato dal Servizio Studi della Banca d'Italia ed è stato pubblicato nel
marzo del 2006.
La domanda di valutazione
Questo studio torna ad affrontare la questione dell'addizionalità
dell'intervento ma, a differenza del primo caso di studio esaminato, lo fa
attraverso il metodo dell'indagine controfattuale.
La domanda di valutazione, pertanto, torna ad essere:
–
I sussidi hanno reso possibili investimenti che altrimenti non sarebbero
stati intrapresi?
L'interrogativo implica alcune considerazioni aggiuntive: la possibilità
che si verifichi una sostituzione inter-temporale nell'effettuazione degli
50
investimenti, ovvero che gli incentivi inducano le imprese ad effettuare
prima investimenti che avrebbero fatto successivamente, oppure
l'eventualità che si verifichino effetti di spiazzamento o di sostituzione
cross-section. In altre parole, che l'incentivo avvantaggi le imprese
beneficiarie a discapito di altre. Questo effetto potrebbe risultare
significativo per imprese che operano nella stessa area e che producono beni
dello stesso tipo.
Metodologia
Le fonti dei dati utilizzati per compiere l'indagine sono essenzialmente
due. La prima, chiaramente non trascurabile, è la banca dati della legge 488
del Ministero, come già indicato, preziosa per reperire informazioni sia sulle
imprese che sull'iter di implementazione della legge. Ricordiamo che, in
questa banca dati sono contenute tutte le informazioni utilizzate per la
costruzione delle graduatorie, nonché le date di erogazione dei contributi.
L'altra fonte riguarda le indicazioni di bilancio delle società di capitali,
raccolte dalla CERVED e relative ad un periodo piuttosto esteso (19932001). I vantaggi legati a questa scelta risiedono nel fatto che si riferiscono
alla quasi totalità delle società di capitale e che coprono un arco temporale
sia precedente che successivo alla pubblicazione dei due bandi che saranno
presi in esame: il secondo (1997) e il terzo (1998)17.
D'altro canto, così come succedeva per il primo studio esaminato, la
disponibilità dei dati di bilancio è condizionata alle sole imprese che hanno
l'obbligo di presentarlo e, conseguentemente, porta a trascurare dal
campione le imprese più piccole e non costituite come società di capitale.
Anche in questo caso, nella costruzione del campione, si è dovuto tener
conto che ciascuna impresa aveva la possibilità di partecipare ai diversi
bandi con più di un progetto. Ciò significa che, dalle 3.358 società che
hanno partecipato al secondo bando e dalle 3.731 che hanno partecipato al
terzo, sono state sottratte quelle che hanno ricevuto gli incentivi in più di un
bando e quelle che non risultavano beneficiarie in uno dei bandi, ma lo
erano in bandi successivi o precedenti. Questa restrizione ha ridotto il
numero delle imprese a 2.433 per il secondo e 2.881 per il terzo bando.
Questa base dati è stata successivamente incrociata con i dati CERVED così
da ricostruire un campione chiuso, ovvero un campione per cui fossero
disponibili i bilanci per tutti gli anni presi in considerazione. Si è costruito,
così, il campione chiuso relativo alla graduatoria totale, formato da 1.007
imprese per il secondo bando (periodo di riferimento: 1994-2001) e da
1.329 imprese per il terzo bando (periodo di riferimento: 1995-2001).
Per evitare di risultare vittime degli inconvenienti relativi all'uso di un
campione così costruito (attrition), si è costruito un ulteriore campione di
17 Il primo bando è stato escluso perché, nel passaggio dalle vecchie modalità di intervento
alla 488, era contemplata una clausola transitoria che permetteva di erogare finanziamenti
anche al di fuori della legge 488. In particolare, per alcune imprese che risultavano
destinatarie di aiuti pubblici in base alla normativa precedente, le erogazioni effettive degli
aiuti vennero sospese a causa dei problemi di finanza pubblica della prima metà degli anni
'90. Fu quindi deciso che le erogazioni sarebbero avvenute con i finanziamenti relativi al
primo bando della legge 4888. Il quarto bando è stato escluso perché in questo caso le
erogazioni degli aiuti sono state fortemente irregolari. In ogni caso, poiché la disponibilità
dei dati CERVED termina comunque al 2001, l'esclusione del quarto bando rappresenta una
perdita informativa tutto sommato poco rilevante. (Servizio Studi Banca d'Italia, 2006).
51
imprese. In altre parole, la possibilità che un'impresa non risulti censita, o
sia censita solo temporaneamente, negli archivi CERVED per ragioni non
estranee all'erogazione dei finanziamenti della 488, viene mitigato
attraverso la costruzione di un campione aperto. Ovvero un campione
costituito da imprese per cui siano disponibili almeno due osservazioni: una
precedente e una successiva all'intervento.
Per affinare l'attendibilità dell'analisi controfattuale si decide di
ristringere ulteriormente il campo, facendo sì che le imprese trattate e le
imprese del gruppo di controllo (non trattate) siano quanto più simili tra
loro, in modo che il gruppo di controllo possa costituire un'approssimazione
quanto più verosimile del controfattuale.
Si costituiscono così due ulteriori campioni: uno fondato sul metodo del
confronto attorno al punto di discontinuità, per cui si inseriscono solo le
imprese poco sotto e poco sopra (30% e 10%) la soglia del punteggio
discriminante per l'acceso al finanziamento, e l'altro composto da imprese
non sussidiate per cui le deviazioni dal tasso di crescita degli investimenti
delle imprese agevolate è minimizzato.
Veniamo, infine, all'equazione di regressione utilizzata per la valutazione:
Yit = α LEGGE 488 i+∑tβ t YEAR t +∑ t γ t (LEGGE 488 i* POSTt)+Zit+єit
dove:
–
la variabile dipendente (Yit) rappresenta l'accumulazione del capitale
per l'impresa i nell'anno t;
–
LEGGE 488 indica se l'impresa ha ricevuto l'agevolazione
–
YEARt indica una serie di variabili temporali
–
POST è una dummy per ciascun anno successivo all'introduzione della
misura di policy
–
Zit è un vettore covariante
–
γt rappresenta i coefficienti di interesse, ovvero l'effetto della 488 sulle
imprese trattate
52
Risultati
Per esigenze di sintesi e di chiarezza ci limitiamo a presentare solo alcuni
dei risultati dello studio, relativi al II bando della 488, concentrandoci, più
che altro, sugli effetti di alcune variazioni metodologiche.
Il primo indicatore analizzato consiste nel confronto fra il rapporto tra
investimenti e capitale fisico delle imprese dell'anno precedente (It/Kt-1).
Premettiamo che, per gli anni precedenti all'intervento (1995 e 1996), le
imprese finanziate si caratterizzavano già per investimenti più alti sia in
media che in mediana.
Esponiamo, quindi, l'esito del confronto effettuato per differenze
semplici. Questi calcoli mostrano che gli investimenti sul capitale delle
imprese sussidiate sono stati superiori per tutto il periodo. Tuttavia il segno
delle differenze diventa negativo nell'ultimo anno per cui sono disponibili i
dati (figura 10).
Figura 10. Bando 2. Campione chiuso. It/Kt-1 Differenze semplici18
Anno
1997
1998
1999
2000
2001
Media
0,062
0,112
0,011
-0,001
-0,130***
0,081**
0,059**
0,039*
0.059**
-0,026
Mediana
Fonte: Banca d'Italia, 2006
Con questa considerazione, ci limitiamo alla sola constatazione della
differenza pre – post nei livelli medi, e mediani, dell'indicatore prescelto.
Per capire quale sia la parte degli investimenti delle imprese trattate
effettivamente attribuibile alla 488, è necessario analizzare le stime tramite
il metodo della differenza nelle differenze.
Possiamo confrontare, allora, la figura 10 con la prima sezione della
figura 11, trovando per esempio che, se -nel 1998- il rapporto degli
investimenti delle imprese trattate superava quello delle imprese non trattate
dello 0,12 stimato per differenza semplice, con il metodo diff-in-diffs, lo
stesso valore si dimezza (0,06). Ben poco favorevoli sono le stime
dell'impatto della legge 488 ottenute, con il metodo della differenza nelle
differenze, per i valori della mediana: come mostra la prima sezione della
figura 10, si tratta di stime perlopiù statisticamente non diverse da zero.
L'effetto di sostituzione inter-temporale, già suggerito dalla differenza
semplice, intanto, è confermato dal metodo diff-in-diffs, poiché i valori
stimati per il 2001 presentano il segno meno: in media, -0,13, che
corrisponde al 46% del rapporto I/K delle imprese richiedenti e non
finanziate.
18 *** (**) {*} denota un coefficiente significativo al 1% (5%) {10%}. Errore standard
0,029 per la media, 0,021 per la mediana.
53
Figura 11. Bando 2. Campione chiuso. Stime differenza nelle differenze19
Anno
1997
1998
1999
2000
2001
1. Variabile dipendente It/Kt-1
Media
0,013
0,063*
-0,037
-0,001
-0,130***
Mediana
0,031
0,009
-0,010
0,008
-0,077***
2. Variabile dipendente It/St-1
Media
0,008
0,001
0,003
0,008
-0,025**
Mediana
0,015
0,015
0,005
0,011
-0,016**
3. Variabile dipendente It/At-1
Media
0,002
0,015*
-0,001
0,007
-0,026***
Mediana
0,012*
0,014**
0,006
0,002
-0,017 **
Fonte: Banca d'Italia, 2006
L'uso del rapporto tra investimenti e capitale fisico delle imprese come
indicatore può essere fonte di alcune distorsioni. Innanzitutto perché i
progetti di investimento finanziabili con la 488 includono ammodernamenti,
ristrutturazioni e riconversioni. Le imprese sussidiate, quindi, potrebbero
aver accelerato il rinnovamento del loro stock di capitale con la vendita di
vecchie attività e l'acquisto di nuovi beni. Qualora avessero contabilizzato la
vendita di vecchie attività nell'anno precedente a quello in cui sono stati
effettuati i nuovi investimenti, la valutazione dell'impatto dell'intervento
potrebbe risultare distorta verso l'alto. In secondo luogo, la banca dati
CERVED valuta il capitale fisico al netto del deprezzamento e, poiché
l'ammortamento dei capitali è consentito sulla base di una frazione fissa
annuale, le imprese più vecchie (quelle favorite dalla 488) potrebbero far
registrare stock di capitale netto più bassi. Un ulteriore effetto di distorsione
positiva, quindi, potrebbe derivare dalla scelta di questo indicatore.
Per ovviare a questo tipo di inconveniente e misurare la robustezza del
lavoro compiuto, si sono praticati i calcoli su altri due indicatori: il rapporto
tra investimenti e fatturato (It/St-1) e il rapporto tra investimenti e attivo
dell'anno precedente (It/At-1). I risultati sono illustrati nelle sezioni 2 e 3
della figura 10. Esplicitamente, ci limitiamo a notare soltanto l'ulteriore
conferma di effetti di sostituzione intertemporale.
Variazioni ulteriori sono state compiute sulla costituzione del campione.
Come già accennato precedentemente, è stato costituito un campione aperto,
ovvero un campione che includesse tutte le imprese con almeno una
osservazione precedente all'intervento ed una successiva. Questa operazione
era diretta a mitigare eventuali distorsioni negative della valutazione, dovute
19 *** (**) {*} denota un coefficiente significativo al 1% (5%) {10%}. Errore standardMedia g.ppo 1: 0,035, mediana g.ppo 1: 0,027, media g.poo 2: 0,010, mediana g.ppo 2:
0,007, media g.ppo 3: 0,007 e mediana g.ppo 4: 0,006.
54
alla possibile maggiore mortalità delle imprese che hanno ricevuto il
finanziamento. L'esito (presentato nella figura 12) sembra confermare una
lieve variazione nella direzione attesa. In altre parole, il coefficiente γt è
leggermente più elevato negli anni immediatamente successivi
all'intervento, per le imprese del campione aperto.
Figura 12. Bando 2. Campione aperto. It/Kt-1 Stime diff in diffs20
Anno
1997
1998
1999
2000
2001
Media
0,026
0,076**
-0,022
0,005
-0,138***
Mediana
0,045
0,034
-0,002
0,024
-0,070**
Fonte: Banca d'Italia, 2006
Ulteriori variazioni riguardano la verifica di differenze di impatto
relativamente a differenze territoriali, dimensione aziendale, grado di
copertura del sussidio. Come potevamo aspettarci, gli esiti dimostrano che
l'impatto è tendenzialmente maggiore al Sud, per le piccole imprese
(definite come quelle con un fatturato inferiore della mediana) e per quelle
che hanno ricevuto sussidi più generosi.
Veniamo adesso a confrontare i risultati per due ulteriori e diverse
costruzioni del campione, già indicate nella sezione “metodologia”: quella
fondata sul metodo del confronto attorno al punto di discontinuità, per cui si
inseriscono solo le imprese poco sotto e poco sopra (30% e 10%) la soglia
del punteggio discriminante per l'acceso al finanziamento, e l'altro
composto da imprese non sussidiate per cui le deviazioni dal tasso di
crescita degli investimenti delle imprese agevolate è minimizzato, in
particolare laddove l'indicatore I/K relativo alle imprese del gruppo di
controllo era compreso all'interno dell'intervento (1+ g)*mt (con mt che
corrisponde al tasso di crescita di I/K per le imprese trattate). I campioni
così costruiti sono due: un per g=2 e un per g=1,5. I risultati sono
rappresentati di seguito (figure 13 e 14).
Figura 13. Bando 2. Campione chiuso. It/Kt-1 Stime diff in diffs 21
Anno
1997
1998
1999
2000
2001
Media (+ 30%)
0,015
0,119*
-0,060
-0,025
-0,238***
Media (+ 10%)
-0,029
0,104
-0,070
-0,093
-0,233***
Fonte: Banca d'Italia, 2006
20 *** (**) {*} denota un coefficiente significativo al 1% (5%) {10%}. Errore standardMedia: 0,036, mediana 0,028.
21 *** (**) {*} denota un coefficiente significativo al 1% (5%) {10%}. Errore standardMedia (30%): 0,066, media (10%): 0,079.
55
Figura 13. Bando 2. Campione chiuso. It/Kt-1 Stime diff in diffs 22
Anno
1998
1999
2000
2001
Media (g=2)
-0,056
0,144**
-0,095
-0,0164**
Media (g=1,5)
-0,082
0,213**
0,004
-0,136
Fonte: Banca d'Italia, 2006
Gli ultimi sforzi valutativi riguardano il tentativo di comprendere gli
effetti indiretti della 488. In particolare, si è tentato di capire se si siano
verificati effetti di spiazzamento o di sostituzione cross-section. Poiché
questo fenomeno dovrebbe essere più intenso all'interno della stessa area
geografica o tra imprese in stretta competizione tra loro perché dedite alla
realizzazione di prodotti simili, per stimare l'entità dello spiazzamento si
sono confrontate imprese appartenenti alla stessa regione o allo stesso
settore. L'ampiezza delle categorie prescelte (settore e regione) appare
limitante, per quanto l'effetto atteso sia stato effettivamente rilevato.
Infine, si è cercato di comprendere quali siano stati gli effetti sul
comportamento delle imprese, utilizzando come variabili dipendenti il costo
del lavoro, i profitti, il cash flaw e il debito (normalizzati per il fatturato).
Mentre, non è stato riscontrato alcun effetto significativo sui costi del
lavoro, si è verificato che le imprese finanziate con il secondo bando, nel
2001 presentavano profitti e cash flaw più elevati, parallelamente a debiti
minori rispetto alle imprese non sussidiate. Si conferma, quindi, la presenza
di un effetto sostituzione. Per cui le imprese sussidiate avrebbero utilizzato i
fondi pubblici per attuare piani di investimento che altrimenti sarebbero
stati intrapresi negli anni successivi. Mentre nel periodo in cui gli
investimenti si sarebbero dovuti effettuare, si sono liberate risorse
finanziarie per usi alternativi.
4.2 L'impatto degli incentivi pubblici per la R&S: il Fsra23
Il FSRA, Fondo Speciale per la Ricerca Applicata, segna l'inizio della
storia del sostegno alle attività di ricerca. Proprio a questo Fondo, infatti,
riconducono i primi decenni di aiuti pubblici all'innovazione. Istituito con la
legge 1089/68, disponeva inizialmente di 100 miliardi di lire destinati a
sostenere lo sviluppo tecnologico e incentivare le imprese alla formazione
delle risorse umane impegnate nella ricerca. In risposta ai significativi
cambiamenti avvenuti in campo tecnologico ed economico, nel corso del
tempo, numerosi interventi sono andati ad integrare e potenziare gli
strumenti di sostegno previsti al momento di istituzione del fondo. In
particolare, la legge 46/1982 ha dotato il fondo di una nuova e più moderna
22 *** (**) {*} denota un coefficiente significativo al 1% (5%) {10%}. Errore standardMedia (g=2): 0,062, media (g=1,5): 0,092.
23 Fonti: Merito M., Giannangeli S., Bonaccorsi A., L'impatto degli incentivi pubblici per
la R&S sulle PMI, in De Blasio G., Lotti F. La valutazione degli aiuti alle imprese, Mulino,
PrismiBologna, 2008.
Documenti parlamentarihttp://wai.camera.it/_dati/leg13/lavori/documentiparlamentari/indiceetesti/lvii/005ii/000000
21.pdf
56
serie di strumenti di intervento, a partire dal Programma Nazionale di
Ricerca, con cui si inizia a sviluppare una politica nazionale della ricerca.
Vale la pena, inoltre, di citare la legge 22/87 che ha disposto la
finanziabilità di progetti inseriti in iniziative di cooperazione internazionale
(progetti Eureka), la legge 67/88 con cui il 10% del Fondo è stato riservato
al finanziamento di attività di formazione professionale, la legge 346/88 che
ha introdotto la possibilità di ottenere contributi in conto interessi per i
finanziamenti erogati direttamente dall'IMI (Istituto Mobiliare Italiano, ente
gestore del fondo fino al 1989, quando la gestione è passata al Ministero
dell'Università e della Ricerca Scientifica e Tecnologica) e destinati a
progetti di importo superiore ai 10 miliardi di Lire.
Poiché lo studio presentato - si tratta della prima valutazione formale ex
post della politica dei finanziamenti pubblici per la R&S effettuato in Italia si riferisce agli anni 1999-2000, di seguito presentiamo le caratteristiche
regolative del Fondo, secondo quanto disposto dal Decreto Ministeriale
dell'8 agosto 1997 e successivamente dal D.Lgs 297/99 che ha condotto alla
soppressione del FSRA per la creazione del Fondo per l'Agevolazione alla
Ricerca (FAR).
4.2.1 Il FSRA: metodi, obiettivi e risultati
In sintonia con quanto stabilito nel D.M. 8/8/1997 e con le norme
comunitarie in materia, il Fondo per la ricerca applicata prevede che
possano essere finanziate, anche separatamente, attività di ricerca
industriale (per un'agevolazione massima concedibile del 50%) e attività
di sviluppo precompetitivo (per un'agevolazione massima concedibile del
25%).
I soggetti ammissibili agli incentivi sono: le imprese industriali,
consorzi e società consortili tra imprese industriali, enti pubblici economici
che svolgono attività produttiva, società di ricerca costituite tra imprese
industriali, centri di ricerca industriale con personalità giuridica autonoma,
consorzi tra imprese industriali ed enti pubblici, istituti ed enti pubblici di
ricerca a carattere regionale, imprese artigiane, aziende speciali degli enti
locali, imprese del settore agro–industriale, società consortili a carattere
misto pubblico–privato, consorzi e società consortili comunque composti,
purché a partecipazione finanziaria maggioritaria di imprese manifatturiere.
Nell'ultima fase di applicazione dell'intervento, la procedura per
accedere al finanziamento comprendeva alcune fasi successive. Il primo
step, ovviamente, prevedeva la compilazione di un modulo di domanda da
parte di coloro che ambivano al finanziamento. Nei 30 giorni successivi alla
ricezione del modulo, il Ministero, verificate la regolarità e la completezza
della domanda, la trasmetteva contemporaneamente all'IMI e ad un
Comitato Tecnico Scientifico (CTS). L'Istituto Mobiliare, entro 60 giorni,
ne verificava la validità economico-finanziaria, con particolare attenzione
alle ricadute occupazionali del progetto. Il CTS, composto da esperti iscritti
ad uno specifico albo ministeriale, contestualmente, si occupava degli
aspetti tecnico-scientifici del progetto presentato, in particolare rispetto alla
sua validità, originalità e utilità.
Entro 90 giorni dalla presentazione della domanda l'istruttoria doveva
essere terminata. In caso di espressione positiva circa la finanziabilità del
57
progetto, entro i due mesi successivi, il sostegno veniva confermato da un
decreto ministeriale e attraverso la stipula di un contratto tra IMI e il
beneficiario. Si apriva così la fase del cosiddetto check-point, ovvero un
periodo in cui esperti dell'IMI e del CTS avrebbero verificato in loco la
validità effettiva del progetto.
Per quanto riguarda i criteri di ammissibilità, oltre a quelli già citati, vale
la pena di ricordare l'attenzione posta al criterio di addizionalità,
presupposto implicitamente accettato per le piccole e medie imprese e
verificato, con scrupolo, per le grandi.
Venendo agli strumenti attraverso cui il Fondo finanziava la ricerca
(figura 14), è possibile operare una distinzione fra tre tipi di intervento: il
finanziamento di iniziative di ricerca e formazione proposte autonomamente
dalle imprese industriali (bottom-up), il finanziamento di iniziative di
ricerca e connesse ad attività di formazione ad elevato rischio industriale e
di rilevante interesse per lo sviluppo dell'economia nazionale, definiti dal
Ministro dell'allora MURST (top-down) e attività di servizio alla ricerca.
Figura 14. Gli interventi finanziati dal Fondo per la ricerca applicata
INTERVENTO
OBIETTIVO
STRUMENTI
Progetti autonomamente presentati dalle
imprese (l..46/82)
Sostegno alla
ricerca privata
Progetti Eureka (l.22/87)
Progetti ex lege 346/88
Interventi
bottom-up
Contributi alle PMI (l.46/82, art.4)
Progetti
(l.67/88)
Formazione
formazione
professionale
Riconversione strutture
industriale (l.151/94)
di
ricerca
Assunzione dottori di ricerca (l.196/ 97)
Interventi
top-down
Pianificazione e
sviluppo tecnologie
innovative
Programmi Nazionali
(l.46/82, art.9)
di
Diffusione
sul territorio
Parchi scientifici e tecnologici
Ricerca
Attività di servizio Partecipazione al
Società di ricerca (l.1089/68)
alla ricerca
rischio di impresa
Fonte: documenti parlamentari-http://wai.camera.it/
Tra le modalità di intervento finanziate attraverso il Fondo Speciale per la
Ricerca Applicata, lo studio di valutazione che andremo ad esaminare
-realizzato da alcuni ricercatori dell'Università di Pisa e dell'Istituto
Sant'Anna - analizza la parte degli interventi definiti come bottom up, per
gli ultimi anni di attività del Fondo (1999 e 2000).
58
La domanda di valutazione
In questo caso, la domanda di valutazione torna a riguardare la
performance delle imprese beneficiarie. Ci si chiede, in altre parole, se
l'ottenimento del sostegno pubblico abbia effettivamente favorito
l'ottenimento degli obiettivi che intendeva raggiungere.
–
Aver ricevuto il sostegno pubblico offerto dalla legge 488 ha migliorato
la performance aziendale delle imprese beneficiarie?
Ancora una volta, la risposta a questo interrogativo è ricercata attraverso
il tentativo di identificare la situazione controfattuale.
Metodologia
Come è naturale, la fonte da cui prende le mosse l'indagine è la banca
dati del Ministero per la Ricerca, in cui sono presenti le informazioni
relative ai progetti di R&S per cui è stata fatta richiesta di finanziamento
attraverso il FSRA, negli anni a cui lo studio vuole riferirsi: il 1999 e il
2000. Queste informazioni sono state incrociate con i dati disponibili nella
banca dati Amadeus (Bureau van Dijk) che comprende informazioni di
carattere finanziario su tutte le imprese europee, inclusi i bilanci
riclassificati delle imprese italiane con fatturato di almeno 500.000 euro.
Sono state così identificate 208 imprese che hanno beneficiato del sussidio.
Da questo gruppo, a causa dell'incompletezza dei dati relativi alle imprese
di servizi, sono state selezionate solo le attività appartenenti al
manifatturiero: si ottiene così un campione di 185 imprese manifatturiere
selezionate per ricevere un finanziamento del FSRA tra il 1999 e il 2000.
A questo punto, è necessario identificare un gruppo di controllo. Lo si fa
utilizzando una procedura di campionamento casuale stratificato, tra le
industrie manifatturiere italiane presenti in Amadeus. La stratificazione è
compiuta per classe dimensionale: la soglia prescelta è quella dei 250
dipendenti che distingue le PMI dalle grandi imprese. All'interno di
ciascuno strato, per ogni impresa trattata vengono estratte cinque unità di
controllo tra quelle che non hanno ricevuto alcun finanziamento.
I dati di fatturato (disponibili per gli anni 1998-2004) comprendono i dati
relativi alla maggior parte degli indicatori di performance scelti per
l'analisi:
✗
crescita dell'occupazione (logaritmo del numero di dipendenti)
✗
successo di mercato (logaritmo del fatturato in migliaia di Euro)
✗
produttività del lavoro (logaritmo del valore aggiunto per
dipendente, in migliaia di euro per dipendente)
✗
composizione della forza lavoro (logaritmo del costo medio del
lavoro, in migliaia di euro per dipendente)
59
Ci si deve rifare alla banca dati Delphion (Thomson), invece, per ricavare
informazioni sul numero di domande di brevetto presentate a uffici di
brevetto nazionali e internazionali (Uspto, Epo, Wipo) tra il 1998 e il 2004
da ciascuna impresa del gruppo dei trattati e del gruppo di controllo, così da
ottenere:
✗
l'effetto dei contributi sulla performance innovativa (numero di
domande di brevetto).
Stabiliti gli indicatori di performance e costruito il campione, rimane da
risolvere il problema più tipico dell'analisi controfattuale, quello
dell'abbinamento delle unità trattate con le unità di controllo. In altri
termini, si tratta di affrontare il problema della stima del risultato in assenza
di trattamento Yi(0), per l'impresa i con covariate x che è stata sottoposta al
trattamento. In questo caso è stata prescelta la tecnica del radius matching
(cfr. par. 2.1). Nello specifico, per ogni impresa trattata si considera un
risultato non osservabile Yi(0) corrispondente al risultato medio calcolato
tra le imprese di controllo con covariate pre-trattamento più simili. Poiché
questo tipo di matching non è esatto, si è utilizzato un particolare stimatore
di correzione (Abadie, Imbrens) che corregge la differenza tra le unità
abbinate per la differenza nei valori delle rispettive covariate, per mezzo di
una stima consistente del valore atteso condizionale. Il principio seguito
consente a ciascuna unità di controllo di essere abbinata a più unità trattate.
Si considerano, quindi, le unità di controllo che sono vicine (per alcuni
indici stabiliti) almeno come l'M-simo match all'unità trattata i.
Il modello risulta, quindi, quello che segue:
τM,bcm = 1/N1 + ∑ i, Ti=1 {Yi (1) – Yi (0)}
dove:
–
τ è l'effetto medio del trattamento sul campione dei soggetti trattati (satt, sample
average treatment effect on the treated )
–
Yi (1) è il risultato dell'impresa i se è sottoposta a trattamento
–
Yi (0) è il risultato dell'impresa i se non è sottoposta a trattamento
(indicato come Yi (0) perché media delle unità di matching)
–
N1 è il numero delle unità trattate
–
bcm sta per bias-corrected matching
60
Così rimane da specificare soltanto il set i variabili di matching. Questo
comprende diverse caratteristiche aziendali pre-trattamento (1998), che
possono influenzare sia l'assegnazione del finanziamento che le successive
performance dell'impresa. Si tratta di:
✗
classe dimensionale
✗
età dell'impresa in anni – tiene conto degli effetti di dimensione
ed esperienza (capacità manageriali e di ottenere risorse esterne);
✗
intensità di capitale (rapporto tra le immobilizzazioni materiali e
il fatturato) come misura dell'accesso al mercato del capitale,
delle conoscenze incorporate e dell'aggiornamento tecnologico;
✗
il numero delle domande di brevetto (per le grandi imprese) e,
l'intensità di attività immateriali, intesa come immobilizzazioni
immateriali sul fatturato (per le PMI), quale misura di capacità
innovativa;
✗
flusso di cassa scalato per il fatturato ad indicare i possibili
vincoli di liquidità;
✗
localizzazione dell'impresa (Nord-Est, Nord-Ovest, Centro, Sud),
a controllo -per la distribuzione disomogenea della R&S privata
nel Paese- del più facile accesso ai finanziamenti pubblici da
parte delle imprese meridionali;
✗
l'essere una società capogruppo, come indicazione della
complessità dell'impresa;
✗
intensità tecnologica del settore di appartenenza, fondata sulla
classificazione Oecd.
Come ultimo elemento, aggiungiamo che gli effetti dell'intervento sulla
performance delle imprese è stato misurato a due (2002) e quattro (2004)
anni dall'assegnazione del contributo, così da compiere una stima degli
effetti nel breve e nel medio-lungo periodo.
Risultati
L'analisi compiuta fa emergere effetti molto deboli sul campione
comprensivo di tutte le imprese. Come mostrato nella figura 15, infatti,
l'effetto stimato è molto contenuto sull'attività innovativa dei beneficiari del
finanziamento (numero richieste di brevetto) e nullo sugli altri indicatori di
performance, sia nel breve che nel medio-lungo termine.
61
Figura 15. Gli effetti medi del finanziamento FSRA sulle imprese
dell'intero campione
N.
N. non
finanziate finanziate
Satt
Errore
Standard
Performance delle imprese nel 2002
Occupazione
185
141
0,008
0,061
Vendite
185
144
-0,111
0,070
Produttività del lavoro
183
144
-0,051
0,049
Costo medio del lavoro
183
151
-0,034
0,016
Numero di richieste di
brevetto
185
151
2,141
1,269
Performance delle imprese nel 2004
Occupazione
127
107
-0,008
0,076
Vendite
126
105
-0,027
0,077
Produttività del lavoro
123
106
0,052
0,074
Costo medio del lavoro
126
110
0,053
0,047
151
0,320
0,290
Numero di richieste di
185
brevetto
Fonte: Merito, Giannangeli, Bonaccorsi (2008)
Gli effetti dell'intervento pubblico, però, non appaiono così sconfortanti,
se consideriamo la performance delle sole PMI, soprattutto nel medio-lungo
periodo. Emerge, infatti, che il costo medio del lavoro è quasi triplicato nel
2004 (figure 16a e 16b). Questo ad indicare l'innescarsi di un processo di
upskilling, che potrebbe suggerire l'emergere di effetti positivi nel lungo
periodo. Parimenti, le PMI finanziate sembrano avere una più intensa
attività di brevettazione, nel breve periodo.
Figura 16a. Gli effetti medi del finanziamento FSRA sulle PMI
N.
N. non
finanziate finanziate
Satt
Errore
Standard
Performance delle imprese nel 2002
Occupazione
124
93
0,050
0,066
Vendite
124
94
-0,117
0,091
Produttività del lavoro
122
96
-0,047
0,052
Costo medio del lavoro
122
98
0,034
0,010
91
0,516
0,272
Numero di richieste di
124
brevetto
Fonte: Merito, Giannangeli, Bonaccorsi (2008)
62
Figura 16a. Gli effetti medi del finanziamento FSRA sulle PMI
N.
N. non
finanziate finanziate
Satt
Errore
Standard
Performance delle imprese nel 2004
Occupazione
83
70
0,131
0,076
Vendite
82
71
-0,067
0,086
Produttività del lavoro
79
65
0,047
0,120
Costo medio del lavoro
82
69
0,106
0,062
91
-0,024
0,092
Numero di richieste di
124
brevetto
Fonte: Merito, Giannangeli, Bonaccorsi (2008)
4.3 La valutazione dell'impatto degli incentivi pubblici per la
R&S: il primo caso tedesco24
Di seguito, è presentato un ulteriore caso di valutazione delle politiche
per l'innovazione e la ricerca. L'esperienza, trattandosi di uno dei primi casi
di analisi degli effetti delle politiche a sostegno della R&S praticati in
Germania, mantiene un certo parallelismo con il caso italiano presentato nel
precedente paragrafo. L'esperienza tedesca, ad ogni modo, ci porta
abbastanza indietro nel tempo, ma può essere comunque utile indicarne
brevemente le linee generali e osservare l'uso fatto del gruppo di controllo.
4.3.1 Valutazione del programma di sostegno dei costi del personale di
ricerca: metodi, obiettivi e risultati
Nel luglio 1978, il governo federale tedesco lanciò un programma di
promozione della R&S per le piccole e medie imprese del settore
manifatturiero. Questo programma consisteva nel conferire, alle imprese,
alcune sovvenzioni legate al costo del personale destinato alla ricerca. Il
programma entrò in vigore dal 1 gennaio 1979 e, da quel momento, è stato
gestito, per conto del Ministero Federale dell'Economia, dall'AIF,
Arbeitsgemeinschaft Industrieller Forschungsvereinigungen o, più
semplicemente, Unione delle associazioni di ricerca industriale. Il
programma, che si conclude alla fine del 1987, testimonia la presa di
coscienza relativamente all'importanza delle PMI nell'ambito delle politiche
di sostegno alla R&S, nella Repubblica federale tedesca alla fine degli anni
Settanta.
24 Fonti: Callon M., Larédo P., Mustar P., La gestion stratégique de la recherche et de la
technologie, p 141-159, Paris, Economica, 1995 (pp. 335-348);
Meyer-Kramer F., The present status and problems of impact research in technology policy:
a case study of the federal programme for funding research and development personnel in
Germany, Research Policy 10, 1981;
Meyer-Kramer F., Gielow G., Kuntze U., Impacts of governement incentives towords
industrial innovation. An analysis of the federal programme funding R&D personnelin the
Federal Republic of Germany, Research Policy 18, 1989.
63
Il contributo ai salari del personale di ricerca è stato un'incitazione
finanziaria all'attività di R&D e d'innovazione all'interno delle piccole e
medie imprese. Si trattava di un aiuto consentito ad un ampio numero di
imprese, senza considerare il dominio della ricerca svolta, l'ampiezza dei
rischi associati al progetto innovativo, né la qualità del lavoro e le
prospettive di riuscita economica. L'obiettivo era essenzialmente quello di
rafforzare la capacità innovativa delle PMI, accrescendo gli investimenti in
capitale umano, grazie alla partecipazione pubblica ai costi sostenuti per i
salari del personale.
Il numero di imprese che hanno partecipato al programma è stato più
ampio del previsto. Si parla di 4.500 imprese finanziate per 320 milioni di
marchi nel 1979, 6.200 imprese finanziate per 410 milioni di marchi nel
1980 e 6.400 imprese finanziate per 440 milioni di marchi nel 1981.
La domanda di valutazione
La valutazione è stata assegnata alla realizzazione dell'ISI (Fraunhofer –
Institut für Systemtechnik und Innovationsforschung) nel 1980, su
commissione del Ministero federale dell'economia. L'obiettivo era quello di
valutare in che misura le sovvenzioni attribuite attraverso il programma:
✗
fossero state utilizzate dalla imprese
✗
avessero contribuito all'aumento di personale e di attività di R&D
✗
avessero creato condizioni necessarie all'emergere di innovazione di
prodotto e di processo
✗
avessero aumentato la produttività e la competitività delle PMI
beneficiarie
✗
fossero state applicate e gestite seguendo modalità efficaci
La valutazione è stata suddivisa in due fasi d'analisi empirica. La prima
(1980-1981) si è concentrata sui cambiamenti di breve periodo intervenuti
nell'ambito delle attività di R&S interne alle PMI. Si fonda sui dati relativi
alle imprese sussidiate dopo il 1979 ed esamina i cambiamenti osservati fino
al 1981, dopo aver determinato la loro situazione prima dell'avvio del
programma. Gli effetti di medio termine sono analizzati nella seconda fase
di analisi, 1983-1984.
In questo ambito ci dedicheremo alla presentazione di una sola parte dello
studio, concentrandoci su un'unica domanda di valutazione:
–
Aver ricevuto il sostegno pubblico ha determinato un aumento del
personale dedicato alle attività di R&S?
64
Metodologia
Il campione utilizzato per lo studio comprendeva circa 2000 imprese che
avevano partecipato al programma e di cui si disponevano informazioni in
materia di fatturato, settore di appartenenza, numero di ricercatori occupati e
spesa per il personale, per gli anni compresi tra il 1978 (anno precedente
all'erogazione del contributo) e il 1981.
Il gruppo di controllo è stato identificato a partire dai dati utilizzati per
un'indagine sulla R&S nell'industria, effettuato dall'istituto tedesco di
statistica. Da questa base, infatti, è stato possibile identificare un gruppo di
imprese di dimensioni piccole e medie che non hanno partecipato al
programma. Le differenze tra i due gruppi di imprese (trattate e non trattate)
non sono risultate significative. In particolare sono state prese in
considerazione le possibili differenze dimensionali e il settore di
appartenenza, elementi che possono ricondurre a diversi livelli della
propensione all'innovazione. Si sono considerati, inoltre, il tipo di mercato e
di prodotto relativo alle varie imprese e la similarità delle loro attività di
R&S. Date queste loro caratteristiche, le imprese sono risultate comparabili,
in altre parole è verosimile attribuire le differenze nei comportamenti
innovativi -e in particolare relativamente al tasso di crescita del personaleall'avvenuta o mancata partecipazione al programma.
Anche in questo caso si è fatto ricorso ad un modello di regressione
lineare. Il modello è descritto nei seguenti termini:
R&Dit= a1 + bit +ciUit + єi
dove:
–
–
–
–
Ui è il fatturato dell'impresa i,
t è il temporaneamente,
a1 corrisponde a1i + a2iZt con Zt a uguale a 1 per l'intervento
erogato e 0 per l'intervento da erogare (1978),
c1 corrisponde c1i + c2idt con dt uguale a 1 per l'intervento erogato
e 0 per l'intervento da erogare (1978).
Risultati
Molto brevemente, il risultato dello studio mostra che, a partire dal
momento in cui le imprese ricevono gli aiuti pubblici, i loro livelli di attività
in R&S aumentano in modo abbastanza significativo.
Per quanto riguarda la comparazione dei tassi di crescita dell'attività di
ricerca tra il gruppo trattato e il gruppo di controllo (figura 16), troviamo
che, per i dipendenti a tempo pieno, la tendenza è di crescita nei tre gruppi
(trattati, non trattati finanziabili, non trattati non finanziabili).
Il tasso di crescita, però, è circa doppio nelle imprese che hanno ricevuto
65
il finanziamento pubblico. Per quanto riguarda i dipendenti a tempo
parziale, la tendenza generale è opposta. Comunque, mentre le imprese non
aiutate hanno diminuito il loro personale di ricerca a tempo parziale, le
imprese sostenute vedono progredire leggermente anche questo valore. Sulla
base di questi tassi di crescita possiamo stimare che la presa in carico dei
costi per il personale di ricerca da parte pubblica ha avuto effetti
sull'aumento del personale per R&S che, in assenza di intervento, non si
sarebbero verificati.
Complessivamente i ricercatori considerano che circa il 60%
dell'ammontare del programma è servito a rinforzare e sviluppare il
potenziale innovativo, mentre il restante 40% è stato utilizzato per progetti
di ricerca che sarebbero stati realizzati anche in assenza di sostegno
pubblico. Questo risultato incoraggiante, però, riguarda soltanto la prima
metà della durata del programma, essenzialmente a causa delle condizioni
d'aiuto ridotte, introdotte successivamente per motivi di restrizione del
budget.
Figura 16. Gli effetti medi del finanziamento FSRA sulle PMI
(Tasso di crescita in % del numero di impiegati per ricerca tra 1980/1981)
Occupazione in R&S
Imprese
trattate
Imprese non trattate
Eleggibili
Non eleggibili
Occupati a tempo pieno
+8,0
+4,7
+3,6
Occupati a tempo parziale
+3,0
-6,2
-3,6
(min 400 ore di R&D in una anno)
Fonte: Meyer-Kramher (1995)
4.4 L'impatto delle azioni di sostegno all'export nei Paesi in via
di sviluppo25
L'ultimo caso di valutazione sposta l'attenzione su una situazione
radicalmente diversa rispetto alle precedenti, non per gli strumenti di analisi
utilizzati, ma piuttosto per il contesto geografico, e conseguentemente
socio-economico, a cui si riferisce, e soprattutto per la natura dell'intervento
valutato. Si tratta, infatti, di un'azione di sostegno alle esportazioni, in
massima parte perseguita attraverso l'offerta di servizi alle imprese e, solo in
alcuni casi, accompagnando questa attività ad un sostegno diretto di
carattere economico. In secondo luogo, il Paese, in cui l'intervento è
applicato, è il Cile. Ci si rivolge, quindi, ad un'economia in cui il
manifatturiero risulta abbastanza debole, a fronte della presenza di
consistenti esportazioni di materie prime.
L'azione di sostegno sotto osservazione riguarda l'operato di un'agenzia di
promozione dell'export che porta il nome di PROCHILE.
25 Fonte:Volpe Martincus C., Carballo J., Beyond the average effects: the distributional
impacts of export promotion programs in developing countries, Journal of developmnet
economics (2009). - Inter-American Development Bank, USA-.
66
Fondata nel 1974, l'agenzia promuove l'internazionalizzazione delle
imprese cilene, con particolare attenzione alle PMI, e può contare su una
struttura fisica e organizzativa consolidata e articolata: dispone di 13 sedi
amministrative regionali e di uffici e sedi commerciali in oltre 40 Paesi.
Lo studio presentato di seguito, effettuato dalla Inter-American
Development Bank, è stato pubblicato nel febbraio 2009, si riferisce al
periodo di apllicazione 2002-2006 e porta il titolo: Beyond the average
effects: the distributional impacts of export promotion programs in
developing countries.
4.4.1 La promozione dell'export nei Paesi in via di svuluppo: metodi,
obiettivi e risultati
L'intervento della PROCHILE si fonda sul supporto al processo di
internazionalizzazione delle piccole e medie imprese, in particolare
attraverso la sottoscrizione di accordi commerciali internazionali, la
formazione di associazioni miste pubblico-privato e attività di marketing
all'estero. Nello specifico, l'intervento dell'agenzia direttamente rivolto alle
imprese si articola in una chiara lista di azioni:
✗
programmi di formazione rivolti a “esportatori inesperti” in cui si
offrono informazioni relative ai processi di esportazione, ricerche di
mercato e organizzazione della logistica, opportunità e regole del
sistema finanziario, leggi e regolamenti internazionali, business
planning;
✗
raccolta e diffusione dei principali dati statistici relativi al
commercio, realizzazione di analisi sui Paesi destinatari e sui loro
trend di mercato, sia standard che customer tailored;
✗
offerta di consulenza e assistenza tecnica, utile per avvalersi di
opportunità di business all'estero e per accedere ad alcuni mercati
specifici, in particoalare possibilità di consultazione di risorse online
con informazioni dettagliate sui contatti utili, dati sui prodotti
esportati, sui Paesi destinatari e le condizioni di certificazione ISO;
✗
coordinamento, e in alcuni casi finanziamento, per la partecipazione
a missioni internazionali e fiere,
✗
supporto agli accordi tra imprese esportatrici per favorirne
l'internazionalizzazione
Si tratta, quindi, dell'offerta di servizi alle imprese e non, come invece
avveniva nei casi precedenti, di elargizioni più o meno dirette in denaro
legate a progetti specifici.
In questo caso l'intervento si fonda sulla volontà di limitare il problema
delle forti asimmetrie informative presenti nel campo del commercio
internazionale, presenti soprattutto quando si tratta di PMI.
67
La domanda di valutazione
Come suggerito dal titolo, lo studio – a differenza di altre analisi
effettuate in precedenza sulle attività di PROCHILE– non mira a stimare
l'effetto medio dell'intervento, ma intende valutare quali siano gli effetti
distributivi del programma.
Più precisamente ci si chiede:
–
–
Il programma ha effetti eterogenei sulla distribuzione dei risultati?
Che genere di imprese beneficia maggiormente del programma?
In breve, ci si aspetta – e le attese saranno confermate – che le imprese
più piccole e relativamente più inesperte in materia di mercati internazionali
abbiano maggiori limitazioni rispetto al tentativo di diventare attori dello
scenario commerciale internazionale. Saranno, quindi, proprio le PMI ad
essere le principali beneficiarie dell'intervento dell'agenzia PROCHILE.
Metodologia
Le fonti utilizzate nello studio sono due: i dati della Banca Centrale del
Cile e il database PROCHILE. La prima fonte fornisce i dati annuali relativi
all'export delle imprese cilene, disaggregati per prodotto e Paese di
destinazione e calcolati in dollari americani. La banca dati di PROCHILE,
invece, permette di reperire i dati sulle vendite annuali delle compagnie
esportatrici, distinguendo tra quattro categorie di imprese: micro-imprese
(fino a 60.000 dollari), PyMex (da 60.001 a 7.500.000), medio-grandi (da
7.500.001 a 12.500.000) e grandi imprese (da 12.500.001 dollari). Il periodo
temporale di riferimento è compreso tra il 2002 e il 2006.
Il campione utilizzato comprende 3.263 imprese esportatrici tra gruppo
delle trattate e gruppo di controllo.
Il metodo utilizzato segue il modello del sistema della differenza nelle
differenze. Gli indicatori prescelti per misurare la performance
commerciale delle imprese sono: export totale, il numero dei Paesi
destinatari, il numero dei prodotti esportati, le esportazioni medie per
prodotto, le esportazioni medie per Paese, le esportazioni media per Paese e
prodotto.
Poiché l'interesse dello studio è quello di individuare le caratteristiche
delle imprese su cui l'effetto del programma è maggiore, si calcolano dei
quantili (figura 17) per effetto del trattamento sulle imprese. Così la stima
degli effetti sarà ottenuta come differenza tra i rispettivi quantili per il
gruppo di imprese trattate e quello di controllo.
Il controllo dell'errore dovuto alla mancata sovrapposizione tra il gruppo
di controllo (approssimazione del controfattuale) e quello delle imprese
trattate è ottenuto attraverso la minimizzazione delle variabili osservabili e il
calcolo del propensity score delle imprese, ovvero la probabilità di
partecipare al programma. Il matching tra le unità dei due gruppi è stato
compiuto utilizzando la funzione di Kernel (cfr cap.2). Il propensity score è
stato ottenuto, tenendo conto di alcuni fattori, quali la dimensione
dell'impresa e l'esperienza pregressa sul campo del commercio
internazionale, includendo dati sul totale delle vendite, il totale dell'export, il
numero di Paesi destinatari e il numero di prodotti esportati.
68
Figura 17. Distribuzione degli indicatori sull'export e vendite totali
INDICATORI
DECILI
10
Export totale
20
30
40
50
2.135 5.235 11.669 23.422 50.160
Numero di paesi
1
1
1
1
1
Numero di prodotti
1
1
1
1
2
Export medio per Paese e 1.015 2.111 3.885
prodotto
Export medio per Paese
6.815 11.860
1.280 2.922 5.676 10.935 20.529
Export medio per prodotto 2.000 4.470 9.028 16.598 29.860
Vendite totali
1
2
2
INDICATORI
2
DECILI
60
Export totale
2
70
80
90
113.202 258.307 694.767 2.601.423
Numero di paesi
2
3
4
8
Numero di prodotti
3
4
6
11
70.832
184.000
Export medio per Paese
41.080 88.160 219.866
707.095
Export medio per prodotto
54.127 103.333 210.000
555.009
Export medio per Paese e 20.304 36.392
prodotto
Vendite totali
2
2
3
4
Fonte: Volpe, Carballo (2009)
Vendite totali_ 1-4 corrsopondono a 1. (0-60.000$), 2. (60.001 a 7.500.000), 3. (da
7.500.001 a 12.500.000), 4.(da 12.500.001 dollari).
Risultati
L'esito dello studio mostra che mediamente l'effetto del programma
PROCHILE, per i sei indicatori di performance prescelti e negli anni 20022006, ha avuto un effetto positivo significativo. Per esempio, nel 2006, il
tasso di crescita dell'export è stato in media del 6,8% più elevato per le
imprese assistite.
Venendo all'interrogativo che ha mosso l'intera ricerca, però, è opportuno
verificare come questo effetto sia distribuito tra le imprese assistite,
analizzando l'effetto per ciascun quantile precedentemente creato.
Come mostra la figura 18, l'impatto dell'intervento di sostegno è
maggiore in corrispondenza dei decili più bassi e decresce in modo
monotonico dal secondo al quarto decile.
Si conferma, quindi, che le imprese più piccole e inesperte in campo
internazionale traggono un beneficio proporzionalmente maggiore rispetto
alle imprese più grandi.
69
Figura 18. Effetti per quantile sulle imprese assistite
DECILI Export totale
Numero di paesi
Numero prodotti
10
0,270***
(0,042)
0,087*
(0,046)
0,000
(0,012)
20
0,146***
(0,023)
0,037***
(0,014)
0,000
(0,016)
30
0,051***
(0,015)
0,073***
(0,010)
0,031*
(0,017)
40
0,024**
(0,011)
0,000
(0,002)
0,000
(0,004)
50
0,016
(0,010)
0,000
(0,002)
0,000
(0,004)
60
0,0007
(0,011)
0,000
(0,002)
0,000
(0,004)
70
0,013
(0,012)
0,049***
(0,012)
0,067***
(0,011)
80
0,021
(0,017)
0,023*
(0,013)
0,118***
(0,015)
90
0,067
(0,049)
0,182***
(0,013)
0,000
(0,010)
DECILI Export medio per Export medio per Export medio per
Paese e prodotto Paese
prodotto
10
0,183***
(0,013)
0,176***
(0,033)
0,224***
(0,033)
20
0,115***
(0,022)
0,101***
0,020)
0,140***
(0,021)
30
0,078**
(0,017)
0,034**
(0,015)
0,106***
(0,017)
40
0,066**
(0,016)
0,011
(0,012)
0,088***
(0,014)
50
0,008
(0,015)
0,011
(0,011)
0,061***
(0,013)
60
0,006
(0,015)
0,006
(0,012)
0,044***
(0,014)
70
0,050***
(0,017)
0,028**
(0,014)
0,025
(0,016)
80
0,053***
(0,020)
0,035**
(0,017
0,005
(0,019)
90
0,026
(0,031)
0,028
(0,027)
0,014
(0,028)
Fonte: Volpe, Carballo (2009) *** (**) {*} denota un coefficiente significativo al 1% (5%) {10%}
70
APPENDICE - Tecniche di ricerca per la valutazione
Una volta chiarito cosa intendiamo per valutazione, quali siano le sue
radici e quali le sue funzioni e caratteristiche, vale la pena di costruire una
panoramica delle tecniche valutative più utilizzate ed efficaci. Le pagine che
seguono, quindi, mirano a tracciare un rapido quadro degli strumenti utili
alla valutazione, ordinandoli secondo alcune caratteristiche.
Nella presentazione che segue si mantiene, in parte, l'impostazione offerta
nei Sourcebooks14, redatti a guida delle pratiche di valutazione per l'Unione
Europea, che suddividono le tecniche sulla base delle loro funzioni: ottenere
dati, analizzare dati, costruire giudizi di valutazione.
Per dovere di sintesi e per facilità di lettura, ciascuna tecnica sarà
descritta in una tabella in cui saranno specificati: il nome del metodo, le sue
caratteristiche, perché viene utilizzato, in quali condizioni è più funzionale,
quali sono i suoi punti di forza e quali quelli di debolezza.
Le schede seguono l'ordine e la suddivisione proposti dai Sourcebooks:
LA RACCOLTA DEI DATI
- Social survey
- Beneficiary survey
- Interviste ad interlocutori privilegiati
- Focus group
- Priority evaluation
- Studio di caso
- Approcci partecipativi
- Dati di fonte secondaria
- Dati di fonte amministrativa
- Tecniche di Osservazione
ANALISI DEI DATI
- Analisi input/output
- Modelli econometrici
- Tecniche di regressione
- Tecniche sperimentali
- Delphi survey
- SWOT
COSTRUZIONE DI GIUDIZI DI VALUTAZIONE
- Gender impact assessment (GIA)
- Analisi costi/benefici
- Benchmarking
1. - Analisi Costi/efficacia
- Analisi di impatto economico
- Analisi multicriteri
- Expert panels
14 EVALSED 2007-2013, SOURCEBOOKS,
http://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/sourcebooks/index
_en.html
71
LA RACCOLTA DEI DATI
SOCIAL SURVEY
Descrizione Consiste nel proporre una serie di domande, attraverso un
del metodo questionario strutturato, ad un campione di individui
rappresentativo della popolazione osservata.
Obiettivi
Sono utilizzati per raccogliere grandi quantità di dati
omogenei da elaborare secondo metodi statistici.
Nel contesto della valutazione sono spesso utilizzati in
combinazione con tecniche di raccolta dei dati che
permettono di stimare risultati, impatti ed effetti degli
interventi.
Quando si
usa
Mirando a risultati statisticamente significativi, attraverso la
consultazione dell'intera popolazione di riferimento oppure
di un campione rappresentativo, l'uso del metodo è favorito
da alcune circostanze:
✔
✔
✔
Punti di
forza
la popolazione osservata è ampia e omogenea;
il ricercatore (che deve preparare un questionario a
risposta chiusa) ha un'idea chiara e precisa di ciò che
vuole osservare;
il ricercatore vuole testare un'ipotesi o osservare fatti
oggettivi.
Se il campione è stato ben selezionato, produce informazioni
strutturate, quantificabili e generalizzabili.
Permette di raggiungere un'ampia popolazione a costi
relativamente bassi.
Punti di
debolezza
Lo studio deve essere praticato su una popolazione ampia e
identificabile, altrimenti si perde la significatività statistica
dei dati e la loro generalizzabilità.
La necessità di standardizzare le risposte implica una forte
semplificazione.
Le risposte date potrebbero non corrispondere alla realtà
perché mal formulate, non ben comprese dagli intervistati o
distorte dalla volontà di apparire più corretti e informati di
quanto corrisponde a verità.
72
BENEFICIARY SURVEY
(indagine sui beneficiari)
Descrizione Si tratta di un survey che ha come popolazione di riferimento
del metodo i soli beneficiari – o presunti tali - dell'intervento, che siano
individui, organizzazioni o comunità. Non necessariamente
si tratta di beneficiari diretti dell'intervento.
Il questionario può essere rivolto all'intero gruppo di
beneficiari o ad un campione rappresentativo di questa
popolazione.
Obiettivi
Nel contesto della valutazione, questo tipo di indagine è
utilizzata soprattutto per raccogliere dati sull'opinione dei
beneficiari di un intervento.
A differenza di altri metodi di osservazione (lo studio di caso
o l'osservazione etnografica) questo tipo di indagine produce
risultati generalizzabili all'interno del gruppo di riferimento.
Quando si
usa
L'indagine sui beneficiari è adatta all'osservazione di casi in
cui si ha una popolazione target sufficientemente ampia ed
omogenea e l'intervento da valutare è sufficientemente
semplice. Potrebbe, infatti risultare costosa e poco
significativa laddove l'intervento applicato è molto
complesso o focalizzato su più temi e le categorie di
beneficiari superano la decina.
È auspicabile la possibilità che ogni singolo campione possa
essere intervistato in due o più fasi temporali successive così
da ottenere un'analisi longitudinale dei dati, permettendo di
monitorare gli effetti nel tempo e di verificare la sostenibilità
dell'intervento.
Le generalità dei beneficiari devono essere disponibili e
catalogate.
Punti di
forza
Se il campione è stato ben selezionato, produce informazioni
strutturate, quantificabili e generalizzabili.
Permette di raggiungere un'ampia popolazione a costi
relativamente bassi.
Punti di
debolezza
Lo studio deve essere praticato su una popolazione ampia e
identificabile, altrimenti si perde la significatività statistica
dei dati e la loro generalizzabilità.
La necessità di standardizzare le risposte implica una forte
semplificazione.
Le risposte date potrebbero non corrispondere alla realtà
perché mal formulate, non ben comprese dagli intervistati o
distorte dalla volontà di apparire più corretti e informati di
quanto corrisponde a verità.
73
INTERVISTE AD INTERLOCUTORI PRIVILEGIATI
Descrizione Consiste in interviste in profondità rivolte a persone
del metodo coinvolte a vario titolo in un programma o progetto, e
proposte da personale qualificato.
L'intervista permette di acquisire informazioni a carattere
qualitativo e opinioni personali relative ai contenuti,
l'implementazione, i risultati o l'impatto di un determinato
programma. Le tecniche utilizzate sono varie: interviste
strutturate o, più spesso, semi-strutturate, la conversazione
guidata o informale.
Obiettivi
✔
✔
✔
✔
✔
✔
Quando si
usa
Punti di
forza
L'intervista in profondità può essere utilizzata in tutte le
condizioni e a maggior ragione se si ha sufficiente
disponibilità di tempo e risorse finanziarie o progetti limitati
per essere sottoposti a indagine statistica.
✔
✔
✔
✔
✔
Punti di
debolezza
Fornire feedback relativamente a qualunque aspetto
di un programma, esaminando il punto di vista degli
attori coinvolti.
Fornire informazioni su come un programma è stato
condotto nel tempo, esaminando comportamenti,
pratiche individuali, contesti, cambiamenti avvenuti
ecc...
Individuare interessi individuali contrapposti.
Individuare divergenze di vedute.
Ricostruire il sistema di valori in cui si riconosce una
comunità.
Sostenere altri strumenti di ricerca.
✔
✔
✔
✔
Dà una visione chiara di temi complessi.
L'intervistato non è influenzato dal contesto (focus
group).
Si ottengono informazioni su valori, fatti e
comportamenti dell'intervistato, meccanismi di
implementazione e relazioni di causalità tra il
programma e i suoi effetti.
Si tratta di uno strumento duttile e ampiamente
adattabile al contesto.
Si può rivolgere alle popolazioni scarsamente istruite.
Le dimensioni del campione sono troppo piccole per
applicare il metodo della selezione casuale e i risultati
non sono quindi generalizzabili.
Se non condotte da esperti e con metodi professionali
le interviste non producono dati significativi.
I risultati dipendono fortemente dalla cooperazione
dell'intervistato.
Informazioni confidenziali non sono divulgabili.
74
FOCUS GROUP
Descrizione Inizialmente utilizzato per le ricerche di mercato, il focus
del metodo group prende la forma di una discussione strutturata che
evolve nella condivisione e nel progressivo affinamento delle
posizioni prese. Il format più consolidato prevede una durata
di 1-2 ore e la presenza di 6-8 persone. Il gruppo è guidato da
un valutatore che propone i temi di interesse secondo uno
schema strutturato e prestabilito.
Obiettivi
✔
✔
✔
✔
Quando si
usa
Punti di
forza
Si tratta di una fonte primaria di dati qualitativi,
comunemente utilizzata in combinazione con altri metodi di
ricerca qualitativa. È particolarmente utile nei casi in cui:
✔
i temi della valutazione siano alla base di opinioni
divergenti che la discussione può sciogliere,
conducendo ad una visione,
✔
sia utile evidenziare visioni divergenti, problemi,
bisogni, preferenze
✔
sia utile una pratica esplorativa.
✔
Produce informazioni, in profondità, circa i valori, le
percezioni e le opinioni del gruppo selezionato.
La presenza di più persone garantisce una sorta di
controllo di qualità sui dati raccolti, poiché è
possibile giudicare pro e contro degli argomenti di
ciascuno, evitando le posizioni estreme.
In poco tempo si possono raccogliere grandi quantità
di dati qualitativi.
✔
✔
Punti di
debolezza
Raccogliere una grande quantità di dati in un tempo
limitato.
Condividere e comparare esperienze e punti di vista
di diversi partecipanti per generare una nuova visione
e comprensione
Aprire la discussione ad un ampio raggio di possibili
risposte e posizioni, sviluppando il doscorso in
direzioni anche inattese.
Validare o completare i risultati dell'elaborazione di
dati quantitativi.
✔
✔
✔
Professionalità specifiche sono necessarie per evitare
che il gruppo risponda a dinamiche interne,
appiattendosi su una posizione dominante.
Il giudizio dei beneficiari di una politica tende ad
essere positivo.
Il comportamento delle persone cambia quando
queste sono consapevoli di essere osservate
(Hawthorne effect).
75
PRIORITY EVALUATION
Descrizione È basato sulla simulazione di un sistema di mercato e
del metodo generalmente fa uso di questionari per raccogliere
informazioni. Agli intervistati sono dati un budget ipotetico e
un set di voci da acquistare, ciascuna ad un prezzo ipotetico.
I valori assegnati a ciascuna voce, quindi, derivano dalle
preferenze accordate dagli intervistati.
Obiettivi
✔
✔
Quando si
usa
Identificare priorità in situazioni di interessi
contrastanti o di scelte che implicano un trade-off.
Raccogliere informazioni sulle preferenze di una
certa popolazione o giudizi di valore.
Il metodo è stato lanciato negli anni Settanta da Hoinville e
Berthoud, che lo hanno utilizzato per valutare le condizioni
della viabilità, inquinamento, traffico e sicurezza sulle strade
di Londra.
Il metodo è utilizzato più comunemente in relazione agli
studi di valutazione sull'ambiente che, per sua natura, non è
soggetto alle regole di mercato.
Punti di
forza
Punti di
debolezza
Fornisce una base scientifica e una scala comparabile alla
valutazione di aspetti della realtà corrente.
✔
✔
✔
Le principali difficoltà si riscontrano
nell'applicazione di questo metodo: per gli intervistati
compiere scelte stringenti, identificando valori per
diversi ventagli di scelte può risultare problematico.
Essendo basato sull'uso di questionari, il metodo è
soggetto ai costi e agli errori (di campionamento e di
costruzione del disegno di ricerca) tipici delle
tecniche statistiche.
Le scelte richieste agli intervistati non fanno
riferimento ad un mercato reale, quindi non esistono
incentivi reali a compiere scelte che riflettono
valutazioni effettivamente realistiche. In particolare,
gli intervistati possono non essere correttamente
informati (né incentivati ad informarsi) e non avere
esperienza sufficiente per compiere le scelte loro
proposte.
76
STUDIO DI CASO
Descrizione Consiste nello studio in profondità di un fenomeno nel suo
del metodo contesto naturale, osservandolo da più prospettive. Si avvale
di diversi metodi di raccolta dei dati, sia qualitativi che
quantitativi. Gli studi di caso possono essere singoli o
multipli e fanno particolare attenzione al contesto e
all'ambiente di riferimento.
Obiettivi
✔
✔
✔
✔
Quando si
usa
Rappresentazione: può essere utilizzato per conferire
realismo ad una valutazione, presentandola in forma
narrativa.
Esplorazione: ponendo ipotesi per il futuro e
identificando i vari punti di vista degli stakeholder.
Analisi critica: verificando e validando una posizione
relativa ad un programma, un progetto, una strategia.
Analisi dell'implementazione: esaminando la
diffusione e il funzionamento di servizi in luoghi
diversi, con particolare attenzione alla natura dei
processi che producono un certo impatto.
Largamente utilizzato nell'ultimo decennio, è un metodo di
analisi applicato in situazioni complesse, ovvero nei casi in
cui si vogliano comprende in profondità comportamenti e
fenomeni sociali, in particolare:
✔
✔
✔
✔
Punti di
forza
✔
Punti di
debolezza
✔
✔
✔
✔
non per identificare legami di causalità, ma per
rilevare che probabilmente esistono,
per dare una quanto più approfondita descrizione
della situazione e del contesto,
descrivere in profondità un caso particolarmente
significativo (casi di successo/insuccesso...),
comparare più casi specifici (soprattutto nell'UE)
Elevato grado di approfondimento della ricerca
Elevate potenzialità esplorative e di apprendimento
Essendo strettamente legato al contesto specifico, lo
studio di caso è difficilmente generalizzabile. Il
valutatore può al massimo estrapolare similarità con
altri casi e avanzare modeste speculazioni.
Costi elevati.
Predisposizione all'errore: incompletezza, arbitrarietà,
cattiva selezione delle informazioni, trascuratezza nei
commenti, distorsione dei risultati.
77
APPROCCI E METODI PARTECIPATIVI
Descrizione Si tratta di un gruppo di tecniche che si fondano
del metodo sull'importanza di assumere il punto di vista delle comunità
locali. Sviluppate inizialmente nell'ambito delle attività di
ricerca nei Paesi poveri, si sono progressivamente diffuse nei
Paesi industrializzati soprattutto nell'ambito della valutazione
ambientale, in ambito socio-sanitario e per le politiche di
riqualificazione urbana. I concetti di fondo che accomunano
questi metodi sono: la partecipazione, la negoziazione,
l'apprendimento e la flessibilità.
Le pratiche più utilizzate si rifanno a quattro gruppi
metodologici che prestano particolare attenzione a:
✔
✔
✔
✔
le dinamiche di gruppo
il campionamento (curando di far emergere anche le
posizioni più marginali)
le interviste e il dialogo (servendosi di strumenti che
riducano la distanza tra valutatori e intervistati: tavole
rotonde, mappe di comunità, giurie cittadine...)
visualizzazione e diagrammi (si tratta di pratiche di
animazione territoriale che fanno uso delle categorie
simboliche proprie della comunità locale).
Obiettivi
Possiamo distinguere tra due diversi livelli di obiettivi:
✔ animazione territoriale (costruzione di fiducia,
assunzione dei punti di vista delle comunità locali e
delle diverse categorie di beneficiari...),
✔ tecniche di valutazione (aumento dell'autenticità della
valutazione, ampliamento dei criteri di valutazione,
approfondimento dell'analisi).
Quando si
usa
Utile in tutti gli stadi della valutazione, è applicata
principalmente in alcuni settori come quello dell'agricoltura
sostenibile, del trasporto urbano, educazione e formazione,
salute e sviluppo urbano. In altre parole, tutti i settori in cui
l'apporto di punti di vista “dal basso” costituiscono un
fondamentale valore aggiunto per la valutazione.
Punti di
forza
✔
✔
✔
Punti di
debolezza
✔
✔
✔
✔
Promozione di un apprendimento condiviso, orientato
a sviluppi futuri della pianificazione e organizzazione
territoriale.
Ricognizione di diversi punti di vista.
Sostegno alla partecipazione e informazione dei
cittadini.
Ambiguità.
Difficoltà di applicare il metodo su grande scala.
Creazione di conflittualità
Necessità di grandi risorse umane, finanziarie e di
tempo.
78
DATI DI FONTE SECONDARIA
Descrizione Si parla di dati di fonte secondaria per indicare tutti quei dati
del metodo non raccolti direttamente per la valutazione in corso, ma
precedentemente e per altri fini. Il valutatore, quindi, non è
direttamente responsabile della raccolta di questi dati.
Obiettivi
Le origini delle fonti sono essenzialmente tre e a ciascuna
corrispondono obiettivi di ricerca diversi:
✔
✔
✔
Quando si
usa
Punti di
forza
Le fonti secondarie devono sempre essere consultate, sia per
approfondire le conoscenze di contesto e sfruttare elementi
utili, sia per non replicare inutilmente sforzi già fatti in
precedenza.
✔
✔
Punti di
debolezza
documenti di gestione del programma
(costituiscono la “materia prima” su cui lavorare,
danno informazioni su attività, spesa, output,
beneficiari...)
fonti statistiche
( forniscono informazioni sul contesto, i bisogni di
valutazione, l'impatto apparente e la rilevanza degli
obiettivi)
ricerche e valutazioni fatte in passato
(suggeriscono indicatori rilevanti, possono essere
utilizzati in modo comparativo e possono permettere
di identificare punti di forza e di debolezza delle
diverse metodologie).
✔
✔
I dati di fonte secondaria sono disponibili in tempi
relativamente rapidi.
Hanno costi di raccolta molto bassi.
Sono raccolti per fini diversi da quelli della
valutazione, per cui non sono necessariamente
adattabili al nuovo contesto (per scala territoriale,
modalità di campionamento...)
Non è sempre facile identificare quali siano le fonti
più appropriate e attendibili.
79
DATI DI FONTE AMMINISTRATIVA
Descrizione Si tratta di informazioni che vengono raccolte durante
del metodo l'implementazione del programma. La disponibilità e la
qualità dei dati amministrativi dipende fortemente dalle
caratteristiche del programma e dai meccanismi di
implementazione. Questi dati dovrebbero essere raccolti al
livello centrale e catalogati in formati di semplice
interpretazione. La frammentazione dei livelli di
responsabilità e la natura varia dei dati, però, talvolta
rendono difficile reperire queste informazioni.
Obiettivi
✔
Individuare alcuni fattori chiave (tipo di intervento,
numero di applicazioni...)
Possiamo distinguere tra:
✔
✔
Quando si
usa
Punti di
forza
Dati di questo genere possono essere utilizzati, una volta
chiarite le domande di valutazione, ogniqualvolta siano
disponibili.
✔
✔
Punti di
debolezza
i dati raccolti dagli operatori del programma
attraverso il sistema di monitoraggio (output prodotti,
outcome, avanzamento delle procedure...)
dati raccolti da attori chiave (caratteristiche e profilo
del gruppo target...)
✔
✔
Offrono informazioni dettagliate soprattutto sulla
spesa e sui beneficiari.
In genere sono facilmente accessibili.
Come le altre fonti non sono necessariamente
adattabili al nuovo contesto.
Nell'ambito della valutazione dei Fondi Strutturali la
frammentazione dei livelli di responsabilità e la
coesistenza di sistemi amministrativi diversi può
costituire una difficoltà
80
TECNICHE DI OSSERVAZIONE
Descrizione Le tecniche di osservazione consentono di indagare il
del metodo fenomeno nel suo contesto naturale. In particolare, si parla di
osservazione partecipante quando si entra a far parte del
contesto che vuole studiare, assumendo un punto di vista
interno a quel contesto e a quell'organizzazione.
Tecniche basate sullo stesso principio sono il metodo
etnografico e l'analisi della conversazione.
Obiettivi
Le tecniche di osservazione possono essere utilizzate per
raccogliere informazioni in profondità in alcune situazioni
specifiche, durante l'implementazione di un intervento. Il
metodo fornisce informazioni ricche e dettagliate sugli effetti
di un intervento, sull'influenza del contesto e sui punti di
vista degli attori-chiave.
Quando si
usa
Utilizzata soprattutto per comprendere il funzionamento
delle politiche sanitarie, educative, di trasporto e di
combattimento contro la criminalità, si tratta di tecniche che
non trovano frequente applicazione.
Si utilizzano per:
✔
✔
✔
Punti di
forza
✔
✔
✔
Punti di
debolezza
✔
✔
osservare comportamenti spontanei
studiare contesti a cui si ha difficile accesso
osservare situazioni in cui c'è una forte discrepanza
tra il punto di vista degli osservatori esterni e interni.
Genera grandi quantità di dati
Può permettere di studiare contesti difficilmente
accessibili.
Permette di raccogliere il punto di vista degli attori
chiave.
Richiede grande disponibilità di tempo (in particolare
per la registrazione ed elaborazione dei dati ottenuti)
Si limita ad un piccolo numero di contesti studiati
81
ANALISI DEI DATI
ANALISI INPUT/OUTPUT
Descrizione L'analisi input/output è un metodo utilizzato per descrivere
del metodo l'attività economica in un dato periodo e per prevedere la
reazione di un'economia regionale ad uno stimolo,
dall'aumento dei consumi ai cambiamenti delle politiche
pubbliche.
L'analisi input/output utilizza delle matrici per descrivere il
modo in cui il sistema produttivo soddisfa la domanda finale
(consumi, investimenti, export) e rappresenta il legame tra
risorse e consumi di un'economia. La matrice può essere
semplice (relativa a tre settori: industria, agricoltura, servizi)
o complessa (oltre 500 settori). Permettendo una così
dettagliata suddivisione della struttura produttiva, l'analisi
input/output è utile per la valutazione dell'impatto settoriale
degli interventi.
Obiettivi
L'analisi input/output è utile qualora si voglia compiere una
simulazione, un'analisi di scenario o previsionale. Esistono
numerose applicazioni delle matrici input/output alla
valutazione dei programmi di sviluppo economico, in
particolare si tratta di stime di impatto differenziate per
settore o branca produttiva.
Quando si
usa
Generalmente si utilizza per studi di scala nazionale, poiché i
dati necessari alla costruzione della matrice sono raccolti a
questo livello. Esistono matrici compilate per analisi su
economie regionali ma il loro valore statistico è limitato a
causa della difficoltà di seguire il movimento di beni non
soggetti al pagamento di tasse doganali.
Punti di
forza
✔
Risulta particolarmente utile per studi sulla
valutazione delle politiche di sostegno al commercio
estero.
Punti di
debolezza
✔
La stima degli effetti è limitata al lato della domanda
e trascura l'offerta. Sfuggono a questo metodo di
analisi elementi fondamentali per l'incremento della
capacità produttiva: formazione del capitale umano,
diffusione di nuove tecnologie...
Tende a sovrastimare l'impatto dei Fondi Strutturali
sul lato della domanda.
✔
82
MODELLI ECONOMETRICI
Descrizione Si tratta di un gruppo di strumenti che simulano, attraverso
del metodo modelli matematici, i meccanismi di funzionamento
dell'economia reale.
Spesso si tratta di modelli esistenti che vengono applicati al
campo della valutazione.
Obiettivi
Gli obiettivi sono quelli di:
✔
✔
✔
Quando si
usa
Punti di
forza
Esempi di valutazione basata sull'utilizzazione di modelli
econometrici provengono dalla valutazione delle politiche
finanziate dai Fondi Strutturali. Ne sono esempio QUEST II
(utilizzato per simulare e analizzare i cambiamenti delle
politiche finanziarie dipendenti dall'ampliamento dell'UE, in
particolare valutando l'impatto dell'applicazione dei criteri di
Maastricht) E3ME (utilizzato per costruire un quadro
previsionale relativo alle politiche energetiche e ambientali,
tenendo conto dell'impatto economico) e REMI (costruito
per valutare l'impatto dei Fondi Strutturali nel Sud Italia).
✔
✔
Punti di
debolezza
capire- il modello esplica la relazione tra variabili,
quindi aiuta a capire il meccanismo coinvolto nel
tradursi in effetto dell'applicazione di un certo
intervento;
prevedere- anticipare gli effetti dell'applicazione di
un intervento nell'ambito della valutazione ex ante;
costruire scenari- costruire situazioni alternative
attraverso assunzioni diverse (es. con o senza
intervento).
✔
✔
Metodi statistici possono essere utilizzati per
verificare la credibilità dei modelli.
I modelli sono solitamente dinamici, possono quindi
tracciare cambiamenti annuali negli effetti delle
politiche.
Sono necessarie grandi quantità di dati di ottima
qualità.
Riflettono il punto di vista e l'impianto ideologico di
chi li ha costruiti.
83
ANALISI DI REGRESSIONE
Descrizione L'analisi di regressione è una tecnica statistica che identifica
del metodo la relazione tra due o più variabili quantitative: una variabile
dipendente (il valore da prevedere) e una o più variabili
indipendenti. La tecnica è utilizzata per individuare
l'equazione che rappresenta la relazione tra queste variabili.
Il modello più semplice è quello della regressione lineare:
Y=a+bX (con a e b costanti).
Obiettivi
Dimostrare in che proporzione il mutare di un fattore
(variabile) è dovuto al comportamento della variabile
indipendente.
Quando si
usa
Si utilizza quando si vogliono stimare o valutare gli effetti di
un intervento. In particolare l'effetto netto del programma
può essere individuato attribuendo parte dei cambiamenti
osservati alle variabili indipendenti e il resto al programma.
Punti di
forza
✔
Se ben compiuta, produce una stima quantitativa
dell'effetto netto.
Punti di
debolezza
✔
Richiede la raccolta di dati su migliaia di individui (si
richiedono tra 2.000 e 15.000 osservazioni, possono
diminuire di molto se presi per serie temporali).
La raccolta di dati può richiedere risorse finanziarie e
in termini di tempo elevate.
Possono essere trascurate completamente alcune
variabili importanti (data snooping).
Non può essere utilizzata quando la relazione tra
variabili è circolare.
✔
✔
✔
84
METODO DELPHI
Descrizione Raccoglie e sintetizza dati, proponendo un questionario
del metodo strutturato e anonimo ad un gruppo di interlocutori
privilegiati e attraverso un feedbak ripetuto sulle opinioni
espresse. Prevede, quindi, l'invio di questionari ad un gruppo
di esperti selezionati precedentemente, per individuare
giudizi individuali su materie specifiche. Nelle fasi
successive, si chiede a ciascun esperto di esprimere
nuovamente un giudizio anonimo sull'elaborazione del
materiale ottenuto a seguito dello step precedente.
Una variante del metodo Delphi è la NGT (Nominal Group
Technique). In particolare la NGT rende comparabili i giudizi
espressi dagli esperti ponendoli in una scala e assegnando
loro dei valori numerici.
Obiettivi
Quando si
usa
Il metodo Delphi è utilizzato principalmente per facilitare la
formazione di un giudizio di gruppo, evitando gli errori
dovuti al condizionamento causato dalla compresenza di più
soggetti, come può avvenire nei focus group. Si utilizza
ampiamente in funzione previsionale, in particolare in
ambito formativo, sanitario e delle nuove tecnologie. Si
utilizza per chiarire l'evoluzione di alcune situazioni,
identificare priorità, e delineare scenari.
✔
✔
✔
Punti di
forza
✔
✔
✔
Punti di
debolezza
✔
✔
✔
quando il programma da valutare è semplice (pochi
obiettivi di natura tecnica) oppure si vuole stimare
l'entità di un singolo intervento pubblico (es. aumento
delle tasse sul prezzo dell'energia);
nella valutazione ex ante, per interventi di natura
tecnica;
per quantificare l'impatto di grandi interventi
infrastrutturali o complessi (es. tassazione, politiche
energetiche...).
Scarsa riproducibilità;
Possibile ambiguità dei quesiti e diversa reattività
degli intervistati;
Tendenza alla semplificazione (chi risponde tende a
pensare in termini lineari e consequenziali, piuttosto
che in modo olistico).
Evita le distorsioni dovute al condizionamento del
gruppo.
Può essere molto utile in funzione esplorativa e per
scomporre fenomeni in alcune specifiche dimensioni.
In caso di fenomeni molto complessi è utile a
integrazione e supporto di altri metodi.
85
SWOT
Descrizione Inizialmente sviluppata per aiutare le imprese a definire le
del metodo proprie strategie all'interno di contesti competitivi, l'analisi
SWOT è stata applicata in ambito pubblico a partire dagli
anni Ottanta. Adesso è frequentemente utilizzata come
componente del planning e della valutazione ex ante nei
programmi di sviluppo regionale.
Obiettivi
Quando si
usa
Gli obiettivi, che si perseguono attraverso la costruzione di
una semplice matrice, consistono nell'identificare i fattori di
forza (Strengths), debolezza (Weaknesses), opportunità
(Opportunities) e minacce (Threats) nel programma e nel
contesto in cui viene applicato, così da ridurre il grado di
incertezza presente circa l'applicazione di un intervento.
✔
✔
Per incrementare l'integrazione di un programma con
il contesto a cui sarà applicato, in fase di planning e
valutazione ex ante;
Per valutare la rilevanza di una strategia in fase di
implementazione.
Punti di
forza
✔
Utile, particolarmente in fase di valutazione di medio
termine, per fornire indicazioni circa gli obiettivi
intermedi di un programma.
Punti di
debolezza
✔
Si presta ad accogliere interpretazioni soggettive o
semplicistiche del contesto.
86
COSTRUIRE GIUDIZI DI VALUTAZIONE
GENDER IMPACT ASSESSMENT (GIA)
Descrizione La GIA è utile per stimare i diversi effetti (positivi, negativi
del metodo o neutrali) che una politica pubblica può avere in termini di
impatto di genere.
Obiettivi
✔
✔
✔
Quando si
usa
Identificare strategie di intervento per incrementare
l'uguaglianza di genere.
Verificare la qualità di un prgramma intermini di pari
opportunità.
Verificare che la politica valutata rispetti i
fondamentali principi sull'uguaglianza di genere.
Si utilizza sia in fase di valutazione ex post che, specialmente
per quanto riguarda le politiche UE in fase ex ante,ma sulla
singola misura o a livello nazionale sul Programma
Operativo.
Punti di
forza
✔
Trattandosi di un tipo di analisi generalmente
praticata ex ante, ha un ruolo importante per
riorientare e rivedere progetti di politiche, in termini
di pari opportunità
Punti di
debolezza
✔
La multidimensionalità del processo di valutazione
impone l'uso di più criteri di valutazione;
La complessità di questo tipo di analisi impone l'uso
di diversi modelli valutativi e vari riferimenti
incrociati necessari a comparare osservazioni, misure
e indicatori diversi;
Non sempre esistono dati disaggregati per genere.
✔
✔
87
ANALISI COSTI-BENEFICI (CBA)
Descrizione Fondata sul criterio di efficienza, stima i costi complessivi
del metodo dell'attuazione di un programma e li sottrae ai benefici
complessivi generati. In altre parole, mira a individuare il
massimo beneficio netto per la società, utilizzando sempre
l'unità di analisi monetaria.
L'analisi costi-benefici prevede alcuni passaggi essenziali:
✔
✔
✔
✔
Obiettivi
Quando si
usa
Punti di
forza
definizione dell'ambito di analisi (in termini spaziali e
temporali) e dei costi e benefici connessi;
isolamento e quantificazione di costi e benefici e calcolo
del rischio;
standardizzazione monetaria e calcolo del beneficio
netto (laddove non è possibile riferirsi ai prezzi di
mercato, la standardizzazione avviene attraverso il
criterio DAP, Disponibilità A Pagare);
ponderazione del beneficio netto al tasso di sconto
intertemporale.
✔
Generalmente si utilizza in fase di valutazione ex ante per
compiere una selezione tra diversi progetti di investimento.
In particolare si utilizza laddove è più facile monetizzare
effetti non di mercato, per esempio nel caso di grandi
progetti infrastutturali.
✔
✔
✔
Punti di
debolezza
Verificare la fattibilità economica di un investimento
✔
✔
✔
Permette di esprimere un parere sull'utilità socioeconomica di un progetto
permette di creare graduatorie tra progetti
permette di identificare chiaramente costi e benefici
anche quando questi non sono immediatamente
monetizzabili
Non prende in considerazione gli effetti redistributivi
non prende in considerazione effetti non
monetizzabili
quando non esiste un mercato utilizza criteri
fortemente discrezionali per associarli ad un valore
monetario
88
ANALISI COSTI-EFFICACIA (CEA)
Descrizione Laddove la monetizzazione appare una forzatura eccessiva è
del metodo possibile non tradurre le voci “benefici” in termini monetari
e salvarne la comparabilità con i costi attraverso alcuni indici
costo-efficacia, quali il risultato per unità di costo, che
permette di quantificare il beneficio per unità di euro spesi e
su questa base ordinare i progetti da valutare. Un'operazione
analoga è possibile calcolando il reciproco, costo per unità di
risultato.
Obiettivi
Quando si
usa
✔
Verificare l'efficacia dell'azione pubblica rispetto
all'impiego dei fondi utilizzati
Può essere utilizzato nell'ambito della valutazione ex ante,
per scegliere tra programmi alternativi, oppure in fase di
analisi ex post, qualora gli effetti attesi siano ben definiti e
misurabili.
Punti di
forza
✔
Permette la comparazione di più programmi
Punti di
debolezza
✔
Questo genere di analisi è adatta a verificare gli
effetti diretti di un programma, ma può addentrarsi
nella valutazione di obiettivi generali e di lungo
termine
Permette di comparare programmi di facile
implementazione e con lo stesso tipo di impatto
Necessità della disponibilità di dati precisi,
generalmente raccolti in fase di monitoraggio
✔
✔
89
BENCHMARKING
Descrizione Inizialmente adottato nel settore privato, si è ampiamente
del metodo diffuso nell'ambito della pubblica amministrazione, in
particolare nel settore dei servizi. Il metodo pone la best
practice come modello di confronto tra più organizzazioni.
Obiettivi
Punti di
forza
L'obiettivo è quello di promuovere l'apprendimento
attraverso il confronto tra più organizzazioni. Il confronto
può essere interno (tra diversi settori della stessa
organizzazione) o esterno (tra più enti simili).
✔
✔
✔
✔
Punti di
debolezza
✔
✔
✔
✔
✔
Si tratta di una pratica utile e flessibile basata sul
confronto, che può far emergere elementi di forza,
debolezza e promuovere miglioramenti organizzativi.
Può migliorare la misurazione delle performance.
Favorisce l'interazione e la cooperazione tra diverse
organizzazioni.
Favorisce la costruzione di reti di fiducia, stimola la
riflessione, e la costruzione di relazioni di mutuo
beneficio, nel lungo termine.
La condivisione di informazioni strategiche può
costituire un rischio.
Può incoraggiare l'imitazione e la stagnazione su
livelli standard, limitando l'innovazione.
I modelli di successo possono essere legati ad un
determinato contesto e quindi non sono replicabili
ovunque.
L'identificazione di partner per operare il confronto
può risultare un'operazione difficile.
Richiede che si utilizzi un approccio fortemente
partecipativo, pena la pratica di un esercizio
superficiale e dall'impatto limitato.
90
ANALISI DI IMPATTO ECONOMICO
Descrizione Si tratta di un ulteriore strumento per valutare il
del metodo cambiamento complessivo imputabile ad un programma,
attraverso stime di tipo quantitativo.
Comprende:
✔ la considerazione dei vari interessi in gioco (occupati,
datori di lavoro, consumatori, produttori....)
✔ elementi di cambiamento nel tempo e di insicurezza
(comparazione di scenari)
✔ importanza e intensità delle attività economiche
(ricadute sull'occupazione, sul PIL...)
✔ comparazione tra diversi tipi di effetti (diretti e
indiretti)
Obiettivi
L'obiettivo è quello di valutare l'impatto di un determinato
intervento (o programma) sullo sviluppo economico. Può
essere utile, a livello settoriale, per comprendere aree di
criticità e definire un'azione pubblica specifica, e a livello
economico, nel definire il contributo allo sviluppo, di un
certo intervento.
Quando si
usa
Può essere utilizzata a tutti gli stadi del processo di
valutazione: prima dell'approvazione dell'intervento, durante
e dopo la sua implementazione.
Punti di
forza
✔
Permette di valutare l'impatto economico di un
intervento con il rigore dell'analisi quantitativa.
Punti di
debolezza
✔
In alcuni contesti (e in particolare nell'ambito della
valutazione dei Fondi Strutturali) l'impatto sociale,
economico e ambientale di un intervento risultano
fortemente interrelati. La valutazione dell'azione
pubblica, quindi, deve considerare questi vari tipi di
impatto combinandoli in un'ottica integrata. Valutare
un intervento utilizzando criteri puramente economici
può comportare la perdita di conoscenza relativa a ad
effetti rilevanti per la società.
91
ANALISI MULTICRITERI
Descrizione Si tratta dell'estrazione di un giudizio super partes attraverso
del metodo l'analisi di più giudizi soggettivi. Prevede alcuni passaggi
essenziali:
✔ definizione dell'ambito di analisi (in termini di
programmi da giudicare)
✔ isolamento e definizione dei criteri di giudizio
✔ stima degli impatti sui singoli programmi (attraverso
la costruzione di una matrice, le cui voci dovranno
essere rese comparabili)
✔ formulazione di giudizi relativi agli effetti del
programma sulla base dei criteri prescelti
✔ aggregazione in un giudizio unico.
Obiettivi
L'obiettivo è quello di strutturare e combinare diversi giudizi
di valore. Si prendono, quindi, in considerazione le ragioni e
le convinzioni di più stakeholder al fine di analizzare
situazioni conflittuali o di formulare raccomandazioni.
Quando si
usa
Applicata più frequentemente in fase di analisi ex ante, è
utile alla formulazione di analisi di problemi complessi ed è
particolarmente adatta a rispondere ad esigenze riconducibili
ad alcune situazioni specifiche, per esempio:
✔
✔
✔
Punti di
forza
✔
✔
Punti di
debolezza
✔
✔
✔
avanzare raccomandazioni sulla riallocazione di
alcuni fondi.
selezionare e diffondere informazioni relative a best
practices.
Fornire un feedback su un metodo di selezione.
Permette di avere una visione d'insieme relativamente
a realtà complesse.
Prende in considerazione, con un approccio
quantitativo, valori e opinioni individuali di più attori
e meccanismi relazionali all'interno di reti complesse
Generalmente si sopraggiunge a conclusioni
consensuali, poiché pesi diversi vengono assegnati
alla stessa matrice di punteggio.
Non è sempre utilizzata in modo interattivo e questo
ne limita l'efficacia.
Deve essere praticata da personale esperto.
92
EXPERT PANEL
Descrizione Consiste nella costituzione di un gruppo di esperti
del metodo indipendenti, cui viene richiesto un giudizio di valutazione
su un determinato programma. Il gruppo viene composto in
modo bilanciato ed imparziale.
Obiettivi
Non si tratta di uno strumento specifico per la valutazione,
ma di uno strumento generico, adatto a rispondere ad un
ampio ventaglio di richieste: dalla rilevanza degli obiettivi di
un programma alla stima dei suoi possibili effetti o la stima
di impatto.
Quando si
usa
Si utilizza per la valutazione di programmi complessi o mal
strutturati, per cui risulterebbe difficile predisporre un
adeguato disegno della ricerca valutativa, ma anche per
programmi molto semplici e di piccola portata per cui non
vale la pena mobilitare ingenti risorse a fini valutativi.
Nell'ambito dei Fondi Strutturali si utilizza soprattutto in fase
di valutazione ex ante, al fine di valutare quali siano gli
effetti verosimilmente attendibili per un dato intervento.
Frequentemente si utilizza per selezionare i progetti da
finanziare e, comunque, è spesso combinato con altri
strumenti di valutazione.
Punti di
forza
✔
✔
Punti di
debolezza
✔
✔
Si tratta di uno strumento molto flessibile per
produrre giudizi sintetici basati su dati di carattere
qualitativo e quantitativo anche se non sufficienti
autonomamente.
Si tratta di uno strumento rapido ed economico.
Può indurre ad una sottostima dei punti di vista
minori, tendendo a convergere verso opinioni fondate
su valori maggioritari.
Può tradire una certa riluttanza a criticare la rilevanza
degli obiettivi o effetti indesiderati.
93
BIBLIOGRAFIA
Accettauro A., De Blasio G., Le politiche per lo sviluppo locale: la
valutazione del Patti Territoriali, Banca d'Italia- Servizio Studi di struttura
economica e finanziaria, 2007
Aerts K., Schmidt T., Two for the price of one?Additionality effects of R&D
subsidies: A comparison between Flanders and Germany, Research Policy
37 (2008) pp.806-822
Bagnulo A. et al., Rapporto di valutazione intermedia del DocUp Obiettivo
2 Toscana, Cles srl, Roma, 2003
Barbera F., Le politiche della fiducia. Incentivi e risorse sociali nei Patti
territoriali, Stato e Mercato, n.63, pp. 369-166, 2001
Barca F., An agenda for reformed cohesion policy. A place-based approach
to meeting European Union challenges and expectation, Independent report
request by Danuta Hübner (Commissioner for regionale policy), aprile 2009
Bellandi M., Califfo A., The evaluation of policies for innovation trough
networks and clusters, 2008,
http://www.gredeg.cnrs.fr/Colloques/REI/Documents/bellandi_caloffi.pdf
Bezzi C. et al., Valutazione in azione. Lezioni apprese da casi concreti,
Franco Angeli, 2006
Bianchi L., Martini A., Romano B., La valutazione di una politica pubblica
a sostegno della ricerca industriale: il caso della legge 598 in Piemonte,
Torino, 2006 da www.prova.org
Bondonio D., Metodi quantitativi per la valutazione delle politiche
pubbliche, Raccolta di letture sul tema della valutazione di impatto delle
politiche pubbliche con metodi quantitativi, Franco Angeli, Milano, pp. 246263, 2001
Bronzini R., De Blasio G., Qual è l'effetto degli incentivi agli investimento:
una valutazione della legge 488/92, Roma, Banca d'Italia, 2006
Calderini M. et al., Gli incentivi pubblici alla ricerca industriale nelle
imprese del Mezzogiorno d'Italia, nota di intervento per il Convegno sul
Mezzogiorno organizzato da Banca Intesa San Paolo, 2008
Camagni R., Gorla G. (a cura di), Valutazione economica e valutazione
strategica di programmi e progetti territoriali, Milano, Franco Angeli, 2006
Cariola M., Calabrese G., Rolfo S., Principi teorici ed evidenze empiriche
nella valutazione delle politiche per l’innovazione delle regioni italiane, III
Congresso AIV, Torino, 2000, valutazioneitaliana.it
94
Cerulli G., Potì B., Evaluating the effect of public subsidies on firm R&D
activity: an application to Italy using the community innovation survey,
Ceris-CNR, W.P. n. 9/2008
Chelimsky E. (a cura di), Old Patterns and New Directions in Program
Evaluation, in Program Evaluation: Patterns and Direction, ASPA,
Washington 1985;
Commissione Europea, Direzione Generale XVI, Politica Regionale e
Coesione, Coordinamento e valutazione delle operazioni, Programmazione
2000-2006: indicatori per la sorveglianza e la valutazione-una metodologia
orientativa, documento di lavoro 3
Commissione Europea, Evaluation of Socio-Economic Programmes:
selecting and using indicators for monitorino and evaluation, volume 2,
ottobre 1998
Consiglio dell’Unione Europea, Regolamento (CE) N. 1083/2006 del
Consiglio, Gazzetta Ufficiale dell’Unione Europea, 11 luglio 2006
Danish Enterprise and Construction Authority, The economic effects of
design,2003;
http://www.ebst.dk/file/1924/the_economic_effects_of_designn.pdf
De Blasio G., Lotti F., La valutazione degli aiuti alle imprese, Bologna, Il
Mulino, 2008
Diez M.A., Esteban M.S., The evaluation of regional and cluster policies:
looking for new approaches, University of Basque Country, 2000
Formez, Valutare gli effetti delle politiche pubbliche. Metodi e applicazioni
al caso italiano, Formez ufficio stampa e editoria, 2001
Holland P., Statistics and causal inference, Journal of American statistical
Association, 81/396, 1986
ITPS, Evaluation of the effects of government subsidies to Swedish industry,
Swedish Institute for growth policy studies, 2007;
http://www.itps.se/Sections/Textmall.asp?secId=899
Jacob S., Varone F., Genard J.L., L'evaluation des politiques au niveau
régional, Action publique 1, P.I.E: Peter Lang, 2007
Lippi A., La valutazione delle politiche pubbliche, Bologna, Il Mulino, 2007
Martini A., Metodo sperimentale, approccio controfattuale e valutazione
degli effetti delle politiche pubbliche, in “Rassegna Italiana di Valutazione,
n. 34/2006
Martini A., Costabella L., Sisti M., Valutare gli effetti delle politiche
pubbliche: metodi e applicazioni al caso italiano, Formez, 2006
95
Martini A., How counterfactuals got lost on the way to Brussels, Policy and
programme evaluation in Europe: cultures and prospects, Strasbourg, luglio,
2008
Martini A., Sisti M., A ciascuno il suo, Cinque modi di intendere la
valutazione in ambito pubblico, in Informaires, n. 33/2007
Mealli F., Pagni R. (a cura di), Analisi e valutazione delle politiche per le
nuove imprese. Il caso della L.R. Toscana 27/2003, Milano, Franco Angeli,
2001
Meyer-Kramer F., The present status and problems of impact research in
technology policy: a case study of the federal programme for funding
research and development personnel in Germany, Research Policy 10, 1981
Meyer-Kramer F., Gielow G., Kuntze U., Impacts of governement incentives
towords industrial innovation. An analysis of the federal programme
funding R&D personnelin the Federal Republic of Germany, Research
Policy 18, 1989
NSF, The Friendly Handbook for Project Evaluation, The National Science
Foundation, 2002
OECD, Evaluating local economic and employment development. How to
assess what works among programmes and policies, Oecd, 2004
Palumbo M., Vecchia M., La valutazione: teorie ed esperienze, cfr
http://www.valutazioneitaliana.it/riv/num4/palumbo.pdf
Ravaglioli C., Luci e ombre della politica regionale comunitaria. Fondi
strutturali e PMI in Toscana, Università degli Studi di Firenze, Facoltà di
Swcienze Politiche, tesi di laurea, a.a. 2003-2004
Rocher Y.A., Gonard T., le suivi de la stratégie des laboratoires en région
Nord-Pas-de-Calais in Callon M., Larédo P., Mustar P., La gestion
stratégique de la recherche et de la technologie, p 141-159, Paris,
Economica, 1995
Romano B. et al., La valutazione di una politica pubblica a sostegno della
ricerca industriale: il caso della legge 598 in Piemonte, Regione Piemonte,
Direzione Industria, Ires Piemonte, 2006
Rosenbaum P., Rubin D., The central role of the propensity score in
observational studies for causal effects, Biometrika, n.40, pp. 41-55, 1983
Sisti M., La valutazione delle politiche di aiuto alle imprese: alcune
prospettive d'analisi a confronto, in “I regimi di aiuto alle imprese 20072013”, Quaderni Formez, n. 59/2007
96
Tavistock Institute, GHK e IRS, The resource for the evaluation of socioeconomic development, 2003,
http://ec.europa.eu/regional_policy/sources/docgener/guides/cost/guide2008
_evalsed.pdf
Tavistock Institute, GHK e IRS, Evaluation of socio-economic development,
2003,
SOURCEBOOKS
http://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/sou
rcebooks/index_en.htm
TecnoretePiemonte, Il trasferimento tecnologico: esperienze a confronto,
Lupieri editore, 2007
Trigilia C., Sviluppo locale. Un progetto per l'Italia, Editori GLF Laterza,
2005
Trivellato U., La valutazione degli effetti di politiche pubbliche: paradigma
e pratiche, Consiglio Italiano per le Scienze Sociali, Accademia dei Lincei,
Roma, 2008; http://www.consiglioscienzesociali.org
Volpe Martincus C., Carballo J., Beyond the average effects: The
distributional impacts of export promotion programs in developing
countries, Journal of Development Economics (2009)
97