Note sui progetti pilota e la valutazione

Note sui progetti pilota e la valutazione
di
Nicoletta Stame
1. Progetti pilota e riproducibilità
Nella pratica recente dell'amministrazione pubblica italiana (e comunitaria) si è andata
costruendo una rappresentazione sociale dell'azione amministrativa basata sull'idea del
progetto-pilota, che è al tempo stesso fonte di rassicurazione ("si può innovare") ma anche
di non poche angosce ("come si fa a generalizzare?"). Questa rappresentazione trae
origine da un duplice slittamento linguistico. In primo luogo, l'idea che il nuovo
management pubblico lavori "per progetti" che mirano ad ottenere dei "risultati previsti"
viene confuso con la messa in opera di "< A HREF="nprogpil.htm">progetti pilota". Quanto
a questi ultimi, poi, si auspica regolarmente che abbiano la caratteristica di essere
"riproducibili". Paradossalmente è ormai diventato moneta corrente che un progetto pilota
realizzato da qualche parte sia riproducibile soltanto perché è stato valutato positivamente,
ossia ha avuto "successo".
Si assume così che la realtà dell'amministrazione pubblica sia uniforme e che un progetto
riuscito possa essere trattato come un frame logico da replicare all'infinito. Un modo
"pragmatico" di pensare e di agire come quello della esplorazione di nuove vie tramite
tentativi e innovazioni, tipico dell'approccio della "amministrazione che apprende" che
dovrebbe ispirare le riforme del nuovo management pubblico, viene così circoscritto entro
un ambito di "regolarità" che rischia di irrigidirlo e devitalizzarlo. Ho infatti l'impressione che
tale accostamento non permetta né alle amministrazioni che sono riuscite ad innovare di
far tesoro delle lezioni apprese, né alle innovazioni di diffondersi tra altre amministrazioni.
Forse una ragione di quell'accostamento può trovarsi in un bisogno di tradurre la
concezione anglosassone della legislazione per programmi nel linguaggio "normativo" che
ancora caratterizza la nostra amministrazione pubblica, ad onta della conclamata
modernizzazione amministrativa. E può essere qui utile ricordare che questo scarto
linguistico ed operativo trova origine nella differenza tra la tradizione politico-istituzionale
statunitense e quella dell'Europa continentale.
Uno sguardo alla letteratura statunitense in materia di programmi può comunque aiutarci a
muovere qualche passo sulla via della innovazione e dell'apprendimento.
2. Tipi di progetti e forme di valutazione
Propongo di partire dal modo in cui la letteratura sulla valutazione, che ha sempre avuto
una particolare attenzione al problema della sperimentazione, ha trattato i modelli.
In un saggio del 1972 Suchman distingue tra tipi di programmi, al fine di stabilire quale
forma di valutazione sia più adatta a ciascuno di essi (egli parla di programmi, ma il
discorso è applicabile anche ai progetti, che ne sono una componente gerarchicamente
inferiore). I programmi, dunque, possono essere di due tipi: a) dimostrativi, ovvero ancora
in fase sperimentale; b) operativi, ovvero a regime.
a) I programmi dimostrativi, a loro volta, si distinguono a seconda del grado di conoscenze
acquisite sui loro obiettivi e il modo di ottenerli (risultati), e quindi in base al loro stadio di
avanzamento: la distinzione comporta dunque anche un ordine temporale. Essi sono così
classificati:
a1) programmi pilota: si svolgono in un periodo iniziale di trial-and-error, in cui vengono
esplorati nuovi approcci e procedure (intorno a obiettivi e fattori strategici per
l'amministrazione che li realizza) che vengono riviste rapidamente in modo flessibile. Si
impara dall'esperienza e dai problemi che sorgono.
Qui ci vuole una valutazione rapida, con grande enfasi sui feedback. Non è possibile
basarsi su un disegno sperimentale di valutazione, e ci si affida piuttosto a case studies,
osservazioni ecc.
a2) programmi modello: è il risultato finale di una serie di progetti pilota che siano stati
considerati positivi, quando però non si è ancora sicuri dei passi da prendere. Si sa che il
successo è possibile (validità interna), ma non si è ancora certi di voler/poter diffondere il
programma su vasta scala. Per farlo, si vuole avere una maggiore certezza sulle
condizioni di applicabilità in luoghi e contesti diversi (validità esterna).
Qui si prevede un disegno di valutazione di tipo sperimentale, in cui si confronti un gruppo
sperimentale cui si somministra il programma con uno di controllo cui il programma non
viene somministrato. Comunque - avverte Suchman - occorre ancora cautela: anche se
l'esperimento è stato positivo non è detto che il programma possa essere messo in pratica
su vasta scala.
a3) prototipi: è lo stadio in cui il programma è stato testato ampiamente e può essere reso
operativo su vasta scala.
Qui il disegno della valutazione deve cercare di avvicinarsi al modello sperimentale
(attraverso i quasi-esperimenti), tenendo la situazione attuale del programma come
gruppo sperimentale e quella dei programmi precedenti come gruppo di controllo.
b) programmi operativi. Una volta che il programma sia a regime non è più necessario
valutarlo tramite un disegno sperimentale, perché si cerca piuttosto di capire come si può
migliorare il programma esistente: lo si farà con un sistema di monitoraggio, e con analisi
di processo, con valutazioni continue del personale, ecc.
Un primo chiarimento riguarda il primo slittamento linguistico: i normali progetti realizzati
da una amministrazione che lavori "per progetti" nel corso della erogazione dei suoi servizi
sono progetti operativi, mentre i progetti pilota sono progetti dimostrativi. Un progetto
operativo che va bene viene normalmente applicato da varie parti, anche se - come
vedremo subito - ciò non significa dire se esso sia esattamente "riprodotto". Un progetto
pilota, invece, non può accontentarsi di un solo successo per potersi ritenere riproducibile
(siamo così venuti al secondo slittamento linguistico): infatti, tra i progetti dimostrativi solo i
prototipi sono - per definizione - considerati riproducibili, mentre i progetti pilota hanno
ancora bisogno di verifiche e di decisioni di attuazione. D'altra parte, come si può essere
sicuri anche nel tracciare il confine tra programma modello e prototipo?
3. Generalizzazione e apprendimento
La logica del passaggio dai progetti dimostrativi ai progetti operativi è una logica di
diffusione e generalizzazione: conoscere - tramite la valutazione - gli effetti di una
innovazione su piccola scala prima di diffonderla su vasta scala, senza attribuire al
contesto locale altra valenza se non quella di essere (per definizione) piccolo: questo
comporta, tra l'altro, che eventuali risultati negativi saranno meno perniciosi per l'insieme.
Il progetto è visto come soluzione nuova a problemi ricorrenti: si assume che se la
sperimentazione è stata fatta bene (le condizioni sono certe e i possibili bias sono sotto
controllo) la diffusione sia poi nelle cose. E' una logica che va dal centro alla periferia, e
che viene azionata da un ente centrale.
Questa logica è stata però fortemente criticata da altri approcci alla valutazione, che si
sono posti la domanda "che senso ha generalizzare?". In particolare Cronbach (1980)
sostiene che, proprio a causa della importanza del contesto locale e del ruolo giocato dagli
attori (decisori, attuatori, beneficiari), ogni programma si sviluppa in modo diverso da
quello che si era previsto, e da come si sviluppano programmi analoghi ("l'idea della
riproducibilità di un programma è una mera figura retorica"), e il valutatore che segue gli
sviluppi di un programma può aiutare gli attori a capire cosa è successo e metterli in
condizione di agire usando le proprie capacità. Si ritrovano qui aspetti di un approccio
dell'apprendimento applicato allo studio delle organizzazioni, secondo cui l'attore ed il
contesto locale riescono a usare le conoscenze generali (o globali) solo se sono in grado
di ricontestualizzarle (Rullani, 1995), ed in cui, quindi, il locale è visto come luogo
dell'incontro tra contestuale e globale.
In effetti, ogni volta che un programma viene "replicato" in un altro luogo, ci si trova in una
situazione nuova (e incerta) che va ridefinita da parte degli attori per riappropriarsi dei
significati del programma e per poter prendere le decisioni che permettano loro di usare al
meglio le proprie capacità palesi (e far emergere quelle nascoste e disperse) nell'attuare il
programma. (A questo proposito, si dovrebbero utilizzare di più le analisi che provengono
dal filone degli studi sul simbolismo organizzativo - cfr. Czarniawska-Joerges, 1995 - cui
contribuisce anche Bruno Latour (1986) quando contrappone al modello della "diffusione"
quello della "traduzione", intesa come "spostamento, spinta, innovazione, mediazione,
creazione di un nuovo legame").
Invece di generalizzazione di modelli, si tratterebbe piuttosto di esempi da proporre e da
imitare. Le varie situazioni possono infatti parlarsi paragonando realtà diverse per
convergenza e divergenza: un'esperienza non può essere replicata in un'altra, ma può
ispirarne un'altra. La ricostruzione di come qualcosa sia riuscito a funzionare in un mare di
inefficienza è una lezione straordinaramente importante per le tante altre situazioni di
inefficienza, ma poi queste ultime dovranno saper cogliere ciò che si adatta alla loro
situazione e farne il perno della propria innovazione.
Siamo così giunti a distinguere tra sperimentazione e esplorazione. Se non ci sono regole
da generalizzare (dopo la sperimentazione) ci sono però lezioni che possono essere
apprese (con un procedimento esplorativo), e che possono essere riappropriate altrove. In
questo caso, però, il processo non dipende unicamente da un impulso del centro, ma da
un incontro tra centro e periferie, o tra diverse località e situazioni.
Da questo punto di vista, si può dire che i tre tipi di programmi dimostrativi di Suchman
non si distinguano solo per la temporalità o per lo stadio di avanzamento, ma anche per la
logica: infatti i progetti-pilota si basano su una logica esplorativa, della scoperta, che può
essere utilizzata da delle amministrazioni periferiche che apprendono, mentre sia i
progetti-modello che i prototipi si basano su una logica sperimentale, di verifica, che viene
azionata dal centro.
4. Buon governo e progetti innovativi
Una interessante riflessione sull'uso dei modelli nell'analisi delle innovazioni
amministrative è contenuta nell'ultimo lavoro di Judith Tendler che ha il significativo titolo
di Good Government in the Tropic (1996): esso riporta i risultati di una ricerca su una serie
di progetti innovativi nello stato del Cearà (Brasile), che riguardano lo sviluppo della
piccola impresa, l'irrigazione, l'ambiente, i servizi sanitari. I punti più rilevanti per il
presente ragionamento mi sembrano quelli in cui la Tendler sottolinea il modo in cui i casi
da lei analizzati contraddicano la teoria tradizionale sui modelli.
Di solito si ritiene che qualcosa si sperimenti e si perfezioni nel piccolo e poi lo si riproduca
su vasta scala. Nel Cearà, invece, le idee innovative si sono diffuse prima che i modelli
fossero perfezionati; e non vi è stata solo una diffusione dal centro, ma un'attuazione da
parte delle provincie che avevano saputo cosa si stava facendo altrove e hanno voluto
imitare.
Di solito si ritiene che un modello può funzionare bene solo se lo si applica tutto intero
(come era stato sperimentato e testato). Invece, nel Cearà non si è applicato il modello in
generale (in certi casi, si è capito che per alcune componenti c'erano dei limiti), ma solo
quella parte che si riteneva adatta alla propria situazione, e che spesso era
semplicemente quella che si vedeva fare alla provincia vicina.
Di solito si ritiene che il campanilismo sia una caratteristica negativa. Invece qui ha
funzionato da stimolo: "voglio anch'io quello che hanno fatto gli altri" - rivendicavano le
varie amministrazioni locali.
Si può quindi dire così che nei casi analizzati dalla Tendler i progetti pilota non hanno
atteso la fase del prototipo per potersi "diffondere"; tuttavia, essi non sono stati
"generalizzati", ma la loro logica esplorativa è stata ripresa da altri che volendo a loro volta
"innovare", hanno "adattato".
5. Flessibilità e oscillazione
A conclusione di questo ragionamento, ci si potrebbe chiedere se la mancata ripetibilità
non sia in contraddizione con la aspirazione al buon governo ed alla direzione per
programmi, oltre che alla valutazione. Ma la risposta non potrebbe che essere negativa:
prendere atto di quella impossibilità può essere indispensabile per superare le frustrazioni
riguardo alla mancata ripetizione e affrontare con realismo i problemi.
In effetti, il nuovo management pubblico che punta alla diffusione delle innovazioni non
deve tanto preoccuparsi di sperimentare dei prototipi che difficilmente verranno riprodotti
altrove nella loro completezza, ma piuttosto di:
- inventare modi nuovi di affrontare i problemi, che liberino le energie esistenti,
chiamandole a raccolta e organizzandole;
- proporre l'esempio ad altri, evitando però che diventi un obbligo imposto dall'esterno, un
ipse dixit; favorire invece che altri adottino le novità in modo autonomo;
- imparare ad usare la valutazione come strumento per muoversi tra questi due compiti,
favorendo il potenziamento delle energie individuali e locali, per un cambiamento che
tenga conto dell'interesse generale.
Bibliografia