Relazione di Stame (su Hirschamn)

1
XVII congresso AIV - Napoli, 10 aprile 2014
Nicoletta Stame, Università di Roma Sapienza
Come Hirschman mi ha aiutato a orientarmi nel campo della valutazione
Non ho mai lavorato direttamente su Hirschman, se non quando ho curato l’antologia di scritti di
Judith Tendler (1992), e mi sono quindi occupata di strategie dello sviluppo economico
(Hirschman, 1958). Ma credo di aver assimilato indirettamente alcune sue idee attraverso la
consuetudine col lavoro di Luca Meldolesi1. Ciò mi è servito come un sottofondo, un subconscio
teorico che si faceva vivo quando trattavo gli approcci alla valutazione (Stame, 2001; Stame,
2007) che implicitamente contengono una teoria dell’azione e della conoscenza, e un impianto
metodologico. Potrei dire che questo sottofondo mi ha aiutato a dare legittimità a ciò che andava
contro la teoria mainstream (ciclo della politica, razionalità sinottica dei programmi, regole precise
per l’implementazione, analisi dei risultati basata sugli effetti attesi: valutazione “goal oriented”),
che nella valutazione veniva resuscitata, anche se era già stata ampiamente contestata nell’ambito
della policy analysis (ma non si può pensare che scompaia così facilmente).
Non penso tanto alla teoria della valutazione, ossia cosa deve fare il valutatore, perché
Hirschman non amerebbe essere annoverato tra questi teorici, come mostra l’esperienza condotta
con la valutazione dei progetti di sviluppo della Banca Mondiale, sfociata nello scritto Development
Projects Observed (Hirschman, 1967) 2 (basti pensare alla teoria della “mano che nasconde”, vedi
oltre) . Tuttavia, anche da quella esperienza si possono estrarre molte indicazioni in proposito:
- il valutatore deve essere veramente indipendente dal committente, e libero – anzi,
liberissimo -- nei suoi giudizi (cosa che è quasi impossibile)
- bisognerebbe monitorare da vicino i progetti per vedere che strada prendono, che conflitti
innescano e come si risolvono, e essere in grado di indicare dove vanno meglio e dove
vanno peggio. Questa è anche una risposta a quelli della WB che gli chiedono di dare
indicazioni per una valutazione ex ante, che Hirschman (giustamente) non vuole dare.
- ciò ha conseguenze anche sui metodi di ricerca: fare studi di caso, sentire tutti quelli che
sono coinvolti, cercare di capire come i soggetti si muovono concretamente, e non come
dovrebbero funzionare secondo i desideri del programmatore.
- non guardare solo agli effetti diretti attesi, anzi essere pronti a cogliere gli effetti inattesi,
che possono essere positivi (benedizioni nascoste).
Penso piuttosto alle conoscenze che si ottengono coi risultati di una valutazione, e che riguardano
la natura dei programmi e l’azione per implementarli. E’ qui che effettivamente quel sottofondo
hirschmaniano ha lasciato in me maggiormente il segno.
Cercherò quindi di individuare alcuni aspetti degli approcci di cui mi sono occupata, che si
riferiscono in genere alla valutazione di programmi attuati in settori e contesti diversi da quelli per
cui AOH ha elaborato le sue idee. 3
1
E’una consuetudine personale di scambio che va aldilà dei suoi numerosi scritti su Hirschman. Si veda comunque per
tutti Meldolesi (1994).
2
La storia del rapporto tra Hirschman e la Banca Mondiale è ricostruita in Alacevich (2012), e in Adelman (2013).
3
In un certo senso, la mia è una ricerca opposta a quella di Alacevich: mentre questi cerca di capire quanto Hirschman
possa aver influenzato la valutazione della WB, e dei progetti di sviluppo in generale (e la conclusione è piuttosto
negativa), io cerco di capire in che modo Hirschman puo’ essere considerato un precursore di approcci alla valutazione
di programmi, che sono stati elaborati in molti diversi contesti.
2
Programmi semplici e complessi
In grande prevalenza il contendere nell’ambito della valutazione – specialmente nel c.d. dibattito
sulla valutazione d’impatto – risiede nel come considerare la complessità delle situazioni in cui
vengono lanciati i programmi, e dei programmi stessi. Da una parte, c’è chi vuole ridurre il
complesso al semplice: stabilire un nesso causale preciso, individuare le variabili principali
(indipendente, interveniente, dipendente), eliminare gli effetti di disturbo, per poter infine dire qual
è il singolo elemento, progetto, meccanismo che ottiene i risultati voluti. Dall’altra, c’è chi pensa
che la complessità va affrontata, e che occorre individuare i metodi adatti per farlo (Stame, 2006).
Patricia Rogers (2008) ha introdotto la distinzione tra semplice, complicato (composto di più parti
che interagiscono in un modo prevedibile), complesso (composto di elementi che evolvono, con
aspetti emergenti, e svolte inizialmente imprevedibili, tipping points). Da qui sono venute diverse
proposte di approcci (Stern et al., 2012) che tengono conto degli aspetti di complessità e
complicatezza.
Questa problematica è anche legata a quella della regolarità. Se un programma è semplice, sarà
anche facile riconoscere i suoi aspetti che si possono riprodurre su scala più vasta, e i suoi effetti
saranno generalizzabili. Un programma complicato richiede di capire in che modo le sue parti
possano combinarsi, ma è possibile pensare che tali combinazioni possano ritrovarsi anche in
situazioni diverse. Un programma complesso sarà invece diverso da altri programmi, i suoi effetti
non saranno generalizzabili, e le lezioni apprese nella sua valutazione dovranno essere adattate ai
diversi contesti in cui si vorrà attuare qualcosa di simile. Pawson (2006, p. 168) definisce i
programmi come “sistemi complessi gettati nel mezzo di sistemi complessi”, e che in ogni
programma vi è una diversa combinazione di meccanismo e contesto.
Hirschman aveva già detto tanto a proposito della complessità dei programmi. Aveva messo in
luce che ogni progetto è una cosa a sè (“each project turns out to represent a unique constellation of
experiences and consequences, of direct and indirect effects”). Aveva detto di tener conto della
pluralità degli effetti: economici, sociali (redistributivi, di empowerment per i beneficiari), politici.
E tutto il suo discorso sulle crisi e sui processi che innescano (“ ‘pressure points’ sparking more
activities”) non è altro che l’idea dei tipping points attraversati dai programmi complessi.
Meccanismi
Questo termine è entrato prepotentemente sulla scena della valutazione con la valutazione realista
(Pawson, 2006) che mette al centro dell’analisi la configurazione CMO (contesto / meccanismo /
outcome). In questo caso la valutazione è “goal-free”: l’importante non è quello che si voleva
ottenere, ma quello che si produce quando i soggetti situati in un determinato contesto (sociale,
culturale, ecc.) reagiscono al meccanismo innescato dal programma. Dunque, per Pawson, come
anche per Weiss (2007a), la ricerca valutativa deve puntare a scoprire i possibili meccanismi e a
indagare come i soggetti reagiscono a quei meccanismi, o li innescano per ottenere un risultato
migliore possibile. Pawson ha inizialmente valutato programmi basati su meccanismi simili, come
il naming and shaming, gli incentivi, il mentoring (Pawson, 2006). Recentemente (Pawson, 2012)
ha anche studiato i meccanismi che agiscono nella implementazione di programmi di servizi
sociali, quando i soggetti sono perplessi se aderirvi, se rimanervi coinvolti, se sostenerli, e li ha
chiamati “invisible mechanisms”, per dire quanto possano essere imprevedibili.
3
Il termine di meccanismo è familiare al linguaggio di Hirschman, basti pensare al meccanismo
voce-uscita, agli shifting involvements, ai forward and backward linkages, al tunnel effect. Sono
meccanismi che si innescano in una situazione quando qualcosa non funziona e si vuole rimediare
(exit-voice), quando un cambiamento ne induce altri (linkages), quando ci si accorge che era
qualcos’altro che si voleva (shifting involvements). E sono meccanismi che non riguardano
esclusivamente un’azione programmata, ma anche come si comportano le persone quando un
cambiamento provocato da questa azione, o da altri fattori, crea una situazione alla quale pensano
di dover reagire.
Nel modo in cui viene usato dai valutatori c’è sempre il rischio che il meccanismo venga
semplicemente visto come una causa, per quanto con capacità limitate di generalizzabilità (come
nelle teorie di medio raggio di Merton). E invece bisognerebbe usare i meccanismi più à la
Hirschman: di fronte a un programma che crea una situazione non prevista, bisognerebbe indagare
che tipo di diverse decisioni possono essere prese dai soggetti, ad es. voce, e pretendere che le cose
vengano fatte diversamente, oppure lealtà, sforzandosi di farle essi stessi. Questo potrebbe essere un
modo di rendere più praticabile il discorso sugli effetti inattesi, che possono essere modi alternativi
di risolvere lo stesso problema. In conclusione: valorizzare il contributo degli addetti e dei
beneficiari al risultato comune.
Implementazione, ovvero cosa si scopre strada facendo
La valutazione ha sempre alternato periodi (o settori di policy) in cui prevale un’attenzione sui
processi, e periodi (o settori di policy) in cui si punta tutto sul risultato. Oggi viviamo in un
momento di auge del risultato (Evidence Based Policy, EBP; New Public Management, NPM).
Naturalmente la contrapposizione è spuria, perché un risultato non si può ottenere
indipendentemente dal processo innescato, e un processo è valido in base al risultato a cui porta.
Quindi è necessario guardare ad entrambi e vedere come sono collegati.
D’altra parte, vi è stata molta più attenzione ai risultati, non solo per tutta la questione degli effetti
attesi e inattesi, ma anche perché i risultati attengono alla sfera della decisione (i risultati devono
corrispondere agli obiettivi), che è ritenuta quella decisiva, mentre l’implementazione è vista solo
come residuale (e forse “troppo pratica”).
Niente di più sbagliato, come hanno osservato molti valutatori. Weiss (2007a), ad esempio, nella
sua valutazione basata sulla teoria, parla di una teoria della implementazione e di una teoria del
programma (quest’ultima è quella che contiene il meccanismo). Tanti altri autori (come Pressman e
Wildavsky, 1975) sottolineano poi il fatto che è nella implementazione che il programma diventa
quello che è, perché alla decisione iniziale di vararlo si aggiunge la decisione di chi lo deve
implementare: tutto o in parte, e quale parte? In un modo piuttosto che in un altro? Seguendo
pedissequamente le linee guida (adempimento) o adattandolo discrezionalmente alla situazione
(innovazione, street level bureaucrat)? Io stessa ho usato un impianto simile nella mia valutazione
del segretariato sociale in alcuni municipi di Roma (Stame, Lo Presti, Ferrazza, 2009).
Questo punto si giustifica in base a una tipica idea hirschmaniana, che è quella delle alternative di
un’azione. Hirschman (1963) avversava l’idea delle contrapposizioni nette (successo / fallimento),
e immaginava le alternative che provengono da una stessa origine: come una cosa porta (o non
porta) ad un’altra. Quello che è importante nel modo di vedere di Hirschman è che sono i soggetti
che decidono cosa fare, con la propria testa, usando le proprie risorse, e quindi anche facendo cose
non previste dai programmatori. Ed è per questo che suggerisce di seguire i progetti da vicino, per
capire cosa succede nei momenti di svolta in cui si deve prendere una decisione. In altre parole:
4
quelle “cose” non previste non solo non debbono essere vietate, ma vanno sollecitate e favorite
quando rappresentano una marcia in più che consente di migliorare il lavoro.
Motivazioni intrinseche ed estrinseche
Una critica che viene fatta alla teoria mainstream della valutazione è che i soggetti beneficiari di un
programma vengono visti come un oggetto passivo, un “target” (bersaglio) a cui si inviano frecce
sotto forma di incentivi, o altri stimoli per fare cose che altrimenti non farebbero.
Questo modo di pensare è stato fortemente criticato sia dagli approcci costruttivisti (empowerment
evaluation, participatory evaluation ecc.) che si occupano prevalentemente del comportamento degli
attori in base ai loro valori, magari senza troppo occuparsi delle intenzioni dei decisori, sia dagli
approcci della valutazione basata sulla teoria (Weiss, Pawson) che ritengono che occorre osservare
come attori situati in determinati contesti possano reagire diversamente agli stimoli provenienti da
incentivi, forme di persuasione, ecc.
Gli approcci di positive thinking (Stame, Lo Presti, 2014), a loro volta, fanno leva su ciò che le
persone fanno volentieri, su ciò che di buono è successo per loro in un programma. Burt Perrin
(2014) ha ricollegato questo tema alla necessità di guardare alle motivazioni intrinseche per
un’azione, che interagiscono con quelle estrinseche.
E’ un tema che riflette una problematica che Hirschman (1982) ha sviluppato in opposizione alla
teoria del free rider . Per la teoria dell’azione razionale l’azione collettiva ha un costo, e quindi si
giustifica il free rider, ossia chi non vuole pagare quel costo se i benefici gli vengono ugualmente
anche senza partecipare: l’attore razionale partecipa solo se c’è un incentivo (monetario).
Hirschman invece ha sostenuto che la partecipazione può diventare piacevole in sé, senza bisogno
di incentivo. E non solo per la nota teoria che i mezzi diventano i fini (come dice anche Merton),
ma perché “there is no distinction between pursuit and goal attainment, partly because goal
attainment is forever evanescent” 4.
Allargare la sfera del possibile, generative thinking.
Recenti approcci alla valutazione vanno sotto il nome di approcci di pensiero positivo: appreciative
inquiry (AI), developmental evaluation (Patton), ecc. . Ho scritto due articoli dove spiego cosa
dicono, come consentono una forma di apprendimento diverso da quello previsto dal mainstream
(double-loop learning invece di single-loop learning), e come siano in grado di meglio interagire
con teorie positive dell’azione (e di contrastare le teorie pessimiste, unicamente basate sulle
motivazioni estrinseche).
Inizialmente mi ero riferita soprattutto al Bias for Hope (1971) hirschmaniano. Poi, anche
dialogando con David mc Coy, un esperto di AI, ho ritrovato molte più affinità tra questi approcci e
il possibilismo di Hirschman. L’idea principale dell’AI è quella di superare il modo di pensare del
problem solving, che è basato su una negatività, su una mancanza, e di puntare invece sul successo,
su quello che si è fatto bene, che sarà di stimolo per proiettare un futuro più desiderabile. L’AI dice
espressamente che “bisogna allargare la sfera del possibile”, e McCoy mi ha fatto notare che questa
è la caratteristica di una teoria “generativa”.
4
Lettera a Coleman, del 30/1/84 (box 54 folder 1).
5
Ho ritrovato così una grande affinità con il possibilismo di Hirschman nelle due sue varianti: da
una parte, nell’analizzare ciò che è accaduto, apprezzare il fatto che sono state possibili molte più
cose di quante previste; dall’altra, guardando al futuro, coltivare l’illusione ottica di prevedere ciò
che potrebbe succedere, per poi fare in modo che succeda. Hirschman dice “widening the limits of
what is, or is perceived to be, possible, thus widening the discretionary margins of the process of
change” (Meldolesi, 1995, p.120)
Una tipologia di effetti
La valutazione mainstream parte dall’idea che lo scopo della valutazione sia quello di vedere se i
risultati di un’azione corrispondono agli obiettivi, e quindi si sforza di individuare variabili che
possano rappresentare gli effetti attesi (positivi) di quell’azione, per poi andarli a misurare. Questa
impostazione è stata contrastata da altri approcci che ritengono non sia possibile ridurre la
valutazione a questa indagine, e che pertanto si definiscono “goal-free”: andare a cercare quello che
è successo, atteso e inatteso, per poi valutarlo (era buono? Perché era buono?) . Scriven è l’autore di
riferimento qui.
Nel mio libro l’Esperienza della valutazione (Stame , 1997) ho proposto una tavola a due variabili:
effetti attesi / inattesi, e positivi/ negativi. In questo modo sono riuscita a individuare un più vasto
ambito di situazioni che non il semplice “successo = risultati attesi ottenuti”, “fallimento = risultati
attesi non ottenuti”, perché ci può essere successo anche se con effetti inattesi, e ci può essere
fallimento perché l’effetto atteso si è dimostrato negativo.
La tavola è questa:
Effetti attesi
+
--
+
Successo
Benedizione nascosta
--
Effetti perversi
fallimento
Effetti desiderati
Come è chiaro, mi sono servita di due concetti hirschmaniani, le benedizioni nascoste scoperte con
i testi sullo sviluppo economico, e in particolare The Strategy of economic development e
Development Projects Observed, e gli effetti perversi che provengono dalla sua critica delle teorie
reazionarie (Rhetorics of reaction, 1991) . Forse avrei dovuto portare avanti il ragionamento e
cercare le condizioni in cui anche gli effetti perversi possono essere tali da provocare reazioni e
riaggiustamenti.
Successi e fallimenti
La questione dei successi e fallimenti è tornata d’attualità quando mi sono occupata della critica alle
sintesi e all’Evidence Based Policy (EBP) movement.
6
Negli anni 2000 si è sentito nuovamente il ritornello che “non funziona niente, è tutto un
fallimento”, e questo implicava sia che i programmi funzionino male, sia che le valutazioni non
siano attendibili (ad es. si dice che i programmi vanno bene quando non è vero; oppure non si è
capaci di dimostrarlo quando vanno bene). Per superare la difficoltà, si è proposto di usare metodi
“rigorosi” (RCT, contro-fattuale), che però si possono usare solo in casi di programmi semplici
(torna il problema della complessità e dell’incertezza).
Io ho ricordato (Stame, 2010b) che si era da tempo affrontato l’argomento dei fallimenti
individuando altri possibili casi: non solo quello metodologico, ma anche quelli della teoria
(ufficiale) del programma e del modo (preordinato) in cui veniva implementato. Così facendo ho
ragionato sul fatto che quelli che sembrano fallimenti possono essere successi, perché ci possono
essere teorie del programma alternative, e detenute da vari stakeholders di un programma, che
spiegano molto meglio perché qualcosa può funzionare. E perché nel corso della implementazione
gli attori scelgono cosa fare, e così modificano il programma iniziale, mostrando che ci sono diversi
modi per implementarlo.
Qui mi sono certamente avvalsa dell’idea hirschmaniana del fatto che non c’è una sola via, che ci
sono alternative, e che bisogna attrezzare lo sguardo per individuarle. E ho fatto tesoro del
principio della “mano che nasconde” (quella “quasi provocazione” – come dirà lui stesso - che gli
aveva alienato il favore della WB): se si fossero viste prima le difficoltà di attuare un certo progetto,
forse non lo si sarebbe intrapreso, e così non si sarebbe scoperta la possibilità di risolvere le cose
con altri metodi rispetto a quelli tradizionali (Hirschamn, 1967).
Un altro motivo per appassionarmi al tema dei fallimenti (e dei successi) è stato che mi ricordava
la polemica di Hirschman contro la “fracasomania” dei latino-americani nei suoi scritti
sull’economia dello sviluppo.
Lezioni apprese
E’ il tema della generalizzabilità dei risultati. Gli approcci mainstream (contro-fattuali) alla
valutazione di impatto pretendono di scoprire quello che funziona da una parte per poterlo
generalizzare da altre parti. Le agenzie internazionali di aiuti allo sviluppo hanno la pretesa di
generalizing e di scaling up. Ovviamente, si sa che questa è una aspirazione troppo ardita, e quindi
poi ci si accontenta di un second best, che è quello di individuare quali sono le “lessons learned” da
una valutazione. Ma poi si scivola di nuovo verso un tentativo di usare direttamente le lessons
learned per la progettazione di nuovi interventi, e cosi’ via.
Tuttavia, si è fatta larga strada la convinzione che le lezioni apprese vadano intese solo come
indicazioni di massima, che poi devono essere adattate al contesto specifico delle situazioni in cui si
interviene, da parte degli attori di quell’intervento (decisori, operatori, beneficiari). (cfr. anche il
rapporto DFID: Stern et al., 2012).
Su questo tema Hirschman è stato particolarmente sensibile. Ha avuto una sacrosanta paura che le
lezioni che apprende nel corso dei suoi lavori vengano interpretate come “lezioni applicabili”, per
una nuova “policy”, anzi è sicuro che se lo si volesse fare si finirebbe in un disastro. Ciò che egli
considera “lezioni” sono modi originali e unici in cui individui o collettività si sono trovati ad
affrontare problemi e a trovare rimedi e vie d’uscita. “Una volta che si capisce come è potuto
avvenire un cambiamento, si vede anche che è stato un felice evento (feat) che si è verificato una
volta, e che non può ripetersi. O che, se si riesce a fare una ripetizione, la seconda volta non
7
funzionerà. Tuttavia, aver capito che è successo ti dà fiducia che costellazioni di circostanze simili,
e ugualmente uniche, possono ancora verificarsi” (1994, p.314-15) .
Analogamente, a conclusione della esperienza con laWB , parlando del suo lavoro ammetteva che
“its operational usefulness may be limited” ma auspicava “that it might help to develop the ‘sense
of analogy and relevance’ of those called upon to make project decisions”. Questo è, tral’altro, un
modo di intendere molto affine ai principi della sintesi realista (Pawson, 2006)
Usi della valutazione
Uno dei tormentoni della valutazione riguarda gli usi che se ne fanno. Nell’impostazione
mainstream una valutazione dovrebbe terminare con dei risultati dell’analisi e delle
raccomandazioni fatte dal valutatore che possano essere direttamente tradotte in nuove decisioni.
Si parla in tal caso di uso strumentale.
Fin da subito ci si accorse però che le cose non andavano in questo modo: i valutatori si
lamentavano che i decisori non usavano le valutazioni, e i decisori sostenevano che erano lavori
troppo accademici. Mentre molti si sono sforzati di dire come far sì che le valutazioni fossero
leggibili (brevi, coi grafici, ecc.), o per costringere le organizzazioni a tenerne conto, altri (Weiss,
2007b, e altri) hanno individuato altri usi delle valutazioni: conoscitivo (serve a chiarire meglio il
programma), illuminativo (serve ad aumentare le conoscenze di quel campo d’azione, e può essere
usata anche da altri, a distanza di tempo).
Le idee di Carol Weiss mi sono sempre state congeniali. L’aspetto dell’uso strumentale è ciò che
lega più direttamente la valutazione alla teoria mainstream del ciclo della politica, mentre prevedere
diversi tipi di uso sposta l’interesse della valutazione su un orizzonte più ampio.
Ora ritrovo nella storia della valutazione dei progetti di sviluppo della WB (che fa da sfondo a
Development Projects) tutto il contrasto tra i diversi tipi di uso. Alla WB pensavano solo ad un uso
strumentale (risultati concreti da generalizzare, scrivere un manuale) mentre Hirschman si rifiutava
di tradurre i risultati della sua valutazione in “lezioni operative”. Invece, quel testo avrebbe
consentito un uso conoscitivo, perché indagando sulle “personalità dei programmi” ha dato
importanza agli aspetti tecnologici dei diversi investimenti, e alle loro conseguenze attese e inattese.
Infine, c’è stato perfino un uso illuminativo: dalle conseguenze inattese alla scoperta del
meccanismo exit-voice (Picciotto, 1994).
Trespassing
L’esperienza di Hirschman è tutto un trespassing (Hirschman, 1981) da una disciplina all’altra:
dall’economia dello sviluppo, alla politica, alla sociologia5 (economics to politics and beyond).
Hirschman parte da un tema e lo analizza con gli occhi delle diverse discipline (Ellerman la chiama
disciplinary triangulation)6.
5
Veramente non rivolge tanti inviti alla sociologia, perché ritiene che i sociologi siano troppo “intenti alle loro
asserzioni probabilistiche”. Però ha ampiamente dialogato con sociologi, come Coleman, Pizzorno, Bell, Crozier e non
solo con quelli che seguissero il suo impianto di scienza sociale “interpretativa”.
6
E’ quello che ha fatto Ellerman (2005) nella sua critica delle politiche di aiuto internazionale. Critica il ruolo delle
agenzie internazionali, a partire dalla WB, che pretendono che i paesi che ricevono gli aiuti per lo sviluppo si
comportino secondo le loro direttive, e sostiene che lo sviluppo si può avere solo “helping people help themselves” e
instaurando una relazione tra un helper (aiuta, non impone) e un doer (chi poi fa le cose, in base a ciò che decide). .
8
Il tema del rapporto tra la valutazione e le discipline è un recente cavallo di battaglia per la
valutazione. Il bisogno di attingere ad altre discipline (se mai la valutazione fosse una disciplina,
cosa anche questa dibattuta7), è strettamente legato all’emergere degli approcci di valutazione
basata sulla teoria8. I principali punti di osservazione sono questi:
a) la valutazione stessa è un’attività pratica (si parla di comunità di pratiche) e come tale deve
essere analizzata con gli strumenti della teoria dell’organizzazione, della policy analysis (es.
Dahlen-Larsen, 2012; Saunders, 2012)
b) i programmi sono teorie dell’azione, bisogna tener conto di teorie sviluppate in economia
(economia pubblica, teoria del consumo), in sociologia (teoria dei gruppi di riferimento), in
psicologia (dissonanza cognitiva). Qui il ragionamento si dovrebbe poi sviluppare anche
nella direzione opposta: nel corso della valutazione possono essere formulate nuove teorie
economiche: è quello che ha fatto Hirschman - valutatore “inconsapevole” - con la teoria
del margine stretto o largo (latitude), o con quella della trasformazione dell’energia sociale
(Getting Ahead Collectively, 1984) e che molto meno hanno fatto altri valutatori
“consapevoli”, ma forse troppo timidi, qualunque fosse la loro disciplina di origine.
c) Vi è poi il punto dato più per scontato, erroneamente, che è quello dei metodi di ricerca.
Oltre a inventare propri strumenti la valutazione usa metodi di ricerca che sono propri, ma
non esclusivi, di alcune discipline e non di altre.
Per converso, alcune discipline cercano di esercitare un’ egemonia sulla valutazione, in particolare
l’economia (poteva mancare?): sia interpretando i programmi con la teoria della scelta razionale,
sia pretendendo che ci sia una gerarchia dei metodi di indagine, avente al vertice i random control
trial (RCT) e – passando gradualmente dal quantitativo al qualitativo – alla base gli studi
etnografici.
Questa pretesa egemonica viene contestata su entrambi i versanti. Tutto quello che abbiamo detto
fin qui confuta l’idea che i programmi possano essere valutati unicamente in base ai costrutti
derivati dalla scelta razionale (ciclo della politica, uso strumentale, ecc.). Ed è ovvio che i RCT non
sono esclusivo monopolio dell’economia, perché si usano anche in sociologia (Bureau of Applied
social research) e in psicologia (la disciplina originaria di Campbell, che li ha poi applicati alla
valutazione) e che vanno usati con cautela, quando ci sono programmi semplici, contesti stabili,
causazioni singole. Inoltre, anche gli economisti devono utilizzare altri metodi di ricerca per darsi
ragione di comportamenti che gli esperimenti non spiegano (ed in fondo è questo che Hirschman ha
cercato di chiarire in tanti suoi lavori).
Questo è il principio dell’ “aiuto indiretto” che Ellerman ricava dalla Strategy di Hirschman, e di cui ritrova elementi
anche in psicologia, management, education (Dewey), community action (Alinsky).
7
Le diverse posizioni sono queste: è una transdisciplina, che le serve tutte (Scriven); è una disciplina di tipo pratico
(Saunders), e infatti ci sono molte teorie che la definiscono; è solo una pratica, non può avere aspirazioni teoriche
(questo è sostenuto da chi vuole fare valutazione come offspring della propria disciplina, sia essa l’economia, la
psicologia, la sociologia, l’educazione, l’epidemiologia, ecc.).
8
L’ho sostenuto in Stame (2010 a).
9
Bibliografia
Alacevich, M.
2012, Visualizing Uncertainties. How Albert Hirschman and the World bank disagreed on project
appraisal and development approaches, World Bank, Policy Research Working Papers,
6260
Adelman, J.
2013, Worldly Philosoph. The Odyssey of Albert O. Hirschman, Princeton University Press,
Princeton
Dahlen-Larsen, P.
2012, The evaluation Society, Sage, London
Ellerman, D.
2005. Helping People Help Themselves: From the World Bank to an Alternative Philosophy of
Development Assistance. Ann Arbor: University of Michigan Press.
Hirschman, A.O.
1958, Strategy of Economic Development, Yale University Press, New haven, Conn. tr. It. La
Strategia dello sviluppo economico
1963 Journeys Toward progress: Studies of Economic Policy-making in latin America, Twentieth
century fund, Washington
1967 Development projects observed, Brookings Institution, Washington, tr. It. Progetti di sviluppo,
1975?
1970 Exit, voice and loyalty: responses to decline in firms, organizations and states, Harvard
University Press, Cambridge, MA, tr. It. Lealtà, defezione e protesta,
1971 A Bias for Hope, Yale University Press, New Haven
1981 Essays in Trespassing, Economics to Politics and beyond, Cambridge University Press,
Cambridge
1982 Shifting involvements: privatre interests and public action, Princeton University Press,
Princeton, NJ, tr. It. Felicità pubblica, felicità private, Il Mulino, Bologna
1984 Getting ahead collectively: grassroots experiences in Latin America, Pergamon Press, New
York
1991 Rhetoric of reaction: perversity, futility, jeopardy, Harvard University Press,
Cambridge, MA, tr. It. Retoriche dell’intransigenza, Il Mulino, Bologna, 1992
1994 “Responses and Discussions”, in L. Rodwin e D.A.Schon, a cura di, Rethinking the
Developoment Experience. Essays Provoked by the Work of albert O. Hirschman, The
Brookings Institution, Washington, DC
Meldolesi, L.
1994, Alla scoperta del possible, il mondo sorprendente di Albert Hirschman, Il Mulino, Bologna
Pawson, R.
2006, Evidence based policy, the realist perspective, Sage, London
2012, The science of evaluation, Sage, London
Perrin, B.
2014 , “Think positively! And make a difference through evaluation”, in Canadian Journal of
Program Evaluation, in corso di stampa
10
Picciotto, R.
1994, “Visibility and disappointment. The new role of development evaluation”, in Rodwin, L. e
Schon, D. , a cura di, Rethinking the Development Experience. Essays provoked by the work
of Albert O. Hirschman, Brookings Institution, Washington, DC
Pressman J. e Wildavsky, A.
1973, Implementation, University of California Press,
Rogers, P.
2008, “Using Programme Theories for Complicated and Complex Programs”, vol. 14 (1), pp. 2948
Saunders, M.
2012, “The use and usability of evaluation outputs: a social practice approach”, in Evaluation,
18(4)
Stame, N.
1997, L’esperienza della valutazione, Roma, ISEDI
2001, “Tre approcci principali alla valutazione”, in Palumbo, M., Il processo della valutazione,
Angeli, Milano
2006, “Theory-based evaluation and varieties of complexity”, in Evaluation, vol. 10, n. 1
2010a, “US sociology and Evaluation: Issues in the Relationship between Methodology and
Theory”, in Vaessen J. e Leeuw F.L., Mind the Gap. Perspectives on Evaluation and the
Social Sciences, New Brunswick, NJ, Transaction Publishers
2010b “What does not work? Three failures and many answers”, in Evaluation, 16 (4)
Stame, N., a cura di
2007, Classici della valutazione, Angeli, Milano
Stame N., Lo Presti V., 2014, “Positive Thinking and Learning from Evaluation”, in Bohni-Nielsen
S., Turksema R. and P. van der Knaap, Evaluation and Success, New Brunswick, NJ,
Transactions Publishers
Stame N., Lo Presti V. e Ferrazza D,
2009 Segretariato sociale e riforma dei servizi. Percorsi di valutazione. Franco Angeli , Milano
Stern E., Stame N., Mayne J., Forss K., Davies R., Befani B.,
2012, Broadening the range of designs and methods for impact evaluation. London: DFID Working
Paper No. 38.
Tendler, J.
1992 Progetti ed effetti, Liguori, Napoli
Weiss, C.
2007a, “La valutazione basata sulla teoria. Passato, presente e futuro”, in Stame, N., cur., Classici
della Valutazione, Franco Angeli, Milano
2007b, “Qbbiamo imparato nulla di nuovo sull’uso della valutazione?”, in Stame, N. , cur., Classici
della Valutazione, Franco Angeli, Milano