16 marzo 2016- Il disegno della valutazione

IL DISEGNO DELLA RICERCA VALUTATIVA
Specificità della ricerca valutativa
• l’oggetto è un’attività tesa a un miglioramento
• la ricerca è commissionata da un attore interessato (può
anche essere auto-commissionata)
• la ricerca tende a suggerire un cambiamento (rapporto con la
pratica)
• il cuore della valutazione risposa sull’adozione della logica
della comparazione (cosa comparare, rispetto a che cosa,
rispetto a quali dimensioni o aspetti, secondo quali criteri o
parametri)
COMPARAZIONE
Operazione mentale – attività logica - di confronto di due o più
stati distinti di uno o più oggetti su una stessa proprietà; ma anche
confronto tra lo stato di un oggetto e un “valore” criterio.
L’operazione di comparazione presuppone un’attività pratica di
accertamento
di
tali
stati
(classificazione,
misurazione,
ordinamento, conteggio)
Ogni attività conoscitiva implica comparazione, ma si può riservare
il termine in senso proprio solo all’attività di comparazione che si
attua mediante confronti espliciti e consci
Non si comparano oggetti nella totalità, ma solo in relazione ai
relativi stati rispetto a determinate proprietà: N.B. Si possono
anche comparare due stati dello stesso oggetto nel tempo!!!
Dunque la struttura logica della comparazione si avvale di 4
elementi:
oggetti, proprietà,
temporale
stati
su
proprietà,
riferimento
Le forme della comparazione variano dalla più semplice alla più
complessa in funzione del numero degli oggetti, delle proprietà,
degli stati, dei riferimenti temporali
QUALI STRATEGIE DI RICERCA VALUTATIVA?
IL CRITERIO DI RIFERIMENTO FONDAMENTALE PER LA
SCELTA DI UNA STRATEGIA DI RICERCA VALUTATIVA
RISIEDE NELL’APPROCCIO/PARADIGMA DELLA
VALUTAZIONE CHE VIENE ADOTTATO
E comunque
dipende dal “problema”, dalle specifiche finalità cognitive
connesse ai diversi oggetti, tipi, finalità, usi della
valutazione
da cui
disegni di ricerca valutativa/disegni valutativi
In generale - conformemente a quanto è necessario nella ricerca
sociale - l’attività di valutazione richiede l’elaborazione di un
disegno di ricerca che faccia da guida al complesso sistema di
attività in cui si realizza la valutazione
Disegno valutativo = progettazione per linee generali - a vario
grado di rigidità/flessibilità - di un percorso logico e operativo,
articolato nella realizzazione di un sistema di attività – di
concettualizzazione, costruzione, trattamento e analisi della base
empirica - tra loro coordinate, finalizzate al conseguimento di un
obiettivo di conoscenza, di uso, di intervento…, volto a costituire il
fondamento della conoscenza prodotta = giudizio
Più specificamente in campo valutativo: nella scelta della
strategia di ricerca da adottare e, nel suo ambito, delle specifiche
tecniche cui ricorrere, si deve tenere congiuntamente conto di 1.
tipo di intervento da valutare, 2. finalità della valutazione; 3.
struttura organizzativa e fase del programma; 4. contesto della
valutazione; 5. risorse temporali, finanziarie, professionali
disponibili; 6. usi della valutazione
LESSICO SPECIFICO DEL DISEGNO VALUTATIVO
E DELLA SUA ARTICOLAZIONE
(cfr Bezzi, 2010, Cap. 2)
1. Definizione del mandato valutativo = scopi /obiettivi della
valutazione (negoziato con il “committente”): che cosa si
valuta? Perché si fa la valutazione? Con quali scopi? Per quali
usi e finalità? Chi finanzia la valutazione? Cosa ci si aspetta dal
valutatore? Aspetti del mandato: attori (decisori, operatori,
beneficiari) (vedi Bezzi, pp. 63-69); ruolo assegnato al
valutatore
N.B In questa sede il valutatore deve chiarire: il “problema
valutativo”; le condizioni di contesto e l’approccio più
appropriato; il “margine di manovra” di cui dispone; il livello di
autorità che gli è conferita o su cui può contare…
N.B La chiara definizione del mandato incide sull’intero
processo della ricerca valuativa
2. Formulazione delle domande valutative = La valutazione
globale non si può fare!! Dunque individuazione di “questioni
cruciali” e degli obiettivi del programma >> formulazione di
problemi valutativi>> quesiti traducibili in operazioni di
ricerca; esplicitazione dei confronti/comparazioni che si
intendono effettuare nel quadro della valutazione (obiettivi vs.
risultati, risultati vs. standard…)>> si richiede conoscenza
analitica degli obiettivi del programma – generali, intermedi,
specifici (comunque si richiede di ragionare sugli obiettivi,
eventualmente ri-costruirli se non sono chiari, anche solo per
smontarne le logiche sottese) e comunque si deve tener conto
del budget disponibile. Specificità della goal free evaluation =
valutazione svincolata dagli obiettivi = possibilità di “scoprire”
gli effetti inattesi
N.B. Fase cruciale nella valutazione partecipata
Valutazione della valutabilità (evaluation assessment)=
riflessione sulla possibilità di valutare un intervento/programma
in ragione della possibilità di definirne e ricostruirne gli obiettivi,
ovvero di individuare domande di valutazione condivise tra i
diversi stakeholders: mostra se un programma possa essere
valutato e se la valutazione possa contribuire al suo
miglioramento, a partire da alcune “condizioni minime” (cfr
Wholey, 1984: obiettivi definiti; obiettivi plausibili; informazioni
ottenibili; accordo degli utilizzatori sull’uso delle informazioni
valutative)
3. Accertare le risorse disponibili e organizzare la ricerca
4. Elaborazione del disegno della ricerca = logica lineare vs.
logica sistemica
5. Esplorazione dell’intervento/programma: analisi del
programma nelle sue componenti salienti: il contesto, gli
attori coinvolti ( committenti, decisori, operatori, beneficiari…),
i vari significati attribuiti al programma, …= analisi del
campo semantico del programma >>concettualizzazione
da cui
identificazione degli indicatori valutativi = referenti
concettuali e operativi rispondenti agli obiettivi dichiarati nelle
domande di valutazione progettati ad hoc con riferimento ad
un processo di significazione “che ha a che fare con il
programma stesso, con le circostanze, le procedure e gli attori
della valutazione, finalizzati alla raccolta e analisi dei dati che
rispondono alle esigenze del mandato” (Bezzi, 2010, pp. 98101): N.B. Non hanno tutti la stessa importanza, lo stesso
“valore”
6.
Esplicitazione del sistema valoriale del programma =
valutare = giudicare = applicare un sistema di valori: quale?
Del committente? Della “teoria del programma”? Del
valutatore?
Degli “esperti”? Degli stakeholders?.......>>>
importanza della valutazione partecipata
N.B. La scelta stessa degli indicatori dipende da “scelte di
valore”, operate in relazione a specifici punti di vista che
connoteranno il “giudizio di importanza”- gerarchia degli
indicatori - sulla base degli obiettivi espliciti o impliciti del
programma e della “teoria” che li anima = teoria (o logica)
del programma (Chen e Rossi, 1992), sulla base dei valori
“delle persone coinvolte nella costruzione delle politiche, nella
pianificazione, nella gestione…”
N.B. particolarmente rilevante nella valutazione partecipata
7. Progettazione operativa della ricerca valutativa = Quale
approccio? Quali tecniche? Quali strumenti?
8. Raccolta delle informazioni
9.
Analisi dei dati >>> giudizio valutativo >>
10. Redazione del rapporto di valutazione
11. Diffusione dei risultati/ usi della valutazione
=
restituzione/ diffusione/disseminazione dei risultati della
ricerca valutativa finalizzata all’uso della conseguente
valutazione
–
come?
a
chi
committente/strakeholders/beneficiari? In quali “arene”/ aree
di
dibattito?
–
problema
del
consenso
del
committente/finanziatore…N.B
N.B. Problema etico dell’informazione e della conclusione
valutativa che va ad incidere su interessi, valori, bisogni di chi
è sottoposto alla valutazione e che dai suoi esiti vedrà
“toccati” valori, interessi, bisogni
Meta-valutazione = valutazione della valutazione =
riflessione sulle procedure (disegno, approcci, tecniche) che
consente di migliorare la ricerca valutativa in corso d’opera e/o
di riflettere criticamente sull’intero processo di valutazione ex
post facto
N.B. Scriven (1991) propone un elenco di attività (check list:
descrizione del disegno, sfondo e contesto della valutazione,
utilizzatori, risorse, valori, processo, risultati, comparazioni
con altri modelli, costi, generalizzabilità dei risultati,
significatività del lavoro, raccomandazioni, rapporto metavalutativo) attraverso le quali realizzare la meta-valutazione –
che considera un obbligo scientifico e etico in quanto coinvolge
il “benessere” di terzi; che comunque risulta assai onerosa
per le risorse (professionali, economiche, temporali) che vi
dovrebbero essere impiegate.