Lettura delle bozze dei rapporti di valutazione: la lettura tecnica del

Lettura delle bozze dei rapporti di
valutazione: la lettura tecnica del
nucleo-steering group
22 luglio 2003
obiettivi della lettura tecnica
• Apprendimento per l’amministrazione
• Miglioramento del Rapporto
• Protezione dell’indipendenza del valutatore
risultati della lettura tecnica
• Fornire reazioni al valutatore per migliorare
il RVI alla luce dei criteri di qualità su:
–
–
–
–
–
–
struttura del rapporto
trasparenza delle fonti utilizzate
trasparenza sulla portata dei metodi
solidità e chiarezza delle argomentazioni
utilizzabilità delle lezioni/raccomandazioni
eventuali buchi informativi
tutela della funzione di
valutazione
• essere terzi in un contesto ordinariamente
“difficile”
– i valutatori tendono a resistere ai commenti
tecnici
– le Adg tendono a soffrire i giudizi non positivi
– il punto di vista degli altri stakeholder tende a
essere trascurato
– essere terzi e tecnici è impopolare
come leggere: sequenza
• studiare l’indice della bozza del RVI
– rifuggire dalla tentazione di leggere subito la
sintesi o l’executive summary e commentarla
– LEGGERE in sequenza:
• disegno della valutazione (intero)
• rapporto per porzioni in sequenza logica per
temi (per es. per ASSI, anche se sono trattati
in maniera frammentata)
• approfondimenti
• lezioni e raccomandazioni
• sintesi e/o executive summary
come leggere ?
LINGUAGGIO
• È preciso, ma comprensibile anche a non
esperti ?
METTERSI NEI PANNI DI LETTORI
DIVERSI
• Se fossi … Cosa apprendo/non capisco/… ?
Chi e quando legge
•
•
•
•
essere almeno in due o tre
dividersi in modo ragionato la lettura
leggere tutti la sintesi e/o l’executive summary
leggere in maniera temporalmente compatta: una
settimana
• fare una riunione lunga per esaminare l’esito della
lettura
• affidare a qualcuno il compito di redigere poche
cartelle di commento alla lettura
• chiedere a tutti i lettori di rileggere i commenti e
completarli/emendarli
come leggere il disegno?
disegno della valutazione o sua sintesi
• si capisce come è stato affrontato il compito?
• sono chiari i metodi e le fonti ? ne sono chiari i
limiti?
• è chiaro in quale punto è stato utilizzato cosa ?
• è chiaro come sono state scelte le unità di analisi e
gli approfondimenti ?
Esempio: le fonti
• “Sono state utilizzate analisi documentali, colloqui
con l’Adg, focus group e analisi di campo”.
NON CHIARISSIMO
• “Sono state utilizzate sempre analisi documentali, per
l’asse I è stata svolta anche una rilevazione presso i
beneficiari finali in relazione alla rete ecologica, sulle
motivazioni delle lentezze di completamento delle
graduatorie è stato realizzato un focus group con i
responsabili di misura”.
GIA’ MEGLIO
Ma…
ATTENZIONE ai nomi di metodi in inglese (!!!): alle
volte focus group vuol dire riunioni
Cosa vorrei trovare nel RVI
Discussione della strategia
• Mettere in questione obiettivi, strumenti e
loro evoluzione
Discussione dell’attuazione
• Quali le decisioni già prese e come sugli
interventi
Effetti
• Già visibili, desumibili da decisioni già
prese
Lezioni/suggerimenti/consigli
Il “succo” del rapporto
• Leggere per temi
Per esempio: ASSE I/ approfondimento X/ ….
• Capisco come è stata ricostruita la strategia ?
• Riconosco l’opinione che ne ha il valutatore ?
• Quali le fonti informative ?
• C’è qualche fatto importante non considerato ?
• Riesco a seguire la logica dell’argomentazione ?
• Il giudizio discende chiaramente dai fatti e dalle
argomentazioni ?
• Riconosco i consigli/lezioni?
La sintesi del rapporto
• La sintesi riporta le cose importanti scoperte
nell’analisi ? Cosa manca che sarebbe utile
avere in primo piano ? Cosa c’è che non
sembra suffragato dall’analisi lunga ? Ci
sono i richiami espliciti (paragrafi –capitoli)
alle parti più analitiche ?
• La sintesi è esplicita sul grado di affidabilità
che il valutatore riconosce alle diverse cose
che espone ?
Come “restituire” dopo aver letto
• Esplicitare gli esiti della lettura tecnica
all’AdG
• Confrontarsi con la lettura dell’AdG
• Aiutare l’AdG a comprendere le cose
difficili e ad accettare i giudizi
• Confrontarsi con il valutatore: fare un
incontro ad hoc e essere puntuali nei
commenti
• Diffondere i contenuti del Rapporto
all’interno dell’amministrazione
• Chiedere un lavoro di revisione realistico