Lettura delle bozze dei rapporti di valutazione: la lettura tecnica del
Transcript
Lettura delle bozze dei rapporti di valutazione: la lettura tecnica del
Lettura delle bozze dei rapporti di valutazione: la lettura tecnica del nucleo-steering group 22 luglio 2003 obiettivi della lettura tecnica • Apprendimento per l’amministrazione • Miglioramento del Rapporto • Protezione dell’indipendenza del valutatore risultati della lettura tecnica • Fornire reazioni al valutatore per migliorare il RVI alla luce dei criteri di qualità su: – – – – – – struttura del rapporto trasparenza delle fonti utilizzate trasparenza sulla portata dei metodi solidità e chiarezza delle argomentazioni utilizzabilità delle lezioni/raccomandazioni eventuali buchi informativi tutela della funzione di valutazione • essere terzi in un contesto ordinariamente “difficile” – i valutatori tendono a resistere ai commenti tecnici – le Adg tendono a soffrire i giudizi non positivi – il punto di vista degli altri stakeholder tende a essere trascurato – essere terzi e tecnici è impopolare come leggere: sequenza • studiare l’indice della bozza del RVI – rifuggire dalla tentazione di leggere subito la sintesi o l’executive summary e commentarla – LEGGERE in sequenza: • disegno della valutazione (intero) • rapporto per porzioni in sequenza logica per temi (per es. per ASSI, anche se sono trattati in maniera frammentata) • approfondimenti • lezioni e raccomandazioni • sintesi e/o executive summary come leggere ? LINGUAGGIO • È preciso, ma comprensibile anche a non esperti ? METTERSI NEI PANNI DI LETTORI DIVERSI • Se fossi … Cosa apprendo/non capisco/… ? Chi e quando legge • • • • essere almeno in due o tre dividersi in modo ragionato la lettura leggere tutti la sintesi e/o l’executive summary leggere in maniera temporalmente compatta: una settimana • fare una riunione lunga per esaminare l’esito della lettura • affidare a qualcuno il compito di redigere poche cartelle di commento alla lettura • chiedere a tutti i lettori di rileggere i commenti e completarli/emendarli come leggere il disegno? disegno della valutazione o sua sintesi • si capisce come è stato affrontato il compito? • sono chiari i metodi e le fonti ? ne sono chiari i limiti? • è chiaro in quale punto è stato utilizzato cosa ? • è chiaro come sono state scelte le unità di analisi e gli approfondimenti ? Esempio: le fonti • “Sono state utilizzate analisi documentali, colloqui con l’Adg, focus group e analisi di campo”. NON CHIARISSIMO • “Sono state utilizzate sempre analisi documentali, per l’asse I è stata svolta anche una rilevazione presso i beneficiari finali in relazione alla rete ecologica, sulle motivazioni delle lentezze di completamento delle graduatorie è stato realizzato un focus group con i responsabili di misura”. GIA’ MEGLIO Ma… ATTENZIONE ai nomi di metodi in inglese (!!!): alle volte focus group vuol dire riunioni Cosa vorrei trovare nel RVI Discussione della strategia • Mettere in questione obiettivi, strumenti e loro evoluzione Discussione dell’attuazione • Quali le decisioni già prese e come sugli interventi Effetti • Già visibili, desumibili da decisioni già prese Lezioni/suggerimenti/consigli Il “succo” del rapporto • Leggere per temi Per esempio: ASSE I/ approfondimento X/ …. • Capisco come è stata ricostruita la strategia ? • Riconosco l’opinione che ne ha il valutatore ? • Quali le fonti informative ? • C’è qualche fatto importante non considerato ? • Riesco a seguire la logica dell’argomentazione ? • Il giudizio discende chiaramente dai fatti e dalle argomentazioni ? • Riconosco i consigli/lezioni? La sintesi del rapporto • La sintesi riporta le cose importanti scoperte nell’analisi ? Cosa manca che sarebbe utile avere in primo piano ? Cosa c’è che non sembra suffragato dall’analisi lunga ? Ci sono i richiami espliciti (paragrafi –capitoli) alle parti più analitiche ? • La sintesi è esplicita sul grado di affidabilità che il valutatore riconosce alle diverse cose che espone ? Come “restituire” dopo aver letto • Esplicitare gli esiti della lettura tecnica all’AdG • Confrontarsi con la lettura dell’AdG • Aiutare l’AdG a comprendere le cose difficili e ad accettare i giudizi • Confrontarsi con il valutatore: fare un incontro ad hoc e essere puntuali nei commenti • Diffondere i contenuti del Rapporto all’interno dell’amministrazione • Chiedere un lavoro di revisione realistico