VALUTAZIONE - Cooperazione Italiana
Transcript
VALUTAZIONE - Cooperazione Italiana
DGCS Ufficio IX Valutazione Pilot Activities for Education and Culture in Macedonia 2013 VALUTAZIONE Riepilogo della valutazione Titolo del Programma Pilot Activities for Education and Culture Paese Repubblica di Macedonia Ente Esecutore International Management Group (IMG) Periodo di esecuzione 01/11/2006-31/12/2010 Tipologia valutazione Ex post Ente Valutatore InfoAid snc Valutatori Dott. Gabriele Bertani Dott.ssa Laura Morisio Date della missione 02-16 Marzo 2013 Le opinioni espresse nel presente Rapporto sono quelle degli Autori e non riflettono, necessariamente, quelle del Ministero degli Affari Esteri, di IMG o di UNESCO Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” Sommario Elenco delle figure e delle tabelle 3 Abbreviazioni e acronimi 4 Executive summary 5 1. Contesto del Programma 8 1.1 1.2 SITUAZIONE PAESE 1.1.1 Decentralizzazione 1.1.2 Cultura 1.1.3 Educazione ORIGINI DELL’INIZIATIVA 1.2.1 Dati del programma 8 8 9 10 11 12 2. Obiettivo 13 2.1 2.2 13 13 13 14 TIPOLOGIA DELLA VALUTAZIONE SCOPO E UTILITÀ DELLA VALUTAZIONE 2.2.1 Scopo della valutazione 2.2.2 Utilità della valutazione 3. Metodologia 15 3.1 3.2 3.3 3.4 15 15 16 19 GLI OBIETTIVI DELLA VALUTAZIONE I CRITERI DELLA VALUTAZIONE APPROCCIO E PRINCIPI METODOLOGICI ADOTTATI LIMITAZIONI 4. Design del Programma 20 4.1 4.2 4.3 4.4 4.5 20 21 23 23 25 OBIETTIVO GENERALE VS OBIETTIVI SPECIFICI OBIETTIVI SPECIFICI VS RISULTATI ATTESI RISULTATI ATTESI VS ATTIVITÀ INDICATORI E PRECONDIZIONI ALTRI ELEMENTI DEL PROGETTO 5. Verifica della realizzazione 26 6. Risultati 28 6.1 6.2 28 31 PERTINENZA/RILEVANZA EFFICIENZA Rapporto finale 1 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” 6.3 6.4 6.5 EFFICACIA 6.3.1 Partecipazione IMPATTO ED EFFETTO SINERGICO SOSTENIBILITÀ 36 43 45 47 7. Conclusioni 49 8. Raccomandazioni 51 9. Lezioni apprese 53 10. Bibliografia 54 11. Allegati 57 2 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” Elenco delle figure e delle tabelle Figura 1. Valutazione di attività formative e criteri DAC 17 Figura 2. Municipalità coinvolte nel Programma e relativi interventi 32 Figura 3. Andamento del budget di programma dal 2006 al 2010 35 Figura 4. Partecipazione attesa vs. Partecipazione effettiva 44 Tabella 1. Elenco principali leggi nel settore culturale 9 Tabella 2. Obiettivo generale e obiettivi specifici 21 Tabella 3. Obiettivi specifici e risultati attesi 22 Tabella 4. Analisi degli stakeholders 43 Rapporto finale 3 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” Abbreviazioni e acronimi AFCP Ambassadors Fund for Cultural Preservation CHPO Ufficio Per la Protezione del Patrimonio Culturale DGCS Direzione Generale per la Cooperazione allo Sviluppo ICOMOS Consiglio internazionale dei monumenti e dei siti IMB Istituto e Museo di Bitola IMG International Management Group NCC National Conservation Center MAE Ministero degli Affari Esteri MAMU Museo di Macedonia MCS Museo della Città di Skopje MIMEC Centro Multimediale Italo-Macedone MLSG Ministero delle Autorità Locali MoC Ministero della Cultura MOCA Museo d’Arte Contemporanea MoEc Ministero dell’Economia MoES Ministero dell’Educazione e della Scienza NI Istituto Nazionale OG Obiettivo Generale OS Obiettivo Specifico QL Quadro Logico RA Risultato Atteso RECEDIG Centro Regionale per la digitalizzazione del Patrimonio Culturale UKIM Università Ss. Cirillo e Metodio UNESCO BRESCE UNESCO - Ufficio Regionale per la Scienza e la Cultura in Europa UNITE Università di Tetovo UTC Unità Tecnica Centrale UTL Unità Tecnica Locale 4 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” EXECUTIVE SUMMARY Al fine di sostenere la Macedonia nel suo impegno per uscire dall’emergenza derivante dal conflitto armato del febbraio-agosto 2001, nel marzo 2002, la Commissione Europea e la Banca Mondiale organizzarono a Bruxelles una Conferenza dei Paesi Donatori accogliendo le richieste ricevute in tal senso dai firmatari degli Accordi di Ohrid. Il Governo Italiano nel corso di tale conferenza si assunse l’impegno di contribuire con tre milioni di euro allo sviluppo del decentramento amministrativo e dell’educazione. In virtù di queste premesse, l’International Management Group (IMG) presentò nell’ottobre 2004 un progetto di massima dal titolo “Pilot Activities for Education and Culture” all’Unità Tecnica Centrale (UTC) della Direzione Generale per la Cooperazione allo Sviluppo (DGCS). In una fase successiva, alcune considerazioni connesse al ruolo unificante che la Cultura è in grado di svolgere e ragioni di opportunità da parte macedone sui tempi di implementazione, portarono a precisare l’ambito nel quale il contributo italiano, e quindi l’intervento di IMG, si sarebbe sostanziato. La proposta di finanziamento così rivista fu approvata dal Comitato Direzionale con delibera nr. 69 del 16/05/2005. La valutazione ex post, di seguito presentata, ha cercato di stabilire la misura in cui i risultati, gli obiettivi, l’impatto e la sostenibilità dell’iniziativa sono stati raggiunti e di evidenziare raccomandazioni e lezioni apprese al fine di poter indirizzare futuri finanziamenti nel settore educativo-culturale. L’analisi dei documenti di progetto, delle strategie nazionali, regionali e internazionali, e dei piani di sviluppo settoriali è stata affiancata da interviste qualitative con i principali stakeholders coinvolti nell’implementazione del Programma. La metodologia utilizzata ha integrato diverse tecniche di rilevamento e misurazione dei dati sulla base della creazione di una Matrice di Valutazione che, identificando i principali criteri di giudizio, ha facilitato la definizione di apposite domande valutative (strutturate in Interviste qualitative e Focus Group) a cui sono stati riferiti specifici indicatori. Inoltre per la valutazione dei corsi di formazione si è fatto riferimento al modello di Kirkpatrick. Le diverse tecniche di rilevazione dei dati hanno facilitato la triangolazione degli stessi evitando il rischio di analisi mendaci. Le informazioni così raccolte hanno permesso di evidenziare i punti di forza e di debolezza dell’iniziativa, valutati sulla base dei criteri di qualità del disegno di progetto, efficienza, efficacia, impatto e sostenibilità. L’analisi del disegno del Programma ha evidenziato carenze nella definizione dei collegamenti logici tra le sue parti, nell’esplicitazione delle attività e dei risultati, nell’aggiornamento/modificazione dei contenuti al mutare delle condizioni esterne e nell’identificazione di indicatori appropriati. Tutti questi elementi hanno reso il documento progettuale inadatto a guidare ed indirizzare le azioni previste, sia durante la fase realizzativa sia in quella di valutazione; infatti, l’inadeguatezza di strumenti quali quadro logico, cronogramma, budget e talvolta la scarsa coerenza degli stessi con il documento di progetto hanno di fatto limitato le possibilità di analisi in particolare per quanto riguarda efficienza ed efficacia. Il Programma è risultato essere pertinente rispetto al contesto nazionale; l’analisi dei bisogni è stata realizzata in modo adeguato e rispondente alle linee strategiche e programmatiche anche per quanto concerne l’affiancamento alla valorizzazione del patrimonio culturale di tematiche relative allo sviluppo del turismo. La scelta delle aree di intervento ha garantito un approccio al settore di ampio raggio: Rapporto finale 5 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” ricostruzione di siti storici e archeologici rilevanti per il rilancio del patrimonio culturale macedone, formazione professionale e gestionale a più livelli, incentivazione del decentramento amministrativo, digitalizzazione del patrimonio culturale, sostegno allo sviluppo educativo della minoranza albanese. La valutazione dell’efficienza ha parzialmente risentito della mancanza di informazioni chiare sui costi e sui beneficiari diretti e indiretti. A livello generale, il Programma è apparso poco efficiente in termini di come le attività realizzate si sono tradotte in risultati. Le costruzioni/riabilitazioni, a tre anni di distanza dalla conclusione dei lavori, hanno evidenziato problemi che fanno supporre limiti negli studi di fattibilità. I costi delle formazioni organizzate sono stati valutati come eccessivi in relazione ai risultati ottenuti; sono risultate inoltre poco efficienti, le modalità scelte per le formazioni (seminari, workshops di breve/brevissima durata). Le ripetute estensioni non onerose, sostanzialmente per permettere ad UNESCO di portare a termine le attività di competenza, hanno impattato negativamente l’efficienza del Programma determinando un aumento del 60% dei costi di gestione rispetto alla proposta inziale. Riassumendo, il Programma non ha saputo creare Value for Money, nel senso che non ha permesso una riduzione dei costi, una migliore gestione dei rischi, una rapida implementazione, un aumento della qualità. Si è, tuttavia, rilevata una buona efficienza in relazione alle attività di procurement che sono apparse trasparenti e ben standardizzate in appropriati strumenti operativi. La creazione del Centro Multimediale (MIMEC) presso l’Università Ss. Cirillo e Metodio, gli interventi presso i siti archeologici di Stobi ed Heraclea, l’evento presso la Municipalità di Skopje “Rediscovery of the Route of Culture” e la creazione di un centro per la digitalizzazione del patrimonio culturale (RECEDIG) sono stati gli interventi più efficaci avendo contribuito al raggiungimento degli Obiettivi Specifici a cui si riferivano. Dall’altra parte, le micro-iniziative, come ad esempio alcuni grants alle Municipalità, sono sembrate iniziative spot e non parte di una strategia univoca, pertanto sono rimaste esempi più o meno virtuosi a seconda dei casi, ma comunque non portatori di cambiamenti sostanziali sul medio e lungo periodo. Le attività di formazione e di assistenza tecnica, concretizzatesi per la maggior parte dei casi in simposi e seminari di brevissima durata, sono apparse eccessivamente sporadiche e non strutturate in un percorso formativo definito in grado di favorire un miglioramento delle capacità dei partecipanti. Esempi positivi in termini di efficacia sono il corso sulla conservazione e il restauro del patrimonio musivo e quello sulla digitalizzazione del patrimonio culturale, in cui i partecipanti hanno dimostrato, anche a tre anni di distanza di utilizzare quotidianamente, ancorché parzialmente, le metodologie e le tecniche apprese. Gli interventi risultati più efficaci sono stati anche quelli che hanno garantito un impatto sostanziale rispetto alle comunità locali. Con riferimento agli interventi realizzati a Stobi, Heraclea, al MIMEC e al RECEDIG si è rilevato un interessante effetto sinergico grazie alla compartecipazione di più donatori (World Bank, U.S. Ambassadors Fund for Cultural Preservation-AFCP, Unione Europea). In questi casi, l’impatto sulle comunità locali è risultato addirittura superiore alla somma dei singoli interventi, favorendo lo sviluppo nazionale in termini di valorizzazione del patrimonio culturale e decentramento amministrativo. Nel caso dei RECEDIG si è riusciti anche ad incidere sulla elaborazione delle Strategie Nazionali. La partecipazione al Programma delle principali autorità pubbliche macedoni è avvenuta in modo parziale (partecipazione a simposi e workshops), e non ha saputo incidere in modo significativo sulla creazione di loro competenze gestionali e amministrative, determinando il rischio di una precaria sostenibilità istituzionale. Inoltre, l’incapacità finanziaria delle varie amministrazioni pubbliche a sviluppare le risorse tecnologiche, quali ad esempio il software per la catalogazione del patrimonio culturale, e a mantenere le infrastrutture di cui sono state dotate si è tradotta in una blanda sostenibilità economica e tecnologica. 6 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” Alla luce dei risultati della valutazione sono state individuate alcune raccomandazioni volte ad assicurare una qualità migliore delle iniziative future nel settore del patrimonio culturale e non. La struttura ed il Design di Progetto dovrebbero essere oggetto di una approfondita analisi in sede di approvazione e dovrebbero essere costantemente aggiornati al mutare delle condizioni esterne, al fine di assicurare la logica e la coerenza del documento narrativo e delle componenti principali per tutta la durata del Programma. Rapporti intermedi e finali dovrebbero essere predisposti su appositi formati che favoriscano il processo, evitando la dispersione/perdita di informazioni utili. Infine, sistemi di monitoraggio e valutazione interna, propriamente strutturati, dovrebbero essere già previsti al momento della presentazione della proposta. I beneficiari diretti e indiretti del programma dovrebbero essere identificati e identificabili chiaramente già in fase di presentazione della proposta. Maggiore attenzione dovrebbe inoltre essere data all’analisi dei costi per beneficiario delle singole attività. È auspicabile assicurare che le attività del Programma siano frutto di una strategia univoca che punti al raggiungimento dell’obiettivo generale. I percorsi di formazione e capacity building dovrebbero essere disegnati garantendo fin dalla fase di identificazione, la partecipazione delle istituzioni beneficiarie. Inoltre si suggerisce di preferire forme di accompagnamento di medio-lungo periodo piuttosto che seminari e workshop di breve durata. I rischi dovrebbero essere opportunamente analizzati e il corrispondente piano di mitigazione dovrebbe essere elaborato al momento della presentazione della proposta e aggiornato costantemente durante la fase di implementazione. Infine, si consiglia di esplorare la possibilità di realizzare partnership pubblico-private sia per sviluppare e promuovere la fruizione del patrimonio culturale che per sviluppare la rivitalizzazione economica del Paese da un punto di vista turistico. Dalla valutazione del Programma “Pilot Activities for Education and Culture” i valutatori hanno tratto alcune lezioni apprese come di seguito riportato: Se la complessità operativa, relazionale e gestionale dei Programmi non viene tradotta in strumenti che ne facilitino la gestione, semplificando e strutturando le informazioni, risulta impossibile avere una situazione chiara in itinere, monitorare l’andamento delle attività ed eventualmente correggere per tempo aspetti puntuali dell’iniziativa. Ancorché le proposte siano pertinenti relativamente al contesto nazionale e alle strategie locali e internazionali, non sempre si inseriscono all’interno di un unico quadro strategico operativo, composto da tutti gli stakeholders attivi nello stesso settore d’intervento; cogliere per tempo, tutte le iniziative in essere o in previsione per un determinato settore operativo aiuta a creare una strategia univoca di medio e lungo periodo, nella quale il ruolo di ciascuno ha peculiarità uniche, anche operative e metodologiche, e contribuisce alla realizzazione di uno sviluppo più ampio. Nei programmi di cooperazione allo sviluppo, non di emergenza, e che prevedono collaborazioni di partenariato con istituzioni pubbliche (ministeri, municipalità, istituzioni), vanno favorite e ricercate attività di capacity building strutturate in percorsi formativi appositamente definiti. Solo se i Programmi faciliteranno lo sviluppo di competenze e di ownership nei beneficiari diretti, anche attraverso un processo partecipativo tra stakeholders e decision makers, potranno risultare efficaci ed avere un impatto sostenibile. La visibilità dell’aiuto italiano, intesa anche come riconoscimento sociale e istituzionale, deriva dall’efficacia e dall’impatto che i Programmi sono in grado di avere nel Paese beneficiario; un’implementazione che tenga conto di quanto evidenziato in precedenza nelle raccomandazioni gioverebbe anche al riconoscimento e alla visibilità del Governo Italiano. Rapporto finale 7 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” 1. Contesto del Programma 1.1 Situazione Paese La Macedonia divenne uno Stato indipendente nel settembre del 1991 senza, di fatto, essere coinvolta nei conflitti che divamparono a seguito della dissoluzione della Jugoslavia. Tuttavia, a causa della perdurante instabilità nei Balcani e dei crescenti risentimenti interetnici, la Macedonia si vide più volte minacciata. Nel 1999, un consistente flusso di rifugiati mise a rischio la stabilità interna del Paese determinando l’acuirsi di molti problemi di ordine sociale già esistenti. La minaccia più grave all’esistenza dello stato macedone, furono gli scontri armati della prima metà del 2001, la cui conclusione fu sancita con gli Accordi di Ohrid del 13 agosto 2001, firmati da rappresentanti macedoni e albanesi. Secondo lo Human Development Index 20111, la Macedonia si colloca al 78 posto su 187 paesi e territori; tra il 2005 e il 2011 il valore dell’HDI della Macedonia è cresciuto da 0.704 a 0.728, con un aumento annuale dello 0.6%. Dal punto di vista dell’integrazione europea, la Macedonia ha presentato richiesta formale per l’ingresso nell’Unione Europea nel marzo 2004. L’accordo di Stabilizzazione e Associazione tra la FYROM e l’Unione Europea fu firmato nell’aprile 2001 ed è entrato in vigore nell’Aprile 2004. Il Consiglio Europeo nel 2005 ha attribuito al Paese lo status di candidato all’ingresso nell’Unione Europea. Nell’ottobre 2009, la Commissione ha raccomandato al Consiglio di aprire i negoziati per il passaggio alla fase successiva dell’implementazione dell’accordo di stabilizzazione. Nel 2008 l’Accession Partnership ha definito le otto aree prioritarie per la Macedonia nel framework dell’agenda delle riforme dell’Unione Europea includendo, la piena implementazione delle obbligazioni derivanti dall’Accordo di Stabilizzazione e Associazione, la riforma della pubblica amministrazione, della polizia, del sistema giudiziario, la lotta alla corruzione, la riduzione del tasso di disoccupazione e la creazione di un ambiente favorevole alle imprese. I vari rapporti che si sono da allora susseguiti hanno concluso che la Macedonia ha sostanzialmente raggiunto gli obiettivi posti nelle aree prioritarie e pertanto hanno raccomandato l’avvio dei negoziati per l’accesso all’UE; tuttavia, il Consiglio Europeo non ha ancora provveduto a fissare una data per l’apertura dei negoziati. 1.1.1 Decentralizzazione Gli accordi di Ohrid, rilevando la necessità di preservare il carattere multietnico della società macedone, auspicavano la decentralizzazione di alcune funzioni e prerogative del Governo; in particolare, l’articolo 3.1 faceva esplicito riferimento all’approvazione di una Legge sulle Autonomie Locali che puntasse a rinforzare il potere degli ufficiali locali e ad ampliare sostanzialmente le loro competenze in conformità 1 Human Development Report 2011, Sustainability and Equity: A better Future for All, UNDP 2011 8 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” con la Costituzione e la Carta Europea dell’Autonomia Locale2, in particolare per quanto riguardava i servizi pubblici, la pianificazione urbana e rurale, la protezione ambientale, lo sviluppo locale economico, la cultura, l’educazione, la finanza locale, e la sanità. Il processo di decentralizzazione iniziò quindi con l’approvazione della legge sulle Autonomie Locali, pubblicata sulla Gazzetta Ufficiale nel gennaio 2002, a cui seguirono la legge sulla nuova organizzazione territoriale dell’agosto 2004, e la legge per il finanziamento delle Municipalità decentralizzate del settembre dello stesso anno. La legge sulle Autonomie Locali divenne finalmente operativa all’inizio del 2005, e i primi tre settori che passarono sotto la responsabilità diretta delle municipalità furono: Educazione, Cultura e Servizi Municipali. Oggi la Macedonia è divisa in 84 municipalità (più la Città di Skopje che è a sua volta costituita da 10 municipalità) e otto regioni che hanno solo un ruolo amministrativo. Le municipalità hanno quindi maggiori responsabilità in materia di budget, sviluppo economico, protezione ambientale, sviluppo urbano, attività culturali e sportive, protezione sociale e dei minori, ed educazione; ma a tutt’oggi si trovano a fronteggiare numerosi problemi soprattutto in termini di scarse risorse economiche da destinare a questi settori. 1.1.2 Cultura Al momento della presentazione dell’iniziativa in oggetto al finanziamento, il Ministero della Cultura era affiancato da sei istituti per la protezione dell’eredità e del patrimonio culturale della Macedonia. Il Parlamento Macedone approvò nel 2004 il Programma Nazionale per la Cultura relativo al quinquennio 2004-2008, tale programma definì le strategie di realizzazione degli obiettivi ritenuti di interesse primario per il Paese, in particolare: il decentramento della cultura, l’uso della cultura come risorsa per lo sviluppo, la protezione e (ri)costruzione del patrimonio culturale, lo stimolo della creatività con particolare riguardo ai nuovi talenti artistici e ai bisogni culturali dei giovani e, il potenziamento del management. Dal 1998, una serie di importanti leggi nel settore culturale sono state approvate: Tabella 1. Elenco principali leggi nel settore culturale ATTO NORMATIVO 3 Law on Culture ANNO DI ADOZIONE 1998, amended 2003/2005/2007/2010/2011 Law for Protection of Cultural Heritage 2004 Law on Museums 2004 Law on Libraries 2004 Law on Monuments and Commemorative Sites 2004 Media Law 2005 Law on the Film Fund 2006 Law on Sponsorship and Donations 2007 Law on Audiovisual Goods 2008 Law on the Skopje Old Bazaar 2008 Law on Copyright and Related Rights 2010 Law on Governing of the World Natural and Cultural Heritage 2010 Law on the National Artist of the Republic of Macedonia 2011 Aperta alla firma nell’ottobre del 1985 dal Congresso dei Poteri Locali e Regionali, vi si riconosceva l’importanza del ruolo dell’autonomia locale per la democrazia. La Carta obbliga le Parti che l’hanno ratificata di applicare le regole fondamentali per garantire l’indipendenza politica, amministrativa e finanziaria degli enti locali e prevede che il principio dell’autonomia locale sia riconosciuto dal diritto nazionale e protetto dalla Costituzione, permettendo agli enti locali di essere eletti con suffragio universale. 3 http://www.culturalpolicies.net/web/macedonia.php?aid=52. 2 Rapporto finale 9 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” La legge sulla Cultura, originariamente approvata nel 1998, fu sottoposta ad una serie di emendamenti tra 2003 e il 2005 che permisero l’inclusione di norme per la riallocazione delle competenze per il settore culturale (dal parlamento al governo e dal governo al Ministero della Cultura), la chiarificazione della posizione delle autorità locali nel finanziamento delle attività culturali di interesse locale, la semplificazione del meccanismo di decentralizzazione. Nel giugno 2012, il Ministero della Cultura ha avviato l’elaborazione di una nuova Strategia Nazionale per lo Sviluppo della Cultura per gli anni 2012-2017; nelle intenzioni del ministero non si deve trattare di un documento dichiarativo ma di un vero e proprio documento strategico operativo che evidenzi i punti deboli nell’attuale policy culturale e stabilisca soluzione fattibile per il suo sviluppo e sostenibilità. Il documento è ancora in fase di discussione e se ne prevede la pubblicazione nel primo semestre del 2013. 1.1.3 Educazione Il Ministero dell’Educazione e della Scienza è responsabile per lo sviluppo dell’educazione, della scienza, dello sport ed anche della cooperazione internazionale trasversalmente a questi settori. Il Ministero dell'Istruzione e della Scienza ha adottato nel 2005 il Programma per lo sviluppo della Pubblica Istruzione con la finalità di sviluppare una strategia nazionale che declinasse lo sviluppo del settore educativo fino al 2015. Tale documento strategico è stato redatto grazie alla collaborazione di tutti i principali stakeholders del settore ed al supporto finanziario dell'Open Society Institute di Macedonia. Il Programma Nazionale per lo sviluppo del settore educativo mira a realizzare i propri obiettivi attraverso un orientamento di lungo termine ed efficienti interventi nelle seguenti aree: - Educazione per tutti e di qualità - Promozione della cultura della vita - Aumento della partecipazione sociale - Sviluppo delle competenze macedoni in ambito educativo, culturale ed economico - Rafforzamento delle Cooperazione internazionale - Sviluppo di competenze gestionali. La strategia adottata dal Ministero dell’Educazione si fonda sul concetto di apprendimento permanente, che si sforza di realizzare attraverso la promozione dell’istruzione, la creazione di condizioni favorevoli per l'acquisizione e il trasferimento delle conoscenze, il rafforzamento delle competenze dei giovani e degli adulti per favorirne l'inclusione sociale e la partecipazione ed il sostegno ad iniziative civiche al fine di creare un equilibrio tra il settore formale e informale. Il benessere sociale, culturale, fisico e intellettuale dei cittadini della Macedonia è il valore generale su cui si fonda il programma nazionale per lo sviluppo dell'istruzione. Lo sviluppo di un cittadino creativo, orientato al senso civico ed etico, è inteso come un fattore chiave che influenza il progresso sociale, politico ed economico del Paese. Il Programma Nazionale è quindi nato e si fonda sui valori della civiltà moderna quali la conoscenza, la democrazia, l'equità, la tolleranza e l'umanità. Il processo di decentralizzazione del sistema educativo rappresenta una massima priorità per il Ministero Macedone dell’Educazione e della Scienza. Il decentramento deve garantire una cessione di responsabilità circa le grandi questioni educative (miglioramento della qualità dell'istruzione, miglioramento professionale del personale docente, finanziamento) a tutti e tre i livelli del sistema educativo - centrale, locale e delle scuole. Le 10 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” responsabilità devono essere aumentate a livello locale e delle scuole, a discapito della concentrazione delle responsabilità a livello centrale. Tali modifiche devono comprendere: - La riorganizzazione amministrativa e gestionale dell’istruzione mediante l'attuazione di nuove leggi in materia di autonomia locale ed il finanziamento del processo; - Il miglioramento della gestione e della governance dell’educazione a livello centrale; - Lo sviluppo di un sistema più efficiente per la pianificazione, l’allocazione e la gestione finanziaria - Il miglioramento della gestione a livello locale e della scuola; - La ridefinizione precisa dei ruoli e delle responsabilità dellle istituzioni amministrative a tutti i tre livelli; - La formazione su aspetti gestionali. 1.2 Origini dell’iniziativa Al fine di sostenere la Macedonia nel suo impegno per uscire dall’emergenza derivante dal conflitto armato del febbraio-agosto 2001, nel marzo 2002, la Commissione Europea e la Banca Mondiale organizzarono a Bruxelles una Conferenza dei Paesi Donatori accogliendo le richieste ricevute in tal senso dai firmatari degli Accordi di Ohrid4. Le risorse che la Comunità internazionale s’impegnò allora a rendere disponibili per aiutare il Paese a risolvere i problemi più urgenti furono allocate per le seguenti finalità: - Bilancia dei pagamenti - Ricostruzione e Riabilitazione delle aree interessate dal conflitto - Misure da adottare in adempimento degli Accordi di Ohrid5. Durante la conferenza, trentotto Paesi donatori e diciannove organizzazioni internazionali impegnarono 307 milioni di Euro6 per le misure sopracitate eccedendo le stime prudenziali di 256 milioni di Euro per il 2002, che costituivano l’importo minimo necessario indicato prima della Conferenza. Il decentramento dell’Amministrazione dello Stato Macedone e la conseguente delega agli Enti Locali e alle Municipalità di una serie di prerogative ministeriali costituì uno degli assi portanti degli Accordi di Ohrid. In riconoscimento di tali priorità la Comunità Internazionale, e l’Italia con essa, si impegnò ad assistere la Macedonia mettendo a disposizione risorse finalizzate a rendere concreta l’attuazione degli Accordi. La decisione del Governo Italiano presa nel corso della Conferenza di Bruxelles, fu quella di contribuire all’impegno collettivo a favore della ex Repubblica Jugoslava di Macedonia con un contributo di 3 milioni di Euro da impegnarsi nel contesto del decentramento amministrativo e dell’Educazione 7 . Considerazioni connesse al ruolo unificante che la Cultura è in grado di giocare e ragioni di opportunità di parte macedone sui tempi relativamente più rapidi che un decentramento nei settori culturali e Al punto 8.3 gli Accordi di Ohrid facevano esplicita richiesta alla convocazione di tale Conferenza internazionale: “The parties invite the international community to convene at the earliest possible time a meeting of international donors that would address in particular macrofinancial assistance; support for the financing of measures to be undertaken for the purpose of implementing this Framework Agreement, including measures to strengthen local self-government; and rehabilitation and reconstruction in areas affected by the fighting”. 5 Mr. Reinhard Priebe nel discorso di apertura della conferenza dei donatori di Brussells: “Our aim today is to continue to support the country achieve renewed macroeconomic stability, repair the damages engendered by the conflict and fully implement the Framework Agreement”, 12 Marzo 2002. 6 FYR of Macedonia secure pledges, Worldbank March 13th, 2002. 7 Delibera del Comitato Direzionale nr. 69 del 16/05/2005. 4 Rapporto finale 11 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” dell’istruzione avrebbe potuto avere, hanno successivamente condotto a precisare l’ambito nel quale il contributo italiano si è sostanziato. In virtù di queste premesse, l’International Management Group (IMG) presentò nell’ottobre 2004 un progetto di massima all’Unità Tecnica Centrale (UTC) della DGCS. L’iniziativa presentata da IMG, su input dell’Ambasciata d’Italia a Skopje, prese spunto dalla Conferenza dei Ministri della Cultura dell’Europa orientale e meridionale tenutasi a Mostar nel luglio del 2004 e dalla Conferenza di Venezia del novembre 2004. Nelle succitate conferenze una particolare enfasi era stata posta sul ruolo della cultura nel rafforzamento del dialogo interculturale e al suo contributo alla stabilizzazione della Regione, essendo quest’ultimo un prerequisito essenziale per l’integrazione del Paese nell’Unione Europea. In seguito alla presentazione della proposta, il MAE ha organizzato due missioni di esperti in loco (nel novembre 2004 e nel febbraio del 2005) con la finalità di approfondire i contenuti del programma di massima, portando alla riformulazione della proposta originaria per quanto riguarda l’assistenza al Politecnico di Tetovo, la valorizzazione del Patrimonio culturale e la creazione, da parte di UNESCOROSTE8 di un Centro per la catalogazione del Patrimonio culturale. La proposta di finanziamento così rivista fu quindi presentata e approvata dal Comitato Direzionale con delibera nr. 69 del 16/05/2005. 1.2.1 Dati del programma Titolo Pilot Activites for Education and Culture Codice AID8420.01.3 Luogo del Programma Repubblica di Macedonia Organismo esecutore International Management Group (IMG) Beneficiari Governo della Repubblica di Macedonia Ministero della Cultura, Ministero dell’Educazione e della Scienza, Ministero delle Autonomie locali Budget 3.000.000,00 ! Prima tranche 1.170.000,00 ! erogata il 24/10/2006 Seconda tranche 1.830.000 ! erogata il 18/06/2007 Data di approvazione 16/05/2005 Avvio dell’iniziativa 1/11/2006 Durata prevista 18 mesi Durate reale 50 mesi Conclusione prevista 30/4/2008 Conclusione reale 31/12/2010 L’UNESCO-ROSTE (Regional Office for Science & Technology for Europe) con sede a Venezia sin dal 1988, fu trasformato in UNESCO-BRESCE (Regional Bureau for Science and Culture in Europe) nel marzo del 2006. 8 12 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” 2. Obiettivo 2.1 Tipologia della valutazione La valutazione ex post, di seguito presentata, ha cercato di stabilire la misura in cui i risultati, gli obiettivi, l’impatto e la sostenibilità dell’iniziativa in oggetto sono stati raggiunti e di evidenziare raccomandazioni e lezioni apprese al fine di poter indirizzare futuri finanziamenti nel settore educativo-culturale. 2.2 Scopo e utilità della valutazione Scopo e utilità della valutazione sono stati definiti nei Termini di Riferimento per la valutazione indipendente del programma “Pilot Activities for Education and Culture - AID8240” (Allegato 1), di cui si riporta un estratto. 2.2.1 Scopo della valutazione La valutazione dovrà: - Esprimere un giudizio sulla rilevanza degli obiettivi e sul loro grado di raggiungimento; - Esprimere un giudizio su efficienza, efficacia, impatto e sostenibilità del progetto; - Esaminare il Progetto nella sua completezza, per identificare le buone pratiche e le lezioni apprese, in modo da usarle come base conoscitiva per sviluppare gli eventuali futuri pacchetti d'assistenza tecnica nel territorio; - Analizzare le strategie e le modalità d’implementazione; - Tenere in considerazione i fattori di sostenibilità e l’impatto che l’implementazione di tale programma ha avuto sulle condizioni educative e culturali del Paese; - Stimare i risultati e l’effettività dei programmi pilota a livello distrettuale, la loro discutibilità ed i rispettivi mezzi per la decentralizzazione dell’amministrazione e l’effettiva capacità di gestione da parte degli enti locali. Infine, la valutazione terrà in considerazione: 1. Le iniziative mirate al contesto multiculturale del Paese, ovvero le attività di assistenza alle Istituzioni Culturali locali; 2. Il livello di formazione degli addetti alla cultura delle Municipalità; 3. Gli interventi tesi a valorizzare i siti storici di rilevanza nazionale; 4. La realizzazione, il funzionamento, l’efficacia, nonché il livello di preparazione dei tecnici del Centro Regionale per la Digitalizzazione del Patrimonio Culturale; 5. L’efficacia degli interventi di riabilitazione strutturale e di assistenza tecnica al Museo di Arte Contemporanea; 6. La realizzazione del Centro Multimediale presso l’Università dei SS. Cirillo e Metodio e la relativa attività di formazione; Rapporto finale 13 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” 7. L’efficacia dell’intervento in favore della minoranza di lingua albanese a Tetovo; 8. L’analisi qualitativa dell’assistenza tecnica da parte dell’organismo esecutore e delle capacità gestionali degli enti coinvolti nel programma. 2.2.2 Utilità della valutazione L’utilità della valutazione del programma “Pilot activities for Education and Culture” in Macedonia è di accertare la misura in cui l’assistenza dell’IMG, e quindi della Cooperazione italiana, sia stata rilevante, effettiva, efficace e sostenibile nel raggiungimento degli obiettivi previsti per il settore. La valutazione dovrà pervenire a un giudizio generale sul grado in cui le strategie e il programma hanno contribuito al raggiungimento degli obiettivi e dell’impatto previsto attraverso le risposte alle domande che dovranno essere concordate (vedi Allegato A). Le conclusioni della valutazione saranno basate su risultati obiettivi, credibili, affidabili, validi e dovranno fornire alla Cooperazione Italiana raccomandazioni utili e operative. La valutazione dovrà rendere condivisibili le esperienze acquisite al fine di poter indirizzare i futuri finanziamenti nel settore educativoculturale nell’area balcanica ed in particolare in Macedonia. A questo scopo, la valutazione dovrà analizzare come, per il programma considerato, il supporto al settore educativo-culturale ha influito: - Sulle previsioni e l’implementazione delle politiche, delle strategie e dei programmi; - Sull’efficacia degli aiuti in termini di prevedibilità, di implementazione delle strategie educativoculturali nazionali. La valutazione dovrà fornire lezioni e raccomandazioni finalizzate alla continuità degli aiuti al settore nel contesto attuale. 14 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” 3. Metodologia 3.1 Gli obiettivi della valutazione Gli obiettivi principali della valutazione, come da termini di riferimento allegati (All.1), sono: 1. Accertare la misura in cui l’assistenza dell’IMG, e quindi della Cooperazione italiana, sia stata rilevante, effettiva, efficace e sostenibile nel raggiungimento degli obiettivi previsti per il settore. 2. Analizzare come, per il programma considerato, il supporto al settore educativo-culturale ha influito: - Sulle previsioni e l’implementazione delle politiche e delle strategie e dei programmi; - Sull’efficacia degli aiuti in termini di prevedibilità, di implementazione delle strategie educativoculturali nazionali. 3.2 I criteri della valutazione Nella realizzazione della presente valutazione sono stati utilizzati i seguenti criteri9: PERTINENZA/RILEVANZA. L’analisi della pertinenza ha permesso di verificare la misura in cui il Programma ha saputo rispondere/adattarsi alle necessità, alle priorità e alle politiche del gruppo obiettivo destinatario, di valutare l'obiettivo generale e specifico, gli input e le attività. VALIDITÀ DEL DESIGN DEL PROGRAMMA. La valutazione ha offerto una visione complessiva della qualità del disegno del programma, in termini di estensione complessiva del Quadro Logico adottato, degli obiettivi, dei risultati attesi e degli indicatori. EFFICIENZA. La valutazione dell'efficienza è stata ampiamente limitata dalle scarse informazioni disponibili nei documenti di progetto e dal rifiuto di IMG di fornirne altre maggiormente dettagliate. Si è pertanto provveduto all’analisi delle singole attività, e a un approfondimento sui costi ove possibili. EFFICACIA. Sono state analizzate le ragioni principali del raggiungimento o mancato raggiungimento degli obiettivi e chi ha utilizzato e beneficiato delle risorse erogate. E’ stata inoltre presa in considerazione la partecipazione delle parti interessate nella progettazione dell’intervento stesso. IMPATTO. Si è cercato di verificare l’esistenza o meno di un effetto di lungo termine attribuibile all’intervento di IMG, qual è stato il grado di raggiungimento dell’obiettivo generale e quanto esso sia derivato dagli effetti diretti del Programma. SOSTENIBILITÀ. L’analisi della sostenibilità è stata svolta tenendo conto di aspetti finanziari, tecnici, istituzionali, culturali e ambientali che hanno permesso/impedito ai benefici prodotti dal Programma di continuare a rinnovarsi successivamente all’interruzione dell’intervento progettuale. Una particolare attenzione è stata posta sulla valutazione della misura in cui la capacità locale è stata sostenuta e sviluppata. 9 Evaluating Humanitarian Action using the OECD/DAC Criteria, Overseas Development Institute, Marzo 2006. Rapporto finale 15 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” 3.3 Approccio e principi metodologici adottati La metodologia utilizzata è strutturata in cinque fasi principali. DESK REVIEW. Questa prima fase ha incluso la ricerca e lo studio preparatorio sia in remoto sia in situ. Il team di valutazione ha analizzato la documentazione principale del Programma (dati secondari) fornita dal Ministero degli Affari Esteri e da IMG, in particolare: - Proposta di Progetto, Rapporti annuali e Piani Gestionali - Rapporti Intermedi e Finali, rapporti valutativi tecnici e di monitoraggio - MoU, MoA, contratti, minute di riunioni. Inoltre, sono stati analizzati le strategie nazionali e regionali, i piani di sviluppo e altri dati disponibili presso i Ministeri Nazionali e Altre Agenzie Internazionali. Parte integrante di questa fase sono state anche le riunioni sia in Italia con i referenti MAE del Programma sia in Macedonia con il personale di IMG disponibile. La creazione della MATRICE DI VALUTAZIONE (All. 3) è partita dall’analisi della logica del Programma (cfr. cap. 4) e dalla verifica/definizione delle relazioni causali tra input, attività, risultati e obiettivi al fine di stabilire se e come l’impatto previsto è stato raggiunto. Per l’elaborazione della Matrice di Valutazione sono anche stati identificati i CRITERI DI GIUDIZIO che hanno orientato le domande sia per gli stakeholders principali che per i partecipanti ai Focus Groups ed i conseguenti indicatori. L’analisi della logica del Programma ha rilevato, come vedremo in seguito, una generale incompletezza in termini di obiettivi specifici, risultati, attività e indicatori, pertanto si è proceduto a integrarli e svilupparli per effettuare una misurazione maggiormente attendibile dell’impatto del programma. Un altro aspetto fondamentale preso in considerazione nella realizzazione della valutazione ex post è stata la PARTECIPAZIONE degli stakeholders nelle varie fasi del Programma. E’ stata quindi realizzata un’approfondita analisi degli stakeholders coinvolti, del loro grado di coinvolgimento e interesse, della capacità organizzativa e del loro contributo al Programma, utilizzando anche strumenti ad hoc; in un secondo momento si è passati al loro coinvolgimento diretto nella valutazione attraverso interviste e focus groups. RESEARCH DESIGN. In seguito all’analisi della documentazione esistente e ai primi contatti con l’Ente Esecutore – l’International Management Group – si è proceduto all’elaborazione di una struttura della valutazione che permettesse di tenere in considerazione le peculiarità dei differenti settori di intervento (es. attività formative, attività strutturali e di riabilitazione e grants alle municipalità) e di identificare un campione di dimensioni adeguate a garantire la rappresentatività dell’indagine e a isolare gli effetti del Programma da eventuali interferenze esogene allo stesso (IMPATTO NETTO). A tal fine è stato stilato e condiviso con il personale di IMG (in particolare, Arch. Argjent Karai e Arch. Lazar Sumanov) un elenco di addetti/istituzioni da incontrare durante la missione in loco dei valutatori. Fin da subito è emersa l’impossibilità, per ragioni che vedremo meglio in seguito (paragrafo 3.4 limitazioni), di raggiungere un ampio numero di addetti attraverso uno strumento di raccolta dati di tipo quantitativo (questionario); tale limitazione, ha portato all’elaborazione di strumenti di raccolta dati di carattere esclusivamente QUALITATIVO. Secondo la tipologia di beneficiario/stakeholder sono stati utilizzati quindi strumenti differenti o una combinazione di più strumenti che hanno permesso di valutare la pertinenza della tematica dello sviluppo educativo e culturale per il contesto macedone, l’effettivo ed efficace raggiungimento degli obiettivi prefissati, le attività volte a garantire la sostenibilità del 16 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” Programma e l’impatto che le attività svolte hanno avuto nei confronti dei beneficiari diretti ed indiretti. In particolare sono stati utilizzati i seguenti strumenti: - INTERVISTE SEMI-STRUTTURATE. Strumento utilizzato con lo staff di Programma, formatori, direttori e rappresentanti delle autorità locali e ministeriali, per comprendere appieno impressioni ed esperienze relativamente al Programma; - FOCUS GROUPS. Organizzati con addetti del settore culturale che hanno partecipato alle attività formative realizzate da IMG. Gli strumenti valutativi per questo particolare aspetto del Programma sono stati sviluppati sulla base del metodo di Kirkpatrick10 che divide in 4 livelli la valutazione delle attività formative: Reazione: misura l’atteggiamento sviluppato dai partecipanti nei confronti dell’attività di formazione e quindi se chi vi ha preso parte abbia avuto modo di elaborare un vissuto positivo. Apprendimento: misura quanto le competenze-obiettivo di un’attività formativa siano in possesso dei partecipanti al termine dell’attività stessa. Trasferimento: misura quanto le competenze-obiettivo di un’attività formativa siano state effettivamente utilizzate dai partecipanti, in situazioni di lavoro e a distanza di tempo dall’attività stessa. Risultati: misura se e quanto ci siano stati miglioramenti nelle prestazioni del beneficiario dell’attività formativa e come questi abbiano avuto un impatto sull’ambiente circostante. Come indica la figura che segue, i quattro livelli di reazione, apprendimento, trasferimento e risultati sono in correlazione diretta con i criteri di efficienza, efficacia e impatto. Figura 1. Valutazione di attività formative e criteri DAC EFFICACIA - C'e' stato un aumento di conoscenza o di capacità?" Misurazione del cambimento di comportamento" Sono state usate le nuove conoscenze/ capacità acquisite?" IMPATTO RISULTATI Che cosa pensano i beneficiari dei corsi di formazione?" Misurazione dell'apprendimen to" TRASFERIMENTO Misurazione della soddisfazione" APPRENDIMENTO REAZIONE EFFICIENZA Misurazione dei risultati" Che effetto ha avuto la formazione sull'ambiente circostante?" OSSERVAZIONE DIRETTA. Attraverso le visite ai siti di esecuzione degli interventi, condotta su un campione significativo delle aree e dei settori rilevanti, e dove si siano avuti riscontri di particolari criticità dal punto di vista della esecuzione o della documentazione analizzata. Sia per le interviste semi-strutturate che per i focus groups, è stata elaborata una traccia predefinita (All. 10 e 11) che ha permesso di individuare gli obiettivi da raggiungere attraverso il colloquio lasciando tuttavia l’intervistato libero di muoversi senza seguire in modo stringente la traccia, alternando momenti 10 Kirkpatrick D., Evaluating Training Programs, 1994. Rapporto finale 17 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” di domande prefissate ad altri di reazioni nell’intervistatore più spontanei e dipendenti dai singoli interlocutori. Le “Linee Guida per la redazione delle domande di valutazione”, di cui all’allegato A dei ToR, sono state rispettate in fase di elaborazione degli strumenti. Infine, poiché ogni metodo di raccolta dati ha punti di forza e limiti, al fine di limitare il rischio di distorsioni dei risultati ottenuti, è stata effettuata una TRIANGOLAZIONE dei dati raccolti attraverso le diverse tecniche di rilevamento. MISSIONE IN MACEDONIA PER LA RACCOLTA DATI. La missione in Macedonia dei due esperti incaricati da InfoAid (Dott. Gabriele Bertani e Dott.ssa Laura Morisio) ha avuto luogo dal 3 al 16 Marzo 2013; gli incontri e le visite realizzate in seguito descritte sono elencate nel calendario della missione (All. 2 Calendario Missione e All. 9 Elenco delle Persone Contattate). I dati e le informazioni contenuti nel presente report sono stati raccolti attraverso: INTERVISTE SEMI-STRUTTURATE CON STAKEHOLDER PRINCIPALI: 31 interviste - Ministeri Macedoni: Ministero della Cultura, Ministero dell’Economia, Dipartimento del Turismo e della Scienza, Ministero delle Autonomie Locali, Ufficio per la Protezione del Patrimonio Culturale - Università: SS. Cirillo e Metodio di Skopje e Università Statale di Tetovo - Musei: Museo d’Arte Contemporanea, Museo di Macedonia - Municipalità: Kocani, Berovo e Negotino - Siti archeologici: Scupi, Stobi e Heraclea - UNESCO Bresce di Venezia - NGO Toleranza - Ambasciata d’Italia. FOCUS GROUP DISCUSSIONS: 2 gruppi - Partecipanti al Seminario Internazionale sulla “Conservazione dei Mosaici” realizzato da Paolo Racagni dal 22 al 27 giugno 2008 - Partecipanti al corso sulla “Gestione del processo di digitalizzazione” realizzato dagli esperti di MINERVA in collaborazione con UNESCO BRESCE dal 9 al 19 settembre 2008. VISITE AI LUOGHI INTERESSATI DAL PROGRAMMA (OSSERVAZIONE DIRETTA): 11 siti visitati - 3 Siti Archeologici: Scupi, Stobi e Heraclea - Istituto di Biotecnologie e Nutrizione, Università statale di Tetovo - Multimedia center, Università Ss. Cirillo e Metodio di Skopje - Museo di Arte Contemporanea, Skopje - Museo di Macedonia, Skopje - Centro Regionale per la Digitalizzazione del Patrimonio Culturale, Skopje - Museo del Vino, Negotino - Centro Culturale Jans, Kocani - Piazza centrale, Berovo. ANALISI DEI DATI. Le informazioni ottenute dalle interviste e quelle ottenute dai focus groups sono state comparate tra loro in modo da integrare/modificare eventuali informazioni incomplete o errate; l’attenta analisi e i processi di filtraggio e triangolazione hanno permesso di ottenere dati concreti e attendibili. 18 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” REPORT FINALE DI VALUTAZIONE. L’ultima fase ha infine riguardato la redazione del presente rapporto in conformità di quanto richiesto nei Termini di Riferimento. Le informazioni raccolte e analizzate hanno permesso di evidenziare l’impatto del programma in oggetto sui beneficiari. Nella parte conclusiva sono elencate una serie di lezioni apprese e raccomandazioni volte al miglioramento dei progetti futuri e delle strategie della DGCS. 3.4 Limitazioni Talune limitazioni hanno influito sul regolare svolgimento della valutazione. La prossimità della missione con le elezioni locali in Macedonia ha reso impossibile incontrare i rappresentanti del Ministero dell’Educazione, contattati a più riprese dai consulenti stessi, dal personale di IMG e dall’Ambasciata d’Italia. Ciononostante, le comunicazioni telefoniche intercorse tra i valutatori e i Rappresentanti del Ministero dell’Educazione hanno evidenziato una non conoscenza del Progetto da parte di questi ultimi e di conseguenza tale limitazione non ha in alcun modo inficiato la portata e i contenuti della valutazione. La documentazione disponibile è stata solo parzialmente in grado di soddisfare le necessità derivanti dall’applicazione dei criteri DAC per la valutazione. I rapporti intermedi e finali redatti da IMG e i rapporti di monitoraggio redatti da esperti DGCS si sono rivelati inadeguati per ricostruire nel dettaglio tutte le attività realizzate. A livello di costi, le informazioni contenute in tali rapporti non sono state sufficienti a misurare in modo approfondito (costo/attività) l’efficienza dell’intervento e IMG si è detta non disponibile a condividere con i valutatori ulteriori informazioni a riguardo. La componente di Formazione e Assistenza Tecnica è risultata nei fatti estremamente limitata in termini di percorsi formativi realizzati rispetto alle informazioni fornite nella proposta di progetto e nei Termini di Riferimento; ciò ha reso inadeguato l’utilizzo di strumenti di raccolta dati quantitativi (questionari) che si proponeva di utilizzare per valutare in maniera più approfondita il livello di apprendimento dei partecipanti a workshop e seminari. Rapporto finale 19 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” 4. Design del Programma L’analisi della logica e coerenza del disegno progettuale ha permesso di rilevare una scarsa correlazione tra le componenti del Programma: in particolare, gli obiettivi specifici (OS) non sono stati opportunamente correlati con i risultati attesi (RA), e questi ultimi con le rispettive attività. Inoltre, è stata riscontrata una scarsa univocità tra le informazioni esposte nel quadro logico (QL) e quelle contenute nel narrativo e negli altri documenti di progetto; per proseguire la valutazione è stato pertanto necessario ricostruire un nuovo quadro logico di riferimento che riflettesse in modo logico e coerente i legami, esplicitati e non, tra le diverse componenti. Il quadro logico rivisto11 (All. 4) è stato quindi utilizzato come base per tutte le analisi successive. 4.1 Obiettivo Generale vs Obiettivi Specifici Per quanto concerne il rapporto logico tra l’Obiettivo Generale e gli Obiettivi Specifici si è potuta osservare una coerente correlazione logica in relazione agli Obiettivi 1 e 5. La descrizione dell’obiettivo specifico 5 riportata nella tabella che segue è stata ricavata dal documento narrativo. Si è ritenuto infatti che l’OS5 così come formulato nel quadro logico originale - “Utilizzo delle più moderne tecniche di catalogazione del Patrimonio culturale, in condivisione con i paesi della regione” – non rappresentasse adeguatamente i risultati attesi identificati. In relazione agli altri obiettivi specifici, sono state rilevate talune limitanti. In particolare: - OS2: il rafforzamento dei legami di cooperazione con l’Italia di per sé non contribuisce al raggiungimento dell’obiettivo generale. Potrebbe contribuirvi se tale legame fosse finalizzato al rafforzamento delle istituzioni macedoni. Di conseguenza l’obiettivo specifico sarebbe riferito alle istituzioni macedoni di cui la collaborazione con l’Italia rappresenterebbe uno strumento propedeutico. In quest’ottica l’OS2 andrebbe meglio integrato con altri (3, 4 e 5) che già esprimono la stessa finalità. - OS3: non è presente nel QL del Programma ma indicato nel documento narrativo. È opinione dei valutatori che questo obiettivo specifico potesse essere incluso in altri obiettivi specifici (principalmente nel 4 e 5), risultando altrimenti ridondante. Come si analizzerà in seguito, la difficoltà di identificare risultati attesi legati a questo specifico obiettivo dimostra la sua incoerenza con la logica progettuale. - OS4: il riferimento ad aspetti agro-alimentari per uno sviluppo socio-economico, esulano dall’obiettivo generale della proposta. Introdurre una dimensione diversa, ancorché correlata ad aspetti culturali, non crea valore aggiunto all’iniziativa ma, al contrario, provoca una dispersione dell’aiuto. La revisione del quadro logico si è limitata all’individuazione della logica tra attività realizzate, risultati, obiettivi specifici e obiettivo generale. Non ha invece riguardato revisione della terminologia utilizzata nel documento originale. 11 20 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” La tabella che segue riassume gli obiettivi, generale e specifici, utilizzati durante la valutazione. Tabella 2. Obiettivo generale e obiettivi specifici OBIETTIVO GENERALE Favorire la completa attuazione degli accordi di Ohrid, con particolare riferimento al processo di decentramento amministrativo nei settori dei beni culturali e dell'educazione, alla protezione e valorizzazione del Patrimonio culturale e all'integrazione delle minoranza 1. Favorire il recupero, anche in termini di una loro valorizzazione economica e turistica, di alcune delle risorse storiche, artistiche e culturali più significative del Paese, in una prospettiva di sviluppo sostenibile del territorio che proceda a riqualificare e rendere maggiormente fruibili i siti di interesse turistico e i capolavori a rischio di degrado. 2. Il rafforzamento di legami di cooperazione con l'Italia e con gli Organismi locali operanti nei settori dei beni culturali e dell'educazione professionale stabilendo collaborazioni tecniche che coinvolgano con regolarità Centri di Eccellenza presenti nel nostro Paese per dare luogo a opportuni programmi di scambio e formazione rivolti alla controparte macedone OBIETTIVI SPECIFICI 3. Il sostegno ed il trasferimento di Know how alle istituzioni locali interessate ai fini di rendere sostenibile nel tempo l'assunzione di responsabilità e competenze da parte macedone nei settori oggetto dell'intervento italiano, con particolare riguardo al reperimento e all'ottimizzazione delle risorse indispensabili per la conduzione delle attività di pertinenza e alla promozione di queste ultime concordemente agli obiettivi sottostanti agli impegni di Ohrid 4. Contribuire al rafforzamento dell'integrazione fra le diverse componenti etniche della Macedonia, facilitando l'accesso all'educazione superiore per la minoranza albanese e sostenendo la diffusione di conoscenze funzionali allo sviluppo socio-economico del Paese (con particolare riguardo al settore agroalimentare). 5. Ampliare l'orizzonte delle collaborazioni tra i vari soggetti istituzionali e culturali/formativi presenti in Macedonia per consentirne l'aggiornamento internazionale e l'accesso alle tecniche settoriali e gestionali più moderne disponibili. Così come verrà in ogni modo promossa la condivisione tra gli operatori culturali dei risultati conseguiti e delle tipologie di problemi affrontati localmente nello svolgimento dei programmi omologhi con la creazione di un network informatico e di un primo nucleo di banca dati cui accedere. 4.2 Obiettivi Specifici vs Risultati Attesi Nell’analizzare la correlazione logica tra Obiettivi Specifici e Risultati Attesi sono emerse talune mancanze che hanno inciso negativamente sul disegno complessivo della proposta. Anche a questo livello sono state rilevate discrepanze tra il QL ed il testo del progetto. Nella tabella che segue i risultati attesi descritti nel narrativo ma non inseriti nel QL sono evidenziati in rosso, mentre i riferimenti tra parentesi (es. R3 QL) indicano l’ordine progressivo dei risultati così come formulati nel QL originale. Il quadro riassuntivo che segue è il risultato del lavoro di sintesi svolto dai valutatori nel tentativo di ricondurre i risultati attesi agli obiettivi specifici. Nello specifico è stato rilevato che: - L’OS1 non è stato adeguatamente declinato in risultati attesi congrui, ma espresso in un unico risultato che solo parzialmente ne esprime la portata. Tale limite si ripercuote, come vedremo, in modo diretto sulle attività. - I risultati attesi relativi all’OS5 mancavano completamente nel QL originale e sono stati recuperati dal narrativo del progetto. - In alcuni casi, i risultati attesi sono stati confusi con gli indicatori e viceversa. Rapporto finale 21 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” - La terminologia utilizzata per indicare obiettivi specifici, risultati, indicatori è inadeguata e genera ulteriore confusione. Tabella 3. Obiettivi specifici e risultati attesi OBIETTIVI SPECIFICI RISULTATI ATTESI 1) Favorire il recupero, anche in termini di una loro valorizzazione economica e turistica, di alcune delle risorse storiche, artistiche e culturali più significative del Paese, in una prospettiva di sviluppo sostenibile del territorio che proceda a riqualificare e rendere maggiormente fruibili i siti di interesse turistico e i capolavori a rischio di degrado. 1.1 Miglioramento delle capacità di restauro di opere d'arte contemporanea e manufatti archeologici (R3 QL) 2) Il rafforzamento di legami di cooperazione con l'Italia e con gli Organismi locali operanti nei settori dei beni culturali e dell'educazione professionale stabilendo collaborazioni tecniche che coinvolgano con regolarità Centri di Eccellenza presenti nel nostro Paese per dare luogo a opportuni programmi di scambio e formazione rivolti alla controparte macedone 2.1 Creazione di un centro multimediale presso la facoltà di filologia dell'Università dei SS. Cirillo e Metodio (Skopie) (R8 QL) 2.2 Incremento dell'offerta formativa nel campo del restauro dei beni culturali e dell'Economia dei Beni culturali (R2 QL) 2.3 Attivati rapporti di partenariato fra soggetti pubblici e/o privati macedoni e italiani, nei settori oggetto dell'intervento (R11 QL) 3) Il sostegno ed il trasferimento di Know how alle istituzioni locali interessate ai fini di rendere sostenibile nel tempo l'assunzione di responsabilità e competenze da parte macedone nei settori oggetto dell'intervento italiano, con particolare riguardo al reperimento e all'ottimizzazione delle risorse indispensabili per la conduzione delle attività di pertinenza e alla promozione di queste ultime concordemente agli obiettivi sottostanti agli impegni di Ohrid 3.1 Miglioramento delle capacità gestionali istituzioni culturali centrali e locali (R1 QL) delle 3.2 Avvio di politica turistica, governativa e locale, come strumento in grado di assicurare programmazione e opportunità economica ai comparti culturali e naturalistici (R6 QL) 3.3 Aumento dei finanziamenti e della partecipazione di soggetti privati alle attività culturali (R4 QL). 3.4 Creazione di connessione fra attori pubblici e privati operanti in campo turistico (R7 QL) 4) Contribuire al rafforzamento dell'integrazione fra le diverse componenti etniche della Macedonia, facilitando l'accesso all'educazione superiore per la minoranza albanese e sostenendo la diffusione di conoscenze funzionali allo sviluppo socioeconomico del Paese (con particolare riguardo al settore agroalimentare). 4.1 Alloggiamento del Politecnico di Tetovo presso una nuova struttura appositamente riabilitata (R9 QL) 5) Sarà infine cura del progetto ampliare l'orizzonte delle collaborazioni tra i vari soggetti istituzionali e culturali/formativi presenti in Macedonia per consentirne l'aggiornamento internazionale e l'accesso alle tecniche settoriali e gestionali più moderne disponibili. Così come verrà in ogni modo promossa la condivisione tra gli operatori culturali dei risultati conseguiti e delle tipologie di problemi affrontati localmente nello svolgimento dei programmi omologhi con la creazione di un network informatico e di un primo nucleo di banca dati cui accedere. 5.1 Organizzare il centro di catalogazione digitale del Patrimonio Culturale. (R5 QL). 22 4.2 Revisione dell'offerta formativa Politecnico di Tetovo dipartimento di biotecnologie, e suo adeguamento alle esigenze del settore agroalimentare (R10 QL). 4.3 Migliorati i livelli di qualità e sicurezza della produzione agroalimentare macedone connessa alle attività del Politecnico di Tetovo (R12 QL) 5.2 Rafforzare le capacità degli esperti e dei tecnici locali nel settore della digitalizzazione del Patrimonio culturale (non dettagliato nel QL). 5.3 Costituire un Gruppo di Rappresentanti nazionali degli Stati del Sud-Est europeo nell'ambito della digitalizzazione del Patrimonio culturale (non dettagliato nel QL) Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” 4 . 3 Risultati Attesi vs Attività 12 La mancanza di un QL coerentemente e logicamente costruito e la non corrispondenza tra quest’ultimo e la proposta di progetto ha causato, a livello di attività, notevoli discrepanze sia in riferimento ai risultati attesi che alle attività previste e poi effettivamente realizzate. In particolare, sono stati riscontrati tre principali ordini di problemi: 1. Limitata coincidenza tra attività previste e realizzate. Alcune attività previste non sono state implementate, e viceversa; 2. Non sempre le attività sono state riferite a corrispondenti risultati attesi; 3. Non sempre i risultati attesi sono stati opportunamente declinati in specifiche attività ad essi logicamente correlate. Con riferimento alla limitata coincidenza tra attività previste e realizzate risulta opportuno sottolineare come i ritardi intercorsi tra la presentazione della proposta di progetto e la sua effettiva approvazione e conseguente finanziamento, abbiamo costretto IMG ad adeguare la proposta alle mutate condizioni del Paese oggetto dell’intervento. Ciononostante, il Quadro Logico della proposta circa la portata delle attività, dei risultati ed i rispettivi indicatori non è mai stato aggiornato. 4.4 Indicatori e precondizioni Gli indicatori inseriti nel QL non sempre sono apparsi appropriati e adeguatamente formulati. In particolare: - È stata riscontrata un’importante confusione sia tra gli indicatori e i risultati, spesso utilizzati in modo intercambiabile, sia nella definizione degli indicatori di outputs (risultato) e di outcomes (obiettivi); - Gli indicatori proposti non sono stati formulati in modo SMART13; pertanto, durante la valutazione, si è dovuto procedere alla ridefinizione degli stessi per quanto possibile; - Non essendo stato condotto nessuno studio di fattibilità anteriore al Programma che prevedesse la creazione di baseline iniziali e non essendoci registri/dati ufficiali presso le istituzioni beneficiarie del Programma, non è stato possibile realizzare un confronto quantitativo oggettivo tra il prima ed il dopo. Pertanto, per permettere un’adeguata valutazione dell’iniziativa sono stati introdotti altri indicatori qualitativi e quantitativi, come ad esempio: INDICATORI DI EFFICACIA (relativi agli OS) - Aumento del numero di visitatori annui - Aumento del numero di oggetti d’arte conservati e restaurati - Aumento del numero di manifestazioni realizzate - Aumento del numero di reperti archeologici conservati e restaurati - Aumento del numero dei servizi offerti - Aumento del numero di attività private presso i musei/siti archeologici - Aumento dei flussi turistici nella zona di intervento - Aumento della domanda di iscrizioni ai corsi di lingua italiana - Aumento degli iscritti al politecnico di Tetovo 12 13 Per l’elenco delle attività previste e realizzate si veda l’allegato 4 Quadro Logico rivisto. Specific, Measurable, Achievable, Relevant, Time Phased Rapporto finale 23 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” - Aumento di prodotti latto-caseari controllati e certificati - Aumento del senso di ownership dei principali stakholders circa la valorizzazione del patrimonio culturale e il decentramento amministrativo. - Raggiungimento del livello 3 di apprendimento (trasferimento) dei beneficiari dei corsi. INDICATORI DI IMPATTO (relativi all’OG) - Incremento del livello di ownership delle istituzioni partner (Ministero della Cultura, Ministero per il decentramento Amministrativo, Ministero dell’Educazione) con riferimento al decentramento amministrativo e alla valorizzazione del patrimonio culturale; - Aumento delle attività produttive e dei servizi nelle zone oggetto degli interventi per effetto dell’incremento dei turisti; - Aumento delle potenzialità produttive e dei servizi nelle zone oggetto degli interventi per effetto dello sviluppo del decentramento amministrativo; - Aumento degli sbocchi professionali e occupazionali per le minoranze; - Raggiungimento del livello 4 di apprendimento (risultato) dei beneficiari dei corsi di formazione, in cui i nuovi comportamenti adottati dalle persone formate nei corsi hanno conseguenze dirette sulle comunità di appartenenza. Tra le PRECONDIZIONI evidenziate nel QL con riferimento agli obiettivi specifici, l’accento è stato posto solamente sul rapporto tra IMG ed i principali stakeholder. Nel dettaglio si fa riferimento a: - Disponibilità delle istituzioni coinvolte a partecipare attivamente alle attività proposte; - Conferma del Dipartimento del Turismo nel ruolo di Focal Point per lo sviluppo delle strategie turistiche; - Conferma dell’impegno politico macedone per l’attuazione del processo di decentramento; - Efficiente rispondenza delle istituzioni centrali e locali coinvolte; - Stretto coordinamento tra IMG, DGCS, Ambasciata d’Italia locale e rilevanti istituzioni macedoni. Manca invece l’analisi dei rischi derivanti dal turnover dei partners per ragioni politiche e la predisposizione di un adeguato piano di mitigazione degli stessi. Infatti, quando i partners principali di un programma sono rappresentanti da Ministeri (nel caso dell’iniziativa in oggetto, Cultura, Autorità Locali e Educazione) e da istituzioni pubbliche, in un Paese non ancora stabilizzato, è necessario prendere in considerazione il fatto che i cambi di governo possano avere ripercussioni a tutti i livelli. Se questo non viene opportunamente previsto e se non viene predisposto per tempo un Piano di Mitigazione corrispettivo, l’efficacia e, più in generale, l’impatto del programma saranno inevitabilmente limitati. 24 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” 4.5 Altri elementi del progetto È importante sottolineare che la confusione generata dall’assenza di un disegno di progetto logico e coerente si è riflessa anche in altri strumenti essenziali della proposta di progetto, quali il cronogramma e il budget; infatti è stata riscontrata una limitata coerenza tra le attività indicate nel quadro logico, quelle utilizzate nel cronogramma e quelle indicate nel budget. Questi ultimi strumenti sono stati realizzati sulla base di sette grandi aree14 che coincidono solo parzialmente con le attività e i risultati attesi indicati nel quadro logico e/o nella proposta di progetto. Come vedremo in seguito, questo ha limitato fortemente le possibilità di realizzare una valutazione in profondità dell’efficienza e dell’efficacia dell’iniziativa. Infine, la divisione tra componente “Hardware” e “Software” non ha fatto altro che creare un ulteriore livello di separazione tra le attività e i risultati. Concludendo, si è riscontrato che il Programma non è stato costruito con una logica ed una coerenza interne adeguate e che gli strumenti adottati (QL, proposta progettuale e allegati) non sono stati né elaborati congruentemente né aggiornati con il mutare delle condizioni esterne. Le principali conseguenze sono state una mancanza di univocità nei rendiconti narrativi di progetto (Status Reports, Final Report etc.) e, come analizzeremo in seguito, una riduzione dell’efficienza e dell’efficacia dell’iniziativa. 14 Laboratorio di Biotecnologie, MIMEC, MoCA, RECEDIG, Siti Archeologici, Assistenza tecnica e Grants alle municipalità. Rapporto finale 25 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” 5. Verifica della realizzazione Il Programma “Pilot Activities for Education and Culture” è stato avviato in data 1/11/2006 e il termine per la conclusione delle attività era inizialmente stato stabilito in 18 mesi, ovvero al 30/04/2008. La componente UNESCO, invece, avviata il 22/06/2007 con 8 mesi di ritardo rispetto al cronogramma iniziale, a causa del mancato trasferimento dei fondi da IMG a UNESCO, avrebbe dovuto concludersi anch’essa al 30/04/2008 (riducendone di fatto la durata da 18 a 10 mesi). Una serie di ritardi nell’implementazione delle attività, come vedremo in seguito, ha determinato il continuo rinvio della data di conclusione delle attività, sancito dall’approvazione di due richieste di estensione non-onerosa a IMG, e di una terza presentata direttamente da UNESCO e ad essa approvata dalla DGCS (Ufficio III). La quarta estensione presentata da IMG in data 02/12/09 non è invece stata approvata dalla DGCS; tuttavia, il ritardo della DGCS nell’inviare la comunicazione riguardante la mancata approvazione (comunicazione avvenuta in data 21/06/2010), la necessità di concludere le attività già avviate, il fatto che un’estensione fino al 31/12/10 fosse già stata approvata ad UNESCO e un apparente nulla osta informale dell’Ambasciata d’Italia a Skopje hanno fatto desumere a IMG di poter continuare l’implementazione delle restanti attività fino al 31/12/2010 (All. 8 Cronogramma estensioni). A tal proposito si è osservata una difficoltà e una mancanza di chiarezza nel flusso delle comunicazioni tra donatore ed Ente Esecutore e tra quest’ultimo ed il Partner UNESCO-BRESCE. IMG ha sottolineato che durante lo svolgimento del Programma i contatti e le decisioni erano prese di concerto con l’UTL e l’Ambasciata italiana a Skopje. Questi ultimi si interfacciavano poi con gli uffici centrali della DGCS per la formalizzazione di quanto già discusso e concordato a livello locale. In tale ottica trovano spiegazione due episodi diversi ancorché correlati: 1. In occasione della seconda richiesta di estensione (trasmessa in data 28/10/2008) da parte di IMG, la DGCS ha formalmente dato la sua approvazione a Programma già concluso; infatti, la conclusione naturale delle attività era prevista per il 30/11/2008 mentre l’approvazione della proroga non onerosa da parte della DGCS è arrivata solo il 12/12/2008. Tale fatto fa presupporre che IMG, non avendo interrotto le attività del programma, si fidasse dell’informale consenso ricevuto in loco dalla Rappresentanza diplomatica italiana. 2. Alla luce di tale precedente si spiegherebbe anche il motivo della continuazione delle attività da parte di IMG oltre il termine ultimo previsto a seguito dell’approvazione della seconda proroga e quindi fissato al 30/12/2009. Infatti, IMG in data 2/12/2009 ha presentato richiesta per una terza proroga non onerosa di ulteriori dodici mesi. Benché la DGCS alla data del 30/12/2009 non avesse ancora dato formale approvazione della stessa, le rassicurazioni ottenute dall’Ambasciata italiana in Macedonia e l’esperienza dei tempi della seconda estensione sono apparse a IMG elementi sufficienti per considerarla informalmente approvata. A ciò si aggiunga che UNESCOBRESCE aveva in data 9/2/2010 ottenuto una proroga fino al 30/12/2010. 26 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” Quest’ultimo fatto, secondo i valutatori, ha contribuito ulteriormente a complicare la gestione del Programma. Infatti, il programma è stato finanziato direttamente dalla DGCS a IMG, la quale ha poi firmato un accordo con UNESCO-BRESCE per la realizzazione di alcune attività già previste nella proposta originale. Di conseguenza, tutte le richieste, sia in termini economici sia temporali o sostanziali, di UNESCO-BRESCE avrebbero dovuto essere indirizzate a IMG e non direttamente alla DGCS, se non diversamente sancito negli accordi tra le parti. La richiesta di estensione non-onerosa indirizzata in data 27/10/2009 direttamente da UNESCO-BRESCE all’Ambasciata italiana a Skopje e da quest’ultima trasmessa alla DGCS, ha quindi interrotto il normale flusso delle comunicazioni. A ciò si aggiunga che la DGCS ha approvato tale estensione di UNESCO e bocciato, a distanza di oltre di 4 mesi, quella di IMG, di fatto creando ulteriore dicotomia tra l’intervento di UNESCO-BRESCE e quello di IMG. Per quanto concerne le attività vere e proprie, la maggior parte di esse può dirsi conclusa al 31/12/2008 con la sola eccezione delle attività di formazione del personale del RECEDIG (UNESCO), la cui implementazione è stata rallentata dal mancato supporto da parte del MoC nell’istituzione di una struttura direttiva e gestionale del centro, nella selezione del personale da impiegarvi, nella definizione di una strategia nazionale per la digitalizzazione del patrimonio culturale e nell’attivazione di un primo programma di attività operative. Nel 2009 IMG ha portato a termine i progetti finanziati alle municipalità di Tearce, Chair, e Tetovo e realizzato la prima edizione dell’evento “Rediscovery the Route of Culture”, mentre nel 2010 sostanzialmente non ha realizzato altre attività se non la seconda edizione di quest’ultimo evento. L’allegato 7 Cronogramma finale delle attività, mostra gli scostamenti delle singole attività rispetto al cronogramma originale presentato da IMG nella proposta di progetto, ricostruite in base alle limitate e talvolta contraddittorie informazioni contenute nei documenti di progetto e tenendo presente che le attività riportate nel cronogramma trovano solo limitata corrispondenza con quanto descritto nel quadro logico. Rapporto finale 27 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” 6. Risultati 6.1 Pertinenza/Rilevanza IMG nel 2001 ha firmato con la Repubblica di Macedonia un accordo di collaborazione che prevedeva: - Raccolta, elaborazione e disseminazione di informazioni circa lo stato di avanzamento delle attività e delle azioni intraprese con il programma “Damage Assesment and Management Reconstruction of Republic of Macedonia”; - Identificazione di aree prioritarie per futuri studi di fattibilità; - Valutazioni e Studi sulle necessità di base della popolazione con particolare riferimento agli sfollati e agli sfollati reinsediati; - Identificazione di programmi e progetti e loro conseguente sottomissione a potenziali finanziatori. - Implementazione di progetti per conto dei finanziatori. Nel 2004 è stato firmato un accordo quadro tra IMG e il Ministero degli Affari esteri della Repubblica Italiana, Direzione Generale per la Cooperazione allo Sviluppo (DGCS) con l’obiettivo principale di rafforzare il dialogo tra il MAE-DGCS e IMG sulle strategie di sviluppo e di cooperazione internazionale al fine di rendere più efficace e produttiva la collaborazione tra le due parti attraverso sia l’integrazione che l’espansione delle aree di collaborazione già esistenti, nonché per svilupparne delle nuove. All’interno di queste collaborazioni istituzionali, IMG e l’Unità Tecnica Centrale della DGCS nel 2004 hanno portato a termine uno studio dei bisogni in ambito educativo, culturale e di rappresentatività delle minoranze che si ritiene sia stato in linea con le necessità del luogo e con quanto previsto nei principali accordi Nazionali e Internazionali. La scelta delle aree di intervento risulta pertinente e tale da garantire un approccio al settore di ampio raggio: ricostruzione di siti storici e archeologici rilevanti per il rilancio del patrimonio culturale macedone, formazione professionale e gestionale a più livelli, incentivazione del decentramento amministrativo, digitalizzazione del patrimonio culturale, sostegno allo sviluppo educativo della minoranza albanese. Inoltre, si valuta in modo positivo l’aver voluto investire sia sulla componente “hardware” (costruzioni, ristrutturazioni e dotazioni) che “software” (formazione professionale a più livelli). La proposta progettuale realizzata da IMG ben si situa nel contesto legislativo e di sviluppo nazionale. Negli Accordi di Ohrid sottoscritti nel 2001 si è sottolineata l’importanza della multi-etnicità della Repubblica di Macedonia. Per preservare e rafforzare pacificamente tale caratteristica nazionale sono state identificate azioni prioritarie volte sia a garantire una equa rappresentazione delle minoranze, anche attraverso un rinnovamento della concezione culturale ed educativa, che un adeguato decentramento amministrativo a più livelli. Inoltre la designazione della Macedonia a candidata per l’entrata nell’Unione Europea ottenuta nel Dicembre del 2005 ha implicitamente dato atto al Paese del raggiungimento degli obiettivi in diversi settori strategici, aprendo la strada a una prospettiva di 28 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” sviluppo più strutturata e coerente15. Il National Development Strategy, adottato dalla Macedonia tra il 2007 ed il 2009, tra le dimensioni di sviluppo nazionale aveva previsto anche piani di sviluppo legati al patrimonio culturale e turistico, ed al decentramento amministrativo. Da un punto di vista educativo nel 2004 venne redatto il Programme for the development of education in the Republic of Macedonia 2005 – 2015 che relativamente all’educazione superiore si prefigge tra le altre cose di garantire l'accesso a tutti gli istituti di istruzione superiore per quanti desiderino essere educati, di sviluppare ed aumentare il numero di Università con l'obiettivo di rendere la formazione superiore a disposizione di tutti i gruppi vulnerabili di giovani e adulti (gruppi etnici, poveri, persone geograficamente isolate) e di favorire l’integrazione di tutte le Università Nazionali con quanto previsto dal “Processo di Bologna”. In ambito culturale, Il principale riferimento normativo è rappresentato dalla Legge sulla Cultura (1998), che rappresenta un punto d’unione per la cultura macedone garantendo, tra le altre cose, l’introduzione di un concetto civile di cultura, uno status paritario per entità pubbliche e private operanti nel settore culturale, l’introduzione di un sistema decentralizzato per la cultura ed il finanziamento di attività nell’interesse nazionale. Sulle basi poste con questa legge è stato realizzato nel 2010 il nuovo draft della Legge sulla Realizzazione Culturale che enfatizza ulteriormente il ruolo della cultura come “interesse comune” dei cittadini della repubblica di Macedonia e di conseguenza la necessità di un suo costante processo attuativo. Tale riferimento è stato riproposto in questa sede per dare atto di come la strategia intrapresa nei primi anni 2000 risulti ancora pertinente e prioritaria rispetto al contesto. Prima dell’adozione del Programma Nazionale per la Cultura (2004) sono entrate in vigore altre leggi che, recependo sia quanto stabilito dagli accordi di Ohrid che dalla Legge sulla Cultura hanno contribuito a tracciare ulteriormente il percorso di sviluppo culturale del Paese. Nel 2002 la Legge sulle Autonomie Locali ha dato alle municipalità una maggiore indipendenza nel campo culturale, nel 2003 con la Decision on the Network of National Institution in the field of Culture è iniziato il processo di decentralizzazione riducendo da 115 a 51 il numero delle istituzioni “nazionali” e ri-allocando le competenze e responsabilità in ambito culturale. Il Programma Nazionale per la Cultura in vigore dal 2004 al 2008 - poi ripreso in quello del 2012-2017 prevedeva, tra gli altri, i seguenti obiettivi strategici principali: 16 - Decentralizzazione - Sviluppo - Protezione e ri-creazione del patrimonio culturale - Creatività con speciale attenzione ai giovani - “cultural management” - Promozione dell’identità culturale delle comunità - Cooperazione con NGO - Cooperazione internazionale regionale. Infine, vale la pena fare riferimento alla legge del 2004 ratificata nel 2007 Legge sulla Protezione del Patrimonio Culturale che ha posto le basi per raggiungere gli standard europei in ambito di patrimonio culturale. Communication from the commission to the european parliament and the council. Enlargement strategy and main challenges 2006 – 2007. 16 Al termine del Programma 2004-2008 non ha fatto immediatamente seguito una revisione/ampliamento dello stesso per gli anni 20082012. 15 Rapporto finale 29 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” I riferimenti normativi riportati offrono uno scenario ben definito delle priorità e strategie nazionali che la Repubblica di Macedonia ha adottato fina dai primi anni duemila. Tale piano strategico in ambito culturale, nonostante diversi avvicendamenti di governo del Paese, risulta ancora oggi attuale e riflesso nelle nuove priorità nazionali evidenziate nel 2011 ed esposte nella bozza della Nuova Strategia Nazionale per la Cultura (2012-2017). Anche a livello europeo nel 2003 venne lanciato il “Programma Regionale sul Patrimonio Naturale e Culturale nel Sud Est Europa (RPSEE)” in Albania, Bosnia-Erzegovina, Bulgaria, Croazia, Montenegro, Romania, Serbia, Macedonia e Kosovo. Le tre componenti principali: rafforzamento delle capacità istituzionali, riabilitazione del patrimonio culturale e sviluppo locale, erano state pensate per offrire un contributo alla pace e alla riconciliazione in un delicato momento di transizione politica, giuridica, economica e sociale. Più di recente, nel 2012, con il documento redatto dall’Unione Europea circa le conclusioni avanzate sul raggiungimento degli Obiettivi stabiliti per il progressivo ingresso in Europa17 della Macedonia, si rende evidenza dei progressi fatti nel campo della cultura e del riconoscimento dei diritti delle minoranze in prospettiva del raggiungimento dei benchmarks comunitari 2020 su “Education and Training”18, reiterando la sussistenza delle condizioni per aprire i negoziati con l’Unione19. La proposta risulta coerente con gli Obiettivi della Repubblica di Macedonia sia inerenti l’ambito culturale che lo sviluppo nazionale secondo quanto sancito con gli Accordi di Ohrid e con gli Obiettivi della Comunità Europea per il Paese e per la più ampia regione di riferimento. È opinione dei valutatori che IMG e la DGCS abbiano saputo cogliere tali aspetti prioritari del contesto locale anche in una prospettiva strategica di più ampio raggio rispetto alle tempistiche del Programma. L’OBIETTIVO GENERALE “Favorire la completa attuazione degli accordi di Ohrid, con particolare riferimento al processo di decentramento amministrativo nei settori dei beni culturali e dell'educazione, alla protezione e valorizzazione del Patrimonio culturale e all'integrazione delle minoranze” riflette adeguatamente le priorità strategiche macedoni identificando un settore di intervento (culturale, educativo) sufficientemente ampio per essere incisivo nel processo di sviluppo nazionale. Si rilevano, invece, talune mancanze nella definizione degli obiettivi specifici, come approfondito nel capitolo sull’analisi del QL. Il Programma è stato parzialmente in grado di creare sinergie con gli interventi dei principali attori operanti nel settore culturale ed educativo locale. L’intervento di digitalizzazione del patrimonio culturale affidato all’Unesco-Bresce si colloca nel contesto dell’iniziativa che la Banca Mondiale ha portato avanti nel Paese tra il 2001 ed il 2005 insieme al Ministero della Cultura e finalizzato alla creazione di un centro nazionale di Digitalizzazione del Patrimonio Culturale supportato da 6 unità decentralizzate. Gli interventi effettuati presso i 3 siti archeologici hanno anch’essi partecipato ad un più ampio effetto sinergico (principalmente i siti di Stobi ed Heraclea) favorito dai finanziamenti stanziati dal “U.S. Ambassadors Fund for Cultural Preservation (AFCP)”, dal Regional Programme on Cultural and Natural Heritage in South East Europe (RPSEE) e dai fondi “Instrument for Pre-accession Assistance (IPA)”. Communication from the Commission to the European Parliament and the Council "Enlargement Strategy and Main Challenges 2012-2013", COM(2012)600 final. 18 Council conclusions of 12 May 2009 on a strategic framework for European cooperation in education and training ("ET 2020") 19 Communication from the Commission to the European Parliament and the Council. Enlargement Strategy and Main Challenges 2012-2013. 17 30 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” Tuttavia un maggior coordinamento con le altre iniziative in essere o in previsione per il settore culturale macedone, ne avrebbe ulteriormente favorito lo sviluppo. 6.2 Efficienza Per quanto concerne l’analisi dell’efficienza, occorre anzitutto evidenziare alcune limitazioni che ne hanno impedito una valutazione approfondita: 1. Le difficoltà nella ricostruzione del quadro logico e continui cambiamenti del budget di riferimento. Come precedentemente analizzato, la mancanza di una logica di progetto, la confusione tra risultati e indicatori, l’impossibilità di ricondurre talune attività realizzate ad un risultato atteso preciso e l’assenza di aggiornamenti al mutare delle condizioni esterne, hanno di fatto reso impossibile una valutazione approfondita dell’efficienza del Programma intesa come misurazione quali-quantitativa dei risultati raggiunti in virtù degli input a disposizione. Pertanto l’analisi dell’efficienza è stata limitata alle sole attività realizzate (o di cui i valutatori hanno trovato traccia), mentre le conseguenze delle attività non realizzate e relativi risultati sono state maggiormente approfondite nel paragrafo relativo all’efficacia. 2. L’assenza di valutazioni intermedie e/o finale antecedenti. La misurazione dell’efficienza di un programma a tre anni dalla conclusione dello stesso e senza che sia stata realizzata alcuna valutazione finale rende complesso il confronto in termini di convenienza di diverse alternative. 3. La mancanza di documenti dettagliati sulle spese effettuate. Nonostante le richieste, IMG non ha fornito la documentazione necessaria per verificare l’efficienza delle spese in dettaglio, ritenendo che tali verifiche potessero essere fatte solo da auditors autorizzati. Pertanto per la valutazione dell’efficienza ci si è basati sui rapporti finanziari, intermedio e finale, e sulla documentazione parziale riguardante le procedure acquisti. Per quanto analizzabile, il Programma è risultato limitatamente efficiente in termini di costi. L’eccessiva dispersione, sia in termini geografici sia in relazione al numero delle attività, e la parzialità degli interventi realizzati sono considerati i due limiti principali all’efficienza. Per quanto riguarda la dispersione degli interventi, il Programma si compone di quattro macrointerventi di costruzione/riabilitazione, tre attività di valorizzazione in tre diversi siti archeologici, cinque interventi di costruzione/riabilitazione a livello di municipalità, quattro finanziamenti minori in altrettante municipalità, una serie di workshop, seminari nazionali e internazionali e altre attività di collaborazione con università; il tutto senza che ci sia una chiara e logica relazione tra attività, risultati e obiettivi. A livello geografico inoltre, è opinione dei valutatori che una maggiore concentrazione delle attività in un numero limitato di municipalità avrebbe permesso di ottimizzare le risorse umane e finanziarie a disposizione del Programma. Nella cartina che segue sono state evidenziate le municipalità coinvolte nel Programma 20 21 . Gli interventi principali si sono concentrati sulla municipalità di Skopje (MIMEC, RECEDIG, MoCA, Route of Culture e Scupi), Negotino (Stobi e Museo del Vino), Bitola (Heraclea) e Tetovo (Laboratorio di biotecnologie). La municipalità di Chair è parte dell’area 1 – Skopje. Non essendo stato fornito da IMG alcun rendiconto dettagliato per singola attività, i valori di taluni interventi sono indicativi (es. i siti archeologici) in quanto ricavati dalle sole procedure di acquisto allegate ai report. 20 21 Rapporto finale 31 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” Figura 2. Municipalità coinvolte nel Programma e relativi interventi MIMEC: 453.693,47 ! MOCA: 349.104,40 ! RECEDIG: 299.543,12 ! SCUPI: 150.000 ! CHAIR: 9.000 ! Tearce: 19.524 ! Training e assistenza tecnica: 303.359,18 ! Sveti Nikole: 2.234,18 ! Kocani: 30.169,37 ! Tetovo: 2.971,00 ! Laboratorio Biotecnologie: 271.912.59 ! Berovo: 38.838,95 ! Heraclea 155.000,00 ! Negotino: 71.154! Stobi: 180.000 ! Strumica: 41,230.79 ! Per quanto concerne invece la parzialità degli interventi, si ritiene che molte attività realizzate abbiano contribuito solo in parte al raggiungimento dei risultati attesi formulati. Inoltre, talune attività non sono sembrate parte di una strategia univoca, ma piuttosto attività spot, pianificate ed implementate senza considerare la loro reale partecipazione al disegno del progetto (es. seminario sul bilinguismo nelle amministrazioni pubbliche affidato alla Ong locale Toleranca, o la fornitura di strumenti musicali alla banda della Municipalità di Chair). Si valuta, invece, positivamente l’insieme di procedure adottate da IMG per il procurement. Dai documenti che i valutatori hanno potuto consultare, si evince una buona trasparenza in fase di assegnazione dei contratti, che sono apparsi seguire passaggi ben definiti, standardizzati e tradotti in adeguati strumenti di supporto. Le visite dirette e le interviste qualitative organizzate durante la missione in loco hanno permesso di evidenziare le seguenti criticità relativamente alle diverse componenti del Programma. - 32 MUSEO D’ARTE CONTEMPORANEA. Le attività di riabilitazione del MoCA hanno riguardato la riabilitazione di parte della superficie del tetto, delle vetrate e la rampa di accesso al primo piano e portato alla riapertura del salone espositivo dopo anni di chiusura. Tuttavia, gli interventi riabilitativi realizzati da IMG attraverso un’impresa locale sono apparsi limitatamente efficienti se si considera che l’attuale Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” Direttrice del MoCA (nominata solo nel 2008, quindi a lavori praticamente conclusi) ha affermato di aver dovuto sostenere costi per un’ulteriore riabilitazione straordinaria, a un anno di distanza dalla conclusione dei lavori, (All. 12 documentazione fotografica) a causa di infiltrazioni dal tetto e dello slittamento di vetrate in precedenza non fissate adeguatamente. Inoltre, la visita al museo ha permesso di osservare l’eccessiva pendenza della rampa di accesso al piano superiore dell’area espositiva che limita, anziché favorire, l’accesso a persone anziane o con mobilità ridotta. Altri interventi strutturali, quali l’illuminazione interna e telecamere di sicurezza sono, a detta della direttrice del MoCA, inadeguati a valorizzare e proteggere le opere esposte; in particolare, il numero di telecamere installate da IMG (due) non è sufficiente a rispondere ai bisogni di messa in sicurezza del museo e delle collezioni ivi conservate. Per contro, IMG ha voluto precisare che tale intervento non poteva essere svolto altrimenti sia in quanto il Museo era soggetto a particolari vincoli architettonici, sia per l’urgenza dell’intervento sia per preservare il disegno originale della struttura. Inoltre IMG ha sottolineato che la struttura del MoCa necessita di una costante manutenzione che la Direzione del Museo non effettua. - SITI ARCHEOLOGICI. I tre siti archeologici selezionati per l’implementazione dell’iniziativa sono indubbiamente siti di eccezionale importanza archeologica per il Paese, tuttavia una maggiore concentrazione di risorse su uno/due siti avrebbe contribuito maggiormente alla gestione efficiente dei fondi, e alla valorizzazione economica e turistica delle risorse, nonché avrebbe permesso di realizzare un intervento, come vedremo in seguito, maggiormente sostenibile date le limitate risorse a disposizione del MoC o delle Istituzioni Nazionali. Le attività realizzate (recinzione, allestimento telecamere e monitor di sicurezza, illuminazione e collocamento di pannelli esplicativi) hanno solo in parte contribuito alla valorizzazione del patrimonio culturale intesa come promozione della conoscenza del patrimonio nazionale e creazione delle migliori condizioni di utilizzazione e fruizione del patrimonio ad ogni tipo di pubblico, al fine di incentivare lo sviluppo della cultura. - CENTRO MULTIMEDIALE ITALO-MACEDONE. Attualmente il centro è funzionante, ed è il punto di riferimento per gli studenti (circa 270) e i docenti del dipartimento di Lingua e Letteratura Italiana. Il personale ivi occupato, una decina di persone, è stipendiato direttamente dalla Facoltà di Filologia. Tuttavia, la visita al centro ha permesso di evidenziare talune criticità in termini di efficienza, legate in particolare al disegno della struttura ed ai materiali utilizzati. Per quanto riguarda il primo aspetto: al piano rialzato il pavimento è stato realizzato con una pendenza tale da rendere inutilizzabile circa il 30% della superficie, e il numero limitato di finestre realizzate (solo 2 in tutto il complesso) crea problemi di areazione soprattutto nei mesi estivi. Relativamente ai materiali utilizzati, i fruitori del centro hanno rilevato che tutta la struttura è stata realizzata quasi completamente in vetro e metallo, materiali considerati inadatti sia a causa delle temperature raggiunte nei mesi invernali ed estivi che per i problemi di insonorizzazione ad essi collegati. Nei mesi invernali per scaldare gli ambienti è necessario fare ampio uso del riscaldamento, per contro nei mesi estivi è indispensabile l’utilizzo continuo dei condizionatori d’aria; il personale intervistato ha tenuto a sottolineare che, nel vecchio edificio costruito negli anni ‘70 con spessi muri di cemento armato, questo non si verifica. Su questi aspetti tecnici, IMG ha sottolineato che il loro approccio era volto a creare un edificio che fosse tecnologicamente innovativo rispetto alle tipiche costruzioni in cemento armato e che i costi di manutenzione sono facilmente assorbibili da un’istituzione grande quale l’Università Santi Cirillo e Metodio. Inoltre, dalle informazioni in possesso dei valutatori, i costi sostenuti per la progettazione, la direzione lavori e coordinamento del MIMEC, sono apparsi eccessivi (131.500!) e poco giustificati se paragonati ai costi dichiarati per le stesse attività in relazione ad altri risultati (es. i costi di progettazione per il laboratorio di biotecnologie di Tetovo sono pari 12.700!). Rapporto finale 33 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” - LABORATORIO DI BIOTECNOLOGIE. La proposta originale di progetto prevedeva la riabilitazione dell’edificio destinato ad ospitare il College di Biotecnologie. Tuttavia, poiché l’Università di Tetovo aveva nel frattempo proceduto a riabilitare i locali necessari, IMG di concerto con la controparte macedone, ha spostato il focus dell’intervento sul Laboratorio di Biotecnologie. Il laboratorio è stato quindi costruito nel 2008 su un terreno adiacente quello che al tempo era la facoltà di Biotecnologie. Ad oggi però il laboratorio, come edificio, risulta essere inutilizzato e in stato di abbandono, in quanto l’Università di Tetovo è stata spostata completamente in un edificio appositamente costruito, mentre l’equipaggiamento è stato spostato a Gostivar (20km da Tetovo) insieme alla sede stessa della Facoltà di Biotecnologie. Tale fatto, avvenuto a due anni di distanza dalla chiusura del progetto, può essere in parte ascrivibile sia ai cambi dei vertici dell’Ateneo (Rettore e Presidi) sia ad una nuova normativa entrata in vigore dopo la chiusura del Progetto, che prevedeva la riallocazione delle Facoltà dell’Università di Tetovo in diverse città. - MUNICIPALITÀ. È opinione dei valutatori che i grants alle Municipalità abbiano solo in parte stimolato la creazione di politiche turistiche locali. Anche in questo caso, una maggiore concentrazione degli sforzi e un maggiore coinvolgimento del ministero dell’economia, e in particolare del dipartimento del turismo, avrebbe portato a scegliere con maggiore accuratezza gli interventi, limitandosi a quelli che concretamente avevano potenzialità turistiche. Inoltre, dalla documentazione di progetto e dalle interviste con i principali stakeholder non è stato possibile definire il processo che ha portato alla selezione delle Municipalità beneficiarie. - CENTRO PER LA DIGITALIZZAZIONE DEL PATRIMONIO CULTURALE. La visita al centro ha permesso di osservare la buona qualità dell’intervento strutturale realizzato da IMG e le funzionali condizioni della strumentazione acquistata da UNESCO. Tuttavia, sono stati riscontrati alcuni fattori che influenzano negativamente l’efficienza dell’intervento. In particolare: La connessione VPN per il collegamento tra il RECEDIG e le altre istituzioni culturali è risultata, dopo la conclusione del programma, eccessivamente gravosa (8.000$/mese) sul budget a disposizione del centro. Di conseguenza, il contratto è stato rescisso e al momento la trasmissione dei dati tra le varie istituzioni avviene o in modo estremamente farraginoso o non avviene del tutto. Il centro seppur funzionante a livello macedone, non è diventato l’istituzione di riferimento per la digitalizzazione del patrimonio culturale a livello regionale come UNESCO originariamente si prefiggeva. Solo successivamente all’avvio del Programma, UNESCO si è resa conto che le capacità e gli standard utilizzati dai diversi Paesi dell’area balcanica in materia di digitalizzazione del patrimonio culturale differivano in modo tale da rendere impossibile la creazione di un centro regionale. Inoltre, la Macedonia non aveva di fatto alcuna esperienza nel settore, pertanto è mancata al centro quella necessaria credibilità internazionale che gli permettesse di svolgere il ruolo di pivot regionale previsto da UNESCO. - FORMAZIONE. La componente di formazione e assistenza tecnica è stata valutata poco efficiente per le seguenti considerazioni: 1) L’organizzazione di seminari, tavole rotonde e conferenze, con la partecipazione di esperti di diversi Paesi è un’attività estremamente impegnativa, sia da un punto di vista delle risorse umane impegnate nell’organizzazione dell’evento che delle risorse economiche necessarie per garantire un risultato di alto livello. Tuttavia i partecipanti a tali “eventi formativi” che sono stati intervistati dai valutatori hanno rilevato che la modalità scelta non era la più adeguata a rispondere ai bisogni di formazione. Una formazione di più lungo termine e un maggior affiancamento nella realizzazione delle attività quotidiane sarebbero stati preferibili. Tale affermazione trova riscontro applicando il metodo di Kirkpatrick. Dai Focus Group realizzati con 34 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” i partecipanti ai due corsi di formazione della durata di almeno 10 giorni (Corso sulla Conservazione dei Mosaici e sulla Digitalizzazione del Patrimonio Culturale) emerge un sufficiente livello di reazione e di apprendimento raggiunto. Ciò a dimostrazione che ove la componente di formazione è stata strutturata in modo continuativo ed approfondito anche i risultati sono stati migliori. 2) A livello centrale e locale, i rappresentanti delle varie istituzioni intervistate (MoCA, MAMU, municipalità, il dipartimento di Lingua e Letteratura Italiana, il personale del MIMEC e del Politecnico di Tetovo) hanno affermato di non essere stati coinvolti nelle formazioni o di esserlo stati a processo eccessivamente inoltrato (Dipartimento del Turismo). 3) In termini di risorse umane utilizzate, i partecipanti intervistati hanno criticato la scelta di taluni formatori il cui livello si è dimostrato eccessivamente elevato rispetto alla realtà dell’istituzione/dei beneficiari cui la formazione era diretta. Nella documentazione di progetto non esistono dati ufficiali circa la partecipazione ai percorsi formativi degli addetti al settore cultura ed educazione (si fa riferimento solo a una formazione impartita, pertanto non può essere analizzato il costo/beneficiario per i singoli eventi). In generale, si può comunque affermare che a fronte di quanto evidenziato in precedenza, il costo complessivo sostenuto per le attività di formazione e assistenza tecnica (pari a 303.359,18!), appaia eccessivo. Per quanto concerne le risorse umane impiegate, IMG ha messo a disposizione per la realizzazione dell’iniziativa le competenze e la struttura di una grande organizzazione internazionale. Le decisioni riguardanti il progetto erano prese direttamente in loco dal Capo Missione, a cui facevano riferimento una divisione Amministrativa/IT e una serie di Project Managers internazionali (principalmente italiani e divisi tra esperti long term e short term). Ai PM rispondevano poi i coordinatori locali (circa nove), che gestivano direttamente i contatti con i beneficiari e le autorità. Per quanto concerne le procedure acquisto, l’ufficio di Skopje era coadiuvato da quelli di Belgrado e di Sarajevo. Infine, in termini di tempo, il Programma è risultato parzialmente efficiente: inizialmente previsto per una durata di 18 mesi, è in realtà durato 50 mesi senza che gran parte dei risultati attesi previsti nella proposta di progetto siano stati pienamente raggiunti. Il grafico che segue mostra l’andamento del budget di Programma in termini di macro linee di budget dal momento dell’approvazione dell’iniziativa fino al 31/12/2010. Figura 3. Andamento del budget di programma dal 2006 al 2010 600 in migliaia di euro 400 200 Istituto di Biotecnologie Centro Multimediale Museo d'Arte Contemporanea Siti Archeologici Grants Municipalità Centro Digitalizzazione Costi di Gestione 0 Budget progetto approvato Rapporto finale Budget 24 mesi Budget 36 mesi Budget 43 mesi Budget report finale 35 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” Come si può osservare dal grafico, e più in dettaglio dall’analisi del budget di Programma (Allegati 5 e 6 budget e riepilogo costi), il budget è stato oggetto di continui e talvolta importanti cambiamenti. Le quattro richieste di estensione non onerosa22 presentate da IMG e UNESCO alla DGCS (tramite l’Ambasciata d’Italia a Skopje) hanno avuto come effetto diretto l’aumento dei costi di gestione che dai 340.000! della proposta approvata sono arrivati ai 541.046! del rendiconto finale (+60%). Tali estensioni, servite quasi esclusivamente23 per permettere a UNESCO di completare le sole attività formative presso il Centro per la Digitalizzazione, hanno avuto pertanto un impatto negativo sull’utilizzo efficiente delle risorse finanziarie dell’iniziativa. Al momento della conclusione delle attività, UNESCO dispone di un residuo attivo pari a 109.261,64$24, il cui utilizzo per l’ampliamento delle attività del RECEDIG è tuttora sospeso. Risultano inoltre essere maturati interessi attivi pari a 22.990 $ al 31/12/200925, ultimo dato disponibile. Al di là di queste considerazioni che influenzano negativamente l’efficienza del Programma, è importante sottolineare anche il raggiungimento di DUE RISULTATI INATTESI. - La definizione da parte del Ministero della Cultura Macedone, della strategia nazionale per la digitalizzazione del patrimonio culturale; la strategia riguarda la protezione dei reperti, il miglioramento della loro accessibilità, la possibilità di utilizzare le copie digitali per la presentazione del patrimonio culturale a livello nazionale e internazionale, permettendo così una migliore consapevolezza dell’importanza di tale patrimonio. La strategia prevede la creazione di centri e dipartimenti per la digitalizzazione nei vari Istituti, suggerisce la creazione di un fondo per la realizzazione di programmi per la digitalizzazione del patrimonio culturale, e definisce una lista di priorità per il patrimonio materiale e immateriale. - La riscoperta da parte della popolazione di Skopje della città vecchia, grazie ai due eventi “Rediscovery the Route of Culture” realizzati da IMG nel 2009 e 2010 e che hanno attirato l’attenzione di migliaia di persone (circa 10.000 il primo anno, e la metà il secondo). Il percorso della manifestazione elaborato in collaborazione con gli studenti della facoltà di Architettura dell’Università di Skopje, ha permesso ai partecipanti di apprezzare le diverse performance culturali organizzate lungo il percorso e di riavvicinarsi a una parte della città che da anni era considerata off-limits dalla maggior parte della popolazione non albanese. Riassumendo, è opinione dei valutatori che il Programma non abbia creato sufficiente VALUE FOR MONEY nel senso che non ha permesso una riduzione dei costi, una migliore gestione dei rischi, una più rapida implementazione, un aumento della qualità e/o della generazione di redditività. 6.3 Efficacia L’efficacia dell’intervento è stata principalmente misurata sul disegno di progetto, sull’appropriatezza degli obiettivi e su come i risultati hanno contribuito al loro raggiungimento. Poiché, come già evidenziato, gli obiettivi specifici, i risultati attesi e gli indicatori non sono apparsi né del tutto coerenti e logicamente inseriti nella Proposta nel suo complesso né mai aggiornati/modificati con il mutare delle condizioni esterne, si è cercato di analizzare l’efficacia attraverso una reinterpretazione degli stessi (Allegato 4 Quadro logico rivisto) e disaggregando l’analisi per obiettivo specifico, così da garantirne La prima richiesta datata 1/2/2008 ha esteso il Programma fino al 30/11/2008, la seconda datata 28/11/2008 fino al 31/12/2009, la terza datata 2/12/2009 fino al 31/12/2010, infine nella quarta datata 10/5/2010 IMG ha richiesto l’estensione delle attività sino al 31/12/2010. Quest’ultima estensione non è però stata ufficialmente approvata dalla DGCS. 23 IMG aveva praticamente concluso le attività di sua competenza già nel dicembre 2008. 24 Come da lettera di IMG all’Ambasciata d’Italia a Skopje e alla DGCS del 10/06/2011 ref. DBI/PPL/2059/11. 25 Fonte: IMG Status report, Maggio 2010. Financial Status Report as at 31/12/2009 UNESCO. 22 36 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” un’appropriata correlazione. L’OBIETTIVO GENERALE “Favorire la completa attuazione degli accordi di Ohrid, con particolare riferimento al processo di decentramento amministrativo nei settori dei beni culturali e dell'educazione, alla protezione e valorizzazione del Patrimonio culturale e all'integrazione delle minoranze” riflette adeguatamente le priorità strategiche macedoni identificando un settore di intervento (culturale, educativo) sufficientemente ampio per essere incisivo nel processo di sviluppo nazionale. Si rilevano, invece, talune mancanze nella definizione degli obiettivi specifici, come approfondito nel capitolo sull’analisi del QL. Analizzando, infatti, il QL della proposta di progetto risulta che l’OS1 “Favorire il recupero, anche in termini di una loro valorizzazione economica e turistica, di alcune delle risorse storiche, artistiche e culturali più significative del Paese, in una prospettiva di sviluppo sostenibile del territorio che proceda a riqualificare e rendere maggiormente fruibili i siti di interesse turistico e i capolavori a rischio di degrado” pur risultando coerente rispetto all’Obiettivo Generale, non trova adeguato riscontro nei risultati attesi che ad esso dovrebbero riferirsi. L’OS2 “Rafforzamento di legami di cooperazione con l'Italia e con gli Organismi locali operanti nei settori dei beni culturali e dell'educazione professionale stabilendo collaborazioni tecniche che coinvolgano con regolarità Centri di Eccellenza presenti nel nostro Paese per dare luogo a opportuni programmi di scambio e formazione rivolti alla controparte macedone” non è formulato in modo da rendere evidenza del contributo al raggiungimento dell’Obiettivo Generale. La validità e la coerenza di quest’obiettivo rispetto all’Obiettivo Generale non risiedono principalmente nel rafforzamento dei legami di cooperazione con l’Italia, quanto nel rafforzamento delle istituzioni macedoni, le quali potrebbero trarre beneficio dalla cooperazione con l’Italia. Da ultimo, l’OS4 “Contribuire al rafforzamento dell'integrazione fra le diverse componenti etniche della Macedonia, facilitando l'accesso all'educazione superiore per la minoranza albanese e sostenendo la diffusione di conoscenze funzionali allo sviluppo socio-economico del Paese (con particolare riguardo al settore agroalimentare)” introduce un riferimento ad aspetti di produttività agro-alimentare che esulano dall’Obiettivo Generale e dal contesto settoriale del Programma. Quest’analisi introduttiva permette di inquadrare in modo più appropriato gli esiti dell’analisi disaggregata. Infatti, la limitata “misura” del raggiungimento di taluni Obiettivi non risiede esclusivamente in una ridotta portata delle attività del Programma, ma anche in una identificazione non sempre appropriata degli Obiettivi che ci si era prefissati. OBIETTIVO SPECIFICO 1 RISULTATO ATTESO 1.1 Favorire il recupero, anche in termini di una loro valorizzazione economica e turistica, di alcune delle risorse storiche, artistiche e culturali più significative del Paese, in una prospettiva di sviluppo sostenibile del territorio che proceda a riqualificare e rendere maggiormente fruibili i siti di interesse turistico e i capolavori a rischio di degrado Miglioramento delle capacità di restauro di opere d'arte contemporanea e manufatti archeologici (R3 QL) L’unico risultato atteso espresso per questo obiettivo non rende evidenza di tutte le attività ad esso corrispondenti. Pertanto occorre rifarsi alle attività del QL rivisto per poter cogliere la portata in termini di Risultati Attesi di quest’Obiettivo. L’OS1 è stato solo in parte raggiunto, per una pluralità di fattori. Anzitutto la mancanza di un QL di riferimento chiaro e l’assenza di rapporti di monitoraggio strutturati non hanno facilitato, a tutti i principali stakeholders coinvolti, la comprensione in itinere dell’andamento del Programma e di un suo eventuale riaggiustamento in corsa. Inoltre sia in termini di interventi strutturali che di formazione e capacity building sono emerse carenze a più livelli. Rapporto finale 37 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” Per quanto concerne l’intervento nei Musei (Museo di Arte Contemporanea e Museo di Macedonia) non si è rilevato un miglioramento delle capacità gestionali dei responsabili delle istituzioni, né dell’offerta culturale degli stessi mentre solo per il MoCa si è in presenza di una ristrutturazione all’infrastruttura. Le interviste qualitative realizzate con i Direttori dei due Musei hanno evidenziato un sostanziale distacco tra la gestione dei Musei e il Programma. Entrambi i direttori hanno sottolineato di non essere mai stati coinvolti in attività di capacity building o di formazione (pur facendo parte dello staff dei Musei ai tempi del Programma) ma di aver beneficiato solo di Disegni Strutturali il Museo di Macedonia e di Interventi parziali alla struttura il Museo di Arte Contemporanea. L’inefficienza evidenziata in precedenza per taluni di questi interventi strutturali e l’assenza di appropriate formazioni/capacity building hanno ostacolato lo sviluppo di un senso di ownership da parte dello staff dei Musei nei confronti di quelli che avrebbero dovuto essere i contenuti del Programma. Ciò si è tradotto in una riduzione dell’efficacia complessiva. Infatti, per quanto concerne la valorizzazione dei musei, il numero di turisti e la gestione degli stessi non sono state evidenziate sostanziali differenze tra il prima ed il dopo Programma. Con rispetto agli interventi nei siti archeologici di Scupi, Stobi ed Heraclea è necessario analizzare separatamente i tre luoghi. Da un punto di vista infrastrutturale tutti e tre i siti hanno beneficiato di interventi più o meno efficienti, mentre per quanto concerne la formazione ed il capacity building sono stati Stobi ed Heraclea ad essere maggiormente coinvolti. Con le interviste qualitative e l’osservazione diretta, i valutatori hanno costatato che per il sito archeologico di Scupi il Programma non ha favorito né il miglioramento delle capacità gestionali, né l’aumento dei visitatori ma si è limitato a “proteggere” il sito archeologico con circoscritti interventi infrastrutturali. Il sito ad oggi rimane al di fuori dei percorsi turistici, non è aperto al pubblico e non è mantenuto in condizioni tali da attrarre il visitatore. Da un punto di vista di gestione, si è potuto osservare che dall’intervento di IMG ad oggi non vi sono stati cambiamenti di approccio da parte dei vari Direttori che si sono susseguiti nella gestione del sito; approccio che rimane di “preservazione” e non di promozione e sviluppo. Pertanto nonostante i lavori infrastrutturali siano stati eseguiti, non sembrano essere stati efficaci. Di fatto non hanno favorito quanto ci si prefiggeva nell’Obiettivo Specifico e gli indicatori di efficacia non sono stati rispettati. Diversamente, a Stobi ed Heraclea si è osservata una maggior valorizzazione economica e turistica dei siti. Entrambi sono aperti al pubblico a pagamento. L’incremento dei visitatori è stimato in un 10% annuo dal 2009 ad oggi pur in assenza di registri ufficiali dove reperire queste informazioni. Grazie alle recenti attività di scavo, il numero di reperti archeologici ivi conservati, è aumentato rispetto a tre anni fa, nonostante questi ultimi non siano ancora stati completamente catalogati ed esposti al pubblico. Nel loro complesso gli interventi infrastrutturali realizzati sono stati più efficaci che a Scupi, per almeno una duplice ragione. A Stobi ed Heraclea gli interventi strutturali sono stati affiancati da corsi di formazione e in entrambi i siti si è potuto osservare una compresenza di una molteplicità di interventi finanziati da più donatori internazionali (Unione Europea, US Ambassador Foundation). Con riferimento ai corsi di formazione si è potuto constatare, come già anticipato per l’efficienza, che nella maggior parte dei casi si è trattato di workshop e simposi di qualche giorno, non di un percorso formativo vero e proprio. Gli unici corsi di formazione che si possano considerare tali hanno riguardato la conservazione e ristrutturazione del patrimonio musivo e la creazione di un database per la catalogazione dei reperti archeologici a Stobi. Circa il corso di formazione in “Conservazione e restauro del patrimonio musivo” è stato possibile organizzare un Focus Group con alcuni dei partecipanti 26 , volto alla misurazione dell’efficacia dell’intervento da un punto di vista qualitativo. Il percorso formativo è stato valutato in base al 26 Gli intervistati avevano frequentato sia il workshop pratico sulle tecniche del restauro che il seminario teorico. 38 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” raggiungimento o meno del livello di “trasferimento”, della scala di Kirkpatrick, ovvero la capacità di utilizzare nella vita quotidiana le competenze apprese durante i corsi. Il livello di trasferimento è apparso buono, infatti, i partecipanti hanno saputo fare esempi concreti relativamente all’applicazione di quanto appreso nei corsi, come ad esempio l’introduzione di materiali diversi dal cemento per il restauro dei reperti. Tuttavia, quanto appreso appare essere utilizzato solo in determinate circostanze e non quotidianamente soprattutto a causa del limitato budget che il Ministero della Cultura mette a disposizione per la Conservazione del patrimonio musivo: ancora oggi la strategia ministeriale è quella di “preservare” il patrimonio mosaicale (per esempio ricoprendolo con terra e ghiaia durante l’inverno) e non di incentivarne la conservazione per una valorizzazione economica e turistica. Per quanto concerne il database per la catalogazione dei reperti, l’intervento è risultato solo parzialmente efficace. Infatti, il database è stato ceduto a fine Programma al Ministero della Cultura affinché ne espandesse le buone pratiche anche a tutti gli altri siti archeologici nazionali, ma il software non è risultato sostenibile da un punto di vista dei costi di gestione (i.e. licenze) e compatibile con i programmi informatici in dotazione al Ministero stesso che aveva già iniziato un’attività di catalogazione del patrimonio culturale. Di conseguenza il capacity building di Stobi è rimasto efficace solo relativamente al sito stesso. OBIETTIVO SPECIFICO 2 Il rafforzamento di legami di cooperazione con l'Italia e con gli Organismi locali operanti nei settori dei beni culturali e dell'educazione professionale stabilendo collaborazioni tecniche che coinvolgano con regolarità Centri di Eccellenza presenti nel nostro Paese per dare luogo a opportuni programmi di scambio e formazione rivolti alla controparte macedone RISULTATO ATTESO 2.1 Creazione di un centro multimediale presso la facoltà di filologia dell'Università dei SS. Cirillo e Metodio (Skopie) (R8 QL) RISULTATO ATTESO 2.2 Incremento dell'offerta formativa nel campo del restauro dei beni culturali e dell'Economia dei Beni culturali (R2 QL) RISULTATO ATTESO 2.3 Attivati rapporti di partenariato fra soggetti pubblici e/o privati macedoni e italiani, nei settori oggetto dell'intervento (R11 QL) L’unico risultato atteso che è stato raggiunto e che quindi può essere analizzato è quello relativo alla “Creazione di un centro multimediale presso la facoltà di filologia dell'Università dei SS. Cirillo e Metodio”. Per quanto concerne gli altri risultati non sembra siano state realizzate attività relative. Si sottolinea anche che, come già evidenziato in precedenza, neanche nella proposta originale erano state correlate logicamente attività specifiche per questi ultimi due risultati. Il funzionamento del centro multimediale costituito presso la Facoltà di Filologia dell’Università Ss. Cirillo e Metodio, è stato opportunamente definito con un Memorandum of Understanding firmato nel 2008 tra l’Ambasciata d’Italia in Macedonia e la Facoltà stessa. In codesto accordo si è sancito, tra l’altro, che il MIMEC avrebbe dovuto svolgere la doppia funzione di “Centro per l’Educazione” e di ”Centro per la promozione della cooperazione tra l’Italia e la Macedonia nel campo dell’Educazione e della Cultura”. Nel memorandum si stabiliva inoltre che il MIMEC sarebbe dovuto diventare il punto focale e di riferimento per l’avvio e il coordinamento di istituzioni simili in tutto il Paese e che, in coordinamento con l’Università, avrebbe potuto ospitare l’Istituto per la promozione della lingua e cultura italiana “Dante Alighieri”. Tutto ciò è stato efficacemente realizzato e, dalle interviste qualitative avute sia con il vice decano della Facoltà che con l’addetto culturale dell’Ambasciata d’Italia a Skopje, è emersa una situazione di Rapporto finale 39 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” incremento costante e progressivo delle attività del centro 27 supportato dall’interesse dei giovani macedoni ad accostarsi alla lingua italiana che rappresenta la seconda lingua straniera più studiata e parlata nel Paese. Anche il senso di ownership della Facoltà di Filologia dell’Università Ss. Cirillo e Metodio nei confronti del MIMEC e della sua funzione è apparso rilevante e l’utilizzo assiduo che viene fatto della struttura ne rende oggettiva testimonianza. OBIETTIVO SPECIFICO 3 Il sostegno ed il trasferimento di Know How alle istituzioni locali interessate ai fini di rendere sostenibile nel tempo l'assunzione di responsabilità e competenze da parte macedone nei settori oggetto dell'intervento italiano, con particolare riguardo al reperimento e all'ottimizzazione delle risorse indispensabili per la conduzione delle attività di pertinenza e alla promozione di queste ultime concordemente agli obiettivi sottostanti agli impegni di Ohrid RISULTATO ATTESO 3.1 Miglioramento delle capacità gestionali delle istituzioni culturali centrali e locali (R1 QL) RISULTATO ATTESO 3.2 Avvio di politica turistica, governativa e locale, come strumento in grado di assicurare programmazione e opportunità economica ai comparti culturali e naturalistici (R6 QL) RISULTATO ATTESO 3.3 Aumento dei finanziamenti e della partecipazione di soggetti privati alle attività culturali (R4 QL) RISULTATO ATTESO 3.4 Creazione di connessione fra attori pubblici e privati operanti in campo turistico (R7 QL) Solo i primi due risultati possono essere analizzati per valutare l’efficacia dell’intervento rispetto a questa componente. Infatti anche per quest’obiettivo non tutti i risultati attesi sono stati raggiunti non essendo stati logicamente correlati ad attività conseguenti in fase di stesura della proposta. Rispetto al risultato 3.1 le interviste qualitative realizzate con i principali stakeholders a livello ministeriale, comunale, museale e dei siti archeologici hanno evidenziato che tale risultato non è stato raggiunto e quindi che l’intervento ha avuto poca efficacia rispetto all’Obiettivo che si proponeva. Come anticipato nell’analisi dell’efficienza, le interviste hanno mostrato che il Programma ha privilegiato seminari e tavoli di lavoro di durata molto limitata (1-2 giorni), e che questa modalità non ha permesso un trasferimento di Know How alle istituzioni locali nei settori oggetto dell’intervento. Il Programma è apparso eccessivamente frammentato in una molteplicità di piccole attività che, considerando anche il budget di partenza, non hanno saputo né rendere “riconoscibili” le peculiarità dell’intervento italiano né costruire un appropriato trasferimento di competenze (capacity building) ai diversi stakeholders coinvolti. Ciò si evince anche rispetto al risultato atteso 3.2: le visite effettuate alle Municipalità di Kocani, Berovo, Negotino e Skopje, che sono state tra le beneficiarie degli interventi del Programma finalizzati a favorire l’avvio di politiche turistiche locali, e le interviste qualitative realizzate con i rispettivi sindaci o di questi rappresentanti, hanno evidenziato la realizzazione di semplici infrastrutture aventi una qualche valenza turistica ma non attività di capacity building o di formazione in tal senso. Pertanto non è stata riscontrata, come previsto dagli indicatori, l’assunzione di una politica nazionale e locale per la promozione turistica delle risorse culturali, quanto una distanza ancora marcata tra lo sviluppo turistico a livello centrale (Ministero dell’Economia) e locale (Municipalità). Le Municipalità sono apparse portare avanti una propria politica locale non sempre in armonia con strategie nazionali e le scarse Il dipartimento di lingua e letteratura italiana è apparso molto attivo anche sul fronte della partecipazione a progetti europei di cooperazione interuniversitaria (Erasmus, Tempus, LLP etc.), avendo partecipato sia come partner che come coordinatore a diverse iniziative anche in partnership con Università Italiane. 27 40 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” competenze presenti a livello Municipale sono tuttora causa di incapacità gestionale e strategica per quanto concerne i settori oggetto dell’intervento italiano. Questo dato si evince dalle indicazioni fornite dal Ministero delle Autorità Locali che ha rilevato un incremento importante di partecipazione delle Municipalità a bandi e Programmi Europei anche con finalità turistiche ed un altrettanto importante fallimento delle stesse a causa delle limitate capacità di previsione, di gestione delle spese e di analisi dei rischi. Unica eccezione in tal senso è offerta dall’intervento realizzato presso il municipio di Skopje e concretizzatosi nel duplice evento della “Route of Culture” anche recependo la nuova “Law on Skopje Old Bazar” approvata nel 2008 che sanciva il vecchio bazar di Skopje come un patrimonio culturale di particolare importanza per la Nazione. Le persone intervistate a riguardo testimoniano che l’evento ha favorito la riscoperta di una delle zone più storiche della città di Skopje, anche se tale iniziativa pilota, ripetuta due volte con il supporto di IMG, non è più stata replicata dalla Municipalità al termine del Programma. OBIETTIVO SPECIFICO 4 Contribuire al rafforzamento dell'integrazione fra le diverse componenti etniche della Macedonia, facilitando l'accesso all'educazione superiore per la minoranza albanese e sostenendo la diffusione di conoscenze funzionali allo sviluppo socio-economico del Paese (con particolare riguardo al settore agroalimentare) RISULTATO ATTESO 4.1 Alloggiamento del Politecnico di Tetovo presso una nuova struttura appositamente riabilitata (R9 QL) RISULTATO ATTESO 4.2 Revisione dell'offerta formativa Politecnico - dipartimento di biotecnologie, e suo adeguamento alle esigenze del settore agroalimentare (R10 QL) RISULTATO ATTESO 4.3 Migliorati i livelli di qualità e sicurezza della produzione agroalimentare macedone connessa alle attività del Politecnico di Tetovo (R12 QL) L’unico risultato che è stato, in un certo senso, raggiunto è il 4.1 “Alloggiamento del Politecnico di Tetovo presso una nuova struttura appositamente riabilitata”. Il risultato è stato ridimensionato durante l’esecuzione del Programma limitandosi, nei fatti, alla costruzione e dotazione del laboratorio di biotecnologie. Le visite sul campo e le interviste qualitative realizzate con il decano della Facoltà di Biotecnologie Alimentari e la segreteria del Rettore hanno evidenziato che il laboratorio costruito con i fondi italiani è attualmente in disuso. Ciò si deve a due fattori principali: a. La vecchia struttura dell’Università di Tetovo è stata sostituita da una nuova costruzione di circa 19.000mq inaugurata lo scorso gennaio 2013. Tale nuova costruzione sostituisce quasi in toto il vecchio complesso dove ad oggi risiede un ufficio postale e poche aule ancora in uso. b. La Facoltà di Biotecnologie è stata spostata nella nuova sede di Gostivar (circa 20 km da Tetovo) dove sono stati creati sette laboratori di biotecnologie. In questo nuovo scenario le infrastrutture e le dotazioni realizzate con il Programma hanno cessato la loro funzione; solo i macchinari donati sono in uso presso i nuovi laboratori di Gostivar anche se il laboratorio non ha ottenuto i riconoscimenti ministeriali per la certificazione dei prodotti caseari a causa delle scarse competenze/conoscenze dei tecnici che lo gestiscono, come emerso anche dalle interviste qualitative realizzate. Si è anche potuto constatare che gli altri risultati attesi circa il miglioramento dell’offerta formativa e la sicurezza della produzione agroalimentare non siano stati raggiunti. Rapporto finale 41 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” Tuttavia, nonostante il Programma non abbia influito in modo sostanziale al rafforzamento dell’integrazione fra le diverse componenti etniche della Macedonia attraverso l’intervento realizzato presso l’Università di Tetovo, è opinione dei valutatori che quest’ultima abbia saputo organizzarsi e realizzare, attraverso finanziamenti terzi, ciò che l’apporto italiano non è stato in grado di facilitare. OBIETTIVO SPECIFICO 5 Contribuire al rafforzamento dell'integrazione fra le diverse componenti etniche della Macedonia, facilitando l'accesso all'educazione superiore per la minoranza albanese e sostenendo la diffusione di Sarà infine cura del progetto ampliare l'orizzonte delle collaborazioni tra i vari soggetti istituzionali e culturali/formativi presenti in Macedonia per consentirne l'aggiornamento internazionale e l'accesso alle tecniche settoriali e gestionali più moderne disponibili. Così come verrà in ogni modo promossa la condivisione tra gli operatori culturali dei risultati conseguiti e delle tipologie di problemi affrontati localmente nello svolgimento dei programmi omologhi con la creazione di un network informatico e di un primo nucleo di banca dati cui accedere RISULTATO ATTESO 5.1 Organizzare il centro di catalogazione digitale del Patrimonio Culturale (R5 QL) RISULTATO ATTESO 5.2 Rafforzare le capacità degli esperti e dei tecnici locali nel settore della digitalizzazione del Patrimonio culturale (non dettagliato nel QL) RISULTATO ATTESO 5.3 Costituire un Gruppo di Rappresentanti nazionali degli Stati del Sud-Est europeo nell'ambito della digitalizzazione del Patrimonio culturale (non dettagliato nel QL) Le visite dei valutatori e le interviste qualitative realizzate hanno consentito di valutare che il risultato atteso 5.1 è stato raggiunto grazie al fatto che le attività ad esso relative si inserivano in un Programma più ampio iniziato anni prima con fondi della Banca Mondiale. L’intervento di IMG-UNESCO ha previsto un ulteriore sviluppo del processo di digitalizzazione avviato dal precedente finanziatore. Per quanto riguarda il risultato 5.2, i valutatori hanno potuto svolgere un Focus Group con alcuni dei partecipanti ai corsi di formazione organizzati nell’ambito del Programma. Riferendoci ai livelli di conoscenza per la valutazione dell’efficacia dei corsi di formazione, è emerso che per quanto riguarda il “trasferimento” delle conoscenze nei partecipanti non si è raggiunto un livello del tutto soddisfacente. Durante il Focus Group, è stato evidenziato che il livello teorico delle formazioni impartite è risultato, in molti casi, eccessivo rispetto alle conoscenze di partenza dei partecipanti e che le esercitazioni pratiche sono apparse insufficienti rispetto alla formazione teorica. Di conseguenza la loro successiva applicazione nel lavoro quotidiano è stata limitata e ridotta rispetto all’obiettivo prefissato. Inoltre, i partecipanti al Focus Group hanno riportato che solo in uno dei sette centri di digitalizzazione presenti nel Paese vi sono risorse (umane e tecnologiche) e competenze tecniche in grado di apportare beneficio allo sviluppo del settore. Il risultato 5.3 non è stato ottenuto come anticipato nel paragrafo relativo all’efficienza. In conclusione si è osservato un processo in essere di sviluppo della digitalizzazione del patrimonio culturale macedone, soprattutto grazie alla collaborazione di più donatori e programmi sviluppati in tal senso. Tuttavia l’intervento di UNESCO non è apparso completamente efficace in quanto la formazione non ha saputo raggiungere appieno il livello di “trasferimento” delle conoscenze e, a riprova di questo, il contributo che il risultato 5.3 avrebbe dovuto apportare all’OS5 non c’è stato. Trasversalmente al raggiungimento degli Obiettivi Specifici, l’efficacia cerca di mettere in evidenza come i rischi abbiano influito sul raggiungimento dei risultati. A tal riguardo, come anticipato in precedenza, non tutti i rischi sono stati opportunamente ponderati in fase di elaborazione della proposta. In particolare, poco era stato analizzato rispetto alla possibilità di importanti turnover tra il personale delle istituzioni nazionali e locali a causa di repentini avvicendamenti politici. Ancorché altre 42 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” condizioni fossero state previste (es. partecipazione attiva delle istituzioni locali e stretto coordinamento tra i Partner), i Piani per la Mitigazione dei rischi riferiti da IMG, quali lo sviluppo di “capacity building” e di awareness nei confronti delle autorità locali, non sono sembrati sufficienti. Di conseguenza il sopraggiungere di tali situazioni (turnover, coinvolgimento passivo, difficoltà di comunicazione) ha direttamente inficiato l’efficacia e il futuro impatto del Programma. 6.3.1 Partecipazione Come ulteriore criterio di giudizio dell’efficacia è stata introdotta la partecipazione dei vari stakeholders al Programma. In primo luogo, gli stakeholders coinvolti nell’iniziativa sono stati suddivisi in stakeholder primari e secondari a seconda del rispettivo grado di importanza in relazione al raggiungimento dell’obiettivo generale. Tra gli stakeholders primari rientrano quelli che hanno un interesse diretto nel Programma e ne beneficiano direttamente. Gli stakeholders secondari individuati sono invece quelli che hanno un interesse relativo nel Programma ma che devono essere coinvolti per raggiungere l’obiettivo del progetto nel medio lungo periodo. A ciascuno stakeholder a seconda del ruolo atteso nel progetto è stato attribuito un indice di PARTECIPAZIONE ATTESA su una scala da 1 a 5; il punteggio massimo più elevato (5) è stato attribuito ai Ministeri partner dato che il Programma e l’Ente Esecutore puntavano al raggiungimento di un obiettivo generale particolarmente ambizioso che non poteva essere realizzato senza una partecipazione a tutti i livelli delle controparti Ministeriali. Ai restanti stakeholder primari è stato attribuito un indice di partecipazione attesa pari a 4 e ai secondari pari a 3. La tabella che segue mostra l’attribuzione all’una o all’altra categoria degli stakeholders individuati e i relativi benchmarks in termini di partecipazione attesa. Tabella 4. Analisi degli stakeholders STAKEHOLDERS PRIMARI BENCHMARK STAKEHOLDERS SECONDARI BENCHMARK Ministero della Cultura 5 Settore Privato 3 Ministero dell'Educazione e della Scienza 5 Agenzie di viaggio 3 Ministero delle Autorità Locali 5 Camera del turismo 3 Ministero dell’Economia, dipartimento del Turismo 5 Museo di Macedonia 3 CHPO 4 Facoltà di Architettura 3 Museo d'Arte Contemporanea 4 Facoltà e scuole Turistiche 3 Università Ss. Cirillo e Metodio, dip. Lingua Italiana 4 Altri Stakeholders Internazionali (INGO, OO.II.) 3 Università di Tetovo 4 Stobi 4 Scupi 4 Heraclea 4 Municipalità 4 In secondo luogo sono stati stabiliti i CRITERI qualitativi sulla cui base è stata valutata la partecipazione dei singoli stakeholders. I criteri ritenuti maggiormente rispondenti a tale obiettivo sono: il Rapporto finale 43 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” coinvolgimento nel Programma in tutte le sue fasi, l’interesse, il supporto al Programma, e il senso di ownership. A ciascun stakeholder è stato attribuito un punteggio da 1 a 5 per ognuno dei criteri sopracitati, sulla base delle interviste qualitative realizzate e della documentazione di progetto disponibile (in particolare i rapporti intermedi e finale). La media dei punteggi attribuiti, definito indice di PARTECIPAZIONE EFFETTIVA è stata quindi confrontata con l’indice di partecipazione attesa. Figura 4. Partecipazione attesa vs. Partecipazione effettiva Partecipazione effettiva Partecipazione attesa 5 4 3 2 1 0 Gli indici sintetizzati espressi nella figura 4, hanno permesso di rilevare talune criticità a riguardo della partecipazione degli stakeholders. - - 44 Innanzitutto, per quanto concerne i ministeri, solo il Ministero della Cultura si avvicina al risultato atteso; infatti, è stato l'unico Ministero i cui rappresentanti sono stati coinvolti direttamente nelle attività, e per il quale le interviste qualitative hanno permesso di identificare un buon livello di ownership nei confronti della tematica e delle attività di progetto. Relativamente agli altri tre ministeri, e dipartimenti, il coinvolgimento nelle attività, il supporto dato e il livello di ownership sono apparsi inadeguati, nonostante nelle interviste qualitative sia emerso un discreto potenziale interesse nei confronti del Programma Relativamente agli altri stakeholders primari, si sono registrati buoni livelli di partecipazione, dimostrati sia dalle attività documentate nei rapporti redatti da IMG, sia dalle interviste qualitative realizzate. Solamente per quanto riguarda il Laboratorio di Biotecnologie e il sito archeologico di Scupi è stata osservata una partecipazione limitata in particolare a causa del mancato supporto Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” - - dato al Programma in termini di possibilità di sviluppo futuro (in entrambi i casi, gli interventi realizzati da IMG non hanno contribuito al raggiungimento dell’obiettivo specifico). Per quanto concerne invece gli stakeholder secondari, ai livelli di partecipazione attesa non è corrisposto un livello soddisfacente di partecipazione effettiva. Unica eccezione è costituita dalla partecipazione del MAMU e della facoltà di Architettura che insieme hanno dato vita a interessanti attività e sinergie all’interno del Programma. La partecipazione alle attività di progetto di agenzie di viaggio, della Camera del Turismo di Skopje, e del settore privato in generale era essenziale per il raggiungimento dell’obiettivo generale nella misura in cui esso puntava a favorire il recupero, anche in termini di valorizzazione economica e turistica, di alcune risorse e a rendere maggiormente fruibili i siti di interesse turistico. La partecipazione di questi attori, nei casi in cui è stata cercata e ottenuta, come ad esempio negli eventi “Rediscovery the Route of Culture”, è stata uno dei fattori di successo dell’iniziativa. In conclusione, la limitata partecipazione dei Ministeri coinvolti e degli stakeholders secondari, comporta sul medio-lungo periodo, il parziale raggiungimento degli obiettivi generale e specifici. 6.4 Impatto ed effetto sinergico Al fine di valutare il raggiungimento dell’Obiettivo Generale e l’effetto del Programma sul più ampio ambiente circostante è importante distinguere l’impatto dall’impatto netto: ovvero tra l’impatto che le istituzioni nazionali e locali avevano e avranno sulle loro comunità a prescindere dal Programma e l’impatto che invece avranno sulle comunità di pertinenza grazie al Programma. Gli indicatori per la misurazione dell’impatto indicati nel QL della proposta, poco utili ai fini valutativi, sono stati affiancati da nuovi quali: - Incremento del livello di ownership delle istituzioni partner (Ministero della Cultura, Ministero per il decentramento Amministrativo, Ministero dell’Educazione) con riferimento al decentramento amministrativo e alla valorizzazione del patrimonio culturale - Aumento delle attività produttive e dei servizi nelle zone oggetto degli interventi per effetto dell’incremento dei turisti - Aumento delle potenzialità produttive e dei servizi nelle zone oggetto degli interventi per effetto dello sviluppo del decentramento amministrativo - Aumento degli sbocchi professionali e occupazionali per le minoranze - Raggiungimento del livello 4 di apprendimento (risultato) dei beneficiari dei corsi di formazione, in cui i nuovi comportamenti adottati dalle persone formate nei corsi hanno conseguenze dirette sulle comunità di appartenenza. Le interviste qualitative realizzate hanno permesso di evidenziare un processo in corso da parte di tutte le istituzioni macedoni coinvolte nel Programma con riferimento ad aspetti di decentramento amministrativo, valorizzazione del patrimonio culturale e integrazione delle minoranze. Infatti, il livello di conoscenza su questi temi è apparso elevato per tutti i principali stakeholders intervistati, anche se il livello di ownership raggiunto (consapevolezza e appropriazione dei contenuti) non è sembrato sufficiente. Ad eccezione del sito archeologico di Scupi, sia per i musei che per gli altri siti archeologici e le Municipalità si è potuto osservare un discreto interesse dei Direttori a voler valorizzare sempre più l’istituzione a cui sono stati preposti. Di contro a quest’interesse non sempre corrisponde un’effettiva capacità gestionale e organizzativa tale da favorire anche lo sviluppo delle potenzialità delle istituzioni/siti. L’indotto per le comunità locali che sarebbe dovuto derivare da uno sviluppo delle potenzialità culturali e turistiche, secondo quanto appreso dalle interviste qualitative, non sembra essere particolarmente migliorato. Ancorché registri ufficiali non siano disponibili né a livello locale né a Rapporto finale 45 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” livello centrale le interviste qualitative realizzate con i principali Key Informants hanno evidenziato che dal 2009 ad oggi non vi sono differenze sostanziali in termini di sviluppo economico o sociale delle comunità presenti nelle aree oggetto degli interventi. Il Centro Multimediale (MIMEC) e l’evento “Rediscovery the Route of Culture” hanno, invece, contribuito in maniera sostanziale al raggiungimento dell’Obiettivo Generale e sono esempi di interventi efficaci e forieri di un impatto interessante per la comunità macedone e per il sistema Paese nel suo complesso. Per entrambe le iniziative si è in presenza di un EFFETTO SINERGICO28 favorito anche da altri programmi che hanno permesso di sviluppare un processo positivo per le comunità locali. In particolare le attività della facoltà di Filologia e della cattedra d’italiano per quanto riguarda l’intervento al MIMEC, le iniziative della Municipalità di Skopje e le sinergie con soggetti privati per gli eventi della Route of Culture, hanno permesso di raggiungere un impatto di lunga durata per la comunità macedone sia in termini di aumento delle possibilità di servizi e attività produttive che di sbocchi professionali. La Route of Culture ha contribuito al rilancio della vecchia città di Skopje favorendo lo sviluppo turistico e commerciale dell’intera zona, mentre il numero elevatissimo di studenti di lingua italiana (sia a livello universitario che di scuola superiore) ha reso l’italiano la seconda lingua straniera più parlata nel Paese con potenziali di sviluppo anche economico non indifferenti. L’effetto sinergico si è reso anche evidente nell’intervento realizzato da UNESCO dove la World Bank prima e l’Unione Europea dopo hanno contribuito in modo sostanziale allo sviluppo della digitalizzazione del Patrimonio Culturale. In quest’ottica si è potuto apprezzare che, nonostante non tutti i risultati del Programma siano stati raggiunti, la compartecipazione di più stakeholders ha favorito lo sviluppo di un senso di ownership elevato tra le istituzioni macedoni preposte al processo. Ciò si è tradotto in un impatto più ampio testimoniato anche dalla preparazione nel 2008 da parte della Repubblica di Macedonia, di una nuova strategia sulla digitalizzazione del Patrimonio Culturale prima di allora inesistente. Anche la situazione della minoranza albanese, è apparsa migliorata. Le opportunità di studi universitari e i conseguenti impatti sul tessuto socio-economico hanno visto un percorso di sviluppo negli ultimi 5 anni che non sembra ancora concluso. In particolare la nuova realtà accademica di Tetovo accoglie ad oggi circa 17.000 studenti offrendo importanti sbocchi professionali ai suoi laureati. In questo caso il Programma finanziato a IMG è parte di un più ampio effetto sinergico sul contesto locale favorito da altri interventi di donatori internazionali quali gli Stati Uniti, la Germania e la Turchia. A differenza, però, di quanto espresso in precedenza per altre attività, l’impatto netto del Programma rispetto a questa specifica iniziativa è pressoché nullo, in quanto per tipologia di aiuti, cambi legislativi, strategie implementative e di visione prospettica, gli altri interventi hanno favorito più di quello italiano l’integrazione delle minoranze. Non è sembrato che l’intervento italiano sia risultato incisivo in questo processo, potendo affermare con sufficiente livello di confidenza che quand’anche esso non fosse stato realizzato, gli altri progetti avrebbero avuto lo stesso impatto sulle comunità beneficiarie. In termini generali e riassumendo si è riscontrato che il Programma di IMG ha sofferto di almeno due limitanti che ne hanno inficiato sia l’efficacia che conseguentemente l’impatto: - Dispersione dell’aiuto. Come già evidenziato nell’efficienza, i fondi italiani sono stati utilizzati per finanziare troppe attività tra loro solo teoricamente correlate. Ciò ha causato la realizzazione di piccoli sotto-progetti non sempre legati tra di loro da una visione strategica univoca di medio Intendendo con il termine “effetto sinergico” la dinamica per cui più progetti hanno creato un impatto maggiore di quello derivante dalla somma delle singole iniziative. 28 46 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” periodo. Di conseguenza anche l’efficacia e l’impatto sono risultati limitati e la visibilità dell’aiuto italiano, intesa come riconoscimento da parte della Macedonia della peculiarità del “dono”, non sempre è apparso apprezzabile. - Debolezza delle attività di Formazione e Assistenza tecnica. La componente “software” volta ad integrare la parte infrastrutturale con apposite formazioni teoriche e pratiche è apparsa poco efficiente, parzialmente efficace e di ridotto impatto. A tutt’oggi, in Macedonia, si è in presenza di uno “scollamento” tra la dimensione centrale e la dimensione locale, nel senso che le prime vedono spesso le seconde come ancora “incapaci” di gestire gli aspetti del loro decentramento e, viceversa, le amministrazioni locali non colgono il supporto del livello centrale. I Focus Groups realizzati con i partecipanti ai corsi di formazione sulla digitalizzazione del patrimonio culturale e sulla conservazione di mosaici, hanno evidenziato che il livello “Risultato” della scala di Kirkpatrick non è stato raggiunto: l’ambiente circostante non ha ancora beneficiato delle competenze acquisite dai partecipanti ai corsi. La causa principale di queste difficoltà è da rintracciarsi nel basso livello di ownership dei principali stakeholder istituzionali con riferimento alla valorizzazione del patrimonio culturale e turistico locale, che si traduce in una limitata assunzione di azioni e responsabilità volte a favorirne lo sviluppo. In tal senso si legge un limitato impatto anche nelle attività di capacity building che non sembra abbiano saputo innescare quei cambi auspicati e mitigare in modo adeguato i rischi derivanti dal lavorare con istituzioni pubbliche e quindi soggette a importanti turn over anche politici. 6.5 Sostenibilità Per quanto concerne l’analisi della sostenibilità (la probabilità di continuazione del flusso di benefici derivanti dal Programma al termine dell’esecuzione), questa è stata effettuata disaggregando il parametro in tre variabili principali: sostenibilità istituzionale, sostenibilità tecnologica e sostenibilità economica. SOSTENIBILITÀ ISTITUZIONALE I partners e i beneficiari dell’iniziativa sono stati scelti tra le principali istituzioni nazionali e locali: Ministero della Cultura, Ministero del Decentramento Amministrativo, Ministero dell’Educazione, musei nazionali, siti archeologici di primaria importanza, università statali e municipalità. Da un punto di vista giuridico, le attività svolte si collocano all’interno della legislazione prevista e pertanto godono di garanzie legislative appropriate. Come evidenziato per l’efficacia e l’impatto, non tutti i principali interlocutori hanno dimostrato un livello di ownership sufficiente per quanto riguarda la valorizzazione del patrimonio culturale. In tal senso, le interviste qualitative realizzate hanno fatto emergere un “generale interesse” per le iniziative previste dal Programma ma non una condivisione e un coinvolgimento tali da garantire azioni future volte allo sviluppo di quanto iniziato con lo stesso. I due fattori principali che abbiamo posto alla base di tale limitazione sono stati un’efficacia ed un impatto limitati delle attività capacity building e delle misure di supporto istituzionale e l’assenza di un corretto studio dei rischi e di misure di mitigazione in relazione al turn over politico nelle istituzioni. Per tali motivi, il Programma soffre di una sostenibilità istituzionale troppo debole per garantire lo sviluppo ulteriore delle attività pilota intraprese con l’iniziativa finanziata dal Governo italiano. SOSTENIBILITÀ TECNOLOGICA E SOSTENIBILITÀ ECONOMICA Rapporto finale 47 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” Gli interventi strutturali realizzati in alcuni casi non sono apparsi in sintonia con le caratteristiche del luogo, anche in termini di una loro sostenibilità. Ad esempio, come evidenziato per l’efficienza, le scelte architettoniche effettuate in relazione al MIMEC non si adattano in modo funzionale al contesto e non sono completamente sostenibili. L’edificio è stato costruito in vetro e metallo risultando esteticamente piacevole e innovativo ma funzionalmente disagevole. Skopje è una città molto fredda d’inverno e molto calda d’estate: un edificio completamente in vetro acuisce le rigidità climatiche obbligando gli utenti a spese straordinarie di riscaldamento/raffreddamento della struttura. Inoltre il complesso, sorgendo in prossimità di una delle mosche più antiche di Skopje, non è stato progettato in modo da risolvere i problemi di acustica. Infine, non sono stati valutati adeguatamente i costi per la manutenzione/pulizia che una struttura come quella scelta per il MIMEC genera rispetto ad altre soluzioni. A tal riguardo IMG ha precisato di aver voluto investire sull’importanza strategica di un edificio tecnologicamente moderno ed innovativo, sostenendo che l’Università Ss. Cirillo e Metodio, a cui la struttura appartiene, è in condizioni di poterne sostenere i costi di manutenzione. Allo stesso modo, l’intervento di rifacimento del tetto del MoCA e di creazione di un nuovo percorso per le visite non è stato completato sia per l’eccessivo costo rispetto al budget disponibile che per disaccordi con il Direttore dell’istituzione subentrato a Programma già iniziato ed avviato. Di conseguenza, l’intervento ha realizzato solo una passerella pedonale in un salone espositivo che garantisce l’accesso a un piano soppalcato. Con riferimento al rifacimento del tetto, le opere realizzate risultano essere in sintonia strutturale con il complesso nel suo insieme, ma è opinione dei valutatori che, considerando il contesto locale e le rispettive disponibilità economiche degli enti coinvolti, andava meglio valutata la sostenibilità della ristrutturazione: le strutture esterne realizzate, richiedono interventi di manutenzione molto frequenti e costosi, che ad oggi la Direzione del Museo non vuole/può sostenere, con la conseguenza che sono già sopraggiunti cedimenti strutturali importanti (caduta di pannelli di vetro) e rischiosi per l’incolumità dei visitatori. Anche a tale proposito IMG ha espresso una visione distinta, affermando che vincoli architettonici propri del Museo, l’urgenza dell’intervento e la preservazione del disegno originale, non avrebbero permesso interventi di diversa natura. Infine, si è potuto osservare che alcuni interventi realizzati (es. laboratorio di biotecnologie dell’Università di Tetovo e centro per lo sviluppo turistico di Kocani) versino già in una condizione di disuso o addirittura di abbandono. Il Programma è stato poco incisivo circa lo sviluppo di capacità nelle Istituzioni locali di generare risorse proprie necessarie a garantire una sostenibilità, non solo in termini di manutenzione, alle attività realizzate. La carenza di fondi è apparsa uno dei grandi problemi che le istituzioni, sia a livello centrale che locale, devono affrontare. Ciò si traduce, da una parte, in un’insufficiente manutenzione delle infrastrutture realizzate; dall’altra, in un inutilizzo di molte delle tecnologie ed esperienze formative trasferite con il Programma. Relativamente a quest’ultimo punto, non sempre la scelta dei software introdotti con il Programma e forniti alle controparti macedoni è apparsa la più sostenibile. Ad esempio, taluni dei programmi di catalogazione del patrimonio archeologico non risultano più utilizzati per mancanza di fondi e di strumenti hardware adeguati. Allo stesso modo, i contenuti dei corsi di formazione sono apparsi talvolta eccessivamente ambiziosi non situandosi al livello dei bisogni e delle possibilità dei partecipanti, determinando quindi il mancato utilizzo delle nuove tecniche e conoscenze apprese. 48 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” 7. Conclusioni 7.1. Il Design del Programma è risultato non propriamente articolato, con carenze sia nella definizione dei collegamenti logici tra le sue parti sia nell’esplicitazione delle attività e dei risultati. La mancanza di indicatori appropriati insieme ad un’insufficiente analisi dei rischi hanno reso il documento progettuale inadatto a guidare ed indirizzare le azioni previste. Le carenze del design e l’assenza di un suo aggiornamento al mutare delle condizioni esterne, sono emerse sia durante la fase realizzativa che di valutazione avendo inciso sulla portata complessiva della stessa. 7.2. L’idea progettuale è apparsa pertinente rispetto al contesto nazionale. L’analisi dei bisogni è stata realizzata in modo adeguato e la proposta ben s’inseriva nelle linee strategiche e programmatiche nazionali, regionali e internazionali, anche per quanto concerne l’affiancamento alla valorizzazione del patrimonio culturale di tematiche relative allo sviluppo del turismo. 7.3. A livello generale, il Programma è apparso poco efficiente in termini di come le attività realizzate si sono tradotte in risultati. Le costruzioni/riabilitazioni, a tre anni di distanza dalla conclusione dei lavori, hanno evidenziato problemi che fanno supporre limiti negli studi di fattibilità. 7.4. I costi delle formazioni organizzate sono stati valutati come eccessivi in relazione agli scarsi risultati ottenuti; sono risultate inoltre poco efficienti in relazione ai reali bisogni, le modalità scelte per le formazioni (seminari, workshops di breve/brevissima durata). I corsi di formazione di durata maggiore hanno infatti dimostrato un buon livello di apprendimento tra i partecipanti. 7.5. Le ripetute estensioni non onerose, sostanzialmente per permettere ad UNESCO di portare a termine le attività di competenza, hanno impattato negativamente l’efficienza del Programma determinando un aumento del 60% dei costi di gestione rispetto alla proposta inziale. Infine, il Programma non ha creato Value for Money nel senso che non ha permesso una riduzione dei costi, una migliore gestione dei rischi, una rapida implementazione e un aumento della qualità. 7.6. Le procedure adottate da IMG per il procurement hanno garantito una buona trasparenza in fase di assegnazione dei contratti; tutte le fasi sono apparse ben definite e tradotte in adeguati strumenti di supporto. 7.7. La dispersione dei fondi del Programma in numerosi micro-interventi, l’inadeguatezza del design e la portata limitata del capacity building hanno influenzato negativamente l’efficacia complessiva dell’intervento. In generale è possibile affermare che gli interventi più efficaci siano stati quelli parte di un più articolato insieme di attività anche di altri donatori (World Bank, U.S. Ambassadors Fund for Cultural Preservation-AFCP, Unione Europea). La creazione del Centro Multimediale presso l’Università Ss. Cirillo e Metodio, gli interventi presso i siti archeologici di Stobi ed Heraclea, l’evento presso la Municipalità di Skopje “Rediscovery of the Route of Culture” e la creazione di un centro per la digitalizzazione del patrimonio culturale sono stati gli interventi più efficaci avendo contribuito al raggiungimento degli Obiettivi Specifici a cui si riferivano. Le micro-iniziative che non hanno saputo inserirsi all’interno di una più ampia collaborazione sono rimaste esempi più o meno virtuosi ma non forieri di cambiamenti sostanziali sul medio e lungo periodo. 7.8. Le attività di formazione e assistenza tecnica, sporadiche e non appositamente strutturate in un percorso formativo definito, hanno limitato l’efficacia dell’intervento. Solo i corsi di formazione sulla Rapporto finale 49 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” conservazione e il restauro del patrimonio musivo e la digitalizzazione del patrimonio culturale, sono considerabili efficaci. 7.9. Le carenze in termini di capacity building, soprattutto nei confronti degli stakeholders istituzionali coinvolti quali ministeri, amministrazioni comunali e istituzioni culturali, sono anche ascrivibili ad un’inappropriata analisi iniziale dei rischi e ad una non sempre adeguata predisposizione di un piano di mitigazione degli stessi. 7.10. L’impatto è limitato all’apporto che talune componenti del Programma hanno avuto nel favorire la completa attuazione degli accordi di Ohrid. Gli interventi risultati più efficaci sono stati anche quelli che hanno garantito un impatto sostanziale rispetto alle comunità locali, quali il centro Multimediale presso l’Università Ss. Cirillo e Metodio, gli interventi presso i siti archeologici di Stobi ed Heraclea, l’evento presso la Municipalità di Skopje “Rediscovery of the Route of Culture” e la creazione di un centro per la digitalizzazione del patrimonio culturale. 7.11. I rappresentanti delle istituzioni intervistati hanno dimostrato, nei confronti delle tematiche chiave del Programma, un indubbio interesse ma un limitato livello di ownership, in quanto le principali istituzioni coinvolte non hanno saputo appropriarsi dell’importanza della valorizzazione del patrimonio culturale per lo sviluppo del Paese nell’attuazione degli accordi di Ohrid, 7.12. Invece, con riferimento agli interventi realizzati a Stobi, Heraclea, al MIMEC e al RECEDIG si è rilevato un interessante effetto sinergico grazie alla compartecipazione di più donatori. In questi casi, l’impatto sulle comunità locali è risultato addirittura superiore alla somma dei singoli interventi, favorendo lo sviluppo nazionale in termini di valorizzazione del patrimonio culturale e decentramento amministrativo. Nel caso del RECEDIG si è riusciti ad incidere anche sulla Strategia Nazionale per la Digitalizzazione del Patrimonio, attraverso la creazione di appositi riferimenti normativi. 7.13. L’intervento è stato realizzato coinvolgendo le principali autorità pubbliche macedoni, ma non ha saputo incidere in modo significativo sulla creazione di loro competenze gestionali e amministrative, determinando il rischio di una precaria sostenibilità istituzionale. 7.14. L’incapacità finanziaria delle varie amministrazioni pubbliche a sviluppare le risorse tecnologiche e a mantenere le infrastrutture di cui sono state dotate si è tradotta in una blanda sostenibilità economica e tecnologica. 50 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” 8. Raccomandazioni Al fine di assicurare una migliore qualità delle iniziative future nel settore del patrimonio culturale e non, sono state individuate una serie di raccomandazioni, sulla base delle conclusioni di cui al capitolo 7. 8.1. La coerenza e la logica del progetto in tutte le sue componenti (narrativo, quadro logico, cronogramma e budget) dovrebbe essere oggetto di un’approfondita analisi in sede di approvazione e dovrebbe essere costantemente aggiornata al mutare delle condizioni esterne. 8.2. Gli indicatori dovrebbero essere SMART e tener conto dei tempi di attuazione dell’azione. Ciò suggerisce che sia effettuata una baseline di partenza da utilizzarsi al termine dell’implementazione come strumento di comparazione. 8.3. I rapporti intermedi e finali dovrebbero permettere di individuare rapidamente le attività implementate nel periodo di competenza e i costi sostenuti, pertanto si ritiene necessario predisporre appositi formati che favoriscano il processo evitando la dispersione/perdita delle informazioni. 8.4. Sistemi di monitoraggio e valutazione interna, propriamente strutturati, dovrebbero essere previsti nel disegno e nella gestione del Programma. Tali strumenti gestionali dovrebbero essere condivisi tra tutti gli stakeholders al fine di poter verificare in itinere lo stato di realizzazione delle attività. 8.5. La comunicazione tra donatore, ente esecutore e ulteriori partners dovrebbe essere caratterizzata da chiarezza nel flusso, nelle modalità e nelle tempistiche. Si consiglia, prima di intraprendere le attività di un Programma di elaborare un’apposita matrice delle responsabilità (es. RACI, RAM o RLC)29 che espliciti anche le modalità di gestione. 8.6. I beneficiari diretti e indiretti dell’iniziativa dovrebbero essere facilmente individuabili con riferimento a ciascun risultato atteso e maggiore attenzione dovrebbe essere data all’analisi dei costi/beneficiario delle singole attività, ove questi risultassero eccessivi alternative altrettanto valide ma meno onerose dovrebbero essere prese in considerazione. 8.7. Si consiglia di evitare un’eccessiva dispersione dell’intervento in micro-attività non in linea con il disegno strategico del Programma. Questo eviterebbe anche il “dissolvimento” della visibilità dell’intervento italiano nel panorama locale e internazionale. 8.8. Per quanto concerne il capacity building delle Autorità Locali si suggerisce di prevedere un accompagnamento delle stesse che sia costante e continuativo nel tempo; la mera partecipazione a inaugurazioni e workshop di breve durata non risulta strategica nel medio e lungo periodo. 8.9. La componente formativa e di assistenza tecnica dovrebbe essere garantita fin dalla fase di programmazione con la partecipazione delle istituzioni beneficiarie. Il loro coinvolgimento diretto è fondamentale in tutte le fasi del ciclo del progetto: nella definizione del percorso formativo, nella selezione dei partecipanti più adeguati, nel permettere a chi ha partecipato di mettere in pratica le lezioni apprese, nel moltiplicare l’esperienza formativa permettendo a chi ha partecipato di disseminare quanto appreso tra i colleghi. 29 Responsibility Assignment Matrix (RAM), Linear Responsibility Chart (LRC). Rapporto finale 51 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” 8.10. Le istituzioni locali dovrebbero garantire che le attività di formazione previste siano in linea con le policy nazionali di rafforzamento del capitale umano. Una formazione adeguatamente strutturata può essere riconosciuta dalle istituzioni beneficiarie ed eventualmente prevedere il rilascio di certificati di partecipazione. 8.11. I formatori dovrebbero essere fluenti nella lingua veicolare del Programma e prevedere un’adeguata disseminazione dei documenti di riferimento utilizzati. Per garantire inoltre una presa di coscienza anche delle generazioni future potrebbe essere utile, tra le altre cose, un maggiore coinvolgimento delle scuole. 8.12. I rischi dovrebbero essere opportunamente analizzati e il corrispondente piano di mitigazione dovrebbe essere elaborato al momento della presentazione della proposta e aggiornato costantemente durante la fase di implementazione. 8.13. Relativamente a quei Programmi che affrontano contemporaneamente la conservazione, la valorizzazione e lo sviluppo turistico si consiglia di esplorare la possibilità di realizzare partnership pubblico-private sia per sviluppare e promuovere la fruizione del patrimonio culturale che per sviluppare la rivitalizzazione economica del Paese da un punto di vista turistico. 52 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” 9. Lezioni apprese Dalla valutazione del presente Programma sono emerse le seguenti lezioni apprese: 9.1. Quando la complessità operativa, relazionale e gestionale di un Programma non è stata tradotta in strumenti che ne facilitino la gestione, semplificando e strutturando le informazioni, risulta impossibile avere una situazione chiara in itinere, monitorare l’andamento delle attività ed eventualmente correggere per tempo aspetti puntuali dell’iniziativa. 9.2. Ancorché le proposte siano pertinenti relativamente al contesto nazionale e alle strategie locali e internazionali, non sempre si inseriscono all’interno di un unico quadro strategico operativo, composto da tutti gli stakeholders attivi nello stesso settore d’intervento; cogliere per tempo, tutte le iniziative in essere o in previsione per un determinato settore operativo aiuta a creare una strategia univoca di medio e lungo periodo, nella quale il ruolo di ciascuno ha peculiarità uniche, anche operative e metodologiche, e contribuisce alla realizzazione di uno sviluppo più ampio. 9.3. Nei programmi di cooperazione allo sviluppo, non di emergenza, e che prevedono collaborazioni di partenariato con istituzioni pubbliche (ministeri, municipalità, istituzioni), vanno favorite e ricercate attività di capacity building strutturate in percorsi formativi appositamente definiti. Solo se i Programmi faciliteranno lo sviluppo di competenze e di ownership nei beneficiari diretti, anche attraverso un processo partecipativo tra stakeholders e decision makers, potranno risultare efficaci ed avere un impatto sostenibile. 9.4. La visibilità dell’aiuto italiano, intesa anche come riconoscimento sociale e istituzionale, deriva dall’efficacia e dall’impatto che i Programmi sono in grado di avere nel Paese beneficiario; un’implementazione che tenga conto di quanto evidenziato precedentemente nelle raccomandazioni gioverebbe anche al riconoscimento e alla visibilità del Governo Italiano. Rapporto finale 53 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” 10. Bibliografia AGREEMENT OF CO-OPERATION BETWEEN THE REPUBLIC OF MACEDONIA AND THE INTERNATIONAL MANAGEMENT GROUP, 25 ottobre 2001 ANALYSIS OF THE DECENTRALIZATION PROCESS IN MACEDONIA, SeeNet, Dicembre 2010 ANNUAL REPORT US AMBASSARDORS FUND FOR CULTURAL PRESERVATION, UNITED STATES, DEPARTEMENT OF STATE, 2008/2009/2010/2011 CULTURAL POLICIES AND TRENDS IN EUROPE: FYROM COUNTRY PROFILE, Zlatko Teodosievski, Cosiglio d’Europa, ottobre 2012 CULTURAL POLICY IN “THE FORMER YUGOSLAV REPUBLIC OF MACEDONIA”, Consiglio d’Europa, Comitato per la Cultura, settembre 2003 ENLARGEMENT STRATEGY AND MAIN CHALLENGES 2010-2011, COM(2010) 660 final, Commissione Europea, 2010 ENLARGEMENT STRATEGY AND MAIN CHALLENGES 2012-2013, COM(2012) 660 final, Commissione Europea, 2012 FRAMEWORK AGREEMENT BETWEEN THE MINISTRY OF FOREIGN AFFAIRS, DIRECTORATE GENERAL OF COOPERATION FOR DEVELOPMENT (DGCS) AND INTERNATIONAL MANAGEMENT GROUP, 26 marzo 2004 FYR MACEDONIA SECURES PLEDGES, World Bank, marzo 13, 2002 IMPLEMENTATION, COMPLETION AND RESULTS REPORT (IDA-35300 NETH-52501), World Bank 2007 IPA CROSS-BORDER COOPERATION PROGRAMME REPUBLIC OF MACEDONIA, 2007-2013, Unione Europea e Repubblica di Macedonia, 2007 ITALIAN TRUST FUND FOR CULTURE AND SUSTAINABLE DEVELOPMENT (ITFCSD), Governo Italiano 2000 ITL 22 Inception Report, International Management Group (IMG), Febbraio 2007 ITL 22 Mid-term Report, International Management Group (IMG), Dicembre 2007 ITL 22 Status Report, International Management Group (IMG), Novembre 2008 ITL 22 Status Report, International Management Group (IMG), Dicembre 2008 ITL 22 Status Report, International Management Group (IMG), Maggio 2010 ITL 22 Final Report, International Management Group (IMG), Dicembre 2010 MACEDONIA - DONORS' CONFERENCE - GEORGIEVSKI: "SERIOUS POLITICAL AND ECONOMIC STEP FOR THE INTERNATIONAL COMMUNITY", Reliefweb, marzo 14, 2002 NATIONAL DEVELOPMENT PLAN 2007-2009, Repubblica di Macedonia, Febbraio 2007 NATIONAL PROGRAMME FOR THE DEVELOPMENT OF EDUCATION IN THE REPUBLIC OF EDUCATION 2005-2015, Ministry of Education and Culture (FYROM), 2005 OHRID FRAMEWORK AGREEMENT, Repubblica di Macedonia, 2001 OPENING REMARKS BY MR. REIHNARD PRIBE DIRECTOR, WESTERN BALKANS ON BEHALF OF MR. CHRIS PATTEN, COMMISSIONER FOR EXTERNAL RELATIONS, Brussels,12 marzo 2002 54 Rapporto finale Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” PILOT ACTIVITIES FOR EDUCATION AND CULTURE, Proposta di progetto, International Management Group (IMG), 2004 PROJECT APPRAISAL DOCUMENT ON A PROPOSED CREDIT TO THE REPUBLIC OF MACEDONIA FOR COMMUNITY DEVELOPMENT AND CULTURE, World Bank, 2001 REGIONAL PROGRAMME FOR CULTURAL AND NATURAL HERITAGE IN SOUTH EAST EUROPE, Commissione Europea, 2008 SECURING IMPLEMENTATION OF THE OHRID AGREEMENT THORUGH CONCRETE POLICY ACTION: THE “POLICY DIALOGUE INITIATIVE”, European Center for Minority Issues, marzo 2006 STRATEGY FOR LOCAL SUSTAINABLE DEVELOPMENT 2006-2011, Municipality of Berovo, UNDP, 2006 STRATEGY FOR THE FORMER YUGOSLAV REPUBLIC OF MACEDONIA, European Bank for Reconstruction and Development, 20 luglio 2004 TEN YEARS FROM THE OHRID FRAMEWORK AGREEMENT, IS MACEDONIA FUNCTIONING AS A MULTI-ETHNIC STATE?, South East European University, 2011 THE FORMER YUGOSLAV REPUBLIC OF MACEDONIA, 2012 PROGRESS REPORT, Commissione Europea, Brussels ottobre 2012 THE IMPLEMENTATION OF THE OHRID AGREEMENT: ETHNIC MACEDONIAN Brunnbauer,Center for the Study of Balkan Societies and Culture, 2002 RESENTMENTS, Ulf THE PATH TO OHRID FRAMEWORK AGREEMENT, Ardit Memeti and Veli Kreci, 2012 TOURSIM IN THE GLOBAL DEVELOPMENT STRATEGY OF MACEDONIA: ECONOMIC PRESPECTIVES, Bljana Petrevska, 2011 Rapporto finale 55 Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture” 11. Allegati 1. Termini di Riferimento 2. Calendario Missione 3. Matrice di valutazione 4. Quadro Logico Rivisto 5. Budget di progetto 6. Riepilogo costi 7. Cronogramma attività 8. Cronogramma estensioni 9. Elenco persone contattate 10. Traccia KII 11. Traccia FGD 12. Documentazione fotografica Rapporto finale 57 ALLEGATO N. 1 MINISTERO DEGLI AFFARI ESTERI DIREZIONE GENERALE PER LA COOPERAZIONE ALLO SVILUPPO Ufficio IX Sezione Valutazione TERMINI DI RIFERIMENTO PER LA VALUTAZIONE INDIPENDENTE DEL PROGETTO: “PILOT ACTIVITIES FOR EDUCATION AND CULTURE” AID N. 8240 MINISTERO DEGLI AFFARI ESTERI DIREZIONE GENERALE PER LA COOPERAZIONE ALLO SVILUPPO TITOLO DEL PROGETTO: Pilot activities for Education and Culture – AID n. 8240 LUOGO DEL PROGETTO: Repubblica di Macedonia LINGUA DEL PROGETTO: Italiano e Inglese ORGANISMO ESECUTORE: International Management Group (IMG) DURATA: 18 mesi BUDGET: EURO 3.000.000,00 (Art. 15 L. 49/87) DONATORE: Governo italiano 1. Obiettivi del progetto Il progetto “Pilot Activities for Education and Culture” è stato implementato dall’International Management Group (IMG) con l’assistenza dell’UNESCO. L’obiettivo principale del progetto è fornire assistenza al Governo della Repubblica di Macedonia nel decentramento dell’amministrazione e delle attività istituzionali dei Ministeri della Cultura, dell’Educazione e della Scienza, prevedendo il rafforzamento e il sostegno alle Autonomie locali. Per quanto riguarda la componente culturale, gli obiettivi specifici del progetto consistono in: - attività di assistenza alle Istituzioni Culturali locali, che a sua volta si articola nell’assistenza tecnica in favore delle Istituzioni locali e nella formazione degli addetti alla cultura delle Municipalità; - interventi di valorizzazione dei siti storici di rilevanza nazionale quali Stobi, Scupi, Heraclea; - realizzazione di un Centro Regionale per la Digitalizzazione del Patrimonio Culturale, attività realizzata in collaborazione con l’UNESCO; - riabilitazione e assistenza al Museo di Arte Contemporanea di Skopje. L’attività relativa al settore dell’educazione è articolata in: - realizzazione di un Centro Multimediale presso l’Università dei SS. Cirillo e Metodio di Skopje; - l’intervento in favore della minoranza di lingua albanese a Tetovo, soprattutto alla luce della peculiare composizione etnica della Repubblica di Macedonia. Il programma è stato avviato nell’agosto 2006 con l’erogazione della prima tranche di finanziamento pari a Euro 1.170.000,00, contemporaneamente al piano di spesa presentato dall’IMG riguardante il Museo d’Arte Contemporanea e il Centro Multimediale dell’Università di Skopje. La seconda tranche di Euro 1.830.000,00 è stata erogata nel giugno 2007, a completamento dell’impegno italiano di Euro 3.000.000,00 all’International Management Group (IMG). A seguito di 3 richieste di estensione non onerosa da parte dell’IMG e una da parte dell’UNESCO, il programma si è concluso nel dicembre 2010. L’avanzo di US$ 109.261,64, su proposta UNESCO, è stato riallocato per attività attinenti al Centro Regionale di Digitalizzazione. 2. Utilità della valutazione L’utilità della valutazione del programma “Pilot activities for Education and Culture” in Macedonia è di accertare la misura in cui l’assistenza dell’IMG, e quindi della Cooperazione italiana, sia stata rilevante, effettiva, efficace e sostenibile nel raggiungimento degli obiettivi previsti per il settore. La valutazione dovrà pervenire a un giudizio generale sul grado in cui le strategie e il programma hanno contribuito al raggiungimento degli obiettivi e dell’impatto previsto attraverso le risposte alle domande che dovranno essere concordate (vedi Allegato A). Le conclusioni della valutazione saranno basate su risultati obiettivi, credibili, affidabili, validi e dovranno fornire alla Cooperazione Italiana raccomandazioni utili e operative. La valutazione dovrà rendere condivisibili le esperienze acquisite al fine di poter indirizzare i futuri finanziamenti nel settore educativo-culturale nell’area balcanica ed in particolare in Macedonia. A questo scopo, la valutazione dovrà analizzare come, per il programma considerato, il supporto al settore educativo-culturale ha influito: - sulle previsioni e l’implementazione delle politiche, delle strategie e dei programmi; - sull’efficacia degli aiuti in termini di prevedibilità, di implementazione delle strategie educativoculturali nazionali. La valutazione dovrà fornire lezioni e raccomandazioni finalizzate alla continuità degli aiuti al settore nel contesto attuale. 3. Scopo della valutazione La valutazione dovrà: • esprimere un giudizio sulla rilevanza degli obiettivi e sul loro grado di raggiungimento; • esprimere un giudizio su efficienza, efficacia, impatto e sostenibilità del progetto; • esaminare il Progetto nella sua completezza, per identificare le buone pratiche e le lezioni apprese, in modo da usarle come base conoscitiva per sviluppare gli eventuali futuri pacchetti d'assistenza tecnica nel territorio; • analizzare le strategie e le modalità d’implementazione; • tenere in considerazione i fattori di sostenibilità e l’impatto che l’implementazione di tale programma ha avuto sulle condizioni educative e culturali del Paese; • stimare i risultati e l’effettività dei programmi pilota a livello distrettuale, la loro discutibilità ed i rispettivi mezzi per la decentralizzazione dell’amministrazione e l’effettiva capacità di gestione da parte degli enti locali. Infine, la valutazione terrà in considerazione: 1. le iniziative mirate al contesto multiculturale del Paese, ovvero le attività di assistenza alle Istituzioni Culturali locali; 2. il livello di formazione degli addetti alla cultura delle Municipalità; 3. gli interventi tesi a valorizzare i siti storici di rilevanza nazionale; 4. la realizzazione, il funzionamento, l’efficacia, nonché il livello di preparazione dei tecnici del Centro Regionale per la Digitalizzazione del Patrimonio Culturale; 5. l’efficacia degli interventi di riabilitazione strutturale e di assistenza tecnica al Museo di Arte Contemporanea; 6. la realizzazione del Centro Multimediale presso l’Università dei SS. Cirillo e Metodio e la relativa attività di formazione; 7. l’efficacia dell’intervento in favore della minoranza di lingua albanese a Tetovo; 8. l’analisi qualitativa dell’assistenza tecnica da parte dell’organismo esecutore e delle capacità gestionali degli enti coinvolti nel programma. 4. Quadro analitico suggerito Il team di valutazione può includere altri aspetti consoni allo scopo della valutazione. I criteri di valutazione si basano sui seguenti aspetti: • Rilevanza: Il valutatore dovrà verificare il grado in cui il Programma tiene conto del contesto. La valutazione riesaminerà la misura con la quale gli obiettivi del Programma sono coerenti con i requisiti e le esigenze dei beneficiari. La valutazione stimerà se l’approccio è strategico e in che misura la controparte locale ha usato le risorse per l’attuazione delle attività previste dal Programma. Nel valutare la rilevanza dell’iniziativa bisognerà tenere conto: a) in che misura gli obiettivi dell’iniziativa sono validi, b) in che misura gli obiettivi dell’iniziativa sono coerenti, c) percezione dell’utilità dell’iniziativa da parte del destinatario. • Validità del design del progetto: La valutazione riesaminerà la misura con la quale il design del Programma è stato logico e coerente. • Efficienza: Analisi dell’ottimizzazione nell’utilizzo delle risorse per conseguire i risultati attesi. Nel valutare l’efficienza sarà utile considerare: 1) se i risultati sono stati raggiunti con i costi previsti, 2) se i risultati sono stati raggiunti nel tempo previsto, 3) se l’alternativa utilizzata era la più efficiente (minori costi o minori tempi) rispetto alle altre. La valutazione indicherà come le risorse e gli inputs sono stati convertiti in risultati. • Efficacia: La valutazione misurerà il grado e l’entità di raggiungimento degli obiettivi del programma. Nel valutare l’efficacia del progetto sarà utile considerare: a) se gli obiettivi, generale e specifico dei progetti, sono stati chiaramente identificati e quantificati, b) verificare se le caratteristiche progettuali dei progetti sono coerenti con gli obiettivi generali e gli obiettivi specifici, c) verificare in che misura gli obiettivi generali sono stati raggiunti, d) analizzare i principali fattori che hanno influenzato il raggiungimento degli obiettivi. • Impatto: La valutazione misurerà gli effetti diretti ed indiretti provocati dal programma nel contesto di riferimento. Nel valutare l’impatto si dovrà tenere conto dei reali cambiamenti che l’iniziativa ha prodotto nella collettività. La valutazione stimerà l’orientamento strategico dell’iniziativa in relazione al contributo apportato. • Sostenibilità: Si valuterà la capacità del Programma di produrre e riprodurre benefici nel tempo. Nel valutare la sostenibilità del Programma sarà utile: a) considerare in che misura i benefici continueranno anche dopo che è cessato l’aiuto, b) verificare i principali fattori che influenzeranno il raggiungimento o il non raggiungimento della sostenibilità dei progetti. 5. Outputs Gli outputs dell’esercizio saranno: • Un rapporto finale in inglese ed italiano con i risultati e le raccomandazioni per indirizzare i citati criteri di valutazione. • Quattro pagine di sommario del Rapporto di Valutazione del Progetto in inglese e in italiano. 6. Metodologia Data Collection: Il valutatore userà un metodo di approccio multiplo che includerà la revisione della documentazione, l’analisi di dati derivanti dalle attività di monitoraggio, le interviste individuali, i focus groups e la visita dei luoghi interessati dal Programma. Il metodo finale selezionato dal valutatore dovrà tenere conto degli obiettivi della valutazione e delle domande di valutazione che il valutatore formulerà attenendosi all’Allegato A. E’ richiesto quindi, che la proposta tecnica dovrà: a. Identificare la metodologia; b. Stabilire il livello di partecipazione degli stakeholders alla valutazione. Validation: Il team di valutazione userà diversi metodi (inclusa la triangolazione) al fine di assicurare che i dati rilevati siano validi. Coinvolgimento degli stakeholders: Sarà usato un approccio inclusivo coinvolgendo un ampio numero di stakeholders e di partners. Dovranno essere coinvolti rappresentanti di istituzioni educative, di istituzioni culturali, governativi, di organizzazioni della società civile, del settore privato e, più importanti, i beneficiari del progetto di seguito elencati: - Ministero delle Autonomie Locali - Ministero dell’Educazione e della Scienza - Ministero della Cultura - Gli Enti locali interessati dalle attività programmate - UNESCO BRESCE di Venezia - Il Centro Regionale per la Digitalizzazione - Il Museo di Arte Contemporanea di Skopje - L’Università dei SS. Cirillo e Metodio di Skopje - L’Istituto di Biotecnologie e Nutrizione dell’Università di Tetovo - Le Istituzioni Culturali locali - Gli addetti dei settori interessati - Gli utenti finali dei servizi culturali, educativi, di formazione e di promozione economica 7. Disposizioni gestionali, piano di lavoro e quadro temporale 1. Desk Analysis Revisione della documentazione relativa al progetto 2. Field visit Il team di valutazione visita i luoghi del progetto, intervista le parti coinvolte, i beneficiari e raccoglie informazioni supplementari. 3. Rapporto di valutazione Bozza del rapporto di valutazione 4.Commenti delle parti La prima stesura del rapporto di valutazione circola tra le interessate e feedback parti interessate per commenti e feedback. Queste vengono consolidate ed inviate al team di valutazione. 5. Workshop Workshop sulla presentazione della bozza del rapporto di valutazione con il coinvolgimento delle parti interessate. 6. Relazione finale Il team di valutazione mette a punto il rapporto di valutazione incorporando i commenti. 10 giorni lavorativi 10 giorni lavorativi 10 giorni lavorativi 7 giorni lavorativi 5 giorni lavorativi 3 giorni lavorativi Caratteristiche del Gruppo di Valutazione La valutazione dovrà essere svolta da un team di valutatori con esperienza nella gestione di progetti di cooperazione ed in particolare nel settore educativo-culturale. E’ richiesta una buona esperienza nella conduzione di valutazioni ex post. E’ richiesto inoltre: • Laurea magistrale; • Esperienza in interviste, ricerche documentate, redazione e scrittura di relazioni; • Eccellenti capacità analitiche e di sintesi; • Eccellenti capacità comunicative e di scrittura; • Eccellente padronanza della lingua Inglese; FORMATO SUGGERITO PER IL RAPPORTO DI VALUTAZIONE Copertina 1. Sintesi 2. Contesto del progetto 3. Obiettivo 4. Quadro teorico e metodologico 5. Verifica della realizzazione Il file relativo alla prima pagina sarà fornito dall’Ufficio IX della DGCS. Quadro generale che mette in rilievo i punti di forza e di debolezza dei progetti. Max 4 pagine, focalizzandosi sulle lezioni apprese e raccomandazioni. - Situazione paesi - Breve descrizione delle necessità che i progetti hanno inteso soddisfare - Analisi del quadro logico - Stato di realizzazione delle attività e stima dei tempi di completamento dei progetti - Tipo di valutazione. Descrizione dello scopo e dell’utilità della valutazione. - Gli obiettivi della valutazione - I criteri della valutazione - L’approccio e i principi metodologici adottati - Fonti informative: interviste, focus groups, site visit - Le difficoltà metodologiche incontrate Verifica dei principali stadi di realizzazione dei progetti. 6. Presentazione dei risultati 7. Conclusioni 8. Raccomandazioni 9. Lezioni apprese 10. Annexes Concludere la valutazione facendola derivare dai risultati e dalle comunicazioni principali. Le raccomandazioni dovrebbero essere volte al miglioramento dei progetti futuri e delle strategie della DGCS. Osservazioni, intuizioni e riflessioni generate dalla valutazione, non esclusivamente relative all’ambito dei progetti, ma originate dai findings e dalle raccomandazioni. Devono includere i TORs, la lista delle persone contattate e ogni altra informazione/documentazione rilevante. Allegato A. Identificazione delle domande di valutazione: La valutazione si baserà su un limitato numero di domande (max 10) che dovranno coprire i seguenti cinque criteri di valutazione: rilevanza, efficienza, efficacia, impatto e sostenibilità (OCSE/DAC). Linee Guida per la redazione delle domande di valutazione: • Dovranno essere previste delle domande finalizzate alla verifica dei risultati raggiunti; • Evitare di introdurre domande su argomenti non correlati, che devono essere invece analizzati in maniera trasversale, introducendo, per esempio, specifici criteri di giudizio; • le domande di valutazione devono essere focalizzate e indirizzate verso uno dei risultati; • evitare di introdurre domande troppo ampie qualora siano necessarie domande esplicative aggiuntive; • evitare di inserire domande riferite a diversi livelli di risultati; • i cinque criteri di valutazione non devono essere menzionati esplicitamente nelle domande di valutazione; • verificare che le risposte non siano soltanto affermative o negative; • le domande di valutazione devono essere correlate a un numero specifico dei criteri di giudizio, alcuni rapportati ad analisi trasversali e a concetti chiave; • aggiungere un breve commento che specifichi il significato e lo scopo delle domande. Allegato 2 – Calendario Missione Incontro con IMG staff: Arjan Karaj e Tomislav Stefanovski Monday 4 Incontro con IMG staff: Arjan Karaj e Prof. Lazar Sumanov Tuesday 5 Sito archeologico di Scupi: Liubica Kondiyanova, Direttrice Museo della Città si Skopje - Lence Jovanova, Capo Archeologa Wednesday 6 Thursday 7 Sito archeologico di Stobi: Silvana Blazevska, Direttrice Esecutiva - Jo‐ van Radnianski, Acting Manager Hristian Talevski, Archeologist Doc‐ umentator Sito archeologico di Heraclea : Lil‐ jana Hristova, Direttrice esecutiva Anica Georgievska, Direttrice Scavi Archeologici - Engin Nash, Capo Archeologo - Gazanfer Bayram, mo‐ saicista. Focus Group con: Toni Nikolovski, Gjorgji Dimovski, Oliv‐ era Makricuska (partecipanti semi‐ nario e workshop su conservazione) March 4 to March 10, 2013 Week 10 8 AM 9 AM 10 AM 11 AM Noon 1 PM 2 PM 3 PM 4 PM 5 PM 6 PM Friday 8 Ambasciata d'Italia: Fabio Cristiani, Ambasciatore Saturday 9 Allegato 2 – Calendario Missione Sunday 10 Page 1/2 Valutazione ex-post del Programma “PIlot Activities for Education and Culture” Monday 11 Cultural Heritage Protection Office: Zoran Pavlov, Capo Dipartimento per la Documentazione Ministero della Cultura: Irina Topu‐ zovska, Vice-Capo Dipartimento per la Cooperazione Internazionale e UNESCO Focus group: Viktoria Apostolova, Capo della Sezione per la Regis‐ trazione, Documentazione e Infor‐ matizzazione - Sasha Krstevski, Database Administrator - Burim Ameti, Information Technology Manager Ministero dell'Economia: Zoran Nikolovski, Capo Dipartimento per il Turismo NGO Toleranza: Daut Dauti, Diret‐ tore New Event Tuesday 12 Visita al Centro per la Digitaliz‐ zazione del Patrimonio Culturale Museo di Macedonia: Pero Iosifonski, Direttore Wednesday 13 Facoltà di Biotecnologie di TetovoGostivar: Hazir Pollozhani, Preside della Facoltà - Spartak Bozo, Do‐ cente - Erhan Sulejmani, Respons‐ abile del Laboratorio, Arita Karai, Segretaria Thursday 14 Visita al sito di Jastrebnik Municipalità di Berovo: Gorgi Peovs‐ ki, Dipartimento per lo Sviluppo e la Cooperazione Internazionale Visita al Museo del Vino di Negotino Municipalità di Negotino: Lolita Ris‐ tova, Capo Dipartimento dello Sviluppo Museum of Contemporary Arts: Elisa Shulevska, Direttrice Municipalità di Kocani: Ratko Dim‐ itrovski, Sindaco - Zoran Manasiev, Direttore Dipartimento Pianifi‐ cazione e Sviluppo March 11 to March 17, 2013 Week 11 8 AM 9 AM 10 AM 11 AM Noon 1 PM 2 PM 3 PM 4 PM 5 PM 6 PM 7 PM 8 PM 9 PM 10 PM 11 PM Friday 15 Centro Multimediale Italo-Mace‐ done: Aleksandra Sarkovska, Vice Preside incaricato per gli Affari Fi‐ nanziari - Radica Nikodinovksa, Ministry of Self Government: Mjell‐ ma Mehmeti, Dipartimento per l'In‐ tegrazione Europea Ambasciata d'Italia: Alessandra Ksenija Jelen, Addetto Culturale Museum of Contemporary Arts: Elisa Shulevska, Direttrice Saturday 16 Allegato 2 – Calendario Missione Sunday 17 Valutazione ex-post del Programma “PIlot Activities for Education Page and2/2 Culture” - CRITERI DI GIUDIZIO - Capacità dei corsi di suscitare interesse e di trasmettere nuove conoscenze ai partecipanti e agli istituti di appartenenza. SPECIFICI PER I TRAININGS Scelta delle risorse e uso del tempo Qualità degli interventi Trasparenza delle Procedure Capacità di Rispondere alle In che misura le azioni e le strategie applicate sono in linea con le Necessità. politiche dei Ministeri Macedoni coinvolti e con quelle del Capacità di tradurre Ministero degli Affari Esteri Italiano? l’intervento in appositi In che misura gli strumenti e le strategie appilcate dal programma formati/strumenti sono rilevanti in termini di miglioramento della valorizzazione, decentralizzazione e gestione del patrimonio culturale? SPECIFICI PER I TRAININGS In che misura gli strumenti e le strategie applicate dal programma sono rilevanti in termini di promozione dell'accesso all'educazione Capacità dei corsi di delle minoranze? rispondere alle necessità Qual è la qualità del design del progetto? C'è una logica nel flusso della Macedonia in termini tra attività, risultati, e obiettivi? Esistono sinergie tra le componenti di valorizzazione del del progetto? patrimonio culturale. DOMANDE PER LA VALUTAZIONE1 Allegato 3 – Matrice di valutazione CRITERIO DI VALUTAZIONE RILEVANZA La misura in cui il progetto di IMG ha saputo rispondere/adattarsi alle necessità, alle priorità e alle politiche dei beneficiari designati EFFICIENZA I risultati avrebbero potuto essere raggiunti in modo diverso? Più economico e/o più rapido? Quali misure sono state prese durante la pianificazione e l'implementazione per assicurare un utilizzo efficiente delle risorse? Le risorse umane impiegate e gli equipment acquistati sono in linea con gli standard del donatore? Per le DOMANDE DIRETTE (KIIs e FGDs) si faccia riferimento agli allegati 10 e 11. La misura in cui il progetto di IMG ha raggiunto i risultati attesi attraverso il ricorso a risorse umane, tecniche, finanziarie e materiali 1 Allegato 3 – Matrice di valutazione FONTE DEI DATI Studio della documentazione del Ministero degli Affari Esteri Italiano, del Governo Macedone, di Unesco e IMG su strategie al momento della formulazione dell'iniziativa. - DATI INDICATORI - Piani di sviluppo nazionali - Strategie nazionali per i settori educativo e culturale - Strategie europee e internazionali per i settori educativo e culturale - Documentazione di progetto inclusi rapporti intermedi e finali - Funzionari ministeri coinvolti - Beneficiari dei grants (municipalità) Analisi del budget, dei report finanziari, interviste e visite in loco. METODO DI RACCOLTA - Prove che gli obiettivi dell'intervento sono coerenti con i Piani di Sviluppo del Paese nel medio/lungo periodo - Rapporti finanziari intermedi e finali - Monitoraggi e/o valutazioni - Ministero degli Affari Esteri Italiano e Ambasciata d'Italia a Skopje - Funzionari ministeri coinvolti - Staff di IMG HQ & Macedonia - UNESCO staff - Beneficiari dei grants (municipalità) - Num. di Musei/Siti archeologici/istituti ristrutturati. Num.di materiali distribuiti. Num. di formatori formati. Num. di stakeholders formati. Livello 1 e 2 modello di Kirkpatrick. Livello di applicazione da parte delle amministrazioni locali/istituzioni delle nuove informazioni ricevute. Valutazione ex-post del Programma “Pilot Activities for Education and Culture” CRITERIO DI VALUTAZIONE EFFICACIA La misura in cui il progetto di IMG ha raggiunto gli obiettivi specifici DOMANDE PER LA VALUTAZIONE1 Quali Risultati sono stati raggiunti dalle diverse componenti del programma (educazione e cultura)? Sono in linea con i risultati attesi? In che misura i risultati raggiunti hanno contribuito il raggiungimento dell'obiettivo specifico? Quali sono stati i punti di forza e di debolezza di IMG nel raggiungimento dei risultati? Come le pre-condizioni ed i rischi hanno influenzato il raggiungimento degli Obiettivi Specifici? - - CRITERI DI GIUDIZIO - - - - Trasferimento di Know How alle istituzioni locali/partners (Capacity Building). Coinvolgimento degli stakeholders Capacita’ di analisi e mitigazone dei rischi SPECIFICI PER I TRAININGS - Capacità dei partecipanti e degli istituti di appartenenza di riutilizzare le competenze acquisite con i corsi di formazione. - INDICATORI Aumento del numero di Visitatori Annui Aumento del numero di Oggetti d’arte conservati e restaurati Aumento del numero di manifestazioni realizzate Aumento del numero di reperti archeologici conservati e restaurati Aumento del numero dei servizi offerti Aumento del numero di attività private presso i musei/siti archeologici Aumento della domanda di iscrizioni ai corsi di lingua italiana Aumento degli iscritti al Politecnico di Tetovo Aumento di prodotti lattocaseari controllati e certificati Aumento del senso di ownership dei principali stakholders circa la valorizzazione del patrimonio culturale e il decentramento amministrativo. Aumento dei flussi turistici nelle aree dell’intervento Raggiungimento livello 3 modello di Kirkpatrick Studio della documentazione del Ministero degli Affari Esteri Italiano, del Governo Macedone, di Unesco e IMG su strategie, programmi annuali, rapporti annuali, rapporti di monitoraggio, valutazione delle formazioni, studi, assessments e interviste. DATI METODO DI RACCOLTA Allegato 3 – Matrice di valutazione FONTE DEI DATI - Rapporti finanziari intermedi e finali - Monitoraggi e/o valutazioni - Ministero degli Affari Esteri Italiano e Ambasciata d'Italia a Skopje - Staff di IMG HQ & Macedonia - Stakeholders a livello Paese – ministeri macedoni rilevanti, istituzioni nazionali nei settori della cultura e dell'educazione, Ambasciata d'Italia, altri donatori, UNESCO, partecipanti a formazioni e workshop, altre NGO - Stakeholders a livello municipale – autorità municipali, addetti nei settori della cultura e dell'educazione Valutazione ex-post del Programma “Pilot Activities for Education and Culture” CRITERIO DI VALUTAZIONE SOSTENIBILITÀ DOMANDE PER LA VALUTAZIONE1 In che misura la coordinazione bi-multilaterale tra i partner ha contribuito a raggiungere gli obiettivi? In che misura le modifiche del contesto socio economico hanno influito sul raggiungimento degli obiettivi? CRITERI DI GIUDIZIO Capacità di partecipare proattivamente agli altri Programmi in essere nel paese per il settore di competenza. Sviluppo di Capacità finanziarie nei Beneficiari Capacità di tradurre le Gli effetti prodotti sono ancora sostenibili? La possibilità che i risorse economiche a In che misura l'intervento di IMG ha rafforzato le istituzioni con cui benefici derivanti dal disposizione in attività ha collaborato? progetto di IMG coerenti con il contesto Esiste un senso di appropriazione tra i beneficiari delle possano continuare a infrastrutture/training realizzate da IMG? rinnovarsi SPECIFICI PER I TRAININGS Il progetto prevedeva delle exit strategies che tenessero in successivamente alla considerazione fattori politici, finanziari, tecnologici e ambientali? conclusione In che misura gli strumenti e le strategie applicate dal programma - Capacità dei partecipanti e dell'intervento sono rilevanti in termini di adeguatezza delle tecnologie utilizzate? degli istituti di appartenenza di Utilizzo e sviluppo nel tempo delle conoscenze acquisite. EFFETTO SINERGICO La misura in cui gli effetti del progetto sono massimizzati da sinergie con altre collaborazioni N/A - - - INDICATORI Incremento del livello di ownership delle istituzioni partner (Ministero della Cultura, Ministero per il decentramento Amministrativo, Ministero dell’Educazione). Aumento delle attività produttive e dei servizi nelle zone oggetto degli interventi per effetto dell’incremento dei turisti Aumento delle potenzialità produttive e dei servizi nelle zone oggetto degli interventi per effetto dello sviluppo del DATI METODO DI RACCOLTA Allegato 3 – Matrice di valutazione FONTE DEI DATI - Rapporti finanziari intermedi e finali - Monitoraggi e/o valutazioni - Ministero degli Affari Esteri Italiano e Ambasciata d'Italia a Skopje - Staff di IMG HQ & Macedonia - Stakeholders a livello Paese – ministeri macedoni rilevanti, Visite in loco, interviste e istituzioni nazionali nei settori focus groups. della cultura e dell'educazione, Ambasciata d'Italia, altri donatori, UNESCO, partecipanti a formazioni e workshop, altre NGO - Stakeholders a livello municipale – autorità municipali, addetti nei settori della cultura e dell'educazione - Rapporti finanziari intermedi e finali - Monitoraggi e/o valutazioni - Ministero degli Affari Esteri Italiano e Ambasciata d'Italia a Skopje - Staff di IMG HQ & Macedonia Visite in loco, interviste e - Stakeholders a livello Paese – focus groups. ministeri macedoni rilevanti, istituzioni nazionali nei settori della cultura e dell'educazione, Ambasciata d'Italia, altri donatori, UNESCO, partecipanti a formazioni e workshop, altre NGO Valutazione ex-post del Programma “Pilot Activities for Education and Culture” CRITERIO DI VALUTAZIONE IMPATTO L'effetto del programma sull'ambiente e in generale il suo contributo all'obiettivo generale DOMANDE PER LA VALUTAZIONE1 In che misura il progetto ha favorito l’attuazione degli accordi di Ohrid in termini di valorizzazione patrimonio culturale, decentramento amministrativo e integrazione delle minoranze? In che misura i risultati ottenuti possono essere attribuiti all'intervento di IMG piuttosto che a fattori esogeni? I partners hanno partecipato nelle varie fasi del progetto (design, programmazione, implementazione, valutazione) - - - CRITERI DI GIUDIZIO - - - Capacità di Incidere sulle Politiche e Strategie Nazionali Livello di valorizzazione del Patrimonio Culturale, sviluppo del decentramento e integrazione delle minoranze Capacità di Incidere sulle condizioni socioeconomiche delle popolazioni Livello di partecipazione dei Partners a tutte le fasi del Progetto. SPECIFICI PER I TRAININGS - Capacità dei partecipanti e degli istituti di appartenenza di creare nuove opportunità professionali e di favorire l’ambiente circostante. Allegato 3 – Matrice di valutazione INDICATORI - Stakeholders a livello municipale – autorità municipali, addetti nei settori della cultura e dell'educazione FONTE DEI DATI DATI decentramento amministrativo Aumento degli sbocchi professionali e occupazionali per le minoranze - Rapporti finanziari intermedi e finali - Monitoraggi e/o valutazioni - Ministero degli Affari Esteri Italiano e Ambasciata d'Italia a Skopje - Staff di IMG HQ & Macedonia - Stakeholders a livello Paese – ministeri macedoni rilevanti, Visite in loco, interviste e istituzioni nazionali nei settori focus groups. della cultura e dell'educazione, Ambasciata d'Italia, altri donatori, UNESCO, partecipanti a formazioni e workshop, altre NGO - Stakeholders a livello municipale – autorità municipali, addetti nei settori della cultura e dell'educazione METODO DI RACCOLTA Incremento del livello di ownership delle istituzioni partner (Ministero della Cultura, Ministero per il decentramento Amministrativo, Ministero dell’Educazione). Aumento delle attività produttive e dei servizi nelle zone oggetto degli interventi per effetto dell’incremento dei turisti Aumento delle potenzialità produttive e dei servizi nelle zone oggetto degli interventi per effetto dello sviluppo del decentramento amministrativo Aumento degli sbocchi professionali e occupazionali per le minoranze Livello 4 modello di Kirkpatrick Valutazione ex-post del Programma “Pilot Activities for Education and Culture” RISULTATI ATTESI ATTIVITÀ DA QL E PROGETTO INIZIALE Riabilitazioni strutturali del museo di Skopje (A "h" QL) ATTIVITA' NON IDENTIFICATE RISULTATO NON IDENTIFICATO 1.1 Miglioramento delle capacità di restauro di opere d'arte contemporanea e manufatti archeologici (R3 QL) Attività di valorizzazione dei siti archeologici selezionati (A f QL) Allegato 4 – Quadro Logico rivisto ATTIVITÀ RICOSTRUITE DAL RAPPORTO FINALE - Riabilitazione Museo d'Arte Contemporanea (Budget C) 1. Lavori di riabilitazione 2. Preparazione ufficio UNESCO 3. Progettazione, disegno e supervisione lavori 1.1.1 Formazione (Budget D) 1.Seminario Internazionale sulla conservazione dei mosaici 2. Workshop internazionale sulla conservazione e gestione del patrimonio culturale macedone 3. Seminario internazionale sulle tecniche di conservazione dei mosaici - Protezione e valorizzazione di tre siti archeologici (SCUPI, STOBI AND HERACLEA) (Budget D) 1. Progettazione, disegno e supervisione lavori 2. Implementazione di massimo 3 progetti archeologici 2.1 STOBI: riabilitazione 5 baracche, illuminazione, recinzione perimetro, camminamenti, pannelli informativi, GIS Database, digitalizzazione del patrimonio culturale (creazione software) e analisi laser 2.2 SCUPI: recinzione perimetro, illuminazione,, Video Monitoring, camminamenti, preparazione del terreno per gli scavi, pannelli informativi 2.3 HERACLEA: Adattamento del' Eastern Theatre Room, recinzione perimetro, illuminazione, pannelli informativi, video monitoring. 3. Pubblicazioni 3.1 Guides su Scupi, Stobi e Heraclea 3.2 Monografie: Heraclea - an Ancient City. Ivan Mikulcic (Magor - Skopje) Heraclea Lyncestis - The path of Heraclea Lyncestis through the time (Anica Gjorgievska. Municipality of Bitola) Ancient town of Bregalnica (Ivan Mikulcic. Magor - Skopje) 2.1.1 Centro Multimediale Italo Macedone (MIMEC) (Budget B) 1 Costruzione del MIMEC presso l'Università Ss. Cirillo e Metodio 2 Progettazione, disegno e supervisione lavori 3 Acquisto arredi (arredamento e aria condizionata) ed Valutazione ex-post del Programma “Pilot Activities for Education and Culture” Progettazione e realizzazione del Centro multimediale, e suo equipaggiamento con il materiale necessario a consentirne l'utilizzo effettivo (Al QL) RISULTATO NON IDENTIFICATO 2) Il rafforzamento di legami di 2.1 Creazione di un centro multimediale cooperazione con l'Italia e con gli presso la facoltà di filologia dell'Università Organismi locali operanti nei dei SS. Cirillo e Metodio (Skopie) (R8 QL) settori dei beni culturali e 1) Favorire il recupero, anche in termini di una loro valorizzazione economica e turistica, di alcune delle risorse storiche, artistiche e culturali più significative del Paese, in una prospettiva di sviluppo sostenibile del territorio che proceda a riqualificare e rendere maggiormente fruibili i siti di interesse turistico e i capolavori a rischio di degrado. OBIETTIVI SPECIFICI Allegato 4 – Quadro Logico rivisto GENERALE OBIETTIVO Favorire la completa attuazione degli accordi di Ohrid, con particolare riferimento al processo di decentramento amministrativo nei settori dei beni culturali e dell'educazione, alla protezione e valorizzazione del Patrimonio culturale e all'integrazione delle minoranza GENERALE OBIETTIVO OBIETTIVI SPECIFICI RISULTATI ATTESI ATTIVITÀ DA QL E PROGETTO INIZIALE Allegato 4 – Quadro Logico rivisto ATTIVITÀ RICOSTRUITE DAL RAPPORTO FINALE ATTIVITA' NON IDENTIFICATE equipaggiamento multimediale (Computer, network) ATTIVITA' NON IDENTIFICATE ATTIVITA' NON IDENTIFICATE 3.1.5a Workshop internazionale: Tourism Culture and Education. From theory to practice 3.1.5b Round table Culture in Tourism - Tourism in Culture ATTIVITA' NON IDENTIFICATE 3.1.3 Workshop internazionale sulla gestione e conservazione del patrimonio culturale macedone, siti archeologici e musei 3.1.1a Training e assistenza tecnica al MoCA e traduzione manuale sicurezza nei musei 3.1.1b Miglioramento del MaMu: studio del Museo, studio area espositiva, organizzazione esposizioni, Master classes per gli studenti della facoltà di architettura e per i curatori del museo, finalizzate alla creazione di un progetto preliminare per il MAMU master plan 3.1.2 Seminario internazionale sul Bilinguismo nell'Amministrazione Pubblica Macedone - L'esperienza del NordEst italiano Pubblicazione dizionario termini amministrativi macedone-albanese ATTIVITA' NON IDENTIFICATE 3.1.1 Assistenza tecnica in favore delle istituzioni locali (assistenza alle istituzioni interessate dagli interventi strutturali (A b QL) 3.1.3 Progettazione e realizzazione di work shop, tavole rotonde, corsi specifici nel settore mussale e del restauro (A d QL) 3.1.4 Progettazione e realizzazione di workshop, tavole rotonde, corsi specifici nel settore dell'economia dei Beni Culturali (A e QL) 3.1.2 Progettazione e realizzazione di attività formative e 3.1 Miglioramento delle capacità gestionali di assistenza per il decentramento delle istituzioni culturali delle istituzioni culturali centrali e locali (R1 (A c QL) QL) dell'educazione professionale stabilendo collaborazioni tecniche che coinvolgano con regolarità Centri di Eccellenza presenti nel nostro Paese per 2.2 Incremento dell'offerta formativa nel dare luogo a opportuni campo del restauro dei beni culturali e programmi di scambio e dell'Economia dei Beni culturali (R2 QL) formazione rivolti alla controparte 2.3 Attivati rapporti di partenariato fra macedone soggetti pubblici e/o privati macedoni e italiani, nei settori oggetto dell'intervento (R11 QL) 3) Il sostegno ed il trasferimento di Know how alle istituzioni locali interessate ai fini di rendere sostenibile nel tempo l'assunzione di responsabilità e competenze da parte macedone nei settori oggetto dell'intervento italiano, con particolare riguardo al reperimento e all'ottimizzazione delle risorse indispensabili per la conduzione delle attività di pertinenza e alla promozione di queste ultime concordemente agli obiettivi sottostanti agli impegni di Ohrid 3.1.5 Progettazione e realizzazione di work shop, tavole rotonde, corsi specifici in campo turistico (A i QL) Valutazione ex-post del Programma “Pilot Activities for Education and Culture” GENERALE OBIETTIVO OBIETTIVI SPECIFICI 4) Contribuire al rafforzamento dell'integrazione fra le diverse componenti etniche della Macedonia, facilitando l'accesso all'educazione superiore per la minoranza albanese e sostenendo la diffusione di conoscenze funzionali allo sviluppo socio-economico del Paese (con particolare riguardo al settore agroalimentare). RISULTATI ATTESI 3.2 Avvio di politica turistica, governativa e locale, come strumento in grado di assicurare programmazione e opportunità economica ai comparti culturali e naturalistici (R6 QL) 3.3 Aumento dei finanziamenti e della partecipazione di soggetti privati alle attività culturali (R4 QL) 3.4 Creazione di connessione fra attori pubblici e privati operanti in campo turistico (R7 QL) ATTIVITÀ DA QL E PROGETTO INIZIALE ATTIVITA' NON IDENTIFICATE Atttivazione tavoli comuni tra Min Cultura e dip Turismo (A a QL) ATTIVITA' NON IDENTIFICATE ATTIVITA' NON IDENTIFICATE 4.1 Alloggiamento del Politecnico di Tetovo Riabiltazione dell'edificio adibito ad ospitare il Politecnico presso una nuova struttura appositamente di Tetovo, e suo equipaggiamento con il materiale riablitata (R9 QL) necessario a consentirne l'utilizzo effettivo (Am QL) 4.2 Revisione dell'offerta formativa Politecnico - dipartimento di biotecnologie, e suo adeguamento alle esigenze del settore agroalimentare (R10 QL) Valutazione e revisione del curriculum attualmente in uso presso il dipartimento di biotecnologie del Politecnico di Tetovo (An QL) Istituzione di un ufficio placement presso il Politecnico di Tetovo, e formazione del personale dell'ufficio (Ao QL) Formazione del personale del Politecnico in merito alla partecipazione a progetti di cooperazione internuversitaria europei (Ap QL) Esecuzione di uno studio di fattibilità per l'avvio di attività extra-curriculari a pagamento da parte del politecnico (Aq QL) Identificazione di opportunià di formazione e/o specializzazione del corpo docente del Politecnico presso istituti italiani, e finanziamento delle relative borse di studio (Ar QL) Allegato 4 – Quadro Logico rivisto ATTIVITÀ RICOSTRUITE DAL RAPPORTO FINALE 3.2.1.Grants for culture projects (Budget E) 1. Sveti Nikole: educational equipment; video surveillance 2. Berovo: promotion of culture (Eastern Event) 3 Kochani: establishment "Centre for valorization" 4 Negotino: establishment "Wine Museum" 5 Strumica: cultural exchange with Piacenza 6 Chair: musical instrument to Albanian Folk dance 7 Tearce: urban planning of resort and Info Centre 8 Tetovo: Billboards and sign-posts for Popova Shapka ATTIVITA' NON IDENTIFICATE Re-Discovery the Route of Culture 1a edzione Re-Discovery the Route of Culture 2a edizione ATTIVITA' NON IDENTIFICATE 4.1.1 Costruzione e dotazione del Laboratorio di Biotecnologie, State University Tetovo (Budget A) 1. Costruzione del laboratorio 2. Acquisto di arredamento e equipaggiamento multimediale 3. Acquisto attrezzature per il laboratorio 4. Progettazione, disegno e supervisione lavori ATTIVITA' NON IDENTIFICATE Valutazione ex-post del Programma “Pilot Activities for Education and Culture” GENERALE OBIETTIVO OBIETTIVI SPECIFICI 5) Sarà infine cura del progetto ampliare l'orizzonte delle collaborazioni tra i vari soggetti istituzionali e culturali/formativi presenti in Macedonia per consentirne l'aggiornamento internazionale e l'accesso alle tecniche settoriali e gestionali più moderne disponibili. Così come verrà in ogni modo promossa la condivisione tra gli operatori culturali dei risultati conseguiti e delle tipologie di problemi affrontati localmente nello svolgimento dei programmi omologhi con la creazione di un network informatico e di un primo nucleo di banca dati cui accedere. ATTIVITA' UNESCO RISULTATI ATTESI 4.3 Migliorati i livelli di qualità e sicurezza della produzione agroalimentare macedone connessa alle attività del Politecnico di Tetovo (R12 QL) 5.1 Organizzare il centro di catalogazione digitale del Patrimonio Culturale (R5 QL) 5.2 Rafforzare le capacità degli esperti e dei tecnici locali nel settore della digitalizzazione del Patrimonio culturale (non dettagliato nel QL) 5.3 Costituire un Gruppo di Rappresentanti nazionali degli Stati del Sud-Est europeo nell'ambito della digitalizzazione del Patrimonio culturale (non dettagliato nel QL) ATTIVITÀ DA QL E PROGETTO INIZIALE Definizione di brevi attività didattiche da inserire all'interno dei diversi insegnamenti del Politecnico, e loro realizzazione da parte di docenti italiani (As QL) ATTIVITA' NON IDENTIFICATE Attività di catalogazione del patrimonio culturale e coinvolgimento istituzioni dei paesi della regione (A g QL) Allegato 4 – Quadro Logico rivisto ATTIVITÀ RICOSTRUITE DAL RAPPORTO FINALE ATTIVITA' NON IDENTIFICATE 5.1.1 Valutazione dello stato dell'arte in materia di digitalizzazione del patrimonio culturale 5.1.2 Selezione del materiale da digitalizzare 5.1.3 Preparativi per la digitalizzazione: dotazione o posta in opera strumentazione tecnica necessaria 5.1.4 Esecuzione del progesso di digitalizzazione, conservazione dei file e trattamento delle immagini 5.1.5 Pubblicazione on line e promozione 5.1.6 Organizzazione di una conferenza 5.2.1 Selezione del personale docente 5.2.2 Selezione dei partecipanti 5.2.3 Preparazione del materiale d'insegnamento e organizzazione logistica dei corsi 5.2.4 Realizzazione dei corsi 5.2.5 Predisposizione della piattaforma per la formazione a distanza 5.3.1 Organizzazione di conferenze, meeting e realizzazione di pubblicazioni Valutazione ex-post del Programma “Pilot Activities for Education and Culture” Allegato 5 – Budget di progetto Allegato 5 – Budget di progetto Riabilitazione dell'edificio !70.000,00 !50.000,00 !142.000,00 !90.000,00 !28.000,00 !132.000,00 !30.000,00 !100.000,00 !261.000,00 !370.000,00 !58.000,00 !38.000,00 !141.000,00 !33.000,00 !100.000,00 !26.000,00 !61.000,00 !261.000,00 !338.000,00 !35.000,00 !38.000,00 !142.000,00 !33.000,00 !90.000,00 !25.100,00 !60.600,00 !261.600,00 !327.000,00 !12.700,00 !49.300,00 !142.000,00 !33.000,00 !90.000,00 BUDGET TOTALE Arredi scolastici !90.000,00 !380.000,00 !74.000,00 REPORT FINALE 50M Laboratorio Biotecnologie !48.000,00 !254.000,00 !26.000,00 43 MESI Training e assistenza tecnica per formazione e preparazione curricula !400.000,00 !74.000,00 BUDGET TOTALE Progettazione, direzione lavori e Coordinamento attività di training !160.000,00 !27.000,00 !131.500,00 36 MESI Subtotale A !130.000,00 !93.900,00 !478.800,00 BUDGET TOTALE Costruzione e riabilitazione dell'edificio !128.000,00 !95.000,00 !441.900,00 !327.200,00 24 MESI Fornitura ed installazione equipment e arredi !128.000,00 !456.000,00 !326,500.00 !50.800,00 BUDGET TOTALE Training e assistenza tecnica !82.000,00 !483.000,00 !326.500,00 !50,700.00 BUDGET TOTALE Progettazione, direzione lavori e Coordinamento attività di training !500.000,00 !326.500,00 !50.700,00 !22.000,00 !101.000,00 PROPOSTA ORIGINALE VARIAZIONI BUDGET DI PROGETTO A SEGUITO DELLE ESTENSIONI NON ONEROSE DESCRIZIONE Subtotale B !340.000,00 !50.700,00 !22.000,00 !112,700.00 A) Istituto di Biotecnologie e Nutrizione - Università di Tetovo Lavori di riabilitazione !50.000,00 !30.000,00 !108.000,00 C) Museo d'Arte Contemporanea - Skopje B) Centro Multimediale - Università Sts Cirillus et Methodius UNESCO ROSTE Allestimento ufficio !57.000,00 !501.000,00 !128.000,00 !511,900.00 !82.000,00 !515.200,00 !128.000,00 !562.200,00 Training a assistenza al MAC di Skopje !600.000,00 Progettazione, direzione lavori e Coordinamento attività di training Subtotale C D) Sviluppo e protezione di 3 siti archeologici Valutazione ex-post del Programma “Pilot Activities for Education and Culture” Allegato 5 – Budget di progetto !404.000,00 !51.000,00 !401.000,00 !52.600,00 BUDGET TOTALE !58.000,00 BUDGET TOTALE !420.000,00 BUDGET TOTALE !60.000,00 !58.500,00 BUDGET TOTALE !423.000,00 !512.100,00 BUDGET TOTALE !60.000,00 !61.000,00 !208.576,00 REPORT FINALE 50M !423.000,00 !50.000,00 !516.000,00 !80.600,00 43 MESI Training per archeologia !45.023,00 !528.000,00 !223.000,00 !20.878,00 36 MESI Implementazione e sviluppo fino a 3 siti !57.000,00 !528.023,00 !210.000,00 !65.000,00 !310.054,00 24 MESI Progettazione, direzione lavori e Coordinamento attività di training !540.000,00 !210.000,00 !72.000,00 !39.000,00 PROPOSTA ORIGINALE Subtotale D !210.000,00 !72.000,00 !327.000,00 DESCRIZIONE Grants !72.000,00 !13.760,00 E) Grants per Istituzioni Culturali in via di decentralizzazione Workshop per management di istituzioni culturali !295.760,00 !16.000,00 !8.000,00 !16.000,00 !290.000,00 !16.000,00 !8.000,00 !16.000,00 !290.000,00 !16.000,00 Progettazione, direzione lavori e Coordinamento attività di training Subtotale E F) UNESCO - Centro per la digitalizzazione del Patrimonio Culturale Missioni relative all'implementazione del progetto !60.000,00 !60.000,00 !30.000,00 !18.000,00 !60.000,00 !60.000,00 !30.000,00 !18.000,00 !60.000,00 !60.000,00 !30.000,00 !18.000,00 !60.000,00 !60.000,00 !18.000,00 !60.000,00 !40.000,00 !- !18.000,00 Assistenza ai lavori, collaudi e implementazione banca dati Attrezzature informatiche (8postazioni + software) !30.000,00 Segreteria Organizzazione di conferenze Borse di studio Materiali stampati Sito Internet !38.000,00 !18.000,00 !30.000,00 !30.000,00 !10.000,00 !20.000,00 !330.000,00 !38.000,00 !18.000,00 !30.000,00 !30.000,00 !10.000,00 !20.000,00 !330.000,00 !38.000,00 !18.000,00 !30.000,00 !30.000,00 !10.000,00 !20.000,00 !330.000,00 !38.000,00 !18.000,00 !30.000,00 !30.000,00 !10.000,00 !20.000,00 !330.000,00 !38.000,00 !18.000,00 140.000,00 Spese generali UNESCO (13%) !330.000,00 Corsi di formazione Costi operativi Consulenze ! Subtotale F Valutazione ex-post del Programma “Pilot Activities for Education and Culture” BUDGET TOTALE 24 MESI BUDGET TOTALE !2.494.960,00 36 MESI BUDGET TOTALE !99.000,00 !2.464.800,00 43 MESI BUDGET TOTALE !33.000,00 !99.000,00 !2.458.954,00 REPORT FINALE 50M BUDGET TOTALE Allegato 5 – Budget di progetto PROPOSTA ORIGINALE !2.573.223,00 !99.000,00 !33.000,00 DESCRIZIONE !2.660.000,00 !94.500,00 !- !33.000,00 Totale A+B+C+D+E+D !81.000,00 !- !31.500,00 Salari G) Management del programma Esperto - Direttore PIE !- !27.000,00 Field monitor - Ingegnere locale Team leader - Ingegnere locale Viaggi aerei !6.000,00 !23.400,00 !29.700,00 !14.850,00 !2.100,00 !222.800,00 !600,00 !31.200,00 !39.600,00 !19.800,00 !5.600,00 !259.000,00 !600,00 !41.600,00 !49.500,00 !29.700,00 !5.600,00 !272.450,00 !600,00 !46.800,00 !49.500,00 !37.950,00 !5.600,00 !273.400,00 !600,00 !49.400,00 !49.500,00 !36.300,00 !5.600,00 !- Rimborso spese in loco esperto Staff locale di supporto (segreteria / amministrazione) !184.050,00 Per diem esperto Per diem personale locale Subtotale - salari Telephone - fax - email Costi di mantenimento Ufficio Affitto uffici !27.000,00 !18.000,00 !9.900,00 !27.000,00 !36.000,00 !24.000,00 !13.200,00 !36.000,00 !7.500,00 !19.500,00 !45.000,00 !30.000,00 !16.500,00 !40.500,00 !8.500,00 !19.500,00 !46.500,00 !33.000,00 !18.150,00 !46.500,00 !8.500,00 !21.000,00 !46.500,00 !33.000,00 !18,150,00 !49.500,00 Costi diretti Affitto automezzi nr.2 a 1/2 tempo !6.000,00 !18.600,00 !18.000,00 !18.600,00 !4.500,00 !18.000,00 !3.000,00 !31.000,00 !13.500,00 !14.400,00 !3.000,00 !31.000,00 Affitto di workstation (computer, stampante, scanner, cell, etc.) !10.800,00 !3.000,00 !30.000,00 Assicurazioni Costi di mantenimento autovetture !3.000,00 !229.250,00 !24.000,00 !224.750,00 !2.000,00 !210.000,00 !18.000,00 !174.600,00 Cancelleria, carta stampante, toner etc. !130.700,00 Brochure, stampe, corrieri, posta etc. Subtotale costi diretti Valutazione ex-post del Programma “Pilot Activities for Education and Culture” BUDGET TOTALE Allegato 5 – Budget di progetto BUDGET TOTALE !2.000,00 BUDGET TOTALE !2.000,00 !1.000,00 BUDGET TOTALE !2.000,00 !1.000,00 !3.000,00 BUDGET TOTALE !2.000,00 !1.000,00 !3.000,00 !505.650,00 REPORT FINALE 50M !2.000,00 !1.000,00 !3.000,00 !500.200,00 !35.396,00 43 MESI Iniziative di visibilità del programma !1.000,00 !3.000,00 !472.000,00 !35.000,00 !541.046,00 36 MESI Altri costi (spese bancarie e di cambio) !3.000,00 !400.400,00 !33.040,00 !535.200,00 !3.000.000,00 24 MESI Subtotale - Varie !317.750,00 !26.377,00 !505.040,00 !3.000.000,00 PROPOSTA ORIGINALE Subtotale G !22.250,00 !426.777,00 !3.000.000,00 DESCRIZIONE H) Costi amministrativi IMG @ appross. 7% costi diretti !340.000,00 !3.000.000,00 Varie Totale G+H !3.000.000,00 Totale programma (A+B+C+D+E+F+G+H) Valutazione ex-post del Programma “Pilot Activities for Education and Culture” Allegato 6 – Riepilogo costi RIEPILOGO COSTI RENDICONTATI DESCRIZIONE Allegato 6 – Riepilogo costi !89.822,85 !33.108,70 !142.025,34 !49.238,47 !6.955,70 !321.151,06 SPESO AL 31/12/2010 !89.822,85 !33.071,15 !142.015,68 !49.238,47 !12.705,70 !326.853,85 !261.602,59 !60.636,66 !25.110,31 !131.454,22 !478.803,78 SPESO AL 31/12/2009 !89.815,47 !33.038,44 !141.875,15 !40.126,22 !49.755,34 !354.610,62 !261.602,59 !60.636,66 !25.110,31 !131.454,22 !478.803,78 !327.126,72 !50.833,54 !95.742,06 !21.977,68 !495.680,00 SPESO AL 31/12/2008 !261.564,47 !60.613,03 !24.686,89 !76.047,97 !422.912,36 !327.126,72 !50.735,80 !101.087,00 !22.075,42 !501.024,94 !52.646,26 !401.418,26 !58.562,44 !512.626,96 SPESO AL 31/10/2007 !261.675,88 !327.126,73 !50.833,54 !21.977,68 !79.088,92 !479.026,87 !52.646,26 !401.407,52 !58.562,44 !512.616,22 !1.500,00 B) Centro Multimediale - Università Sts Cirillus et Methodius Costruzione e riabilitazione dell'edificio Fornitura ed installazione equipment e arredi Training e assistenza tecnica Progettazione, direzione lavori e Coordinamento attività di training Subtotale B !280.764,68 !50.612,76 !21.981,57 !37.700,00 !391.059,01 !52.645,44 !397.452,41 !58.452,20 !508.550,05 !16.920,10 !244.755,78 !1.500,00 C) Museo d'Arte Contemporanea - Skopje Lavori di riabilitazione UNESCO ROSTE Allestimento ufficio Training a assistenza al MAC di Skopje Progettazione, direzione lavori e Coordinamento attività di training Subtotale C !2.735,73 !762,05 !3.497,78 A) Istituto di Biotecnologie e Nutrizione - Università di Tetovo Riabilitazione dell'edificio Arredi scolastici Laboratorio Biotecnologie Training e assistenza tecnica per formazione e preparazione curricula Progettazione, direzione lavori e Coordinamento attività di training Subtotale A D) Sviluppo e protezione di 3 siti archeologici Training per archeologia Implementazione e sviluppo fino a 3 siti Progettazione, direzione lavori e Coordinamento attività di training Subtotale D Valutazione ex-post del Programma “Pilot Activities for Education and Culture” DESCRIZIONE E) Grants per Istituzioni Culturali in via di decentralizzazione Grants Workshop per management di istituzioni culturali Progettazione, direzione lavori e Coordinamento attività di training Subtotale E SPESO AL 31/12/2010 Allegato 6 – Riepilogo costi SPESO AL 31/12/2009 !194.276,73 !80.622,08 !46.041,08 !320.939,89 SPESO AL 31/12/2008 !178.268,53 !80.622,08 !15.876,13 !274.766,74 !40,51 !28.612,61 !248.709,58 SPESO AL 31/10/2007 !144.865,86 !32.833,85 !15.598,55 !193.298,26 !10.968,06 !37.717,47 !53.290,46 !17.304,62 !40,51 !11.129,22 !96.738,64 !2.377.911,27 100.775,86 !4.036,07 !18.628,04 !55.852,22 ! !40,51 !10.028,55 !82.171,24 !2.190.804,17 !95.400,00 !31.800,00 !3.666,02 !18.661,50 !53.354,40 !63.941,80 !8.925,49 7.052,58 !4.036,07 !10.161,31 !55.852,22 ! !- !2.040.569,40 !90.900,00 !30.300,00 !3.666,02 !18.661,50 !49.443,90 !58.442,80 !8.317,96 2.052,58 !657.732,67 !80.730,00 !26.910,00 !3.164,02 !18.661,50 !42.438,00 !47.073,00 !6.240,64 ! Totale A+B+C+D+E+D !64.063,64 !19.275,00 !2.299,62 !9.247,50 !12.427,50 !11.445,91 !149,32 F) UNESCO - Centro per la digitalizzazione del Patrimonio Culturale Missioni relative all'implementazione del progetto Assistenza ai lavori, collaudi e implementazione banca dati Attrezzature informatiche (8postazioni + software) Costi operativi Corsi di formazione Sito Internet Materiali stampati Borse di studio Organizzazione di conferenze Segreteria Spese generali UNESCO (13%) Subtotale F G) Management del programma Salari Esperto - Direttore PIE Rimborso spese in loco esperto Viaggi aerei Team leader - Ingegnere locale Field monitor - Ingegnere locale Staff locale di supporto (segreteria / amministrazione) Per diem personale locale Valutazione ex-post del Programma “Pilot Activities for Education and Culture” Allegato 6 – Riepilogo costi Costi diretti Affitto uffici Costi di mantenimento Ufficio Telephone - fax - email Affitto automezzi nr.2 a 1/2 tempo Affitto di workstation (computer, stampante, scanner, cell, etc,) Assicurazioni Costi di mantenimento autovetture Cancelleria, carta stampante, toner etc. Brochure, stampe, corrieri, posta etc. Subtotale costi diretti Subtotale - salari !1.847,36 !1.022,13 !2.869,49 !9.719,71 !3.205,73 !11.028,85 !18.000,00 !8.853,69 !2.553,12 !6.142,48 !7.270,03 !1.319,91 !68.093,52 !118.908,49 !395.792,79 !1.968,13 !810,18 !2.778,31 !23.697,60 !7.288,37 !30.569,55 !39.000,00 !18.000,00 !5.997,67 !16.134,57 !23.964,24 !3.145,32 !167.797,32 !225.217,16 !33.039,88 !471.998,26 !2.152,49 !810,18 !2.962,67 !34.457,64 !13.297,70 !38.210,39 !45.000,00 !19.500,00 !7.890,14 !17.991,98 !29.459,39 !3.496,17 !209.303,41 !259.732,18 !541.046,00 !35.396,00 !509.934,11 !2.170,92 !810,18 !2.981,10 !43.482,71 !16.089,37 !44.106,71 !45.000,00 !19.500,00 !8.645,33 !18.482,82 !32.325,43 !3.571,43 !231.203,80 !275.749,21 SPESO AL 31/12/2010 Varie Iniziative di visibilità del programma Altri costi (spese bancarie e di cambio) Subtotale - Varie !189.871,50 !13.291,00 !505.038,14 !2.918.957,27 SPESO AL 31/12/2009 Subtotale G !13.291,00 !409.083,79 !2.695.842,31 SPESO AL 31/12/2008 H) Costi amministrativi IMG @ appross. 7% costi diretti !203.162,50 !2.449.653,19 SPESO AL 31/10/2007 Totale G+H !860.895,17 DESCRIZIONE Totale programma (A+B+C+D+E+F+G+H) Valutazione ex-post del Programma “Pilot Activities for Education and Culture” 11 2006 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 2008 8 9 10 11 12 1 2 3 Cronogramma attuale delle attività - report finale dicembre 2010 2007 Allegato 7 – Cronogramma attività UNIVERSITA' DI TETOVO Preparazione progetto esecutivo Preparazione documentazione di gara d'appalto Valutazione gara, preparazione e firma contratto Esecuzione lavori (inclusi arredo e attrezzature) Finalizzazione e consegna lavori, collaudi e rap. finale Assistenza tecnica e formazione MULTIMEDIA CENTER UNIVERSITA' SKOPJE Preparazione progetto esecutivo Preparazione documentazione di gara d'appalto Valutazione gara, preparazione e firma contratto Esecuzione lavori (inclusi arredo e attrezzature) Finalizzazione e consegna lavori, collaudi e rap. finale Assistenza tecnica e formazione MUSEO ARTE CONTEMPORANEA Preparazione progetto esecutivo Preparazione documentazione di gara d'appalto Valutazione gara, preparazione e firma contratto Esecuzione lavori (inclusi arredo e attrezzature) Finalizzazione e consegna lavori, collaudi e rap. finale Assistenza tecnica e formazione UNESCO Preparazione UNESCO Office in MCA Attività di UNESCO SITI ARCHEOLOGICI Preparazione e sviluppo siti archeologici (As.tecnica) Sviluppo siti archeologici Formazione GRANTS A ISTITUZIONI CUTURALI DECENTRALIZZATE Preparazione progetti esecutivi Esecuzione progetti Training e assistenza tecnica (+ route of culture) LEGENDA Cronogramma aggiornato delle attività - Inception report del febbraio 2007 4 5 6 7 2009 8 9 10 12 1 2 3 4 5 6 7 2010 8 9 10 11 12 Allegato 7 – Cronogramma attività 11 Valutazione ex-post del Programma “Pilot Activities for Education and Culture” 1 11 12 2006 17 1 2 3 5 7 2007 6 22 8 9 10 11 12 1 2 1 3 10 4 30 5 7 2008 6 8 Presentazione richiesta estensione non onerosa 4 Allegato 8 – Cronogramma estensioni Avvio Attività Firma accordo con UNESCO Avvio attività UNESCO (in seguito all’invio fondi) Termine originale attività 1a richiesta estensione 6 mesi Approvazione 1a richiesta estensione Nuovo termine attività 2a richiesta estensione attività 12 mesi Approvazione 2a richiesta estensione Nuovo termine attività 3a richiesta estensione attività per 12 mesi UNESCO Approvazione 3a richiesta estensione attività UNESCO Nuovo termine attività per UNESCO 4a richiesta estensione attività fino a giugno 2010 IMG Comunicazione mancata concessione estensione Approvazione richiesta estensione non onerosa LEGENDA 9 10 28 11 30 12 12 1 2 3 4 5 6 7 2009 8 10 11 2 31 12 1 9 2 3 4 5 21 6 7 2010 8 9 10 11 Allegato 8 – Cronogramma estensioni 9 27 Estensione fine attività Valutazione ex-post del Programma “Pilot Activities for Education and Culture” 12 31 Allegato 9 – Elenco delle persone contattate 5 4 3 2 1 # Dauti Blazevska Bicciato Bayram Apostolova Ameti COGNOME Claudia Daut Silvana Dino Gazanfer Viktoria Burim Municipalità di Kocani IMG NGO Toleranza Istituto Nazionale di Stobi IMG Accademia macedone delle Arti Ufficio per la Protezione del Patrimonio Culturale Ufficio per la Protezione del Patrimonio Culturale Mosaicista Sindaco Project Manager Direttore Direttrice Esecutiva Direttore Generale Mosaicista Capo della Sezione per la Registrazione, Documentazione e Informatizzazione Information Technology Manager POSIZIONE [email protected] [email protected] [email protected] [email protected] [email protected] [email protected] [email protected] [email protected] [email protected] EMAIL +389 75 298 848 +389 33 274 001 +381 (11) 3118 782 +389 75 223 255 +389 43 251 026 +381 (11) 3118 782 +389 2 3235 400 +389 2 3289 759 +389 2 3289 759 TELEFONO Allegato 9 – Elenco delle persone contattate 6 De’ Besi Radko Istituto e Museo Nazionale di Bitola - Heraclea IN ORDINE ALFABETICO 7 Dimistrovski Gjorji ISTITUZIONE 8 Dimovski NOME 9 Valutazione ex-post del Programma “Pilot Activities For Education and Culture” 14 13 12 11 10 # Kondijanova Karai Jovanova Josifovski Hristova Georgievska COGNOME Sasha Ljubica Argjent Lence Pero Liliana Anica Ambasciata d’Italia a Skopje Ufficio per la Protezione del Patrimonio Culturale Museo della Città di Skopje IMG Museum of the City of Skopje - Scupi Museo di Macedonia Istituto e Museo Nazionale di Bitola - Heraclea Istituto e Museo Nazionale di Bitola - Heraclea Mosaicista Addetto culturale Database Administrator Direttrice Project Manager Capo Archeologa Direttore Direttrice Esecutiva Archeologa [email protected] [email protected] [email protected] [email protected] -- [email protected] [email protected] [email protected] [email protected] [email protected] +389 71 226 613 +389 70 309 369 +389 75 298 700 +389 70 304 199 +389 2 3289 759 +389 2 3114 742 +381 38 775 776 +389 2 3113 609 +389 2 3116 044 +389 47 233 187 +389 47 233 187 Allegato 9 – Elenco delle persone contattate 15 Krstevski Alessandra Istituto e Museo Nazionale di Bitola - Heraclea Direttore del Settore per la Pianificazione e lo Sviluppo [email protected] TELEFONO 16 Ksenija Jelen Olivera Municipalità di Kocani Dipartimento per l’Integrazione Europea EMAIL 17 Makrievska Zoran Ministero per il Decentramento Amministrativo POSIZIONE 18 Manasiev Mjellma ISTITUZIONE 19 Mehmeti Petersen NOME 20 Valutazione ex-post del Programma “Pilot Activities For Education and Culture” 25 24 23 22 21 # Perovski Pavlov Nikolovski Nikolovski Nikodinovska Nash COGNOME Alberto Gorgi Zoran Toni Zoran Radica Engin Università Statale di Tetovo -- Municipalità di Berovo Ufficio per la Protezione del Patrimonio Culturale Istituto e Museo Nazionale di Bitola - Heraclea Ministero dell’Economia Università Ss. Cirillo e Metodio Istituto e Museo Nazionale di Bitola - Heraclea Acting Manager Preside della Facoltà di Tecnologie Alimentari -- Dipartimento per lo sviluppo e la cooperazione internazionale Capo Dipartimento per la Documentazione Mosaicista Capo Dipartimento per il Turismo Capo Dipartimento di Italianistica Archeologo [email protected] [email protected] [email protected] [email protected] [email protected] [email protected] [email protected] [email protected] [email protected] [email protected] +39 041 2601 535 +389 70 370 555 +389 43 251 026 +389 72 275 752 -- +389 71 302 604 +389 2 3289 796 +389 75 298 830 +389 2 3093 540 +389 2 3240 491 +389 47 233 187 Allegato 9 – Elenco delle persone contattate 26 Pogorelz Hazir Istituto Nazionale di Stobi Capo Dipartimento per lo Sviluppo [email protected] TELEFONO 27 Pollozhani Jovan Municipalità di Negotino Program Officer EMAIL 28 Radnianski Lolita UNESCO BRESCE POSIZIONE 29 Ristova Matteo ISTITUZIONE 30 Rosati NOME 31 Valutazione ex-post del Programma “Pilot Activities For Education and Culture” 32 # Schulevska Sarzoska COGNOME Tomislav Eliza Aleksandra -- IMG Museo d’Arte Contemporanea Università Ss. Cirillo e Metodio Archeologo documentarista Architetto Project Coordinator Direttrice Vice-Preside incaricata per gli Affari Finanziari [email protected] [email protected] [email protected] [email protected] [email protected] EMAIL +389 2 3240 517 +389 43 251 026 +389 70 781 671 +389 2 3117 734 +389 70 306 895 TELEFONO Allegato 9 – Elenco delle persone contattate 33 Stefanovski Lazar Istituto Nazionale di Stobi Capo Dipartimento per la Cooperazione Internazionale e UNESCO POSIZIONE 34 Sumanov Hristian Ministero della Cultura ISTITUZIONE 35 Talevski Lidija NOME 36 Topuzovska +389 70 358 244 37 Valutazione ex-post del Programma “Pilot Activities For Education and Culture” Allegato 10 - Traccia Interviste Allegato 10 - Traccia Interviste TRACCE UTILIZZATE PER LE INTERVISTE QUALITATIVE1 ! MUSEI E SITI ARCHEOLOGICI (MOCA, MAMU, SCUPI, STOBI, HERACLEA) CRITERIO DAC RILEVANZA CRITERIO DI GIUDIZIO - EFFICIENZA - EFFICACIA - DOMANDE Capacità di Rispondere alle Necessità. Capacità di tradurre l’intervento in appositi formati/strumenti - Scelta delle risorse e uso del tempo Qualità degli interventi Trasparenza delle Procedure - Trasferimento di Know How alle istituzioni locali/partners (Capacity Building). Coinvolgimento degli stakeholders Capacita’ di analisi e mitigazone dei rischi - - - - IMPATTO - - SOSTENIBILITA’ - 1 Capacità di Incidere sulle Politiche e Strategie Nazionali Livello di valorizzazione del Patrimonio Culturale, sviluppo del decentramento e integrazione delle minoranze Capacità di Incidere sulle condizioni socio-economiche delle popolazioni Livello di partecipazione dei Partners a tutte le fasi del Progetto - Sviluppo di Capacità finanziarie nei Beneficiari Capacità di tradurre le risorse economiche a disposizione in attività coerenti con il contesto - - - Qual è la specificità culturale del museo/sito archeologico per il patrimonio culturale macedone? Quali sono le principali esigenze del museo/sito in termini di valorizzazione? In che misura le attività che sono state realizzate da IMG hanno contribuito alla conservazione e alla valorizzazione del sito? Che cosa poteva essere fatto diversamente? In che misura è cambiato il flusso di turisti nazionali/internazionali negli ultimi 3 anni nel sito/museo? Avete prova documentale di questi numeri? Come sono cambiate le relazioni con agenzie di viaggio nazionali/internazionali per organizzazione visite guidate al sito/museo? Che tipo di rapporti ci sono, se ci sono, tra il museo/sito e le scuole/le comunità circostanti/la popolazione? Che attività di ricerca storica e archeologica sono state sviluppate negli ultimi 3 anni nel sito (quando e quante)? In che misura ci sono stati cambiamenti a livello di gestione del museo/sito in seguito all’entrata in vigore degli accordi di Ohrid? C’è stato qualche ulteriore cambiamento negli ultimi 3 anni rispetto al funzionamento precedente? Quali sono gli aspetti di gestione del sito su cui sta concentrando gli sforzi e che obiettivi che si prefigge come direttore? Che attività di disseminazione volte favorire una presa di coscienza del patrimonio culturale sono state realizzate? In che misura sono aumentate le capacità finanziarie del sito/museo? Come sono finanziate le attività del museo/sito? Il turismo è sufficiente per sostenerle? Quali altri finanziamenti sono stati ottenuti per la realizzazione di attività e progetti? Da chi? Le tracce qui allegate sono state adattate di volta in volta a seconda dell’interlocutore. Valutazione ex-post del Programma “Pilot Activities for Education and Culture” Allegato 10 - Traccia Interviste ! UNIVERSITÀ (SS. CIRILLO E METODIO, UNIVERSITÀ STATALE DI TETOVO) CRITERIO DAC RILEVANZA CRITERIO DI GIUDIZIO - Capacità di Rispondere alle Necessità. Capacità di tradurre l’intervento in appositi formati/strumenti DOMANDE - EFFICIENZA - - Scelta delle risorse e uso del tempo Qualità degli interventi Trasparenza delle Procedure - EFFICACIA - Trasferimento di Know How alle istituzioni locali/partners (Capacity Building). Coinvolgimento degli stakeholders Capacita’ di analisi e mitigazone dei rischi - IMPATTO - - SOSTENIBILITA’ - Capacità di Incidere sulle Politiche e Strategie Nazionali Livello di valorizzazione del Patrimonio Culturale, sviluppo del decentramento e integrazione delle minoranze Capacità di Incidere sulle condizioni socio-economiche delle popolazioni Livello di partecipazione dei Partners a tutte le fasi del Progetto Sviluppo di Capacità finanziarie nei Beneficiari Capacità di tradurre le risorse economiche a disposizione in attività coerenti con il contesto - - - - Come si colloca quest’università nel panorama universitario macedone? Quanti studenti ci sono? Qual è l’importanza di avere una facoltà di biotecnologie? Qual è la strategia del ministero dell’educazione sull’insegnamento della lingua italiana? Cosa ha portato alla creazione del centro multimediale italo-macedone? In che misura le attività di IMG hanno risposto alle esigenze soggiacenti la creazione di laboratorio di biotecnologie/strategia dell’ateneo/laboratorio multimediale? In che misura le attività di IMG hanno contribuito allo sviluppo di nuove competenze? Che cosa poteva essere fatto diversamente? Trend degli studenti negli ultimi 10 anni? Quante facoltà ci sono? Quanto personale lavora al centro/laboratorio? Quanti studenti lo utilizzano? L’ufficio placement è attivo? Quante persone vi lavorano? Che tipo di attività vengono svolte? Quanti progetti di cooperazione interuniversitaria sono stati implementati dal 2008 a oggi? In che misura le attività che sono state realizzate da IMG hanno contribuito al rafforzamento dei legami di cooperazione con Italia e scambi e formazione? Ci sono stati altri programmi/attività di cooperazione/scambi tra il centro/laboratorio e realtà italiane? Che tipo di attività vengono realizzate al centro/laboratorio? (Viene utilizzato anche dalle comunità circostanti per testare i prodotti? Se sì, questo ha avuto un impatto sul miglioramento della produzione agricola locale?) Chi in questo momento si fa carico delle spese di gestione del laboratorio/ufficio placement/centro multimediale? Ci sono partenariati con altre realtà pubbliche e/o private per il suo mantenimento? Qual è la strategia dell’università per lo sviluppo del laboratorio/ufficio placement/ufficio progetti/centro multimediale? Cosa si propone di fare per valorizzarne e massimizzarne l’utilizzo? Valutazione ex-post del Programma “Pilot Activities for Education and Culture” Allegato 10 - Traccia Interviste ! MUNICIPALITÀ CRITERIO DAC RILEVANZA CRITERIO DI GIUDIZIO - Capacità di Rispondere alle Necessità. Capacità di tradurre l’intervento in appositi formati/strumenti DOMANDE - EFFICIENZA - EFFICACIA - Scelta delle risorse e uso del tempo Qualità degli interventi Trasparenza delle Procedure - Trasferimento di Know How alle istituzioni locali/partners (Capacity Building). Coinvolgimento degli stakeholders Capacita’ di analisi e mitigazone dei rischi - - - IMPATTO - - SOSTENIBILITA’ - Capacità di Incidere sulle Politiche e Strategie Nazionali Livello di valorizzazione del Patrimonio Culturale, sviluppo del decentramento e integrazione delle minoranze Capacità di Incidere sulle condizioni socio-economiche delle popolazioni Livello di partecipazione dei Partners a tutte le fasi del Progetto Sviluppo di Capacità finanziarie nei Beneficiari Capacità di tradurre le risorse economiche a disposizione in attività coerenti con il contesto - - - Qual è la specificità culturale di questa municipalità per il patrimonio culturale macedone? Qual è la potenzialità turistica di questa municipalità? Quali sono le principali esigenze del sito/municipalità in termini di incremento del turismo? Le attività che sono state realizzate da IMG hanno contribuito alla valorizzazione del sito/incremento turismo/aumento capacità gestionali/rafforzamento del processo di decentramento amministrativo? In che modo? Che cosa poteva essere fatto diversamente? Qual è il flusso di turisti nazionali/internazionali negli ultimi 3 anni nella municipalità? Avete prova documentale di questi numeri? Sono stati stabilite relazioni con agenzie di viaggio nazionali/internazionali per organizzazione visite guidate al sito/museo? Che attività di valorizzazione del patrimonio culturale/promozione del turismo negli ultimi 3 anni nel territorio della municipalità (quando e quante)? Quali sono stati i cambiamenti a livello di gestione del municipalità in seguito all’entrata in vigore degli accordi di Ohrid? C’è stato qualche ulteriore cambiamento negli ultimi 3 anni rispetto al funzionamento? Che attività di disseminazione volte favorire una presa di coscienza del patrimonio culturale sono state realizzate? Come sono finanziate le attività della municipalità per quanto concerne la valorizzazione del patrimonio culturale/promozione del turismo? Il turismo è sufficiente per sostenerle? Quali altri finanziamenti sono stati ottenuti per la realizzazione di attività e progetti? Da chi? Valutazione ex-post del Programma “Pilot Activities for Education and Culture” Allegato 10 - Traccia Interviste ! MINISTERI CRITERIO DAC RILEVANZA CRITERIO DI GIUDIZIO - Capacità di Rispondere alle Necessità. Capacità di tradurre l’intervento in appositi formati/strumenti DOMANDE - - EFFICIENZA - Scelta delle risorse e uso del tempo Qualità degli interventi Trasparenza delle Procedure - - EFFICACIA - IMPATTO - - SOSTENIBILITA’ - Trasferimento di Know How alle istituzioni locali/partners (Capacity Building). Coinvolgimento degli stakeholders Capacita’ di analisi e mitigazone dei rischi - Capacità di Incidere sulle Politiche e Strategie Nazionali Livello di valorizzazione del Patrimonio Culturale, sviluppo del decentramento e integrazione delle minoranze Capacità di Incidere sulle condizioni socio-economiche delle popolazioni Livello di partecipazione dei Partners a tutte le fasi del Progetto - - Sviluppo di Capacità finanziarie nei Beneficiari Capacità di tradurre le risorse economiche a disposizione in attività coerenti con il contesto Come funziona il Ministero attualmente? Qual è stato il ruolo del Ministero nel progetto di IMG? Quali sono state, a seguito degli accordi di Ohrid, le priorità del MoC? Quali sono stati i cambiamenti a livello di strategia nel settore culturale/turistico in seguito all’entrata in vigore degli accordi di Ohrid? C’è stato qualche ulteriore cambiamento negli ultimi 3 anni rispetto al funzionamento e alla strategia? Quali sono le principali esigenze in termini di valorizzazione del patrimonio culturale? (MOC) Le attività che realizzate da IMG hanno contribuito alla conservazione e alla valorizzazione patrimonio culturale/rafforzamento del decentramento amministrativo? In che modo? Che cosa poteva essere fatto diversamente? In generale, le attività di IMG hanno favorito il decentramento amministrativo in campo culturale? Qual è lo stato dell’arte del decentramento amministrativo in campo culturale? (MLSG) Quali sono le relazioni tra il Ministero dell’Economia e il Ministero della Cultura per quanto riguarda la valorizzazione del patrimonio culturale macedone? (MOE/MOC) Come considera i vari workshop e seminari realizzati sul capacity building in termini di rafforzamento del decentramento amministrativo? Come funziona il Ministero attualmente? Qual è stato il ruolo del Ministero nel progetto di IMG? Quali sono stati i cambiamenti a livello di strategia nel settore culturale/turistico in seguito all’entrata in vigore degli accordi di Ohrid? C’è stato qualche ulteriore cambiamento negli ultimi 3 anni rispetto al funzionamento e alla strategia? Il progetto ha favorito l’instaurarsi di rapporti duraturi con istituzioni italiane/internazionali? Ci sono stati altri interventi negli stessi ambiti? Come sono finanziate le attività dei vari siti/musei? Quali altri finanziamenti sono stati ottenuti per la realizzazione di attività e progetti? Valutazione ex-post del Programma “Pilot Activities for Education and Culture” Allegato 11 – Traccia FGD Allegato 11 – Traccia FGD TRACCE UTILIZZATE PER I FGD SU CONSERVAZIONE PATRIMONIO CULTURALE E DIGITALIZZAZIONE RISULTATO CRITERIO DI GIUDIZIO RILEVANZA Capacità dei corsi di rispondere alle - A che corso avete partecipato? Quanti erano i necessità della Macedonia in termini partecipanti? di valorizzazione del patrimonio - Quale lavoro fate adesso? culturale. - Qual è la vostra percezione dell’attuale situazione del patrimonio mosaicale in macedonia/digitalizzazione? Secondo voi, è valorizzato sufficientemente/fruibile oppure no? E perché? Capacità dei corsi di suscitare - Qual è il ricordo del corso a cui avete interesse e di trasmettere nuove partecipato? Puoi esprimere un commento conoscenze ai partecipanti e agli sintetico complessivo sulla qualità della lezione? istituti di appartenenza. Qual è stato il rapporto tra teoria ed esercitazioni e che supporti didattici sono stati utilizzati? Capacità dei partecipanti e degli - Fino a che punto la formazione ti è servita in istituti di appartenenza di riutilizzare termini di miglioramento delle conoscenze, le competenze acquisite con i corsi apprendimento di metodologie e di strumenti di di formazione. lavoro? - E nei confronti dell’istituto in cui lavori (la partecipazione al corso è stata dettata da un bisogno personale o istituzionale)? - Fino a che punto avete usato nella vostra attività le conoscenze acquisite? Capacità dei partecipanti e degli - Negli ultimi 4 anni quali sono state le vostre istituti di appartenenza di creare attività in campo mosaicale/digitalizzazione? nuove opportunità professionali e di - Fino a che punto le persone con cui voi avete a favorire l’ambiente circostante. che fare con la vostra attività quotidiana, hanno beneficiato indirettamente delle competenze che avete acquisito con la partecipazione al corso? Capacità dei partecipanti e degli - Avete uno specifico interesse ad approfondire istituti di appartenenza di Utilizzo e gli argomenti trattati? sviluppo nel tempo delle conoscenze - Quali sono le vostre priorità/progetti acquisite. professionali? - Ci sono stati ostacoli nell’applicazione delle informazioni apprese durante il corso? EFFICIENZA EFFICACIA IMPATTO SOSTENIBILITA’ DOMANDE Valutazione ex post del Programma “Pilot Activities for Education and Culture” Allegato 12 – Documentazione fotografica MISSIONE IN MACEDONIA 2-16 MARZO 2013 Valutazione ex-post del Programma “Pilot Activities For Education and Culture” SCUPI A destra in alto: camminamento, recinzione, illuminazione e pannelli A destra in basso: attuale area espositiva A destra in basso: esempio di pannello esplicativo Sotto: camminamento Allegato 12 – Documentazione fotografica Valutazione ex-post del Programma “Pilot Activities For Education and Culture” STOBI A destra in alto: attuale metodo di conservazione del patrimonio musivo A destra in basso: baracche riabilitate da IMG e attualmente utilizzate da archeologi impiegati sul sito Sotto: esempio di pannello esplicativo Allegato 12 – Documentazione fotografica Valutazione ex-post del Programma “Pilot Activities For Education and Culture” HERACLEA LYNCESTIS A destra in alto: area espositiva riabilitata A destra in basso: attuale metodo di conservazione del patrimonio musivo Sotto: pannelli e recinzione installate da IMG Allegato 12 – Documentazione fotografica Valutazione ex-post del Programma “Pilot Activities For Education and Culture” CENTRO CULTURALE, KOCANI A destra in alto: il centro culturale di Jastrebnik A destra in basso: ufficio presso il centro culturale Sotto: area espositiva Allegato 12 – Documentazione fotografica Valutazione ex-post del Programma “Pilot Activities For Education and Culture” PIAZZA CENTRALE, BEROVO Allegato 12 – Documentazione fotografica Valutazione ex-post del Programma “Pilot Activities For Education and Culture” MUSEO DEL VINO, NEGOTINO A destra in alto: area espositiva Museo del Vino A destra in basso: particolare del pannello visibilità Sotto: area espositiva Allegato 12 – Documentazione fotografica Valutazione ex-post del Programma “Pilot Activities For Education and Culture” LABORATORIO DI BIOTECNOLOGIE, TETOVO A destra: parte dell’equipaggiamento acquistato da IMG Sotto: laboratorio di biotecnologie costruito da IMG e attualmente in disuso Allegato 12 – Documentazione fotografica Valutazione ex-post del Programma “Pilot Activities For Education and Culture” CENTRO MULTIMEDIALE ITALO-MACEDONE, SKOPJE A destra in alto: il Centro Multimediale ItaloMacedone A destra in basso: aula A destra in basso: piano superiore Sotto: accesso al piano superiore Allegato 12 – Documentazione fotografica Valutazione ex-post del Programma “Pilot Activities For Education and Culture” CENTRO PER LA DIGITALIZZAZIONE DEL PATRIMONIO CULTURALE, SKOPJE A destra in alto: vista complessiva del Recedig A destra in basso: il personale del RECEDIG attualmente impegnato in attività di digitalizzazione Sotto: vista dal piano rialzato Allegato 12 – Documentazione fotografica Valutazione ex-post del Programma “Pilot Activities For Education and Culture” MUSEO D’ARTE CONTEMPORANEA, SKOPJE A destra in alto: interno, rampa e illuminazione A destra in basso: ingresso principale Sotto: area esposizioni temporanee Allegato 12 – Documentazione fotografica Valutazione ex-post del Programma “Pilot Activities For Education and Culture” MUSEO D’ARTE CONTEMPORANEA, SKOPJE Allegato 12 – Documentazione fotografica Documentazione fotografica fornita dalla direttrice del Museo d’Arte Contemporanea relativamente alle problematiche delle vetrate Valutazione ex-post del Programma “Pilot Activities For Education and Culture”