VALUTAZIONE - Cooperazione Italiana

Transcript

VALUTAZIONE - Cooperazione Italiana
DGCS
Ufficio IX
Valutazione
Pilot Activities for Education and Culture in Macedonia
2013
VALUTAZIONE
Riepilogo della valutazione
Titolo del Programma
Pilot Activities for Education and Culture
Paese
Repubblica di Macedonia
Ente Esecutore
International Management Group (IMG)
Periodo di esecuzione
01/11/2006-31/12/2010
Tipologia valutazione
Ex post
Ente Valutatore
InfoAid snc
Valutatori
Dott. Gabriele Bertani
Dott.ssa Laura Morisio
Date della missione
02-16 Marzo 2013
Le opinioni espresse nel presente Rapporto sono quelle degli Autori e non riflettono, necessariamente,
quelle del Ministero degli Affari Esteri, di IMG o di UNESCO
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
Sommario
Elenco delle figure e delle tabelle
3
Abbreviazioni e acronimi
4
Executive summary
5
1. Contesto del Programma
8
1.1
1.2
SITUAZIONE PAESE
1.1.1 Decentralizzazione
1.1.2 Cultura
1.1.3 Educazione
ORIGINI DELL’INIZIATIVA
1.2.1 Dati del programma
8
8
9
10
11
12
2. Obiettivo
13
2.1
2.2
13
13
13
14
TIPOLOGIA DELLA VALUTAZIONE
SCOPO E UTILITÀ DELLA VALUTAZIONE
2.2.1 Scopo della valutazione
2.2.2 Utilità della valutazione
3. Metodologia
15
3.1
3.2
3.3
3.4
15
15
16
19
GLI OBIETTIVI DELLA VALUTAZIONE
I CRITERI DELLA VALUTAZIONE
APPROCCIO E PRINCIPI METODOLOGICI ADOTTATI
LIMITAZIONI
4. Design del Programma
20
4.1
4.2
4.3
4.4
4.5
20
21
23
23
25
OBIETTIVO GENERALE VS OBIETTIVI SPECIFICI
OBIETTIVI SPECIFICI VS RISULTATI ATTESI
RISULTATI ATTESI VS ATTIVITÀ
INDICATORI E PRECONDIZIONI
ALTRI ELEMENTI DEL PROGETTO
5. Verifica della realizzazione
26
6. Risultati
28
6.1
6.2
28
31
PERTINENZA/RILEVANZA
EFFICIENZA
Rapporto finale
1
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
6.3
6.4
6.5
EFFICACIA
6.3.1 Partecipazione
IMPATTO ED EFFETTO SINERGICO
SOSTENIBILITÀ
36
43
45
47
7. Conclusioni
49
8. Raccomandazioni
51
9. Lezioni apprese
53
10. Bibliografia
54
11. Allegati
57
2
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
Elenco delle figure e delle tabelle
Figura 1. Valutazione di attività formative e criteri DAC
17
Figura 2. Municipalità coinvolte nel Programma e relativi interventi
32
Figura 3. Andamento del budget di programma dal 2006 al 2010
35
Figura 4. Partecipazione attesa vs. Partecipazione effettiva
44
Tabella 1. Elenco principali leggi nel settore culturale
9
Tabella 2. Obiettivo generale e obiettivi specifici
21
Tabella 3. Obiettivi specifici e risultati attesi
22
Tabella 4. Analisi degli stakeholders
43
Rapporto finale
3
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
Abbreviazioni e acronimi
AFCP
Ambassadors Fund for Cultural Preservation
CHPO
Ufficio Per la Protezione del Patrimonio Culturale
DGCS
Direzione Generale per la Cooperazione allo Sviluppo
ICOMOS
Consiglio internazionale dei monumenti e dei siti
IMB
Istituto e Museo di Bitola
IMG
International Management Group
NCC
National Conservation Center
MAE
Ministero degli Affari Esteri
MAMU
Museo di Macedonia
MCS
Museo della Città di Skopje
MIMEC
Centro Multimediale Italo-Macedone
MLSG
Ministero delle Autorità Locali
MoC
Ministero della Cultura
MOCA
Museo d’Arte Contemporanea
MoEc
Ministero dell’Economia
MoES
Ministero dell’Educazione e della Scienza
NI
Istituto Nazionale
OG
Obiettivo Generale
OS
Obiettivo Specifico
QL
Quadro Logico
RA
Risultato Atteso
RECEDIG
Centro Regionale per la digitalizzazione del Patrimonio Culturale
UKIM
Università Ss. Cirillo e Metodio
UNESCO BRESCE
UNESCO - Ufficio Regionale per la Scienza e la Cultura in Europa
UNITE
Università di Tetovo
UTC
Unità Tecnica Centrale
UTL
Unità Tecnica Locale
4
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
Valutazione ex post dell’iniziativa “Pilot Activites for
Education and Culture”
EXECUTIVE SUMMARY
Al fine di sostenere la Macedonia nel suo impegno per uscire dall’emergenza derivante dal conflitto
armato del febbraio-agosto 2001, nel marzo 2002, la Commissione Europea e la Banca Mondiale
organizzarono a Bruxelles una Conferenza dei Paesi Donatori accogliendo le richieste ricevute in tal
senso dai firmatari degli Accordi di Ohrid. Il Governo Italiano nel corso di tale conferenza si assunse
l’impegno di contribuire con tre milioni di euro allo sviluppo del decentramento amministrativo e
dell’educazione.
In virtù di queste premesse, l’International Management Group (IMG) presentò nell’ottobre 2004 un
progetto di massima dal titolo “Pilot Activities for Education and Culture” all’Unità Tecnica Centrale
(UTC) della Direzione Generale per la Cooperazione allo Sviluppo (DGCS). In una fase successiva,
alcune considerazioni connesse al ruolo unificante che la Cultura è in grado di svolgere e ragioni di
opportunità da parte macedone sui tempi di implementazione, portarono a precisare l’ambito nel quale
il contributo italiano, e quindi l’intervento di IMG, si sarebbe sostanziato. La proposta di finanziamento
così rivista fu approvata dal Comitato Direzionale con delibera nr. 69 del 16/05/2005.
La valutazione ex post, di seguito presentata, ha cercato di stabilire la misura in cui i risultati, gli obiettivi,
l’impatto e la sostenibilità dell’iniziativa sono stati raggiunti e di evidenziare raccomandazioni e lezioni
apprese al fine di poter indirizzare futuri finanziamenti nel settore educativo-culturale.
L’analisi dei documenti di progetto, delle strategie nazionali, regionali e internazionali, e dei piani di
sviluppo settoriali è stata affiancata da interviste qualitative con i principali stakeholders coinvolti
nell’implementazione del Programma.
La metodologia utilizzata ha integrato diverse tecniche di rilevamento e misurazione dei dati sulla base
della creazione di una Matrice di Valutazione che, identificando i principali criteri di giudizio, ha facilitato
la definizione di apposite domande valutative (strutturate in Interviste qualitative e Focus Group) a cui
sono stati riferiti specifici indicatori. Inoltre per la valutazione dei corsi di formazione si è fatto riferimento
al modello di Kirkpatrick.
Le diverse tecniche di rilevazione dei dati hanno facilitato la triangolazione degli stessi evitando il rischio
di analisi mendaci. Le informazioni così raccolte hanno permesso di evidenziare i punti di forza e di
debolezza dell’iniziativa, valutati sulla base dei criteri di qualità del disegno di progetto, efficienza,
efficacia, impatto e sostenibilità.
L’analisi del disegno del Programma ha evidenziato carenze nella definizione dei collegamenti logici tra
le sue parti, nell’esplicitazione delle attività e dei risultati, nell’aggiornamento/modificazione dei
contenuti al mutare delle condizioni esterne e nell’identificazione di indicatori appropriati. Tutti questi
elementi hanno reso il documento progettuale inadatto a guidare ed indirizzare le azioni previste, sia
durante la fase realizzativa sia in quella di valutazione; infatti, l’inadeguatezza di strumenti quali quadro
logico, cronogramma, budget e talvolta la scarsa coerenza degli stessi con il documento di progetto
hanno di fatto limitato le possibilità di analisi in particolare per quanto riguarda efficienza ed efficacia.
Il Programma è risultato essere pertinente rispetto al contesto nazionale; l’analisi dei bisogni è stata
realizzata in modo adeguato e rispondente alle linee strategiche e programmatiche anche per quanto
concerne l’affiancamento alla valorizzazione del patrimonio culturale di tematiche relative allo sviluppo
del turismo. La scelta delle aree di intervento ha garantito un approccio al settore di ampio raggio:
Rapporto finale
5
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
ricostruzione di siti storici e archeologici rilevanti per il rilancio del patrimonio culturale macedone,
formazione professionale e gestionale a più livelli, incentivazione del decentramento amministrativo,
digitalizzazione del patrimonio culturale, sostegno allo sviluppo educativo della minoranza albanese.
La valutazione dell’efficienza ha parzialmente risentito della mancanza di informazioni chiare sui costi e
sui beneficiari diretti e indiretti. A livello generale, il Programma è apparso poco efficiente in termini di
come le attività realizzate si sono tradotte in risultati. Le costruzioni/riabilitazioni, a tre anni di distanza
dalla conclusione dei lavori, hanno evidenziato problemi che fanno supporre limiti negli studi di fattibilità.
I costi delle formazioni organizzate sono stati valutati come eccessivi in relazione ai risultati ottenuti;
sono risultate inoltre poco efficienti, le modalità scelte per le formazioni (seminari, workshops di
breve/brevissima durata). Le ripetute estensioni non onerose, sostanzialmente per permettere ad
UNESCO di portare a termine le attività di competenza, hanno impattato negativamente l’efficienza del
Programma determinando un aumento del 60% dei costi di gestione rispetto alla proposta inziale.
Riassumendo, il Programma non ha saputo creare Value for Money, nel senso che non ha permesso
una riduzione dei costi, una migliore gestione dei rischi, una rapida implementazione, un aumento della
qualità. Si è, tuttavia, rilevata una buona efficienza in relazione alle attività di procurement che sono
apparse trasparenti e ben standardizzate in appropriati strumenti operativi.
La creazione del Centro Multimediale (MIMEC) presso l’Università Ss. Cirillo e Metodio, gli interventi
presso i siti archeologici di Stobi ed Heraclea, l’evento presso la Municipalità di Skopje “Rediscovery of
the Route of Culture” e la creazione di un centro per la digitalizzazione del patrimonio culturale
(RECEDIG) sono stati gli interventi più efficaci avendo contribuito al raggiungimento degli Obiettivi
Specifici a cui si riferivano. Dall’altra parte, le micro-iniziative, come ad esempio alcuni grants alle
Municipalità, sono sembrate iniziative spot e non parte di una strategia univoca, pertanto sono rimaste
esempi più o meno virtuosi a seconda dei casi, ma comunque non portatori di cambiamenti sostanziali
sul medio e lungo periodo.
Le attività di formazione e di assistenza tecnica, concretizzatesi per la maggior parte dei casi in simposi
e seminari di brevissima durata, sono apparse eccessivamente sporadiche e non strutturate in un
percorso formativo definito in grado di favorire un miglioramento delle capacità dei partecipanti. Esempi
positivi in termini di efficacia sono il corso sulla conservazione e il restauro del patrimonio musivo e
quello sulla digitalizzazione del patrimonio culturale, in cui i partecipanti hanno dimostrato, anche a tre
anni di distanza di utilizzare quotidianamente, ancorché parzialmente, le metodologie e le tecniche
apprese. Gli interventi risultati più efficaci sono stati anche quelli che hanno garantito un impatto
sostanziale rispetto alle comunità locali.
Con riferimento agli interventi realizzati a Stobi, Heraclea, al MIMEC e al RECEDIG si è rilevato un
interessante effetto sinergico grazie alla compartecipazione di più donatori (World Bank, U.S.
Ambassadors Fund for Cultural Preservation-AFCP, Unione Europea). In questi casi, l’impatto sulle
comunità locali è risultato addirittura superiore alla somma dei singoli interventi, favorendo lo sviluppo
nazionale in termini di valorizzazione del patrimonio culturale e decentramento amministrativo. Nel caso
dei RECEDIG si è riusciti anche ad incidere sulla elaborazione delle Strategie Nazionali.
La partecipazione al Programma delle principali autorità pubbliche macedoni è avvenuta in modo
parziale (partecipazione a simposi e workshops), e non ha saputo incidere in modo significativo sulla
creazione di loro competenze gestionali e amministrative, determinando il rischio di una precaria
sostenibilità istituzionale. Inoltre, l’incapacità finanziaria delle varie amministrazioni pubbliche a
sviluppare le risorse tecnologiche, quali ad esempio il software per la catalogazione del patrimonio
culturale, e a mantenere le infrastrutture di cui sono state dotate si è tradotta in una blanda sostenibilità
economica e tecnologica.
6
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
Alla luce dei risultati della valutazione sono state individuate alcune raccomandazioni volte ad
assicurare una qualità migliore delle iniziative future nel settore del patrimonio culturale e non.
La struttura ed il Design di Progetto dovrebbero essere oggetto di una approfondita analisi in sede di
approvazione e dovrebbero essere costantemente aggiornati al mutare delle condizioni esterne, al fine
di assicurare la logica e la coerenza del documento narrativo e delle componenti principali per tutta la
durata del Programma. Rapporti intermedi e finali dovrebbero essere predisposti su appositi formati
che favoriscano il processo, evitando la dispersione/perdita di informazioni utili. Infine, sistemi di
monitoraggio e valutazione interna, propriamente strutturati, dovrebbero essere già previsti al momento
della presentazione della proposta.
I beneficiari diretti e indiretti del programma dovrebbero essere identificati e identificabili chiaramente
già in fase di presentazione della proposta. Maggiore attenzione dovrebbe inoltre essere data all’analisi
dei costi per beneficiario delle singole attività.
È auspicabile assicurare che le attività del Programma siano frutto di una strategia univoca che punti al
raggiungimento dell’obiettivo generale.
I percorsi di formazione e capacity building dovrebbero essere disegnati garantendo fin dalla fase di
identificazione, la partecipazione delle istituzioni beneficiarie. Inoltre si suggerisce di preferire forme di
accompagnamento di medio-lungo periodo piuttosto che seminari e workshop di breve durata.
I rischi dovrebbero essere opportunamente analizzati e il corrispondente piano di mitigazione dovrebbe
essere elaborato al momento della presentazione della proposta e aggiornato costantemente durante
la fase di implementazione.
Infine, si consiglia di esplorare la possibilità di realizzare partnership pubblico-private sia per sviluppare
e promuovere la fruizione del patrimonio culturale che per sviluppare la rivitalizzazione economica del
Paese da un punto di vista turistico.
Dalla valutazione del Programma “Pilot Activities for Education and Culture” i valutatori hanno tratto
alcune lezioni apprese come di seguito riportato:
Se la complessità operativa, relazionale e gestionale dei Programmi non viene tradotta in strumenti che
ne facilitino la gestione, semplificando e strutturando le informazioni, risulta impossibile avere una
situazione chiara in itinere, monitorare l’andamento delle attività ed eventualmente correggere per
tempo aspetti puntuali dell’iniziativa.
Ancorché le proposte siano pertinenti relativamente al contesto nazionale e alle strategie locali e
internazionali, non sempre si inseriscono all’interno di un unico quadro strategico operativo, composto
da tutti gli stakeholders attivi nello stesso settore d’intervento; cogliere per tempo, tutte le iniziative in
essere o in previsione per un determinato settore operativo aiuta a creare una strategia univoca di
medio e lungo periodo, nella quale il ruolo di ciascuno ha peculiarità uniche, anche operative e
metodologiche, e contribuisce alla realizzazione di uno sviluppo più ampio.
Nei programmi di cooperazione allo sviluppo, non di emergenza, e che prevedono collaborazioni di
partenariato con istituzioni pubbliche (ministeri, municipalità, istituzioni), vanno favorite e ricercate
attività di capacity building strutturate in percorsi formativi appositamente definiti. Solo se i Programmi
faciliteranno lo sviluppo di competenze e di ownership nei beneficiari diretti, anche attraverso un
processo partecipativo tra stakeholders e decision makers, potranno risultare efficaci ed avere un
impatto sostenibile.
La visibilità dell’aiuto italiano, intesa anche come riconoscimento sociale e istituzionale, deriva
dall’efficacia e dall’impatto che i Programmi sono in grado di avere nel Paese beneficiario;
un’implementazione che tenga conto di quanto evidenziato in precedenza nelle raccomandazioni
gioverebbe anche al riconoscimento e alla visibilità del Governo Italiano.
Rapporto finale
7
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
1. Contesto del Programma
1.1 Situazione Paese
La Macedonia divenne uno Stato indipendente nel settembre del 1991 senza, di fatto, essere coinvolta
nei conflitti che divamparono a seguito della dissoluzione della Jugoslavia. Tuttavia, a causa della
perdurante instabilità nei Balcani e dei crescenti risentimenti interetnici, la Macedonia si vide più volte
minacciata. Nel 1999, un consistente flusso di rifugiati mise a rischio la stabilità interna del Paese
determinando l’acuirsi di molti problemi di ordine sociale già esistenti. La minaccia più grave
all’esistenza dello stato macedone, furono gli scontri armati della prima metà del 2001, la cui
conclusione fu sancita con gli Accordi di Ohrid del 13 agosto 2001, firmati da rappresentanti macedoni
e albanesi.
Secondo lo Human Development Index 20111, la Macedonia si colloca al 78 posto su 187 paesi e
territori; tra il 2005 e il 2011 il valore dell’HDI della Macedonia è cresciuto da 0.704 a 0.728, con un
aumento annuale dello 0.6%.
Dal punto di vista dell’integrazione europea, la Macedonia ha presentato richiesta formale per
l’ingresso nell’Unione Europea nel marzo 2004. L’accordo di Stabilizzazione e Associazione tra la
FYROM e l’Unione Europea fu firmato nell’aprile 2001 ed è entrato in vigore nell’Aprile 2004.
Il Consiglio Europeo nel 2005 ha attribuito al Paese lo status di candidato all’ingresso nell’Unione
Europea. Nell’ottobre 2009, la Commissione ha raccomandato al Consiglio di aprire i negoziati per il
passaggio alla fase successiva dell’implementazione dell’accordo di stabilizzazione. Nel 2008
l’Accession Partnership ha definito le otto aree prioritarie per la Macedonia nel framework dell’agenda
delle riforme dell’Unione Europea includendo, la piena implementazione delle obbligazioni derivanti
dall’Accordo di Stabilizzazione e Associazione, la riforma della pubblica amministrazione, della polizia,
del sistema giudiziario, la lotta alla corruzione, la riduzione del tasso di disoccupazione e la creazione di
un ambiente favorevole alle imprese.
I vari rapporti che si sono da allora susseguiti hanno concluso che la Macedonia ha sostanzialmente
raggiunto gli obiettivi posti nelle aree prioritarie e pertanto hanno raccomandato l’avvio dei negoziati per
l’accesso all’UE; tuttavia, il Consiglio Europeo non ha ancora provveduto a fissare una data per
l’apertura dei negoziati.
1.1.1 Decentralizzazione
Gli accordi di Ohrid, rilevando la necessità di preservare il carattere multietnico della società macedone,
auspicavano la decentralizzazione di alcune funzioni e prerogative del Governo; in particolare, l’articolo
3.1 faceva esplicito riferimento all’approvazione di una Legge sulle Autonomie Locali che puntasse a
rinforzare il potere degli ufficiali locali e ad ampliare sostanzialmente le loro competenze in conformità
1
Human Development Report 2011, Sustainability and Equity: A better Future for All, UNDP 2011
8
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
con la Costituzione e la Carta Europea dell’Autonomia Locale2, in particolare per quanto riguardava i
servizi pubblici, la pianificazione urbana e rurale, la protezione ambientale, lo sviluppo locale economico,
la cultura, l’educazione, la finanza locale, e la sanità.
Il processo di decentralizzazione iniziò quindi con l’approvazione della legge sulle Autonomie Locali,
pubblicata sulla Gazzetta Ufficiale nel gennaio 2002, a cui seguirono la legge sulla nuova
organizzazione territoriale dell’agosto 2004, e la legge per il finanziamento delle Municipalità
decentralizzate del settembre dello stesso anno. La legge sulle Autonomie Locali divenne finalmente
operativa all’inizio del 2005, e i primi tre settori che passarono sotto la responsabilità diretta delle
municipalità furono: Educazione, Cultura e Servizi Municipali.
Oggi la Macedonia è divisa in 84 municipalità (più la Città di Skopje che è a sua volta costituita da 10
municipalità) e otto regioni che hanno solo un ruolo amministrativo. Le municipalità hanno quindi
maggiori responsabilità in materia di budget, sviluppo economico, protezione ambientale, sviluppo
urbano, attività culturali e sportive, protezione sociale e dei minori, ed educazione; ma a tutt’oggi si
trovano a fronteggiare numerosi problemi soprattutto in termini di scarse risorse economiche da
destinare a questi settori.
1.1.2 Cultura
Al momento della presentazione dell’iniziativa in oggetto al finanziamento, il Ministero della Cultura era
affiancato da sei istituti per la protezione dell’eredità e del patrimonio culturale della Macedonia.
Il Parlamento Macedone approvò nel 2004 il Programma Nazionale per la Cultura relativo al
quinquennio 2004-2008, tale programma definì le strategie di realizzazione degli obiettivi ritenuti di
interesse primario per il Paese, in particolare: il decentramento della cultura, l’uso della cultura come
risorsa per lo sviluppo, la protezione e (ri)costruzione del patrimonio culturale, lo stimolo della creatività
con particolare riguardo ai nuovi talenti artistici e ai bisogni culturali dei giovani e, il potenziamento del
management. Dal 1998, una serie di importanti leggi nel settore culturale sono state approvate:
Tabella 1. Elenco principali leggi nel settore culturale
ATTO NORMATIVO
3
Law on Culture
ANNO DI ADOZIONE
1998, amended 2003/2005/2007/2010/2011
Law for Protection of Cultural Heritage
2004
Law on Museums
2004
Law on Libraries
2004
Law on Monuments and Commemorative Sites
2004
Media Law
2005
Law on the Film Fund
2006
Law on Sponsorship and Donations
2007
Law on Audiovisual Goods
2008
Law on the Skopje Old Bazaar
2008
Law on Copyright and Related Rights
2010
Law on Governing of the World Natural and Cultural Heritage
2010
Law on the National Artist of the Republic of Macedonia
2011
Aperta alla firma nell’ottobre del 1985 dal Congresso dei Poteri Locali e Regionali, vi si riconosceva l’importanza del ruolo dell’autonomia
locale per la democrazia. La Carta obbliga le Parti che l’hanno ratificata di applicare le regole fondamentali per garantire l’indipendenza
politica, amministrativa e finanziaria degli enti locali e prevede che il principio dell’autonomia locale sia riconosciuto dal diritto nazionale e
protetto dalla Costituzione, permettendo agli enti locali di essere eletti con suffragio universale.
3 http://www.culturalpolicies.net/web/macedonia.php?aid=52.
2
Rapporto finale
9
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
La legge sulla Cultura, originariamente approvata nel 1998, fu sottoposta ad una serie di emendamenti
tra 2003 e il 2005 che permisero l’inclusione di norme per la riallocazione delle competenze per il
settore culturale (dal parlamento al governo e dal governo al Ministero della Cultura), la chiarificazione
della posizione delle autorità locali nel finanziamento delle attività culturali di interesse locale, la
semplificazione del meccanismo di decentralizzazione.
Nel giugno 2012, il Ministero della Cultura ha avviato l’elaborazione di una nuova Strategia Nazionale
per lo Sviluppo della Cultura per gli anni 2012-2017; nelle intenzioni del ministero non si deve trattare di
un documento dichiarativo ma di un vero e proprio documento strategico operativo che evidenzi i punti
deboli nell’attuale policy culturale e stabilisca soluzione fattibile per il suo sviluppo e sostenibilità. Il
documento è ancora in fase di discussione e se ne prevede la pubblicazione nel primo semestre del
2013.
1.1.3 Educazione
Il Ministero dell’Educazione e della Scienza è responsabile per lo sviluppo dell’educazione, della
scienza, dello sport ed anche della cooperazione internazionale trasversalmente a questi settori.
Il Ministero dell'Istruzione e della Scienza ha adottato nel 2005 il Programma per lo sviluppo della
Pubblica Istruzione con la finalità di sviluppare una strategia nazionale che declinasse lo sviluppo del
settore educativo fino al 2015. Tale documento strategico è stato redatto grazie alla collaborazione di
tutti i principali stakeholders del settore ed al supporto finanziario dell'Open Society Institute di
Macedonia.
Il Programma Nazionale per lo sviluppo del settore educativo mira a realizzare i propri obiettivi
attraverso un orientamento di lungo termine ed efficienti interventi nelle seguenti aree:
-
Educazione per tutti e di qualità
-
Promozione della cultura della vita
-
Aumento della partecipazione sociale
-
Sviluppo delle competenze macedoni in ambito educativo, culturale ed economico
-
Rafforzamento delle Cooperazione internazionale
-
Sviluppo di competenze gestionali.
La strategia adottata dal Ministero dell’Educazione si fonda sul concetto di apprendimento permanente,
che si sforza di realizzare attraverso la promozione dell’istruzione, la creazione di condizioni favorevoli
per l'acquisizione e il trasferimento delle conoscenze, il rafforzamento delle competenze dei giovani e
degli adulti per favorirne l'inclusione sociale e la partecipazione ed il sostegno ad iniziative civiche al fine
di creare un equilibrio tra il settore formale e informale.
Il benessere sociale, culturale, fisico e intellettuale dei cittadini della Macedonia è il valore generale su
cui si fonda il programma nazionale per lo sviluppo dell'istruzione. Lo sviluppo di un cittadino creativo,
orientato al senso civico ed etico, è inteso come un fattore chiave che influenza il progresso sociale,
politico ed economico del Paese. Il Programma Nazionale è quindi nato e si fonda sui valori della civiltà
moderna quali la conoscenza, la democrazia, l'equità, la tolleranza e l'umanità.
Il processo di decentralizzazione del sistema educativo rappresenta una massima priorità per il
Ministero Macedone dell’Educazione e della Scienza.
Il decentramento deve garantire una cessione di responsabilità circa le grandi questioni educative
(miglioramento della qualità dell'istruzione, miglioramento professionale del personale docente,
finanziamento) a tutti e tre i livelli del sistema educativo - centrale, locale e delle scuole. Le
10
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
responsabilità devono essere aumentate a livello locale e delle scuole, a discapito della concentrazione
delle responsabilità a livello centrale. Tali modifiche devono comprendere:
-
La riorganizzazione amministrativa e gestionale dell’istruzione mediante l'attuazione di nuove leggi
in materia di autonomia locale ed il finanziamento del processo;
-
Il miglioramento della gestione e della governance dell’educazione a livello centrale;
-
Lo sviluppo di un sistema più efficiente per la pianificazione, l’allocazione e la gestione finanziaria
-
Il miglioramento della gestione a livello locale e della scuola;
-
La ridefinizione precisa dei ruoli e delle responsabilità dellle istituzioni amministrative a tutti i tre
livelli;
-
La formazione su aspetti gestionali.
1.2 Origini dell’iniziativa
Al fine di sostenere la Macedonia nel suo impegno per uscire dall’emergenza derivante dal conflitto
armato del febbraio-agosto 2001, nel marzo 2002, la Commissione Europea e la Banca Mondiale
organizzarono a Bruxelles una Conferenza dei Paesi Donatori accogliendo le richieste ricevute in tal
senso dai firmatari degli Accordi di Ohrid4.
Le risorse che la Comunità internazionale s’impegnò allora a rendere disponibili per aiutare il Paese a
risolvere i problemi più urgenti furono allocate per le seguenti finalità:
-
Bilancia dei pagamenti
-
Ricostruzione e Riabilitazione delle aree interessate dal conflitto
-
Misure da adottare in adempimento degli Accordi di Ohrid5.
Durante la conferenza, trentotto Paesi donatori e diciannove organizzazioni internazionali impegnarono
307 milioni di Euro6 per le misure sopracitate eccedendo le stime prudenziali di 256 milioni di Euro per il
2002, che costituivano l’importo minimo necessario indicato prima della Conferenza.
Il decentramento dell’Amministrazione dello Stato Macedone e la conseguente delega agli Enti Locali e
alle Municipalità di una serie di prerogative ministeriali costituì uno degli assi portanti degli Accordi di
Ohrid. In riconoscimento di tali priorità la Comunità Internazionale, e l’Italia con essa, si impegnò ad
assistere la Macedonia mettendo a disposizione risorse finalizzate a rendere concreta l’attuazione degli
Accordi.
La decisione del Governo Italiano presa nel corso della Conferenza di Bruxelles, fu quella di contribuire
all’impegno collettivo a favore della ex Repubblica Jugoslava di Macedonia con un contributo di 3
milioni di Euro da impegnarsi nel contesto del decentramento amministrativo e dell’Educazione 7 .
Considerazioni connesse al ruolo unificante che la Cultura è in grado di giocare e ragioni di opportunità
di parte macedone sui tempi relativamente più rapidi che un decentramento nei settori culturali e
Al punto 8.3 gli Accordi di Ohrid facevano esplicita richiesta alla convocazione di tale Conferenza internazionale: “The parties invite the
international community to convene at the earliest possible time a meeting of international donors that would address in particular macrofinancial assistance; support for the financing of measures to be undertaken for the purpose of implementing this Framework Agreement,
including measures to strengthen local self-government; and rehabilitation and reconstruction in areas affected by the fighting”.
5 Mr. Reinhard Priebe nel discorso di apertura della conferenza dei donatori di Brussells: “Our aim today is to continue to support the
country achieve renewed macroeconomic stability, repair the damages engendered by the conflict and fully implement the Framework
Agreement”, 12 Marzo 2002.
6 FYR of Macedonia secure pledges, Worldbank March 13th, 2002.
7 Delibera del Comitato Direzionale nr. 69 del 16/05/2005.
4
Rapporto finale
11
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
dell’istruzione avrebbe potuto avere, hanno successivamente condotto a precisare l’ambito nel quale il
contributo italiano si è sostanziato.
In virtù di queste premesse, l’International Management Group (IMG) presentò nell’ottobre 2004 un
progetto di massima all’Unità Tecnica Centrale (UTC) della DGCS.
L’iniziativa presentata da IMG, su input dell’Ambasciata d’Italia a Skopje, prese spunto dalla
Conferenza dei Ministri della Cultura dell’Europa orientale e meridionale tenutasi a Mostar nel luglio del
2004 e dalla Conferenza di Venezia del novembre 2004. Nelle succitate conferenze una particolare
enfasi era stata posta sul ruolo della cultura nel rafforzamento del dialogo interculturale e al suo
contributo alla stabilizzazione della Regione, essendo quest’ultimo un prerequisito essenziale per
l’integrazione del Paese nell’Unione Europea.
In seguito alla presentazione della proposta, il MAE ha organizzato due missioni di esperti in loco (nel
novembre 2004 e nel febbraio del 2005) con la finalità di approfondire i contenuti del programma di
massima, portando alla riformulazione della proposta originaria per quanto riguarda l’assistenza al
Politecnico di Tetovo, la valorizzazione del Patrimonio culturale e la creazione, da parte di UNESCOROSTE8 di un Centro per la catalogazione del Patrimonio culturale.
La proposta di finanziamento così rivista fu quindi presentata e approvata dal Comitato Direzionale con
delibera nr. 69 del 16/05/2005.
1.2.1 Dati del programma
Titolo
Pilot Activites for Education and Culture
Codice
AID8420.01.3
Luogo del Programma
Repubblica di Macedonia
Organismo esecutore
International Management Group (IMG)
Beneficiari
Governo della Repubblica di Macedonia
Ministero della Cultura, Ministero dell’Educazione e della Scienza,
Ministero delle Autonomie locali
Budget
3.000.000,00 !
Prima tranche 1.170.000,00 ! erogata il 24/10/2006
Seconda tranche 1.830.000 ! erogata il 18/06/2007
Data di approvazione
16/05/2005
Avvio dell’iniziativa
1/11/2006
Durata prevista
18 mesi
Durate reale
50 mesi
Conclusione prevista
30/4/2008
Conclusione reale
31/12/2010
L’UNESCO-ROSTE (Regional Office for Science & Technology for Europe) con sede a Venezia sin dal 1988, fu trasformato in
UNESCO-BRESCE (Regional Bureau for Science and Culture in Europe) nel marzo del 2006.
8
12
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
2. Obiettivo
2.1 Tipologia della valutazione
La valutazione ex post, di seguito presentata, ha cercato di stabilire la misura in cui i risultati, gli obiettivi,
l’impatto e la sostenibilità dell’iniziativa in oggetto sono stati raggiunti e di evidenziare raccomandazioni
e lezioni apprese al fine di poter indirizzare futuri finanziamenti nel settore educativo-culturale.
2.2 Scopo e utilità della valutazione
Scopo e utilità della valutazione sono stati definiti nei Termini di Riferimento per la valutazione
indipendente del programma “Pilot Activities for Education and Culture - AID8240” (Allegato 1), di cui si
riporta un estratto.
2.2.1 Scopo della valutazione
La valutazione dovrà:
-
Esprimere un giudizio sulla rilevanza degli obiettivi e sul loro grado di raggiungimento;
-
Esprimere un giudizio su efficienza, efficacia, impatto e sostenibilità del progetto;
-
Esaminare il Progetto nella sua completezza, per identificare le buone pratiche e le lezioni apprese,
in modo da usarle come base conoscitiva per sviluppare gli eventuali futuri pacchetti d'assistenza
tecnica nel territorio;
-
Analizzare le strategie e le modalità d’implementazione;
-
Tenere in considerazione i fattori di sostenibilità e l’impatto che l’implementazione di tale
programma ha avuto sulle condizioni educative e culturali del Paese;
-
Stimare i risultati e l’effettività dei programmi pilota a livello distrettuale, la loro discutibilità ed i
rispettivi mezzi per la decentralizzazione dell’amministrazione e l’effettiva capacità di gestione da
parte degli enti locali.
Infine, la valutazione terrà in considerazione:
1.
Le iniziative mirate al contesto multiculturale del Paese, ovvero le attività di assistenza alle
Istituzioni Culturali locali;
2.
Il livello di formazione degli addetti alla cultura delle Municipalità;
3.
Gli interventi tesi a valorizzare i siti storici di rilevanza nazionale;
4.
La realizzazione, il funzionamento, l’efficacia, nonché il livello di preparazione dei tecnici del
Centro Regionale per la Digitalizzazione del Patrimonio Culturale;
5.
L’efficacia degli interventi di riabilitazione strutturale e di assistenza tecnica al Museo di Arte
Contemporanea;
6.
La realizzazione del Centro Multimediale presso l’Università dei SS. Cirillo e Metodio e la relativa
attività di formazione;
Rapporto finale
13
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
7.
L’efficacia dell’intervento in favore della minoranza di lingua albanese a Tetovo;
8.
L’analisi qualitativa dell’assistenza tecnica da parte dell’organismo esecutore e delle capacità
gestionali degli enti coinvolti nel programma.
2.2.2 Utilità della valutazione
L’utilità della valutazione del programma “Pilot activities for Education and Culture” in Macedonia è di
accertare la misura in cui l’assistenza dell’IMG, e quindi della Cooperazione italiana, sia stata rilevante,
effettiva, efficace e sostenibile nel raggiungimento degli obiettivi previsti per il settore.
La valutazione dovrà pervenire a un giudizio generale sul grado in cui le strategie e il programma
hanno contribuito al raggiungimento degli obiettivi e dell’impatto previsto attraverso le risposte alle
domande che dovranno essere concordate (vedi Allegato A).
Le conclusioni della valutazione saranno basate su risultati obiettivi, credibili, affidabili, validi e dovranno
fornire alla Cooperazione Italiana raccomandazioni utili e operative. La valutazione dovrà rendere
condivisibili le esperienze acquisite al fine di poter indirizzare i futuri finanziamenti nel settore educativoculturale nell’area balcanica ed in particolare in Macedonia.
A questo scopo, la valutazione dovrà analizzare come, per il programma considerato, il supporto al
settore educativo-culturale ha influito:
-
Sulle previsioni e l’implementazione delle politiche, delle strategie e dei programmi;
-
Sull’efficacia degli aiuti in termini di prevedibilità, di implementazione delle strategie educativoculturali nazionali.
La valutazione dovrà fornire lezioni e raccomandazioni finalizzate alla continuità degli aiuti al settore nel
contesto attuale.
14
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
3. Metodologia
3.1 Gli obiettivi della valutazione
Gli obiettivi principali della valutazione, come da termini di riferimento allegati (All.1), sono:
1.
Accertare la misura in cui l’assistenza dell’IMG, e quindi della Cooperazione italiana, sia stata
rilevante, effettiva, efficace e sostenibile nel raggiungimento degli obiettivi previsti per il settore.
2.
Analizzare come, per il programma considerato, il supporto al settore educativo-culturale ha
influito:
- Sulle previsioni e l’implementazione delle politiche e delle strategie e dei programmi;
- Sull’efficacia degli aiuti in termini di prevedibilità, di implementazione delle strategie educativoculturali nazionali.
3.2 I criteri della valutazione
Nella realizzazione della presente valutazione sono stati utilizzati i seguenti criteri9:
PERTINENZA/RILEVANZA. L’analisi della pertinenza ha permesso di verificare la misura in cui il Programma
ha saputo rispondere/adattarsi alle necessità, alle priorità e alle politiche del gruppo obiettivo
destinatario, di valutare l'obiettivo generale e specifico, gli input e le attività.
VALIDITÀ DEL DESIGN DEL PROGRAMMA. La valutazione ha offerto una visione complessiva della qualità del
disegno del programma, in termini di estensione complessiva del Quadro Logico adottato, degli
obiettivi, dei risultati attesi e degli indicatori.
EFFICIENZA. La valutazione dell'efficienza è stata ampiamente limitata dalle scarse informazioni disponibili
nei documenti di progetto e dal rifiuto di IMG di fornirne altre maggiormente dettagliate. Si è pertanto
provveduto all’analisi delle singole attività, e a un approfondimento sui costi ove possibili.
EFFICACIA. Sono state analizzate le ragioni principali del raggiungimento o mancato raggiungimento degli
obiettivi e chi ha utilizzato e beneficiato delle risorse erogate. E’ stata inoltre presa in considerazione la
partecipazione delle parti interessate nella progettazione dell’intervento stesso.
IMPATTO. Si è cercato di verificare l’esistenza o meno di un effetto di lungo termine attribuibile
all’intervento di IMG, qual è stato il grado di raggiungimento dell’obiettivo generale e quanto esso sia
derivato dagli effetti diretti del Programma.
SOSTENIBILITÀ. L’analisi della sostenibilità è stata svolta tenendo conto di aspetti finanziari, tecnici,
istituzionali, culturali e ambientali che hanno permesso/impedito ai benefici prodotti dal Programma di
continuare a rinnovarsi successivamente all’interruzione dell’intervento progettuale. Una particolare
attenzione è stata posta sulla valutazione della misura in cui la capacità locale è stata sostenuta e
sviluppata.
9
Evaluating Humanitarian Action using the OECD/DAC Criteria, Overseas Development Institute, Marzo 2006.
Rapporto finale
15
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
3.3 Approccio e principi metodologici adottati
La metodologia utilizzata è strutturata in cinque fasi principali.
DESK REVIEW. Questa prima fase ha incluso la ricerca e lo studio preparatorio sia in remoto sia in situ. Il
team di valutazione ha analizzato la documentazione principale del Programma (dati secondari) fornita
dal Ministero degli Affari Esteri e da IMG, in particolare:
-
Proposta di Progetto, Rapporti annuali e Piani Gestionali
-
Rapporti Intermedi e Finali, rapporti valutativi tecnici e di monitoraggio
-
MoU, MoA, contratti, minute di riunioni.
Inoltre, sono stati analizzati le strategie nazionali e regionali, i piani di sviluppo e altri dati disponibili
presso i Ministeri Nazionali e Altre Agenzie Internazionali.
Parte integrante di questa fase sono state anche le riunioni sia in Italia con i referenti MAE del
Programma sia in Macedonia con il personale di IMG disponibile.
La creazione della MATRICE DI VALUTAZIONE (All. 3) è partita dall’analisi della logica del Programma (cfr. cap.
4) e dalla verifica/definizione delle relazioni causali tra input, attività, risultati e obiettivi al fine di stabilire
se e come l’impatto previsto è stato raggiunto.
Per l’elaborazione della Matrice di Valutazione sono anche stati identificati i CRITERI DI GIUDIZIO che hanno
orientato le domande sia per gli stakeholders principali che per i partecipanti ai Focus Groups ed i
conseguenti indicatori.
L’analisi della logica del Programma ha rilevato, come vedremo in seguito, una generale incompletezza
in termini di obiettivi specifici, risultati, attività e indicatori, pertanto si è proceduto a integrarli e
svilupparli per effettuare una misurazione maggiormente attendibile dell’impatto del programma.
Un altro aspetto fondamentale preso in considerazione nella realizzazione della valutazione ex post è
stata la PARTECIPAZIONE degli stakeholders nelle varie fasi del Programma. E’ stata quindi realizzata
un’approfondita analisi degli stakeholders coinvolti, del loro grado di coinvolgimento e interesse, della
capacità organizzativa e del loro contributo al Programma, utilizzando anche strumenti ad hoc; in un
secondo momento si è passati al loro coinvolgimento diretto nella valutazione attraverso interviste e
focus groups.
RESEARCH DESIGN. In seguito all’analisi della documentazione esistente e ai primi contatti con l’Ente
Esecutore – l’International Management Group – si è proceduto all’elaborazione di una struttura della
valutazione che permettesse di tenere in considerazione le peculiarità dei differenti settori di intervento
(es. attività formative, attività strutturali e di riabilitazione e grants alle municipalità) e di identificare un
campione di dimensioni adeguate a garantire la rappresentatività dell’indagine e a isolare gli effetti del
Programma da eventuali interferenze esogene allo stesso (IMPATTO NETTO).
A tal fine è stato stilato e condiviso con il personale di IMG (in particolare, Arch. Argjent Karai e Arch.
Lazar Sumanov) un elenco di addetti/istituzioni da incontrare durante la missione in loco dei valutatori.
Fin da subito è emersa l’impossibilità, per ragioni che vedremo meglio in seguito (paragrafo 3.4
limitazioni), di raggiungere un ampio numero di addetti attraverso uno strumento di raccolta dati di tipo
quantitativo (questionario); tale limitazione, ha portato all’elaborazione di strumenti di raccolta dati di
carattere esclusivamente QUALITATIVO. Secondo la tipologia di beneficiario/stakeholder sono stati
utilizzati quindi strumenti differenti o una combinazione di più strumenti che hanno permesso di valutare
la pertinenza della tematica dello sviluppo educativo e culturale per il contesto macedone, l’effettivo ed
efficace raggiungimento degli obiettivi prefissati, le attività volte a garantire la sostenibilità del
16
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
Programma e l’impatto che le attività svolte hanno avuto nei confronti dei beneficiari diretti ed indiretti.
In particolare sono stati utilizzati i seguenti strumenti:
-
INTERVISTE SEMI-STRUTTURATE. Strumento utilizzato con lo staff di Programma, formatori, direttori e
rappresentanti delle autorità locali e ministeriali, per comprendere appieno impressioni ed
esperienze relativamente al Programma;
-
FOCUS GROUPS. Organizzati con addetti del settore culturale che hanno partecipato alle attività
formative realizzate da IMG. Gli strumenti valutativi per questo particolare aspetto del Programma
sono stati sviluppati sulla base del metodo di Kirkpatrick10 che divide in 4 livelli la valutazione delle
attività formative:
Reazione: misura l’atteggiamento sviluppato dai partecipanti nei confronti dell’attività di formazione
e quindi se chi vi ha preso parte abbia avuto modo di elaborare un vissuto positivo.
Apprendimento: misura quanto le competenze-obiettivo di un’attività formativa siano in possesso
dei partecipanti al termine dell’attività stessa.
Trasferimento: misura quanto le competenze-obiettivo di un’attività formativa siano state
effettivamente utilizzate dai partecipanti, in situazioni di lavoro e a distanza di tempo dall’attività
stessa.
Risultati: misura se e quanto ci siano stati miglioramenti nelle prestazioni del beneficiario dell’attività
formativa e come questi abbiano avuto un impatto sull’ambiente circostante.
Come indica la figura che segue, i quattro livelli di reazione, apprendimento, trasferimento e risultati
sono in correlazione diretta con i criteri di efficienza, efficacia e impatto.
Figura 1. Valutazione di attività formative e criteri DAC
EFFICACIA
-
C'e' stato un
aumento di
conoscenza o di
capacità?"
Misurazione del
cambimento di
comportamento"
Sono state usate
le nuove
conoscenze/
capacità
acquisite?"
IMPATTO
RISULTATI
Che cosa
pensano i
beneficiari dei
corsi di
formazione?"
Misurazione
dell'apprendimen
to"
TRASFERIMENTO
Misurazione della
soddisfazione"
APPRENDIMENTO
REAZIONE
EFFICIENZA
Misurazione dei
risultati"
Che effetto ha
avuto la
formazione
sull'ambiente
circostante?"
OSSERVAZIONE DIRETTA. Attraverso le visite ai siti di esecuzione degli interventi, condotta su un
campione significativo delle aree e dei settori rilevanti, e dove si siano avuti riscontri di particolari
criticità dal punto di vista della esecuzione o della documentazione analizzata.
Sia per le interviste semi-strutturate che per i focus groups, è stata elaborata una traccia predefinita (All.
10 e 11) che ha permesso di individuare gli obiettivi da raggiungere attraverso il colloquio lasciando
tuttavia l’intervistato libero di muoversi senza seguire in modo stringente la traccia, alternando momenti
10
Kirkpatrick D., Evaluating Training Programs, 1994.
Rapporto finale
17
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
di domande prefissate ad altri di reazioni nell’intervistatore più spontanei e dipendenti dai singoli
interlocutori. Le “Linee Guida per la redazione delle domande di valutazione”, di cui all’allegato A dei
ToR, sono state rispettate in fase di elaborazione degli strumenti.
Infine, poiché ogni metodo di raccolta dati ha punti di forza e limiti, al fine di limitare il rischio di
distorsioni dei risultati ottenuti, è stata effettuata una TRIANGOLAZIONE dei dati raccolti attraverso le diverse
tecniche di rilevamento.
MISSIONE IN MACEDONIA PER LA RACCOLTA DATI. La missione in Macedonia dei due esperti incaricati da InfoAid
(Dott. Gabriele Bertani e Dott.ssa Laura Morisio) ha avuto luogo dal 3 al 16 Marzo 2013; gli incontri e le
visite realizzate in seguito descritte sono elencate nel calendario della missione (All. 2 Calendario
Missione e All. 9 Elenco delle Persone Contattate).
I dati e le informazioni contenuti nel presente report sono stati raccolti attraverso:
INTERVISTE SEMI-STRUTTURATE CON STAKEHOLDER PRINCIPALI: 31 interviste
-
Ministeri Macedoni: Ministero della Cultura, Ministero dell’Economia, Dipartimento del Turismo e
della Scienza, Ministero delle Autonomie Locali, Ufficio per la Protezione del Patrimonio Culturale
-
Università: SS. Cirillo e Metodio di Skopje e Università Statale di Tetovo
-
Musei: Museo d’Arte Contemporanea, Museo di Macedonia
-
Municipalità: Kocani, Berovo e Negotino
-
Siti archeologici: Scupi, Stobi e Heraclea
-
UNESCO Bresce di Venezia
-
NGO Toleranza
-
Ambasciata d’Italia.
FOCUS GROUP DISCUSSIONS: 2 gruppi
-
Partecipanti al Seminario Internazionale sulla “Conservazione dei Mosaici” realizzato da Paolo
Racagni dal 22 al 27 giugno 2008
-
Partecipanti al corso sulla “Gestione del processo di digitalizzazione” realizzato dagli esperti di
MINERVA in collaborazione con UNESCO BRESCE dal 9 al 19 settembre 2008.
VISITE AI LUOGHI INTERESSATI DAL PROGRAMMA (OSSERVAZIONE DIRETTA): 11 siti visitati
-
3 Siti Archeologici: Scupi, Stobi e Heraclea
-
Istituto di Biotecnologie e Nutrizione, Università statale di Tetovo
-
Multimedia center, Università Ss. Cirillo e Metodio di Skopje
-
Museo di Arte Contemporanea, Skopje
-
Museo di Macedonia, Skopje
-
Centro Regionale per la Digitalizzazione del Patrimonio Culturale, Skopje
-
Museo del Vino, Negotino
-
Centro Culturale Jans, Kocani
-
Piazza centrale, Berovo.
ANALISI DEI DATI. Le informazioni ottenute dalle interviste e quelle ottenute dai focus groups sono state
comparate tra loro in modo da integrare/modificare eventuali informazioni incomplete o errate; l’attenta
analisi e i processi di filtraggio e triangolazione hanno permesso di ottenere dati concreti e attendibili.
18
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
REPORT FINALE DI VALUTAZIONE. L’ultima fase ha infine riguardato la redazione del presente rapporto in
conformità di quanto richiesto nei Termini di Riferimento. Le informazioni raccolte e analizzate hanno
permesso di evidenziare l’impatto del programma in oggetto sui beneficiari. Nella parte conclusiva sono
elencate una serie di lezioni apprese e raccomandazioni volte al miglioramento dei progetti futuri e delle
strategie della DGCS.
3.4 Limitazioni
Talune limitazioni hanno influito sul regolare svolgimento della valutazione.
La prossimità della missione con le elezioni locali in Macedonia ha reso impossibile incontrare i
rappresentanti del Ministero dell’Educazione, contattati a più riprese dai consulenti stessi, dal
personale di IMG e dall’Ambasciata d’Italia. Ciononostante, le comunicazioni telefoniche intercorse tra i
valutatori e i Rappresentanti del Ministero dell’Educazione hanno evidenziato una non conoscenza del
Progetto da parte di questi ultimi e di conseguenza tale limitazione non ha in alcun modo inficiato la
portata e i contenuti della valutazione.
La documentazione disponibile è stata solo parzialmente in grado di soddisfare le necessità derivanti
dall’applicazione dei criteri DAC per la valutazione. I rapporti intermedi e finali redatti da IMG e i rapporti
di monitoraggio redatti da esperti DGCS si sono rivelati inadeguati per ricostruire nel dettaglio tutte le
attività realizzate. A livello di costi, le informazioni contenute in tali rapporti non sono state sufficienti a
misurare in modo approfondito (costo/attività) l’efficienza dell’intervento e IMG si è detta non
disponibile a condividere con i valutatori ulteriori informazioni a riguardo.
La componente di Formazione e Assistenza Tecnica è risultata nei fatti estremamente limitata in termini
di percorsi formativi realizzati rispetto alle informazioni fornite nella proposta di progetto e nei Termini di
Riferimento; ciò ha reso inadeguato l’utilizzo di strumenti di raccolta dati quantitativi (questionari) che si
proponeva di utilizzare per valutare in maniera più approfondita il livello di apprendimento dei
partecipanti a workshop e seminari.
Rapporto finale
19
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
4. Design del Programma
L’analisi della logica e coerenza del disegno progettuale ha permesso di rilevare una scarsa
correlazione tra le componenti del Programma: in particolare, gli obiettivi specifici (OS) non sono stati
opportunamente correlati con i risultati attesi (RA), e questi ultimi con le rispettive attività.
Inoltre, è stata riscontrata una scarsa univocità tra le informazioni esposte nel quadro logico (QL) e
quelle contenute nel narrativo e negli altri documenti di progetto; per proseguire la valutazione è stato
pertanto necessario ricostruire un nuovo quadro logico di riferimento che riflettesse in modo logico e
coerente i legami, esplicitati e non, tra le diverse componenti. Il quadro logico rivisto11 (All. 4) è stato
quindi utilizzato come base per tutte le analisi successive.
4.1 Obiettivo Generale vs Obiettivi Specifici
Per quanto concerne il rapporto logico tra l’Obiettivo Generale e gli Obiettivi Specifici si è potuta
osservare una coerente correlazione logica in relazione agli Obiettivi 1 e 5.
La descrizione dell’obiettivo specifico 5 riportata nella tabella che segue è stata ricavata dal documento
narrativo. Si è ritenuto infatti che l’OS5 così come formulato nel quadro logico originale - “Utilizzo delle
più moderne tecniche di catalogazione del Patrimonio culturale, in condivisione con i paesi della
regione” – non rappresentasse adeguatamente i risultati attesi identificati.
In relazione agli altri obiettivi specifici, sono state rilevate talune limitanti. In particolare:
-
OS2: il rafforzamento dei legami di cooperazione con l’Italia di per sé non contribuisce al
raggiungimento dell’obiettivo generale. Potrebbe contribuirvi se tale legame fosse finalizzato al
rafforzamento delle istituzioni macedoni. Di conseguenza l’obiettivo specifico sarebbe riferito alle
istituzioni macedoni di cui la collaborazione con l’Italia rappresenterebbe uno strumento
propedeutico. In quest’ottica l’OS2 andrebbe meglio integrato con altri (3, 4 e 5) che già
esprimono la stessa finalità.
-
OS3: non è presente nel QL del Programma ma indicato nel documento narrativo. È opinione dei
valutatori che questo obiettivo specifico potesse essere incluso in altri obiettivi specifici
(principalmente nel 4 e 5), risultando altrimenti ridondante. Come si analizzerà in seguito, la
difficoltà di identificare risultati attesi legati a questo specifico obiettivo dimostra la sua incoerenza
con la logica progettuale.
-
OS4: il riferimento ad aspetti agro-alimentari per uno sviluppo socio-economico, esulano
dall’obiettivo generale della proposta. Introdurre una dimensione diversa, ancorché correlata ad
aspetti culturali, non crea valore aggiunto all’iniziativa ma, al contrario, provoca una dispersione
dell’aiuto.
La revisione del quadro logico si è limitata all’individuazione della logica tra attività realizzate, risultati, obiettivi specifici e obiettivo
generale. Non ha invece riguardato revisione della terminologia utilizzata nel documento originale.
11
20
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
La tabella che segue riassume gli obiettivi, generale e specifici, utilizzati durante la valutazione.
Tabella 2. Obiettivo generale e obiettivi specifici
OBIETTIVO
GENERALE
Favorire la completa attuazione degli accordi di Ohrid, con particolare riferimento al processo di
decentramento amministrativo nei settori dei beni culturali e dell'educazione, alla protezione e
valorizzazione del Patrimonio culturale e all'integrazione delle minoranza
1. Favorire il recupero, anche in termini di una loro valorizzazione economica e turistica, di alcune delle
risorse storiche, artistiche e culturali più significative del Paese, in una prospettiva di sviluppo sostenibile
del territorio che proceda a riqualificare e rendere maggiormente fruibili i siti di interesse turistico e i
capolavori a rischio di degrado.
2. Il rafforzamento di legami di cooperazione con l'Italia e con gli Organismi locali operanti nei settori dei
beni culturali e dell'educazione professionale stabilendo collaborazioni tecniche che coinvolgano con
regolarità Centri di Eccellenza presenti nel nostro Paese per dare luogo a opportuni programmi di
scambio e formazione rivolti alla controparte macedone
OBIETTIVI
SPECIFICI
3. Il sostegno ed il trasferimento di Know how alle istituzioni locali interessate ai fini di rendere sostenibile
nel tempo l'assunzione di responsabilità e competenze da parte macedone nei settori oggetto
dell'intervento italiano, con particolare riguardo al reperimento e all'ottimizzazione delle risorse
indispensabili per la conduzione delle attività di pertinenza e alla promozione di queste ultime
concordemente agli obiettivi sottostanti agli impegni di Ohrid
4. Contribuire al rafforzamento dell'integrazione fra le diverse componenti etniche della Macedonia,
facilitando l'accesso all'educazione superiore per la minoranza albanese e sostenendo la diffusione di
conoscenze funzionali allo sviluppo socio-economico del Paese (con particolare riguardo al settore
agroalimentare).
5. Ampliare l'orizzonte delle collaborazioni tra i vari soggetti istituzionali e culturali/formativi presenti in
Macedonia per consentirne l'aggiornamento internazionale e l'accesso alle tecniche settoriali e gestionali
più moderne disponibili. Così come verrà in ogni modo promossa la condivisione tra gli operatori culturali
dei risultati conseguiti e delle tipologie di problemi affrontati localmente nello svolgimento dei programmi
omologhi con la creazione di un network informatico e di un primo nucleo di banca dati cui accedere.
4.2 Obiettivi Specifici vs Risultati Attesi
Nell’analizzare la correlazione logica tra Obiettivi Specifici e Risultati Attesi sono emerse talune
mancanze che hanno inciso negativamente sul disegno complessivo della proposta.
Anche a questo livello sono state rilevate discrepanze tra il QL ed il testo del progetto. Nella tabella che
segue i risultati attesi descritti nel narrativo ma non inseriti nel QL sono evidenziati in rosso, mentre i
riferimenti tra parentesi (es. R3 QL) indicano l’ordine progressivo dei risultati così come formulati nel QL
originale.
Il quadro riassuntivo che segue è il risultato del lavoro di sintesi svolto dai valutatori nel tentativo di
ricondurre i risultati attesi agli obiettivi specifici. Nello specifico è stato rilevato che:
-
L’OS1 non è stato adeguatamente declinato in risultati attesi congrui, ma espresso in un unico
risultato che solo parzialmente ne esprime la portata. Tale limite si ripercuote, come vedremo, in
modo diretto sulle attività.
-
I risultati attesi relativi all’OS5 mancavano completamente nel QL originale e sono stati recuperati
dal narrativo del progetto.
-
In alcuni casi, i risultati attesi sono stati confusi con gli indicatori e viceversa.
Rapporto finale
21
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
-
La terminologia utilizzata per indicare obiettivi specifici, risultati, indicatori è inadeguata e genera
ulteriore confusione.
Tabella 3. Obiettivi specifici e risultati attesi
OBIETTIVI SPECIFICI
RISULTATI ATTESI
1) Favorire il recupero, anche in termini di una loro valorizzazione
economica e turistica, di alcune delle risorse storiche, artistiche e
culturali più significative del Paese, in una prospettiva di sviluppo
sostenibile del territorio che proceda a riqualificare e rendere
maggiormente fruibili i siti di interesse turistico e i capolavori a
rischio di degrado.
1.1 Miglioramento delle capacità di restauro di opere
d'arte contemporanea e manufatti archeologici (R3 QL)
2) Il rafforzamento di legami di cooperazione con l'Italia e con gli
Organismi locali operanti nei settori dei beni culturali e
dell'educazione professionale stabilendo collaborazioni tecniche
che coinvolgano con regolarità Centri di Eccellenza presenti nel
nostro Paese per dare luogo a opportuni programmi di scambio e
formazione rivolti alla controparte macedone
2.1 Creazione di un centro multimediale presso la
facoltà di filologia dell'Università dei SS. Cirillo e
Metodio (Skopie) (R8 QL)
2.2 Incremento dell'offerta formativa nel campo del
restauro dei beni culturali e dell'Economia dei Beni
culturali (R2 QL)
2.3 Attivati rapporti di partenariato fra soggetti pubblici
e/o privati macedoni e italiani, nei settori oggetto
dell'intervento (R11 QL)
3) Il sostegno ed il trasferimento di Know how alle istituzioni locali
interessate ai fini di rendere sostenibile nel tempo l'assunzione di
responsabilità e competenze da parte macedone nei settori
oggetto dell'intervento italiano, con particolare riguardo al
reperimento e all'ottimizzazione delle risorse indispensabili per la
conduzione delle attività di pertinenza e alla promozione di queste
ultime concordemente agli obiettivi sottostanti agli impegni di
Ohrid
3.1 Miglioramento delle capacità gestionali
istituzioni culturali centrali e locali (R1 QL)
delle
3.2 Avvio di politica turistica, governativa e locale, come
strumento in grado di assicurare programmazione e
opportunità economica ai comparti culturali e
naturalistici (R6 QL)
3.3 Aumento dei finanziamenti e della partecipazione di
soggetti privati alle attività culturali (R4 QL).
3.4 Creazione di connessione fra attori pubblici e privati
operanti in campo turistico (R7 QL)
4) Contribuire al rafforzamento dell'integrazione fra le diverse
componenti etniche della Macedonia, facilitando l'accesso
all'educazione superiore per la minoranza albanese e sostenendo
la diffusione di conoscenze funzionali allo sviluppo socioeconomico del Paese (con particolare riguardo al settore
agroalimentare).
4.1 Alloggiamento del Politecnico di Tetovo presso una
nuova struttura appositamente riabilitata (R9 QL)
5) Sarà infine cura del progetto ampliare l'orizzonte delle
collaborazioni tra i vari soggetti istituzionali e culturali/formativi
presenti in Macedonia per consentirne l'aggiornamento
internazionale e l'accesso alle tecniche settoriali e gestionali più
moderne disponibili. Così come verrà in ogni modo promossa la
condivisione tra gli operatori culturali dei risultati conseguiti e delle
tipologie di problemi affrontati localmente nello svolgimento dei
programmi omologhi con la creazione di un network informatico e
di un primo nucleo di banca dati cui accedere.
5.1 Organizzare il centro di catalogazione digitale del
Patrimonio Culturale. (R5 QL).
22
4.2 Revisione dell'offerta formativa Politecnico di Tetovo
dipartimento di biotecnologie, e suo adeguamento
alle esigenze del settore agroalimentare (R10 QL).
4.3 Migliorati i livelli di qualità e sicurezza della
produzione agroalimentare macedone connessa alle
attività del Politecnico di Tetovo (R12 QL)
5.2 Rafforzare le capacità degli esperti e dei tecnici
locali nel settore della digitalizzazione del Patrimonio
culturale (non dettagliato nel QL).
5.3 Costituire un Gruppo di Rappresentanti nazionali
degli Stati del Sud-Est europeo nell'ambito della
digitalizzazione del Patrimonio culturale (non
dettagliato nel QL)
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
4 . 3 Risultati Attesi vs Attività
12
La mancanza di un QL coerentemente e logicamente costruito e la non corrispondenza tra
quest’ultimo e la proposta di progetto ha causato, a livello di attività, notevoli discrepanze sia in
riferimento ai risultati attesi che alle attività previste e poi effettivamente realizzate. In particolare, sono
stati riscontrati tre principali ordini di problemi:
1.
Limitata coincidenza tra attività previste e realizzate. Alcune attività previste non sono state
implementate, e viceversa;
2.
Non sempre le attività sono state riferite a corrispondenti risultati attesi;
3.
Non sempre i risultati attesi sono stati opportunamente declinati in specifiche attività ad essi
logicamente correlate.
Con riferimento alla limitata coincidenza tra attività previste e realizzate risulta opportuno sottolineare
come i ritardi intercorsi tra la presentazione della proposta di progetto e la sua effettiva approvazione e
conseguente finanziamento, abbiamo costretto IMG ad adeguare la proposta alle mutate condizioni del
Paese oggetto dell’intervento. Ciononostante, il Quadro Logico della proposta circa la portata delle
attività, dei risultati ed i rispettivi indicatori non è mai stato aggiornato.
4.4 Indicatori e precondizioni
Gli indicatori inseriti nel QL non sempre sono apparsi appropriati e adeguatamente formulati. In
particolare:
-
È stata riscontrata un’importante confusione sia tra gli indicatori e i risultati, spesso utilizzati in
modo intercambiabile, sia nella definizione degli indicatori di outputs (risultato) e di outcomes
(obiettivi);
-
Gli indicatori proposti non sono stati formulati in modo SMART13; pertanto, durante la valutazione,
si è dovuto procedere alla ridefinizione degli stessi per quanto possibile;
-
Non essendo stato condotto nessuno studio di fattibilità anteriore al Programma che prevedesse
la creazione di baseline iniziali e non essendoci registri/dati ufficiali presso le istituzioni beneficiarie
del Programma, non è stato possibile realizzare un confronto quantitativo oggettivo tra il prima ed
il dopo.
Pertanto, per permettere un’adeguata valutazione dell’iniziativa sono stati introdotti altri indicatori
qualitativi e quantitativi, come ad esempio:
INDICATORI DI EFFICACIA (relativi agli OS)
-
Aumento del numero di visitatori annui
-
Aumento del numero di oggetti d’arte conservati e restaurati
-
Aumento del numero di manifestazioni realizzate
-
Aumento del numero di reperti archeologici conservati e restaurati
-
Aumento del numero dei servizi offerti
-
Aumento del numero di attività private presso i musei/siti archeologici
-
Aumento dei flussi turistici nella zona di intervento
-
Aumento della domanda di iscrizioni ai corsi di lingua italiana
-
Aumento degli iscritti al politecnico di Tetovo
12
13
Per l’elenco delle attività previste e realizzate si veda l’allegato 4 Quadro Logico rivisto.
Specific, Measurable, Achievable, Relevant, Time Phased
Rapporto finale
23
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
-
Aumento di prodotti latto-caseari controllati e certificati
-
Aumento del senso di ownership dei principali stakholders circa la valorizzazione del patrimonio
culturale e il decentramento amministrativo.
-
Raggiungimento del livello 3 di apprendimento (trasferimento) dei beneficiari dei corsi.
INDICATORI DI IMPATTO (relativi all’OG)
-
Incremento del livello di ownership delle istituzioni partner (Ministero della Cultura, Ministero per il
decentramento Amministrativo, Ministero dell’Educazione) con riferimento al decentramento
amministrativo e alla valorizzazione del patrimonio culturale;
-
Aumento delle attività produttive e dei servizi nelle zone oggetto degli interventi per effetto
dell’incremento dei turisti;
-
Aumento delle potenzialità produttive e dei servizi nelle zone oggetto degli interventi per effetto
dello sviluppo del decentramento amministrativo;
-
Aumento degli sbocchi professionali e occupazionali per le minoranze;
-
Raggiungimento del livello 4 di apprendimento (risultato) dei beneficiari dei corsi di formazione, in
cui i nuovi comportamenti adottati dalle persone formate nei corsi hanno conseguenze dirette sulle
comunità di appartenenza.
Tra le PRECONDIZIONI evidenziate nel QL con riferimento agli obiettivi specifici, l’accento è stato posto
solamente sul rapporto tra IMG ed i principali stakeholder. Nel dettaglio si fa riferimento a:
-
Disponibilità delle istituzioni coinvolte a partecipare attivamente alle attività proposte;
-
Conferma del Dipartimento del Turismo nel ruolo di Focal Point per lo sviluppo delle strategie
turistiche;
-
Conferma dell’impegno politico macedone per l’attuazione del processo di decentramento;
-
Efficiente rispondenza delle istituzioni centrali e locali coinvolte;
-
Stretto coordinamento tra IMG, DGCS, Ambasciata d’Italia locale e rilevanti istituzioni macedoni.
Manca invece l’analisi dei rischi derivanti dal turnover dei partners per ragioni politiche e la
predisposizione di un adeguato piano di mitigazione degli stessi. Infatti, quando i partners principali di
un programma sono rappresentanti da Ministeri (nel caso dell’iniziativa in oggetto, Cultura, Autorità
Locali e Educazione) e da istituzioni pubbliche, in un Paese non ancora stabilizzato, è necessario
prendere in considerazione il fatto che i cambi di governo possano avere ripercussioni a tutti i livelli. Se
questo non viene opportunamente previsto e se non viene predisposto per tempo un Piano di
Mitigazione corrispettivo, l’efficacia e, più in generale, l’impatto del programma saranno inevitabilmente
limitati.
24
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
4.5 Altri elementi del progetto
È importante sottolineare che la confusione generata dall’assenza di un disegno di progetto logico e
coerente si è riflessa anche in altri strumenti essenziali della proposta di progetto, quali il cronogramma
e il budget; infatti è stata riscontrata una limitata coerenza tra le attività indicate nel quadro logico,
quelle utilizzate nel cronogramma e quelle indicate nel budget. Questi ultimi strumenti sono stati
realizzati sulla base di sette grandi aree14 che coincidono solo parzialmente con le attività e i risultati
attesi indicati nel quadro logico e/o nella proposta di progetto. Come vedremo in seguito, questo ha
limitato fortemente le possibilità di realizzare una valutazione in profondità dell’efficienza e dell’efficacia
dell’iniziativa.
Infine, la divisione tra componente “Hardware” e “Software” non ha fatto altro che creare un ulteriore
livello di separazione tra le attività e i risultati.
Concludendo, si è riscontrato che il Programma non è stato costruito con una logica ed una coerenza
interne adeguate e che gli strumenti adottati (QL, proposta progettuale e allegati) non sono stati né
elaborati congruentemente né aggiornati con il mutare delle condizioni esterne. Le principali
conseguenze sono state una mancanza di univocità nei rendiconti narrativi di progetto (Status Reports,
Final Report etc.) e, come analizzeremo in seguito, una riduzione dell’efficienza e dell’efficacia
dell’iniziativa.
14
Laboratorio di Biotecnologie, MIMEC, MoCA, RECEDIG, Siti Archeologici, Assistenza tecnica e Grants alle municipalità.
Rapporto finale
25
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
5. Verifica della realizzazione
Il Programma “Pilot Activities for Education and Culture” è stato avviato in data 1/11/2006 e il termine
per la conclusione delle attività era inizialmente stato stabilito in 18 mesi, ovvero al 30/04/2008.
La componente UNESCO, invece, avviata il 22/06/2007 con 8 mesi di ritardo rispetto al cronogramma
iniziale, a causa del mancato trasferimento dei fondi da IMG a UNESCO, avrebbe dovuto concludersi
anch’essa al 30/04/2008 (riducendone di fatto la durata da 18 a 10 mesi).
Una serie di ritardi nell’implementazione delle attività, come vedremo in seguito, ha determinato il
continuo rinvio della data di conclusione delle attività, sancito dall’approvazione di due richieste di
estensione non-onerosa a IMG, e di una terza presentata direttamente da UNESCO e ad essa
approvata dalla DGCS (Ufficio III).
La quarta estensione presentata da IMG in data 02/12/09 non è invece stata approvata dalla DGCS;
tuttavia, il ritardo della DGCS nell’inviare la comunicazione riguardante la mancata approvazione
(comunicazione avvenuta in data 21/06/2010), la necessità di concludere le attività già avviate, il fatto
che un’estensione fino al 31/12/10 fosse già stata approvata ad UNESCO e un apparente nulla osta
informale dell’Ambasciata d’Italia a Skopje hanno fatto desumere a IMG di poter continuare
l’implementazione delle restanti attività fino al 31/12/2010 (All. 8 Cronogramma estensioni). A tal
proposito si è osservata una difficoltà e una mancanza di chiarezza nel flusso delle comunicazioni tra
donatore ed Ente Esecutore e tra quest’ultimo ed il Partner UNESCO-BRESCE. IMG ha sottolineato
che durante lo svolgimento del Programma i contatti e le decisioni erano prese di concerto con l’UTL e
l’Ambasciata italiana a Skopje. Questi ultimi si interfacciavano poi con gli uffici centrali della DGCS per
la formalizzazione di quanto già discusso e concordato a livello locale.
In tale ottica trovano spiegazione due episodi diversi ancorché correlati:
1.
In occasione della seconda richiesta di estensione (trasmessa in data 28/10/2008) da parte di IMG,
la DGCS ha formalmente dato la sua approvazione a Programma già concluso; infatti, la
conclusione naturale delle attività era prevista per il 30/11/2008 mentre l’approvazione della
proroga non onerosa da parte della DGCS è arrivata solo il 12/12/2008. Tale fatto fa presupporre
che IMG, non avendo interrotto le attività del programma, si fidasse dell’informale consenso
ricevuto in loco dalla Rappresentanza diplomatica italiana.
2.
Alla luce di tale precedente si spiegherebbe anche il motivo della continuazione delle attività da
parte di IMG oltre il termine ultimo previsto a seguito dell’approvazione della seconda proroga e
quindi fissato al 30/12/2009. Infatti, IMG in data 2/12/2009 ha presentato richiesta per una terza
proroga non onerosa di ulteriori dodici mesi. Benché la DGCS alla data del 30/12/2009 non
avesse ancora dato formale approvazione della stessa, le rassicurazioni ottenute dall’Ambasciata
italiana in Macedonia e l’esperienza dei tempi della seconda estensione sono apparse a IMG
elementi sufficienti per considerarla informalmente approvata. A ciò si aggiunga che UNESCOBRESCE aveva in data 9/2/2010 ottenuto una proroga fino al 30/12/2010.
26
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
Quest’ultimo fatto, secondo i valutatori, ha contribuito ulteriormente a complicare la gestione del
Programma.
Infatti, il programma è stato finanziato direttamente dalla DGCS a IMG, la quale ha poi firmato un
accordo con UNESCO-BRESCE per la realizzazione di alcune attività già previste nella proposta
originale. Di conseguenza, tutte le richieste, sia in termini economici sia temporali o sostanziali, di
UNESCO-BRESCE avrebbero dovuto essere indirizzate a IMG e non direttamente alla DGCS, se non
diversamente sancito negli accordi tra le parti. La richiesta di estensione non-onerosa indirizzata in data
27/10/2009 direttamente da UNESCO-BRESCE all’Ambasciata italiana a Skopje e da quest’ultima
trasmessa alla DGCS, ha quindi interrotto il normale flusso delle comunicazioni. A ciò si aggiunga che
la DGCS ha approvato tale estensione di UNESCO e bocciato, a distanza di oltre di 4 mesi, quella di
IMG, di fatto creando ulteriore dicotomia tra l’intervento di UNESCO-BRESCE e quello di IMG.
Per quanto concerne le attività vere e proprie, la maggior parte di esse può dirsi conclusa al
31/12/2008 con la sola eccezione delle attività di formazione del personale del RECEDIG (UNESCO), la
cui implementazione è stata rallentata dal mancato supporto da parte del MoC nell’istituzione di una
struttura direttiva e gestionale del centro, nella selezione del personale da impiegarvi, nella definizione
di una strategia nazionale per la digitalizzazione del patrimonio culturale e nell’attivazione di un primo
programma di attività operative. Nel 2009 IMG ha portato a termine i progetti finanziati alle municipalità
di Tearce, Chair, e Tetovo e realizzato la prima edizione dell’evento “Rediscovery the Route of Culture”,
mentre nel 2010 sostanzialmente non ha realizzato altre attività se non la seconda edizione di
quest’ultimo evento.
L’allegato 7 Cronogramma finale delle attività, mostra gli scostamenti delle singole attività rispetto al
cronogramma originale presentato da IMG nella proposta di progetto, ricostruite in base alle limitate e
talvolta contraddittorie informazioni contenute nei documenti di progetto e tenendo presente che le
attività riportate nel cronogramma trovano solo limitata corrispondenza con quanto descritto nel
quadro logico.
Rapporto finale
27
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
6. Risultati
6.1 Pertinenza/Rilevanza
IMG nel 2001 ha firmato con la Repubblica di Macedonia un accordo di collaborazione che prevedeva:
-
Raccolta, elaborazione e disseminazione di informazioni circa lo stato di avanzamento delle attività
e delle azioni intraprese con il programma “Damage Assesment and Management Reconstruction
of Republic of Macedonia”;
-
Identificazione di aree prioritarie per futuri studi di fattibilità;
-
Valutazioni e Studi sulle necessità di base della popolazione con particolare riferimento agli sfollati
e agli sfollati reinsediati;
-
Identificazione di programmi e progetti e loro conseguente sottomissione a potenziali finanziatori.
-
Implementazione di progetti per conto dei finanziatori.
Nel 2004 è stato firmato un accordo quadro tra IMG e il Ministero degli Affari esteri della Repubblica
Italiana, Direzione Generale per la Cooperazione allo Sviluppo (DGCS) con l’obiettivo principale di
rafforzare il dialogo tra il MAE-DGCS e IMG sulle strategie di sviluppo e di cooperazione internazionale
al fine di rendere più efficace e produttiva la collaborazione tra le due parti attraverso sia l’integrazione
che l’espansione delle aree di collaborazione già esistenti, nonché per svilupparne delle nuove.
All’interno di queste collaborazioni istituzionali, IMG e l’Unità Tecnica Centrale della DGCS nel 2004
hanno portato a termine uno studio dei bisogni in ambito educativo, culturale e di rappresentatività
delle minoranze che si ritiene sia stato in linea con le necessità del luogo e con quanto previsto nei
principali accordi Nazionali e Internazionali.
La scelta delle aree di intervento risulta pertinente e tale da garantire un approccio al settore di ampio
raggio: ricostruzione di siti storici e archeologici rilevanti per il rilancio del patrimonio culturale
macedone, formazione professionale e gestionale a più livelli, incentivazione del decentramento
amministrativo, digitalizzazione del patrimonio culturale, sostegno allo sviluppo educativo della
minoranza albanese. Inoltre, si valuta in modo positivo l’aver voluto investire sia sulla componente
“hardware” (costruzioni, ristrutturazioni e dotazioni) che “software” (formazione professionale a più livelli).
La proposta progettuale realizzata da IMG ben si situa nel contesto legislativo e di sviluppo nazionale.
Negli Accordi di Ohrid sottoscritti nel 2001 si è sottolineata l’importanza della multi-etnicità della
Repubblica di Macedonia. Per preservare e rafforzare pacificamente tale caratteristica nazionale sono
state identificate azioni prioritarie volte sia a garantire una equa rappresentazione delle minoranze,
anche attraverso un rinnovamento della concezione culturale ed educativa, che un adeguato
decentramento amministrativo a più livelli. Inoltre la designazione della Macedonia a candidata per
l’entrata nell’Unione Europea ottenuta nel Dicembre del 2005 ha implicitamente dato atto al Paese del
raggiungimento degli obiettivi in diversi settori strategici, aprendo la strada a una prospettiva di
28
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
sviluppo più strutturata e coerente15. Il National Development Strategy, adottato dalla Macedonia tra il
2007 ed il 2009, tra le dimensioni di sviluppo nazionale aveva previsto anche piani di sviluppo legati al
patrimonio culturale e turistico, ed al decentramento amministrativo.
Da un punto di vista educativo nel 2004 venne redatto il Programme for the development of education
in the Republic of Macedonia 2005 – 2015 che relativamente all’educazione superiore si prefigge tra le
altre cose di garantire l'accesso a tutti gli istituti di istruzione superiore per quanti desiderino essere
educati, di sviluppare ed aumentare il numero di Università con l'obiettivo di rendere la formazione
superiore a disposizione di tutti i gruppi vulnerabili di giovani e adulti (gruppi etnici, poveri, persone
geograficamente isolate) e di favorire l’integrazione di tutte le Università Nazionali con quanto previsto
dal “Processo di Bologna”.
In ambito culturale, Il principale riferimento normativo è rappresentato dalla Legge sulla Cultura (1998),
che rappresenta un punto d’unione per la cultura macedone garantendo, tra le altre cose,
l’introduzione di un concetto civile di cultura, uno status paritario per entità pubbliche e private operanti
nel settore culturale, l’introduzione di un sistema decentralizzato per la cultura ed il finanziamento di
attività nell’interesse nazionale. Sulle basi poste con questa legge è stato realizzato nel 2010 il nuovo
draft della Legge sulla Realizzazione Culturale che enfatizza ulteriormente il ruolo della cultura come
“interesse comune” dei cittadini della repubblica di Macedonia e di conseguenza la necessità di un suo
costante processo attuativo. Tale riferimento è stato riproposto in questa sede per dare atto di come la
strategia intrapresa nei primi anni 2000 risulti ancora pertinente e prioritaria rispetto al contesto. Prima
dell’adozione del Programma Nazionale per la Cultura (2004) sono entrate in vigore altre leggi che,
recependo sia quanto stabilito dagli accordi di Ohrid che dalla Legge sulla Cultura hanno contribuito a
tracciare ulteriormente il percorso di sviluppo culturale del Paese. Nel 2002 la Legge sulle Autonomie
Locali ha dato alle municipalità una maggiore indipendenza nel campo culturale, nel 2003 con la
Decision on the Network of National Institution in the field of Culture è iniziato il processo di
decentralizzazione riducendo da 115 a 51 il numero delle istituzioni “nazionali” e ri-allocando le
competenze e responsabilità in ambito culturale.
Il Programma Nazionale per la Cultura in vigore dal 2004 al 2008 - poi ripreso in quello del 2012-2017
prevedeva, tra gli altri, i seguenti obiettivi strategici principali:
16
-
Decentralizzazione
-
Sviluppo
-
Protezione e ri-creazione del patrimonio culturale
-
Creatività con speciale attenzione ai giovani
-
“cultural management”
-
Promozione dell’identità culturale delle comunità
-
Cooperazione con NGO
-
Cooperazione internazionale regionale.
Infine, vale la pena fare riferimento alla legge del 2004 ratificata nel 2007 Legge sulla Protezione del
Patrimonio Culturale che ha posto le basi per raggiungere gli standard europei in ambito di patrimonio
culturale.
Communication from the commission to the european parliament and the council. Enlargement strategy and main challenges 2006
– 2007.
16 Al termine del Programma 2004-2008 non ha fatto immediatamente seguito una revisione/ampliamento dello stesso per gli anni 20082012.
15
Rapporto finale
29
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
I riferimenti normativi riportati offrono uno scenario ben definito delle priorità e strategie nazionali che la
Repubblica di Macedonia ha adottato fina dai primi anni duemila. Tale piano strategico in ambito
culturale, nonostante diversi avvicendamenti di governo del Paese, risulta ancora oggi attuale e riflesso
nelle nuove priorità nazionali evidenziate nel 2011 ed esposte nella bozza della Nuova Strategia
Nazionale per la Cultura (2012-2017).
Anche a livello europeo nel 2003 venne lanciato il “Programma Regionale sul Patrimonio Naturale e
Culturale nel Sud Est Europa (RPSEE)” in Albania, Bosnia-Erzegovina, Bulgaria, Croazia, Montenegro,
Romania, Serbia, Macedonia e Kosovo. Le tre componenti principali: rafforzamento delle capacità
istituzionali, riabilitazione del patrimonio culturale e sviluppo locale, erano state pensate per offrire un
contributo alla pace e alla riconciliazione in un delicato momento di transizione politica, giuridica,
economica e sociale.
Più di recente, nel 2012, con il documento redatto dall’Unione Europea circa le conclusioni avanzate
sul raggiungimento degli Obiettivi stabiliti per il progressivo ingresso in Europa17 della Macedonia, si
rende evidenza dei progressi fatti nel campo della cultura e del riconoscimento dei diritti delle
minoranze in prospettiva del raggiungimento dei benchmarks comunitari 2020 su “Education and
Training”18, reiterando la sussistenza delle condizioni per aprire i negoziati con l’Unione19.
La proposta risulta coerente con gli Obiettivi della Repubblica di Macedonia sia inerenti l’ambito
culturale che lo sviluppo nazionale secondo quanto sancito con gli Accordi di Ohrid e con gli Obiettivi
della Comunità Europea per il Paese e per la più ampia regione di riferimento.
È opinione dei valutatori che IMG e la DGCS abbiano saputo cogliere tali aspetti prioritari del contesto
locale anche in una prospettiva strategica di più ampio raggio rispetto alle tempistiche del Programma.
L’OBIETTIVO GENERALE “Favorire la completa attuazione degli accordi di Ohrid, con particolare riferimento
al processo di decentramento amministrativo nei settori dei beni culturali e dell'educazione, alla
protezione e valorizzazione del Patrimonio culturale e all'integrazione delle minoranze” riflette
adeguatamente le priorità strategiche macedoni identificando un settore di intervento (culturale,
educativo) sufficientemente ampio per essere incisivo nel processo di sviluppo nazionale. Si rilevano,
invece, talune mancanze nella definizione degli obiettivi specifici, come approfondito nel capitolo
sull’analisi del QL.
Il Programma è stato parzialmente in grado di creare sinergie con gli interventi dei principali attori
operanti nel settore culturale ed educativo locale. L’intervento di digitalizzazione del patrimonio
culturale affidato all’Unesco-Bresce si colloca nel contesto dell’iniziativa che la Banca Mondiale ha
portato avanti nel Paese tra il 2001 ed il 2005 insieme al Ministero della Cultura e finalizzato alla
creazione di un centro nazionale di Digitalizzazione del Patrimonio Culturale supportato da 6 unità
decentralizzate.
Gli interventi effettuati presso i 3 siti archeologici hanno anch’essi partecipato ad un più ampio effetto
sinergico (principalmente i siti di Stobi ed Heraclea) favorito dai finanziamenti stanziati dal “U.S.
Ambassadors Fund for Cultural Preservation (AFCP)”, dal Regional Programme on Cultural and Natural
Heritage in South East Europe (RPSEE) e dai fondi “Instrument for Pre-accession Assistance (IPA)”.
Communication from the Commission to the European Parliament and the Council "Enlargement Strategy and Main Challenges
2012-2013", COM(2012)600 final.
18 Council conclusions of 12 May 2009 on a strategic framework for European cooperation in education and training ("ET 2020")
19 Communication from the Commission to the European Parliament and the Council. Enlargement Strategy and Main Challenges
2012-2013.
17
30
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
Tuttavia un maggior coordinamento con le altre iniziative in essere o in previsione per il settore culturale
macedone, ne avrebbe ulteriormente favorito lo sviluppo.
6.2 Efficienza
Per quanto concerne l’analisi dell’efficienza, occorre anzitutto evidenziare alcune limitazioni che ne
hanno impedito una valutazione approfondita:
1.
Le difficoltà nella ricostruzione del quadro logico e continui cambiamenti del budget di riferimento.
Come precedentemente analizzato, la mancanza di una logica di progetto, la confusione tra
risultati e indicatori, l’impossibilità di ricondurre talune attività realizzate ad un risultato atteso
preciso e l’assenza di aggiornamenti al mutare delle condizioni esterne, hanno di fatto reso
impossibile una valutazione approfondita dell’efficienza del Programma intesa come misurazione
quali-quantitativa dei risultati raggiunti in virtù degli input a disposizione. Pertanto l’analisi
dell’efficienza è stata limitata alle sole attività realizzate (o di cui i valutatori hanno trovato traccia),
mentre le conseguenze delle attività non realizzate e relativi risultati sono state maggiormente
approfondite nel paragrafo relativo all’efficacia.
2.
L’assenza di valutazioni intermedie e/o finale antecedenti. La misurazione dell’efficienza di un
programma a tre anni dalla conclusione dello stesso e senza che sia stata realizzata alcuna
valutazione finale rende complesso il confronto in termini di convenienza di diverse alternative.
3.
La mancanza di documenti dettagliati sulle spese effettuate. Nonostante le richieste, IMG non ha
fornito la documentazione necessaria per verificare l’efficienza delle spese in dettaglio, ritenendo
che tali verifiche potessero essere fatte solo da auditors autorizzati. Pertanto per la valutazione
dell’efficienza ci si è basati sui rapporti finanziari, intermedio e finale, e sulla documentazione
parziale riguardante le procedure acquisti.
Per quanto analizzabile, il Programma è risultato limitatamente efficiente in termini di costi. L’eccessiva
dispersione, sia in termini geografici sia in relazione al numero delle attività, e la parzialità degli interventi
realizzati sono considerati i due limiti principali all’efficienza.
Per quanto riguarda la dispersione degli interventi, il Programma si compone di quattro macrointerventi di costruzione/riabilitazione, tre attività di valorizzazione in tre diversi siti archeologici, cinque
interventi di costruzione/riabilitazione a livello di municipalità, quattro finanziamenti minori in altrettante
municipalità, una serie di workshop, seminari nazionali e internazionali e altre attività di collaborazione
con università; il tutto senza che ci sia una chiara e logica relazione tra attività, risultati e obiettivi.
A livello geografico inoltre, è opinione dei valutatori che una maggiore concentrazione delle attività in un
numero limitato di municipalità avrebbe permesso di ottimizzare le risorse umane e finanziarie a
disposizione del Programma.
Nella cartina che segue sono state evidenziate le municipalità coinvolte nel Programma 20 21 . Gli
interventi principali si sono concentrati sulla municipalità di Skopje (MIMEC, RECEDIG, MoCA, Route of
Culture e Scupi), Negotino (Stobi e Museo del Vino), Bitola (Heraclea) e Tetovo (Laboratorio di
biotecnologie).
La municipalità di Chair è parte dell’area 1 – Skopje.
Non essendo stato fornito da IMG alcun rendiconto dettagliato per singola attività, i valori di taluni interventi sono indicativi (es. i siti
archeologici) in quanto ricavati dalle sole procedure di acquisto allegate ai report.
20
21
Rapporto finale
31
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
Figura 2. Municipalità coinvolte nel Programma e relativi interventi
MIMEC: 453.693,47 !
MOCA: 349.104,40 !
RECEDIG: 299.543,12 !
SCUPI: 150.000 !
CHAIR: 9.000 !
Tearce: 19.524 !
Training e assistenza tecnica:
303.359,18 !
Sveti Nikole: 2.234,18 !
Kocani: 30.169,37 !
Tetovo: 2.971,00 !
Laboratorio Biotecnologie:
271.912.59 !
Berovo: 38.838,95 !
Heraclea
155.000,00 !
Negotino: 71.154!
Stobi: 180.000 !
Strumica: 41,230.79 !
Per quanto concerne invece la parzialità degli interventi, si ritiene che molte attività realizzate abbiano
contribuito solo in parte al raggiungimento dei risultati attesi formulati. Inoltre, talune attività non sono
sembrate parte di una strategia univoca, ma piuttosto attività spot, pianificate ed implementate senza
considerare la loro reale partecipazione al disegno del progetto (es. seminario sul bilinguismo nelle
amministrazioni pubbliche affidato alla Ong locale Toleranca, o la fornitura di strumenti musicali alla
banda della Municipalità di Chair).
Si valuta, invece, positivamente l’insieme di procedure adottate da IMG per il procurement. Dai
documenti che i valutatori hanno potuto consultare, si evince una buona trasparenza in fase di
assegnazione dei contratti, che sono apparsi seguire passaggi ben definiti, standardizzati e tradotti in
adeguati strumenti di supporto.
Le visite dirette e le interviste qualitative organizzate durante la missione in loco hanno permesso di
evidenziare le seguenti criticità relativamente alle diverse componenti del Programma.
-
32
MUSEO D’ARTE CONTEMPORANEA. Le attività di riabilitazione del MoCA hanno riguardato la riabilitazione
di parte della superficie del tetto, delle vetrate e la rampa di accesso al primo piano e portato alla
riapertura del salone espositivo dopo anni di chiusura. Tuttavia, gli interventi riabilitativi realizzati da
IMG attraverso un’impresa locale sono apparsi limitatamente efficienti se si considera che l’attuale
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
Direttrice del MoCA (nominata solo nel 2008, quindi a lavori praticamente conclusi) ha affermato di
aver dovuto sostenere costi per un’ulteriore riabilitazione straordinaria, a un anno di distanza dalla
conclusione dei lavori, (All. 12 documentazione fotografica) a causa di infiltrazioni dal tetto e dello
slittamento di vetrate in precedenza non fissate adeguatamente. Inoltre, la visita al museo ha
permesso di osservare l’eccessiva pendenza della rampa di accesso al piano superiore dell’area
espositiva che limita, anziché favorire, l’accesso a persone anziane o con mobilità ridotta. Altri
interventi strutturali, quali l’illuminazione interna e telecamere di sicurezza sono, a detta della
direttrice del MoCA, inadeguati a valorizzare e proteggere le opere esposte; in particolare, il
numero di telecamere installate da IMG (due) non è sufficiente a rispondere ai bisogni di messa in
sicurezza del museo e delle collezioni ivi conservate. Per contro, IMG ha voluto precisare che tale
intervento non poteva essere svolto altrimenti sia in quanto il Museo era soggetto a particolari
vincoli architettonici, sia per l’urgenza dell’intervento sia per preservare il disegno originale della
struttura. Inoltre IMG ha sottolineato che la struttura del MoCa necessita di una costante
manutenzione che la Direzione del Museo non effettua.
-
SITI ARCHEOLOGICI. I tre siti archeologici selezionati per l’implementazione dell’iniziativa sono
indubbiamente siti di eccezionale importanza archeologica per il Paese, tuttavia una maggiore
concentrazione di risorse su uno/due siti avrebbe contribuito maggiormente alla gestione efficiente
dei fondi, e alla valorizzazione economica e turistica delle risorse, nonché avrebbe permesso di
realizzare un intervento, come vedremo in seguito, maggiormente sostenibile date le limitate
risorse a disposizione del MoC o delle Istituzioni Nazionali. Le attività realizzate (recinzione,
allestimento telecamere e monitor di sicurezza, illuminazione e collocamento di pannelli esplicativi)
hanno solo in parte contribuito alla valorizzazione del patrimonio culturale intesa come promozione
della conoscenza del patrimonio nazionale e creazione delle migliori condizioni di utilizzazione e
fruizione del patrimonio ad ogni tipo di pubblico, al fine di incentivare lo sviluppo della cultura.
-
CENTRO MULTIMEDIALE ITALO-MACEDONE. Attualmente il centro è funzionante, ed è il punto di riferimento
per gli studenti (circa 270) e i docenti del dipartimento di Lingua e Letteratura Italiana. Il personale
ivi occupato, una decina di persone, è stipendiato direttamente dalla Facoltà di Filologia. Tuttavia,
la visita al centro ha permesso di evidenziare talune criticità in termini di efficienza, legate in
particolare al disegno della struttura ed ai materiali utilizzati. Per quanto riguarda il primo aspetto: al
piano rialzato il pavimento è stato realizzato con una pendenza tale da rendere inutilizzabile circa il
30% della superficie, e il numero limitato di finestre realizzate (solo 2 in tutto il complesso) crea
problemi di areazione soprattutto nei mesi estivi.
Relativamente ai materiali utilizzati, i fruitori del centro hanno rilevato che tutta la struttura è stata
realizzata quasi completamente in vetro e metallo, materiali considerati inadatti sia a causa delle
temperature raggiunte nei mesi invernali ed estivi che per i problemi di insonorizzazione ad essi
collegati. Nei mesi invernali per scaldare gli ambienti è necessario fare ampio uso del
riscaldamento, per contro nei mesi estivi è indispensabile l’utilizzo continuo dei condizionatori
d’aria; il personale intervistato ha tenuto a sottolineare che, nel vecchio edificio costruito negli anni
‘70 con spessi muri di cemento armato, questo non si verifica. Su questi aspetti tecnici, IMG ha
sottolineato che il loro approccio era volto a creare un edificio che fosse tecnologicamente
innovativo rispetto alle tipiche costruzioni in cemento armato e che i costi di manutenzione sono
facilmente assorbibili da un’istituzione grande quale l’Università Santi Cirillo e Metodio.
Inoltre, dalle informazioni in possesso dei valutatori, i costi sostenuti per la progettazione, la
direzione lavori e coordinamento del MIMEC, sono apparsi eccessivi (131.500!) e poco giustificati
se paragonati ai costi dichiarati per le stesse attività in relazione ad altri risultati (es. i costi di
progettazione per il laboratorio di biotecnologie di Tetovo sono pari 12.700!).
Rapporto finale
33
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
-
LABORATORIO DI BIOTECNOLOGIE. La proposta originale di progetto prevedeva la riabilitazione
dell’edificio destinato ad ospitare il College di Biotecnologie. Tuttavia, poiché l’Università di Tetovo
aveva nel frattempo proceduto a riabilitare i locali necessari, IMG di concerto con la controparte
macedone, ha spostato il focus dell’intervento sul Laboratorio di Biotecnologie. Il laboratorio è
stato quindi costruito nel 2008 su un terreno adiacente quello che al tempo era la facoltà di
Biotecnologie. Ad oggi però il laboratorio, come edificio, risulta essere inutilizzato e in stato di
abbandono, in quanto l’Università di Tetovo è stata spostata completamente in un edificio
appositamente costruito, mentre l’equipaggiamento è stato spostato a Gostivar (20km da Tetovo)
insieme alla sede stessa della Facoltà di Biotecnologie. Tale fatto, avvenuto a due anni di distanza
dalla chiusura del progetto, può essere in parte ascrivibile sia ai cambi dei vertici dell’Ateneo
(Rettore e Presidi) sia ad una nuova normativa entrata in vigore dopo la chiusura del Progetto, che
prevedeva la riallocazione delle Facoltà dell’Università di Tetovo in diverse città.
-
MUNICIPALITÀ. È opinione dei valutatori che i grants alle Municipalità abbiano solo in parte stimolato
la creazione di politiche turistiche locali. Anche in questo caso, una maggiore concentrazione degli
sforzi e un maggiore coinvolgimento del ministero dell’economia, e in particolare del dipartimento
del turismo, avrebbe portato a scegliere con maggiore accuratezza gli interventi, limitandosi a
quelli che concretamente avevano potenzialità turistiche. Inoltre, dalla documentazione di progetto
e dalle interviste con i principali stakeholder non è stato possibile definire il processo che ha
portato alla selezione delle Municipalità beneficiarie.
-
CENTRO PER LA DIGITALIZZAZIONE DEL PATRIMONIO CULTURALE. La visita al centro ha permesso di osservare
la buona qualità dell’intervento strutturale realizzato da IMG e le funzionali condizioni della
strumentazione acquistata da UNESCO. Tuttavia, sono stati riscontrati alcuni fattori che
influenzano negativamente l’efficienza dell’intervento. In particolare:
La connessione VPN per il collegamento tra il RECEDIG e le altre istituzioni culturali è risultata,
dopo la conclusione del programma, eccessivamente gravosa (8.000$/mese) sul budget a
disposizione del centro. Di conseguenza, il contratto è stato rescisso e al momento la trasmissione
dei dati tra le varie istituzioni avviene o in modo estremamente farraginoso o non avviene del tutto.
Il centro seppur funzionante a livello macedone, non è diventato l’istituzione di riferimento per la
digitalizzazione del patrimonio culturale a livello regionale come UNESCO originariamente si
prefiggeva. Solo successivamente all’avvio del Programma, UNESCO si è resa conto che le
capacità e gli standard utilizzati dai diversi Paesi dell’area balcanica in materia di digitalizzazione
del patrimonio culturale differivano in modo tale da rendere impossibile la creazione di un centro
regionale. Inoltre, la Macedonia non aveva di fatto alcuna esperienza nel settore, pertanto è
mancata al centro quella necessaria credibilità internazionale che gli permettesse di svolgere il
ruolo di pivot regionale previsto da UNESCO.
-
FORMAZIONE. La componente di formazione e assistenza tecnica è stata valutata poco efficiente per
le seguenti considerazioni:
1) L’organizzazione di seminari, tavole rotonde e conferenze, con la partecipazione di esperti di
diversi Paesi è un’attività estremamente impegnativa, sia da un punto di vista delle risorse
umane impegnate nell’organizzazione dell’evento che delle risorse economiche necessarie per
garantire un risultato di alto livello. Tuttavia i partecipanti a tali “eventi formativi” che sono stati
intervistati dai valutatori hanno rilevato che la modalità scelta non era la più adeguata a
rispondere ai bisogni di formazione. Una formazione di più lungo termine e un maggior
affiancamento nella realizzazione delle attività quotidiane sarebbero stati preferibili. Tale
affermazione trova riscontro applicando il metodo di Kirkpatrick. Dai Focus Group realizzati con
34
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
i partecipanti ai due corsi di formazione della durata di almeno 10 giorni (Corso sulla
Conservazione dei Mosaici e sulla Digitalizzazione del Patrimonio Culturale) emerge un
sufficiente livello di reazione e di apprendimento raggiunto. Ciò a dimostrazione che ove la
componente di formazione è stata strutturata in modo continuativo ed approfondito anche i
risultati sono stati migliori.
2) A livello centrale e locale, i rappresentanti delle varie istituzioni intervistate (MoCA, MAMU,
municipalità, il dipartimento di Lingua e Letteratura Italiana, il personale del MIMEC e del
Politecnico di Tetovo) hanno affermato di non essere stati coinvolti nelle formazioni o di esserlo
stati a processo eccessivamente inoltrato (Dipartimento del Turismo).
3) In termini di risorse umane utilizzate, i partecipanti intervistati hanno criticato la scelta di taluni
formatori il cui livello si è dimostrato eccessivamente elevato rispetto alla realtà
dell’istituzione/dei beneficiari cui la formazione era diretta.
Nella documentazione di progetto non esistono dati ufficiali circa la partecipazione ai percorsi formativi
degli addetti al settore cultura ed educazione (si fa riferimento solo a una formazione impartita, pertanto
non può essere analizzato il costo/beneficiario per i singoli eventi). In generale, si può comunque
affermare che a fronte di quanto evidenziato in precedenza, il costo complessivo sostenuto per le
attività di formazione e assistenza tecnica (pari a 303.359,18!), appaia eccessivo.
Per quanto concerne le risorse umane impiegate, IMG ha messo a disposizione per la realizzazione
dell’iniziativa le competenze e la struttura di una grande organizzazione internazionale. Le decisioni
riguardanti il progetto erano prese direttamente in loco dal Capo Missione, a cui facevano riferimento
una divisione Amministrativa/IT e una serie di Project Managers internazionali (principalmente italiani e
divisi tra esperti long term e short term). Ai PM rispondevano poi i coordinatori locali (circa nove), che
gestivano direttamente i contatti con i beneficiari e le autorità. Per quanto concerne le procedure
acquisto, l’ufficio di Skopje era coadiuvato da quelli di Belgrado e di Sarajevo.
Infine, in termini di tempo, il Programma è risultato parzialmente efficiente: inizialmente previsto per una
durata di 18 mesi, è in realtà durato 50 mesi senza che gran parte dei risultati attesi previsti nella
proposta di progetto siano stati pienamente raggiunti.
Il grafico che segue mostra l’andamento del budget di Programma in termini di macro linee di budget
dal momento dell’approvazione dell’iniziativa fino al 31/12/2010.
Figura 3. Andamento del budget di programma dal 2006 al 2010
600
in migliaia di euro
400
200
Istituto di Biotecnologie
Centro Multimediale
Museo d'Arte Contemporanea
Siti Archeologici
Grants Municipalità
Centro Digitalizzazione
Costi di Gestione
0
Budget progetto approvato
Rapporto finale
Budget 24 mesi
Budget 36 mesi
Budget 43 mesi
Budget report finale
35
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
Come si può osservare dal grafico, e più in dettaglio dall’analisi del budget di Programma (Allegati 5 e 6
budget e riepilogo costi), il budget è stato oggetto di continui e talvolta importanti cambiamenti.
Le quattro richieste di estensione non onerosa22 presentate da IMG e UNESCO alla DGCS (tramite
l’Ambasciata d’Italia a Skopje) hanno avuto come effetto diretto l’aumento dei costi di gestione che dai
340.000! della proposta approvata sono arrivati ai 541.046! del rendiconto finale (+60%). Tali
estensioni, servite quasi esclusivamente23 per permettere a UNESCO di completare le sole attività
formative presso il Centro per la Digitalizzazione, hanno avuto pertanto un impatto negativo sull’utilizzo
efficiente delle risorse finanziarie dell’iniziativa.
Al momento della conclusione delle attività, UNESCO dispone di un residuo attivo pari a 109.261,64$24,
il cui utilizzo per l’ampliamento delle attività del RECEDIG è tuttora sospeso. Risultano inoltre essere
maturati interessi attivi pari a 22.990 $ al 31/12/200925, ultimo dato disponibile.
Al di là di queste considerazioni che influenzano negativamente l’efficienza del Programma, è
importante sottolineare anche il raggiungimento di DUE RISULTATI INATTESI.
-
La definizione da parte del Ministero della Cultura Macedone, della strategia nazionale per la
digitalizzazione del patrimonio culturale; la strategia riguarda la protezione dei reperti, il
miglioramento della loro accessibilità, la possibilità di utilizzare le copie digitali per la presentazione
del patrimonio culturale a livello nazionale e internazionale, permettendo così una migliore
consapevolezza dell’importanza di tale patrimonio. La strategia prevede la creazione di centri e
dipartimenti per la digitalizzazione nei vari Istituti, suggerisce la creazione di un fondo per la
realizzazione di programmi per la digitalizzazione del patrimonio culturale, e definisce una lista di
priorità per il patrimonio materiale e immateriale.
-
La riscoperta da parte della popolazione di Skopje della città vecchia, grazie ai due eventi
“Rediscovery the Route of Culture” realizzati da IMG nel 2009 e 2010 e che hanno attirato
l’attenzione di migliaia di persone (circa 10.000 il primo anno, e la metà il secondo). Il percorso
della manifestazione elaborato in collaborazione con gli studenti della facoltà di Architettura
dell’Università di Skopje, ha permesso ai partecipanti di apprezzare le diverse performance
culturali organizzate lungo il percorso e di riavvicinarsi a una parte della città che da anni era
considerata off-limits dalla maggior parte della popolazione non albanese.
Riassumendo, è opinione dei valutatori che il Programma non abbia creato sufficiente VALUE FOR MONEY
nel senso che non ha permesso una riduzione dei costi, una migliore gestione dei rischi, una più rapida
implementazione, un aumento della qualità e/o della generazione di redditività.
6.3 Efficacia
L’efficacia dell’intervento è stata principalmente misurata sul disegno di progetto, sull’appropriatezza
degli obiettivi e su come i risultati hanno contribuito al loro raggiungimento. Poiché, come già
evidenziato, gli obiettivi specifici, i risultati attesi e gli indicatori non sono apparsi né del tutto coerenti e
logicamente inseriti nella Proposta nel suo complesso né mai aggiornati/modificati con il mutare delle
condizioni esterne, si è cercato di analizzare l’efficacia attraverso una reinterpretazione degli stessi
(Allegato 4 Quadro logico rivisto) e disaggregando l’analisi per obiettivo specifico, così da garantirne
La prima richiesta datata 1/2/2008 ha esteso il Programma fino al 30/11/2008, la seconda datata 28/11/2008 fino al 31/12/2009, la terza
datata 2/12/2009 fino al 31/12/2010, infine nella quarta datata 10/5/2010 IMG ha richiesto l’estensione delle attività sino al 31/12/2010.
Quest’ultima estensione non è però stata ufficialmente approvata dalla DGCS.
23 IMG aveva praticamente concluso le attività di sua competenza già nel dicembre 2008.
24 Come da lettera di IMG all’Ambasciata d’Italia a Skopje e alla DGCS del 10/06/2011 ref. DBI/PPL/2059/11.
25 Fonte: IMG Status report, Maggio 2010. Financial Status Report as at 31/12/2009 UNESCO.
22
36
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
un’appropriata correlazione.
L’OBIETTIVO GENERALE “Favorire la completa attuazione degli accordi di Ohrid, con particolare riferimento
al processo di decentramento amministrativo nei settori dei beni culturali e dell'educazione, alla
protezione e valorizzazione del Patrimonio culturale e all'integrazione delle minoranze” riflette
adeguatamente le priorità strategiche macedoni identificando un settore di intervento (culturale,
educativo) sufficientemente ampio per essere incisivo nel processo di sviluppo nazionale. Si rilevano,
invece, talune mancanze nella definizione degli obiettivi specifici, come approfondito nel capitolo
sull’analisi del QL.
Analizzando, infatti, il QL della proposta di progetto risulta che l’OS1 “Favorire il recupero, anche in
termini di una loro valorizzazione economica e turistica, di alcune delle risorse storiche, artistiche e
culturali più significative del Paese, in una prospettiva di sviluppo sostenibile del territorio che proceda a
riqualificare e rendere maggiormente fruibili i siti di interesse turistico e i capolavori a rischio di degrado”
pur risultando coerente rispetto all’Obiettivo Generale, non trova adeguato riscontro nei risultati attesi
che ad esso dovrebbero riferirsi.
L’OS2 “Rafforzamento di legami di cooperazione con l'Italia e con gli Organismi locali operanti nei
settori dei beni culturali e dell'educazione professionale stabilendo collaborazioni tecniche che
coinvolgano con regolarità Centri di Eccellenza presenti nel nostro Paese per dare luogo a opportuni
programmi di scambio e formazione rivolti alla controparte macedone” non è formulato in modo da
rendere evidenza del contributo al raggiungimento dell’Obiettivo Generale. La validità e la coerenza di
quest’obiettivo rispetto all’Obiettivo Generale non risiedono principalmente nel rafforzamento dei legami
di cooperazione con l’Italia, quanto nel rafforzamento delle istituzioni macedoni, le quali potrebbero
trarre beneficio dalla cooperazione con l’Italia.
Da ultimo, l’OS4 “Contribuire al rafforzamento dell'integrazione fra le diverse componenti etniche della
Macedonia, facilitando l'accesso all'educazione superiore per la minoranza albanese e sostenendo la
diffusione di conoscenze funzionali allo sviluppo socio-economico del Paese (con particolare riguardo
al settore agroalimentare)” introduce un riferimento ad aspetti di produttività agro-alimentare che
esulano dall’Obiettivo Generale e dal contesto settoriale del Programma.
Quest’analisi introduttiva permette di inquadrare in modo più appropriato gli esiti dell’analisi
disaggregata. Infatti, la limitata “misura” del raggiungimento di taluni Obiettivi non risiede
esclusivamente in una ridotta portata delle attività del Programma, ma anche in una identificazione non
sempre appropriata degli Obiettivi che ci si era prefissati.
OBIETTIVO SPECIFICO 1
RISULTATO ATTESO 1.1
Favorire il recupero, anche in termini di una loro valorizzazione economica e turistica, di alcune delle
risorse storiche, artistiche e culturali più significative del Paese, in una prospettiva di sviluppo sostenibile
del territorio che proceda a riqualificare e rendere maggiormente fruibili i siti di interesse turistico e i
capolavori a rischio di degrado
Miglioramento delle capacità di restauro di opere d'arte contemporanea e manufatti
archeologici (R3 QL)
L’unico risultato atteso espresso per questo obiettivo non rende evidenza di tutte le attività ad esso
corrispondenti. Pertanto occorre rifarsi alle attività del QL rivisto per poter cogliere la portata in termini
di Risultati Attesi di quest’Obiettivo.
L’OS1 è stato solo in parte raggiunto, per una pluralità di fattori. Anzitutto la mancanza di un QL di
riferimento chiaro e l’assenza di rapporti di monitoraggio strutturati non hanno facilitato, a tutti i
principali stakeholders coinvolti, la comprensione in itinere dell’andamento del Programma e di un suo
eventuale riaggiustamento in corsa. Inoltre sia in termini di interventi strutturali che di formazione e
capacity building sono emerse carenze a più livelli.
Rapporto finale
37
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
Per quanto concerne l’intervento nei Musei (Museo di Arte Contemporanea e Museo di Macedonia)
non si è rilevato un miglioramento delle capacità gestionali dei responsabili delle istituzioni, né
dell’offerta culturale degli stessi mentre solo per il MoCa si è in presenza di una ristrutturazione
all’infrastruttura. Le interviste qualitative realizzate con i Direttori dei due Musei hanno evidenziato un
sostanziale distacco tra la gestione dei Musei e il Programma. Entrambi i direttori hanno sottolineato di
non essere mai stati coinvolti in attività di capacity building o di formazione (pur facendo parte dello
staff dei Musei ai tempi del Programma) ma di aver beneficiato solo di Disegni Strutturali il Museo di
Macedonia e di Interventi parziali alla struttura il Museo di Arte Contemporanea. L’inefficienza
evidenziata in precedenza per taluni di questi interventi strutturali e l’assenza di appropriate
formazioni/capacity building hanno ostacolato lo sviluppo di un senso di ownership da parte dello staff
dei Musei nei confronti di quelli che avrebbero dovuto essere i contenuti del Programma. Ciò si è
tradotto in una riduzione dell’efficacia complessiva. Infatti, per quanto concerne la valorizzazione dei
musei, il numero di turisti e la gestione degli stessi non sono state evidenziate sostanziali differenze tra
il prima ed il dopo Programma.
Con rispetto agli interventi nei siti archeologici di Scupi, Stobi ed Heraclea è necessario analizzare
separatamente i tre luoghi. Da un punto di vista infrastrutturale tutti e tre i siti hanno beneficiato di
interventi più o meno efficienti, mentre per quanto concerne la formazione ed il capacity building sono
stati Stobi ed Heraclea ad essere maggiormente coinvolti. Con le interviste qualitative e l’osservazione
diretta, i valutatori hanno costatato che per il sito archeologico di Scupi il Programma non ha favorito
né il miglioramento delle capacità gestionali, né l’aumento dei visitatori ma si è limitato a “proteggere” il
sito archeologico con circoscritti interventi infrastrutturali. Il sito ad oggi rimane al di fuori dei percorsi
turistici, non è aperto al pubblico e non è mantenuto in condizioni tali da attrarre il visitatore. Da un
punto di vista di gestione, si è potuto osservare che dall’intervento di IMG ad oggi non vi sono stati
cambiamenti di approccio da parte dei vari Direttori che si sono susseguiti nella gestione del sito;
approccio che rimane di “preservazione” e non di promozione e sviluppo. Pertanto nonostante i lavori
infrastrutturali siano stati eseguiti, non sembrano essere stati efficaci. Di fatto non hanno favorito
quanto ci si prefiggeva nell’Obiettivo Specifico e gli indicatori di efficacia non sono stati rispettati.
Diversamente, a Stobi ed Heraclea si è osservata una maggior valorizzazione economica e turistica dei
siti. Entrambi sono aperti al pubblico a pagamento. L’incremento dei visitatori è stimato in un 10%
annuo dal 2009 ad oggi pur in assenza di registri ufficiali dove reperire queste informazioni. Grazie alle
recenti attività di scavo, il numero di reperti archeologici ivi conservati, è aumentato rispetto a tre anni
fa, nonostante questi ultimi non siano ancora stati completamente catalogati ed esposti al pubblico.
Nel loro complesso gli interventi infrastrutturali realizzati sono stati più efficaci che a Scupi, per almeno
una duplice ragione. A Stobi ed Heraclea gli interventi strutturali sono stati affiancati da corsi di
formazione e in entrambi i siti si è potuto osservare una compresenza di una molteplicità di interventi
finanziati da più donatori internazionali (Unione Europea, US Ambassador Foundation).
Con riferimento ai corsi di formazione si è potuto constatare, come già anticipato per l’efficienza, che
nella maggior parte dei casi si è trattato di workshop e simposi di qualche giorno, non di un percorso
formativo vero e proprio. Gli unici corsi di formazione che si possano considerare tali hanno riguardato
la conservazione e ristrutturazione del patrimonio musivo e la creazione di un database per la
catalogazione dei reperti archeologici a Stobi.
Circa il corso di formazione in “Conservazione e restauro del patrimonio musivo” è stato possibile
organizzare un Focus Group con alcuni dei partecipanti 26 , volto alla misurazione dell’efficacia
dell’intervento da un punto di vista qualitativo. Il percorso formativo è stato valutato in base al
26
Gli intervistati avevano frequentato sia il workshop pratico sulle tecniche del restauro che il seminario teorico.
38
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
raggiungimento o meno del livello di “trasferimento”, della scala di Kirkpatrick, ovvero la capacità di
utilizzare nella vita quotidiana le competenze apprese durante i corsi.
Il livello di trasferimento è apparso buono, infatti, i partecipanti hanno saputo fare esempi concreti
relativamente all’applicazione di quanto appreso nei corsi, come ad esempio l’introduzione di materiali
diversi dal cemento per il restauro dei reperti. Tuttavia, quanto appreso appare essere utilizzato solo in
determinate circostanze e non quotidianamente soprattutto a causa del limitato budget che il Ministero
della Cultura mette a disposizione per la Conservazione del patrimonio musivo: ancora oggi la strategia
ministeriale è quella di “preservare” il patrimonio mosaicale (per esempio ricoprendolo con terra e ghiaia
durante l’inverno) e non di incentivarne la conservazione per una valorizzazione economica e turistica.
Per quanto concerne il database per la catalogazione dei reperti, l’intervento è risultato solo
parzialmente efficace. Infatti, il database è stato ceduto a fine Programma al Ministero della Cultura
affinché ne espandesse le buone pratiche anche a tutti gli altri siti archeologici nazionali, ma il software
non è risultato sostenibile da un punto di vista dei costi di gestione (i.e. licenze) e compatibile con i
programmi informatici in dotazione al Ministero stesso che aveva già iniziato un’attività di catalogazione
del patrimonio culturale. Di conseguenza il capacity building di Stobi è rimasto efficace solo
relativamente al sito stesso.
OBIETTIVO SPECIFICO 2
Il rafforzamento di legami di cooperazione con l'Italia e con gli Organismi locali operanti nei settori dei beni
culturali e dell'educazione professionale stabilendo collaborazioni tecniche che coinvolgano con regolarità
Centri di Eccellenza presenti nel nostro Paese per dare luogo a opportuni programmi di scambio e
formazione rivolti alla controparte macedone
RISULTATO ATTESO 2.1
Creazione di un centro multimediale presso la facoltà di filologia dell'Università dei SS.
Cirillo e Metodio (Skopie) (R8 QL)
RISULTATO ATTESO 2.2
Incremento dell'offerta formativa nel campo del restauro dei beni culturali e dell'Economia
dei Beni culturali (R2 QL)
RISULTATO ATTESO 2.3
Attivati rapporti di partenariato fra soggetti pubblici e/o privati macedoni e italiani, nei
settori oggetto dell'intervento (R11 QL)
L’unico risultato atteso che è stato raggiunto e che quindi può essere analizzato è quello relativo alla
“Creazione di un centro multimediale presso la facoltà di filologia dell'Università dei SS. Cirillo e
Metodio”. Per quanto concerne gli altri risultati non sembra siano state realizzate attività relative. Si
sottolinea anche che, come già evidenziato in precedenza, neanche nella proposta originale erano
state correlate logicamente attività specifiche per questi ultimi due risultati.
Il funzionamento del centro multimediale costituito presso la Facoltà di Filologia dell’Università Ss. Cirillo
e Metodio, è stato opportunamente definito con un Memorandum of Understanding firmato nel 2008
tra l’Ambasciata d’Italia in Macedonia e la Facoltà stessa. In codesto accordo si è sancito, tra l’altro,
che il MIMEC avrebbe dovuto svolgere la doppia funzione di “Centro per l’Educazione” e di ”Centro per
la promozione della cooperazione tra l’Italia e la Macedonia nel campo dell’Educazione e della Cultura”.
Nel memorandum si stabiliva inoltre che il MIMEC sarebbe dovuto diventare il punto focale e di
riferimento per l’avvio e il coordinamento di istituzioni simili in tutto il Paese e che, in coordinamento
con l’Università, avrebbe potuto ospitare l’Istituto per la promozione della lingua e cultura italiana
“Dante Alighieri”.
Tutto ciò è stato efficacemente realizzato e, dalle interviste qualitative avute sia con il vice decano della
Facoltà che con l’addetto culturale dell’Ambasciata d’Italia a Skopje, è emersa una situazione di
Rapporto finale
39
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
incremento costante e progressivo delle attività del centro 27 supportato dall’interesse dei giovani
macedoni ad accostarsi alla lingua italiana che rappresenta la seconda lingua straniera più studiata e
parlata nel Paese.
Anche il senso di ownership della Facoltà di Filologia dell’Università Ss. Cirillo e Metodio nei confronti
del MIMEC e della sua funzione è apparso rilevante e l’utilizzo assiduo che viene fatto della struttura ne
rende oggettiva testimonianza.
OBIETTIVO SPECIFICO 3
Il sostegno ed il trasferimento di Know How alle istituzioni locali interessate ai fini di rendere sostenibile
nel tempo l'assunzione di responsabilità e competenze da parte macedone nei settori oggetto
dell'intervento italiano, con particolare riguardo al reperimento e all'ottimizzazione delle risorse
indispensabili per la conduzione delle attività di pertinenza e alla promozione di queste ultime
concordemente agli obiettivi sottostanti agli impegni di Ohrid
RISULTATO ATTESO 3.1
Miglioramento delle capacità gestionali delle istituzioni culturali centrali e locali (R1 QL)
RISULTATO ATTESO 3.2
Avvio di politica turistica, governativa e locale, come strumento in grado di assicurare
programmazione e opportunità economica ai comparti culturali e naturalistici (R6 QL)
RISULTATO ATTESO 3.3
Aumento dei finanziamenti e della partecipazione di soggetti privati alle attività culturali (R4
QL)
RISULTATO ATTESO 3.4
Creazione di connessione fra attori pubblici e privati operanti in campo turistico (R7 QL)
Solo i primi due risultati possono essere analizzati per valutare l’efficacia dell’intervento rispetto a
questa componente. Infatti anche per quest’obiettivo non tutti i risultati attesi sono stati raggiunti non
essendo stati logicamente correlati ad attività conseguenti in fase di stesura della proposta.
Rispetto al risultato 3.1 le interviste qualitative realizzate con i principali stakeholders a livello
ministeriale, comunale, museale e dei siti archeologici hanno evidenziato che tale risultato non è stato
raggiunto e quindi che l’intervento ha avuto poca efficacia rispetto all’Obiettivo che si proponeva.
Come anticipato nell’analisi dell’efficienza, le interviste hanno mostrato che il Programma ha privilegiato
seminari e tavoli di lavoro di durata molto limitata (1-2 giorni), e che questa modalità non ha permesso
un trasferimento di Know How alle istituzioni locali nei settori oggetto dell’intervento. Il Programma è
apparso eccessivamente frammentato in una molteplicità di piccole attività che, considerando anche il
budget di partenza, non hanno saputo né rendere “riconoscibili” le peculiarità dell’intervento italiano né
costruire un appropriato trasferimento di competenze (capacity building) ai diversi stakeholders
coinvolti. Ciò si evince anche rispetto al risultato atteso 3.2: le visite effettuate alle Municipalità di
Kocani, Berovo, Negotino e Skopje, che sono state tra le beneficiarie degli interventi del Programma
finalizzati a favorire l’avvio di politiche turistiche locali, e le interviste qualitative realizzate con i rispettivi
sindaci o di questi rappresentanti, hanno evidenziato la realizzazione di semplici infrastrutture aventi
una qualche valenza turistica ma non attività di capacity building o di formazione in tal senso. Pertanto
non è stata riscontrata, come previsto dagli indicatori, l’assunzione di una politica nazionale e locale
per la promozione turistica delle risorse culturali, quanto una distanza ancora marcata tra lo sviluppo
turistico a livello centrale (Ministero dell’Economia) e locale (Municipalità). Le Municipalità sono apparse
portare avanti una propria politica locale non sempre in armonia con strategie nazionali e le scarse
Il dipartimento di lingua e letteratura italiana è apparso molto attivo anche sul fronte della partecipazione a progetti europei di
cooperazione interuniversitaria (Erasmus, Tempus, LLP etc.), avendo partecipato sia come partner che come coordinatore a diverse
iniziative anche in partnership con Università Italiane.
27
40
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
competenze presenti a livello Municipale sono tuttora causa di incapacità gestionale e strategica per
quanto concerne i settori oggetto dell’intervento italiano. Questo dato si evince dalle indicazioni fornite
dal Ministero delle Autorità Locali che ha rilevato un incremento importante di partecipazione delle
Municipalità a bandi e Programmi Europei anche con finalità turistiche ed un altrettanto importante
fallimento delle stesse a causa delle limitate capacità di previsione, di gestione delle spese e di analisi
dei rischi.
Unica eccezione in tal senso è offerta dall’intervento realizzato presso il municipio di Skopje e
concretizzatosi nel duplice evento della “Route of Culture” anche recependo la nuova “Law on Skopje
Old Bazar” approvata nel 2008 che sanciva il vecchio bazar di Skopje come un patrimonio culturale di
particolare importanza per la Nazione. Le persone intervistate a riguardo testimoniano che l’evento ha
favorito la riscoperta di una delle zone più storiche della città di Skopje, anche se tale iniziativa pilota,
ripetuta due volte con il supporto di IMG, non è più stata replicata dalla Municipalità al termine del
Programma.
OBIETTIVO SPECIFICO 4
Contribuire al rafforzamento dell'integrazione fra le diverse componenti etniche della Macedonia,
facilitando l'accesso all'educazione superiore per la minoranza albanese e sostenendo la diffusione di
conoscenze funzionali allo sviluppo socio-economico del Paese (con particolare riguardo al settore
agroalimentare)
RISULTATO ATTESO 4.1
Alloggiamento del Politecnico di Tetovo presso una nuova struttura appositamente
riabilitata (R9 QL)
RISULTATO ATTESO 4.2
Revisione dell'offerta formativa Politecnico - dipartimento di biotecnologie, e suo
adeguamento alle esigenze del settore agroalimentare (R10 QL)
RISULTATO ATTESO 4.3
Migliorati i livelli di qualità e sicurezza della produzione agroalimentare macedone
connessa alle attività del Politecnico di Tetovo (R12 QL)
L’unico risultato che è stato, in un certo senso, raggiunto è il 4.1 “Alloggiamento del Politecnico di
Tetovo presso una nuova struttura appositamente riabilitata”.
Il risultato è stato ridimensionato durante l’esecuzione del Programma limitandosi, nei fatti, alla
costruzione e dotazione del laboratorio di biotecnologie. Le visite sul campo e le interviste qualitative
realizzate con il decano della Facoltà di Biotecnologie Alimentari e la segreteria del Rettore hanno
evidenziato che il laboratorio costruito con i fondi italiani è attualmente in disuso. Ciò si deve a due
fattori principali:
a.
La vecchia struttura dell’Università di Tetovo è stata sostituita da una nuova costruzione di circa
19.000mq inaugurata lo scorso gennaio 2013. Tale nuova costruzione sostituisce quasi in toto il
vecchio complesso dove ad oggi risiede un ufficio postale e poche aule ancora in uso.
b.
La Facoltà di Biotecnologie è stata spostata nella nuova sede di Gostivar (circa 20 km da Tetovo)
dove sono stati creati sette laboratori di biotecnologie.
In questo nuovo scenario le infrastrutture e le dotazioni realizzate con il Programma hanno cessato la
loro funzione; solo i macchinari donati sono in uso presso i nuovi laboratori di Gostivar anche se il
laboratorio non ha ottenuto i riconoscimenti ministeriali per la certificazione dei prodotti caseari a causa
delle scarse competenze/conoscenze dei tecnici che lo gestiscono, come emerso anche dalle
interviste qualitative realizzate.
Si è anche potuto constatare che gli altri risultati attesi circa il miglioramento dell’offerta formativa e la
sicurezza della produzione agroalimentare non siano stati raggiunti.
Rapporto finale
41
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
Tuttavia, nonostante il Programma non abbia influito in modo sostanziale al rafforzamento
dell’integrazione fra le diverse componenti etniche della Macedonia attraverso l’intervento realizzato
presso l’Università di Tetovo, è opinione dei valutatori che quest’ultima abbia saputo organizzarsi e
realizzare, attraverso finanziamenti terzi, ciò che l’apporto italiano non è stato in grado di facilitare.
OBIETTIVO SPECIFICO 5
Contribuire al rafforzamento dell'integrazione fra le diverse componenti etniche della Macedonia,
facilitando l'accesso all'educazione superiore per la minoranza albanese e sostenendo la diffusione di
Sarà infine cura del progetto ampliare l'orizzonte delle collaborazioni tra i vari soggetti istituzionali e
culturali/formativi presenti in Macedonia per consentirne l'aggiornamento internazionale e l'accesso alle
tecniche settoriali e gestionali più moderne disponibili. Così come verrà in ogni modo promossa la
condivisione tra gli operatori culturali dei risultati conseguiti e delle tipologie di problemi affrontati
localmente nello svolgimento dei programmi omologhi con la creazione di un network informatico e di un
primo nucleo di banca dati cui accedere
RISULTATO ATTESO 5.1
Organizzare il centro di catalogazione digitale del Patrimonio Culturale (R5 QL)
RISULTATO ATTESO 5.2
Rafforzare le capacità degli esperti e dei tecnici locali nel settore della digitalizzazione del
Patrimonio culturale (non dettagliato nel QL)
RISULTATO ATTESO 5.3
Costituire un Gruppo di Rappresentanti nazionali degli Stati del Sud-Est europeo
nell'ambito della digitalizzazione del Patrimonio culturale (non dettagliato nel QL)
Le visite dei valutatori e le interviste qualitative realizzate hanno consentito di valutare che il risultato
atteso 5.1 è stato raggiunto grazie al fatto che le attività ad esso relative si inserivano in un Programma
più ampio iniziato anni prima con fondi della Banca Mondiale. L’intervento di IMG-UNESCO ha previsto
un ulteriore sviluppo del processo di digitalizzazione avviato dal precedente finanziatore.
Per quanto riguarda il risultato 5.2, i valutatori hanno potuto svolgere un Focus Group con alcuni dei
partecipanti ai corsi di formazione organizzati nell’ambito del Programma. Riferendoci ai livelli di
conoscenza per la valutazione dell’efficacia dei corsi di formazione, è emerso che per quanto riguarda il
“trasferimento” delle conoscenze nei partecipanti non si è raggiunto un livello del tutto soddisfacente.
Durante il Focus Group, è stato evidenziato che il livello teorico delle formazioni impartite è risultato, in
molti casi, eccessivo rispetto alle conoscenze di partenza dei partecipanti e che le esercitazioni
pratiche sono apparse insufficienti rispetto alla formazione teorica. Di conseguenza la loro successiva
applicazione nel lavoro quotidiano è stata limitata e ridotta rispetto all’obiettivo prefissato. Inoltre, i
partecipanti al Focus Group hanno riportato che solo in uno dei sette centri di digitalizzazione presenti
nel Paese vi sono risorse (umane e tecnologiche) e competenze tecniche in grado di apportare
beneficio allo sviluppo del settore.
Il risultato 5.3 non è stato ottenuto come anticipato nel paragrafo relativo all’efficienza.
In conclusione si è osservato un processo in essere di sviluppo della digitalizzazione del patrimonio
culturale macedone, soprattutto grazie alla collaborazione di più donatori e programmi sviluppati in tal
senso. Tuttavia l’intervento di UNESCO non è apparso completamente efficace in quanto la formazione
non ha saputo raggiungere appieno il livello di “trasferimento” delle conoscenze e, a riprova di questo, il
contributo che il risultato 5.3 avrebbe dovuto apportare all’OS5 non c’è stato.
Trasversalmente al raggiungimento degli Obiettivi Specifici, l’efficacia cerca di mettere in evidenza
come i rischi abbiano influito sul raggiungimento dei risultati. A tal riguardo, come anticipato in
precedenza, non tutti i rischi sono stati opportunamente ponderati in fase di elaborazione della
proposta. In particolare, poco era stato analizzato rispetto alla possibilità di importanti turnover tra il
personale delle istituzioni nazionali e locali a causa di repentini avvicendamenti politici. Ancorché altre
42
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
condizioni fossero state previste (es. partecipazione attiva delle istituzioni locali e stretto coordinamento
tra i Partner), i Piani per la Mitigazione dei rischi riferiti da IMG, quali lo sviluppo di “capacity building” e
di awareness nei confronti delle autorità locali, non sono sembrati sufficienti. Di conseguenza il
sopraggiungere di tali situazioni (turnover, coinvolgimento passivo, difficoltà di comunicazione) ha
direttamente inficiato l’efficacia e il futuro impatto del Programma.
6.3.1
Partecipazione
Come ulteriore criterio di giudizio dell’efficacia è stata introdotta la partecipazione dei vari stakeholders
al Programma.
In primo luogo, gli stakeholders coinvolti nell’iniziativa sono stati suddivisi in stakeholder primari e
secondari a seconda del rispettivo grado di importanza in relazione al raggiungimento dell’obiettivo
generale. Tra gli stakeholders primari rientrano quelli che hanno un interesse diretto nel Programma e
ne beneficiano direttamente. Gli stakeholders secondari individuati sono invece quelli che hanno un
interesse relativo nel Programma ma che devono essere coinvolti per raggiungere l’obiettivo del
progetto nel medio lungo periodo.
A ciascuno stakeholder a seconda del ruolo atteso nel progetto è stato attribuito un indice di
PARTECIPAZIONE ATTESA su una scala da 1 a 5; il punteggio massimo più elevato (5) è stato attribuito ai
Ministeri partner dato che il Programma e l’Ente Esecutore puntavano al raggiungimento di un obiettivo
generale particolarmente ambizioso che non poteva essere realizzato senza una partecipazione a tutti i
livelli delle controparti Ministeriali. Ai restanti stakeholder primari è stato attribuito un indice di
partecipazione attesa pari a 4 e ai secondari pari a 3. La tabella che segue mostra l’attribuzione all’una
o all’altra categoria degli stakeholders individuati e i relativi benchmarks in termini di partecipazione
attesa.
Tabella 4. Analisi degli stakeholders
STAKEHOLDERS PRIMARI
BENCHMARK
STAKEHOLDERS SECONDARI
BENCHMARK
Ministero della Cultura
5
Settore Privato
3
Ministero dell'Educazione e della Scienza
5
Agenzie di viaggio
3
Ministero delle Autorità Locali
5
Camera del turismo
3
Ministero dell’Economia, dipartimento del
Turismo
5
Museo di Macedonia
3
CHPO
4
Facoltà di Architettura
3
Museo d'Arte Contemporanea
4
Facoltà e scuole Turistiche
3
Università Ss. Cirillo e Metodio, dip. Lingua
Italiana
4
Altri Stakeholders Internazionali
(INGO, OO.II.)
3
Università di Tetovo
4
Stobi
4
Scupi
4
Heraclea
4
Municipalità
4
In secondo luogo sono stati stabiliti i CRITERI qualitativi sulla cui base è stata valutata la partecipazione
dei singoli stakeholders. I criteri ritenuti maggiormente rispondenti a tale obiettivo sono: il
Rapporto finale
43
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
coinvolgimento nel Programma in tutte le sue fasi, l’interesse, il supporto al Programma, e il senso di
ownership.
A ciascun stakeholder è stato attribuito un punteggio da 1 a 5 per ognuno dei criteri sopracitati, sulla
base delle interviste qualitative realizzate e della documentazione di progetto disponibile (in particolare i
rapporti intermedi e finale). La media dei punteggi attribuiti, definito indice di PARTECIPAZIONE EFFETTIVA è
stata quindi confrontata con l’indice di partecipazione attesa.
Figura 4. Partecipazione attesa vs. Partecipazione effettiva
Partecipazione effettiva
Partecipazione attesa
5
4
3
2
1
0
Gli indici sintetizzati espressi nella figura 4, hanno permesso di rilevare talune criticità a riguardo della
partecipazione degli stakeholders.
-
-
44
Innanzitutto, per quanto concerne i ministeri, solo il Ministero della Cultura si avvicina al risultato
atteso; infatti, è stato l'unico Ministero i cui rappresentanti sono stati coinvolti direttamente nelle
attività, e per il quale le interviste qualitative hanno permesso di identificare un buon livello di
ownership nei confronti della tematica e delle attività di progetto. Relativamente agli altri tre
ministeri, e dipartimenti, il coinvolgimento nelle attività, il supporto dato e il livello di ownership sono
apparsi inadeguati, nonostante nelle interviste qualitative sia emerso un discreto potenziale
interesse nei confronti del Programma
Relativamente agli altri stakeholders primari, si sono registrati buoni livelli di partecipazione,
dimostrati sia dalle attività documentate nei rapporti redatti da IMG, sia dalle interviste qualitative
realizzate. Solamente per quanto riguarda il Laboratorio di Biotecnologie e il sito archeologico di
Scupi è stata osservata una partecipazione limitata in particolare a causa del mancato supporto
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
-
-
dato al Programma in termini di possibilità di sviluppo futuro (in entrambi i casi, gli interventi
realizzati da IMG non hanno contribuito al raggiungimento dell’obiettivo specifico).
Per quanto concerne invece gli stakeholder secondari, ai livelli di partecipazione attesa non è
corrisposto un livello soddisfacente di partecipazione effettiva. Unica eccezione è costituita dalla
partecipazione del MAMU e della facoltà di Architettura che insieme hanno dato vita a interessanti
attività e sinergie all’interno del Programma.
La partecipazione alle attività di progetto di agenzie di viaggio, della Camera del Turismo di Skopje,
e del settore privato in generale era essenziale per il raggiungimento dell’obiettivo generale nella
misura in cui esso puntava a favorire il recupero, anche in termini di valorizzazione economica e
turistica, di alcune risorse e a rendere maggiormente fruibili i siti di interesse turistico. La
partecipazione di questi attori, nei casi in cui è stata cercata e ottenuta, come ad esempio negli
eventi “Rediscovery the Route of Culture”, è stata uno dei fattori di successo dell’iniziativa.
In conclusione, la limitata partecipazione dei Ministeri coinvolti e degli stakeholders secondari,
comporta sul medio-lungo periodo, il parziale raggiungimento degli obiettivi generale e specifici.
6.4 Impatto ed effetto sinergico
Al fine di valutare il raggiungimento dell’Obiettivo Generale e l’effetto del Programma sul più ampio
ambiente circostante è importante distinguere l’impatto dall’impatto netto: ovvero tra l’impatto che le
istituzioni nazionali e locali avevano e avranno sulle loro comunità a prescindere dal Programma e
l’impatto che invece avranno sulle comunità di pertinenza grazie al Programma.
Gli indicatori per la misurazione dell’impatto indicati nel QL della proposta, poco utili ai fini valutativi,
sono stati affiancati da nuovi quali:
-
Incremento del livello di ownership delle istituzioni partner (Ministero della Cultura, Ministero per il
decentramento Amministrativo, Ministero dell’Educazione) con riferimento al decentramento
amministrativo e alla valorizzazione del patrimonio culturale
-
Aumento delle attività produttive e dei servizi nelle zone oggetto degli interventi per effetto
dell’incremento dei turisti
-
Aumento delle potenzialità produttive e dei servizi nelle zone oggetto degli interventi per effetto
dello sviluppo del decentramento amministrativo
-
Aumento degli sbocchi professionali e occupazionali per le minoranze
-
Raggiungimento del livello 4 di apprendimento (risultato) dei beneficiari dei corsi di formazione, in
cui i nuovi comportamenti adottati dalle persone formate nei corsi hanno conseguenze dirette sulle
comunità di appartenenza.
Le interviste qualitative realizzate hanno permesso di evidenziare un processo in corso da parte di tutte
le istituzioni macedoni coinvolte nel Programma con riferimento ad aspetti di decentramento
amministrativo, valorizzazione del patrimonio culturale e integrazione delle minoranze. Infatti, il livello di
conoscenza su questi temi è apparso elevato per tutti i principali stakeholders intervistati, anche se il
livello di ownership raggiunto (consapevolezza e appropriazione dei contenuti) non è sembrato
sufficiente. Ad eccezione del sito archeologico di Scupi, sia per i musei che per gli altri siti archeologici
e le Municipalità si è potuto osservare un discreto interesse dei Direttori a voler valorizzare sempre più
l’istituzione a cui sono stati preposti. Di contro a quest’interesse non sempre corrisponde un’effettiva
capacità gestionale e organizzativa tale da favorire anche lo sviluppo delle potenzialità delle
istituzioni/siti. L’indotto per le comunità locali che sarebbe dovuto derivare da uno sviluppo delle
potenzialità culturali e turistiche, secondo quanto appreso dalle interviste qualitative, non sembra
essere particolarmente migliorato. Ancorché registri ufficiali non siano disponibili né a livello locale né a
Rapporto finale
45
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
livello centrale le interviste qualitative realizzate con i principali Key Informants hanno evidenziato che
dal 2009 ad oggi non vi sono differenze sostanziali in termini di sviluppo economico o sociale delle
comunità presenti nelle aree oggetto degli interventi.
Il Centro Multimediale (MIMEC) e l’evento “Rediscovery the Route of Culture” hanno, invece, contribuito
in maniera sostanziale al raggiungimento dell’Obiettivo Generale e sono esempi di interventi efficaci e
forieri di un impatto interessante per la comunità macedone e per il sistema Paese nel suo complesso.
Per entrambe le iniziative si è in presenza di un EFFETTO SINERGICO28 favorito anche da altri programmi che
hanno permesso di sviluppare un processo positivo per le comunità locali. In particolare le attività della
facoltà di Filologia e della cattedra d’italiano per quanto riguarda l’intervento al MIMEC, le iniziative
della Municipalità di Skopje e le sinergie con soggetti privati per gli eventi della Route of Culture, hanno
permesso di raggiungere un impatto di lunga durata per la comunità macedone sia in termini di
aumento delle possibilità di servizi e attività produttive che di sbocchi professionali.
La Route of Culture ha contribuito al rilancio della vecchia città di Skopje favorendo lo sviluppo turistico
e commerciale dell’intera zona, mentre il numero elevatissimo di studenti di lingua italiana (sia a livello
universitario che di scuola superiore) ha reso l’italiano la seconda lingua straniera più parlata nel Paese
con potenziali di sviluppo anche economico non indifferenti.
L’effetto sinergico si è reso anche evidente nell’intervento realizzato da UNESCO dove la World Bank
prima e l’Unione Europea dopo hanno contribuito in modo sostanziale allo sviluppo della
digitalizzazione del Patrimonio Culturale. In quest’ottica si è potuto apprezzare che, nonostante non
tutti i risultati del Programma siano stati raggiunti, la compartecipazione di più stakeholders ha favorito
lo sviluppo di un senso di ownership elevato tra le istituzioni macedoni preposte al processo. Ciò si è
tradotto in un impatto più ampio testimoniato anche dalla preparazione nel 2008 da parte della
Repubblica di Macedonia, di una nuova strategia sulla digitalizzazione del Patrimonio Culturale prima di
allora inesistente.
Anche la situazione della minoranza albanese, è apparsa migliorata. Le opportunità di studi universitari
e i conseguenti impatti sul tessuto socio-economico hanno visto un percorso di sviluppo negli ultimi 5
anni che non sembra ancora concluso. In particolare la nuova realtà accademica di Tetovo accoglie ad
oggi circa 17.000 studenti offrendo importanti sbocchi professionali ai suoi laureati. In questo caso il
Programma finanziato a IMG è parte di un più ampio effetto sinergico sul contesto locale favorito da
altri interventi di donatori internazionali quali gli Stati Uniti, la Germania e la Turchia. A differenza, però,
di quanto espresso in precedenza per altre attività, l’impatto netto del Programma rispetto a questa
specifica iniziativa è pressoché nullo, in quanto per tipologia di aiuti, cambi legislativi, strategie
implementative e di visione prospettica, gli altri interventi hanno favorito più di quello italiano
l’integrazione delle minoranze. Non è sembrato che l’intervento italiano sia risultato incisivo in questo
processo, potendo affermare con sufficiente livello di confidenza che quand’anche esso non fosse
stato realizzato, gli altri progetti avrebbero avuto lo stesso impatto sulle comunità beneficiarie.
In termini generali e riassumendo si è riscontrato che il Programma di IMG ha sofferto di almeno due
limitanti che ne hanno inficiato sia l’efficacia che conseguentemente l’impatto:
-
Dispersione dell’aiuto. Come già evidenziato nell’efficienza, i fondi italiani sono stati utilizzati per
finanziare troppe attività tra loro solo teoricamente correlate. Ciò ha causato la realizzazione di
piccoli sotto-progetti non sempre legati tra di loro da una visione strategica univoca di medio
Intendendo con il termine “effetto sinergico” la dinamica per cui più progetti hanno creato un impatto maggiore di quello derivante
dalla somma delle singole iniziative.
28
46
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
periodo. Di conseguenza anche l’efficacia e l’impatto sono risultati limitati e la visibilità dell’aiuto
italiano, intesa come riconoscimento da parte della Macedonia della peculiarità del “dono”, non
sempre è apparso apprezzabile.
-
Debolezza delle attività di Formazione e Assistenza tecnica. La componente “software” volta ad
integrare la parte infrastrutturale con apposite formazioni teoriche e pratiche è apparsa poco
efficiente, parzialmente efficace e di ridotto impatto. A tutt’oggi, in Macedonia, si è in presenza di
uno “scollamento” tra la dimensione centrale e la dimensione locale, nel senso che le prime
vedono spesso le seconde come ancora “incapaci” di gestire gli aspetti del loro decentramento e,
viceversa, le amministrazioni locali non colgono il supporto del livello centrale. I Focus Groups
realizzati con i partecipanti ai corsi di formazione sulla digitalizzazione del patrimonio culturale e
sulla conservazione di mosaici, hanno evidenziato che il livello “Risultato” della scala di Kirkpatrick
non è stato raggiunto: l’ambiente circostante non ha ancora beneficiato delle competenze
acquisite dai partecipanti ai corsi. La causa principale di queste difficoltà è da rintracciarsi nel
basso livello di ownership dei principali stakeholder istituzionali con riferimento alla valorizzazione
del patrimonio culturale e turistico locale, che si traduce in una limitata assunzione di azioni e
responsabilità volte a favorirne lo sviluppo. In tal senso si legge un limitato impatto anche nelle
attività di capacity building che non sembra abbiano saputo innescare quei cambi auspicati e
mitigare in modo adeguato i rischi derivanti dal lavorare con istituzioni pubbliche e quindi soggette
a importanti turn over anche politici.
6.5 Sostenibilità
Per quanto concerne l’analisi della sostenibilità (la probabilità di continuazione del flusso di benefici
derivanti dal Programma al termine dell’esecuzione), questa è stata effettuata disaggregando il
parametro in tre variabili principali: sostenibilità istituzionale, sostenibilità tecnologica e sostenibilità
economica.
SOSTENIBILITÀ ISTITUZIONALE
I partners e i beneficiari dell’iniziativa sono stati scelti tra le principali istituzioni nazionali e locali:
Ministero della Cultura, Ministero del Decentramento Amministrativo, Ministero dell’Educazione, musei
nazionali, siti archeologici di primaria importanza, università statali e municipalità. Da un punto di vista
giuridico, le attività svolte si collocano all’interno della legislazione prevista e pertanto godono di
garanzie legislative appropriate.
Come evidenziato per l’efficacia e l’impatto, non tutti i principali interlocutori hanno dimostrato un livello
di ownership sufficiente per quanto riguarda la valorizzazione del patrimonio culturale. In tal senso, le
interviste qualitative realizzate hanno fatto emergere un “generale interesse” per le iniziative previste dal
Programma ma non una condivisione e un coinvolgimento tali da garantire azioni future volte allo
sviluppo di quanto iniziato con lo stesso. I due fattori principali che abbiamo posto alla base di tale
limitazione sono stati un’efficacia ed un impatto limitati delle attività capacity building e delle misure di
supporto istituzionale e l’assenza di un corretto studio dei rischi e di misure di mitigazione in relazione
al turn over politico nelle istituzioni.
Per tali motivi, il Programma soffre di una sostenibilità istituzionale troppo debole per garantire lo
sviluppo ulteriore delle attività pilota intraprese con l’iniziativa finanziata dal Governo italiano.
SOSTENIBILITÀ TECNOLOGICA E SOSTENIBILITÀ ECONOMICA
Rapporto finale
47
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
Gli interventi strutturali realizzati in alcuni casi non sono apparsi in sintonia con le caratteristiche del
luogo, anche in termini di una loro sostenibilità.
Ad esempio, come evidenziato per l’efficienza, le scelte architettoniche effettuate in relazione al MIMEC
non si adattano in modo funzionale al contesto e non sono completamente sostenibili. L’edificio è stato
costruito in vetro e metallo risultando esteticamente piacevole e innovativo ma funzionalmente
disagevole. Skopje è una città molto fredda d’inverno e molto calda d’estate: un edificio
completamente in vetro acuisce le rigidità climatiche obbligando gli utenti a spese straordinarie di
riscaldamento/raffreddamento della struttura. Inoltre il complesso, sorgendo in prossimità di una delle
mosche più antiche di Skopje, non è stato progettato in modo da risolvere i problemi di acustica. Infine,
non sono stati valutati adeguatamente i costi per la manutenzione/pulizia che una struttura come quella
scelta per il MIMEC genera rispetto ad altre soluzioni. A tal riguardo IMG ha precisato di aver voluto
investire sull’importanza strategica di un edificio tecnologicamente moderno ed innovativo, sostenendo
che l’Università Ss. Cirillo e Metodio, a cui la struttura appartiene, è in condizioni di poterne sostenere i
costi di manutenzione.
Allo stesso modo, l’intervento di rifacimento del tetto del MoCA e di creazione di un nuovo percorso
per le visite non è stato completato sia per l’eccessivo costo rispetto al budget disponibile che per
disaccordi con il Direttore dell’istituzione subentrato a Programma già iniziato ed avviato. Di
conseguenza, l’intervento ha realizzato solo una passerella pedonale in un salone espositivo che
garantisce l’accesso a un piano soppalcato. Con riferimento al rifacimento del tetto, le opere realizzate
risultano essere in sintonia strutturale con il complesso nel suo insieme, ma è opinione dei valutatori
che, considerando il contesto locale e le rispettive disponibilità economiche degli enti coinvolti, andava
meglio valutata la sostenibilità della ristrutturazione: le strutture esterne realizzate, richiedono interventi
di manutenzione molto frequenti e costosi, che ad oggi la Direzione del Museo non vuole/può
sostenere, con la conseguenza che sono già sopraggiunti cedimenti strutturali importanti (caduta di
pannelli di vetro) e rischiosi per l’incolumità dei visitatori. Anche a tale proposito IMG ha espresso una
visione distinta, affermando che vincoli architettonici propri del Museo, l’urgenza dell’intervento e la
preservazione del disegno originale, non avrebbero permesso interventi di diversa natura.
Infine, si è potuto osservare che alcuni interventi realizzati (es. laboratorio di biotecnologie
dell’Università di Tetovo e centro per lo sviluppo turistico di Kocani) versino già in una condizione di
disuso o addirittura di abbandono.
Il Programma è stato poco incisivo circa lo sviluppo di capacità nelle Istituzioni locali di generare risorse
proprie necessarie a garantire una sostenibilità, non solo in termini di manutenzione, alle attività
realizzate. La carenza di fondi è apparsa uno dei grandi problemi che le istituzioni, sia a livello centrale
che locale, devono affrontare. Ciò si traduce, da una parte, in un’insufficiente manutenzione delle
infrastrutture realizzate; dall’altra, in un inutilizzo di molte delle tecnologie ed esperienze formative
trasferite con il Programma. Relativamente a quest’ultimo punto, non sempre la scelta dei software
introdotti con il Programma e forniti alle controparti macedoni è apparsa la più sostenibile. Ad esempio,
taluni dei programmi di catalogazione del patrimonio archeologico non risultano più utilizzati per
mancanza di fondi e di strumenti hardware adeguati. Allo stesso modo, i contenuti dei corsi di
formazione sono apparsi talvolta eccessivamente ambiziosi non situandosi al livello dei bisogni e delle
possibilità dei partecipanti, determinando quindi il mancato utilizzo delle nuove tecniche e conoscenze
apprese.
48
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
7. Conclusioni
7.1.
Il Design del Programma è risultato non propriamente articolato, con carenze sia nella
definizione dei collegamenti logici tra le sue parti sia nell’esplicitazione delle attività e dei risultati. La
mancanza di indicatori appropriati insieme ad un’insufficiente analisi dei rischi hanno reso il documento
progettuale inadatto a guidare ed indirizzare le azioni previste. Le carenze del design e l’assenza di un
suo aggiornamento al mutare delle condizioni esterne, sono emerse sia durante la fase realizzativa che
di valutazione avendo inciso sulla portata complessiva della stessa.
7.2.
L’idea progettuale è apparsa pertinente rispetto al contesto nazionale. L’analisi dei bisogni è
stata realizzata in modo adeguato e la proposta ben s’inseriva nelle linee strategiche e programmatiche
nazionali, regionali e internazionali, anche per quanto concerne l’affiancamento alla valorizzazione del
patrimonio culturale di tematiche relative allo sviluppo del turismo.
7.3.
A livello generale, il Programma è apparso poco efficiente in termini di come le attività realizzate
si sono tradotte in risultati. Le costruzioni/riabilitazioni, a tre anni di distanza dalla conclusione dei lavori,
hanno evidenziato problemi che fanno supporre limiti negli studi di fattibilità.
7.4.
I costi delle formazioni organizzate sono stati valutati come eccessivi in relazione agli scarsi
risultati ottenuti; sono risultate inoltre poco efficienti in relazione ai reali bisogni, le modalità scelte per le
formazioni (seminari, workshops di breve/brevissima durata). I corsi di formazione di durata maggiore
hanno infatti dimostrato un buon livello di apprendimento tra i partecipanti.
7.5.
Le ripetute estensioni non onerose, sostanzialmente per permettere ad UNESCO di portare a
termine le attività di competenza, hanno impattato negativamente l’efficienza del Programma
determinando un aumento del 60% dei costi di gestione rispetto alla proposta inziale. Infine, il
Programma non ha creato Value for Money nel senso che non ha permesso una riduzione dei costi,
una migliore gestione dei rischi, una rapida implementazione e un aumento della qualità.
7.6.
Le procedure adottate da IMG per il procurement hanno garantito una buona trasparenza in
fase di assegnazione dei contratti; tutte le fasi sono apparse ben definite e tradotte in adeguati
strumenti di supporto.
7.7.
La dispersione dei fondi del Programma in numerosi micro-interventi, l’inadeguatezza del
design e la portata limitata del capacity building hanno influenzato negativamente l’efficacia
complessiva dell’intervento. In generale è possibile affermare che gli interventi più efficaci siano stati
quelli parte di un più articolato insieme di attività anche di altri donatori (World Bank, U.S. Ambassadors
Fund for Cultural Preservation-AFCP, Unione Europea). La creazione del Centro Multimediale presso
l’Università Ss. Cirillo e Metodio, gli interventi presso i siti archeologici di Stobi ed Heraclea, l’evento
presso la Municipalità di Skopje “Rediscovery of the Route of Culture” e la creazione di un centro per la
digitalizzazione del patrimonio culturale sono stati gli interventi più efficaci avendo contribuito al
raggiungimento degli Obiettivi Specifici a cui si riferivano. Le micro-iniziative che non hanno saputo
inserirsi all’interno di una più ampia collaborazione sono rimaste esempi più o meno virtuosi ma non
forieri di cambiamenti sostanziali sul medio e lungo periodo.
7.8.
Le attività di formazione e assistenza tecnica, sporadiche e non appositamente strutturate in un
percorso formativo definito, hanno limitato l’efficacia dell’intervento. Solo i corsi di formazione sulla
Rapporto finale
49
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
conservazione e il restauro del patrimonio musivo e la digitalizzazione del patrimonio culturale, sono
considerabili efficaci.
7.9.
Le carenze in termini di capacity building, soprattutto nei confronti degli stakeholders
istituzionali coinvolti quali ministeri, amministrazioni comunali e istituzioni culturali, sono anche ascrivibili
ad un’inappropriata analisi iniziale dei rischi e ad una non sempre adeguata predisposizione di un piano
di mitigazione degli stessi.
7.10. L’impatto è limitato all’apporto che talune componenti del Programma hanno avuto nel favorire
la completa attuazione degli accordi di Ohrid. Gli interventi risultati più efficaci sono stati anche quelli
che hanno garantito un impatto sostanziale rispetto alle comunità locali, quali il centro Multimediale
presso l’Università Ss. Cirillo e Metodio, gli interventi presso i siti archeologici di Stobi ed Heraclea,
l’evento presso la Municipalità di Skopje “Rediscovery of the Route of Culture” e la creazione di un
centro per la digitalizzazione del patrimonio culturale.
7.11. I rappresentanti delle istituzioni intervistati hanno dimostrato, nei confronti delle tematiche
chiave del Programma, un indubbio interesse ma un limitato livello di ownership, in quanto le principali
istituzioni coinvolte non hanno saputo appropriarsi dell’importanza della valorizzazione del patrimonio
culturale per lo sviluppo del Paese nell’attuazione degli accordi di Ohrid,
7.12. Invece, con riferimento agli interventi realizzati a Stobi, Heraclea, al MIMEC e al RECEDIG si è
rilevato un interessante effetto sinergico grazie alla compartecipazione di più donatori. In questi casi,
l’impatto sulle comunità locali è risultato addirittura superiore alla somma dei singoli interventi,
favorendo lo sviluppo nazionale in termini di valorizzazione del patrimonio culturale e decentramento
amministrativo. Nel caso del RECEDIG si è riusciti ad incidere anche sulla Strategia Nazionale per la
Digitalizzazione del Patrimonio, attraverso la creazione di appositi riferimenti normativi.
7.13. L’intervento è stato realizzato coinvolgendo le principali autorità pubbliche macedoni, ma non
ha saputo incidere in modo significativo sulla creazione di loro competenze gestionali e amministrative,
determinando il rischio di una precaria sostenibilità istituzionale.
7.14. L’incapacità finanziaria delle varie amministrazioni pubbliche a sviluppare le risorse tecnologiche
e a mantenere le infrastrutture di cui sono state dotate si è tradotta in una blanda sostenibilità
economica e tecnologica.
50
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
8. Raccomandazioni
Al fine di assicurare una migliore qualità delle iniziative future nel settore del patrimonio culturale e non,
sono state individuate una serie di raccomandazioni, sulla base delle conclusioni di cui al capitolo 7.
8.1.
La coerenza e la logica del progetto in tutte le sue componenti (narrativo, quadro logico,
cronogramma e budget) dovrebbe essere oggetto di un’approfondita analisi in sede di approvazione e
dovrebbe essere costantemente aggiornata al mutare delle condizioni esterne.
8.2.
Gli indicatori dovrebbero essere SMART e tener conto dei tempi di attuazione dell’azione. Ciò
suggerisce che sia effettuata una baseline di partenza da utilizzarsi al termine dell’implementazione
come strumento di comparazione.
8.3.
I rapporti intermedi e finali dovrebbero permettere di individuare rapidamente le attività
implementate nel periodo di competenza e i costi sostenuti, pertanto si ritiene necessario predisporre
appositi formati che favoriscano il processo evitando la dispersione/perdita delle informazioni.
8.4.
Sistemi di monitoraggio e valutazione interna, propriamente strutturati, dovrebbero essere
previsti nel disegno e nella gestione del Programma. Tali strumenti gestionali dovrebbero essere
condivisi tra tutti gli stakeholders al fine di poter verificare in itinere lo stato di realizzazione delle attività.
8.5.
La comunicazione tra donatore, ente esecutore e ulteriori partners dovrebbe essere
caratterizzata da chiarezza nel flusso, nelle modalità e nelle tempistiche. Si consiglia, prima di
intraprendere le attività di un Programma di elaborare un’apposita matrice delle responsabilità (es.
RACI, RAM o RLC)29 che espliciti anche le modalità di gestione.
8.6.
I beneficiari diretti e indiretti dell’iniziativa dovrebbero essere facilmente individuabili con
riferimento a ciascun risultato atteso e maggiore attenzione dovrebbe essere data all’analisi dei
costi/beneficiario delle singole attività, ove questi risultassero eccessivi alternative altrettanto valide ma
meno onerose dovrebbero essere prese in considerazione.
8.7.
Si consiglia di evitare un’eccessiva dispersione dell’intervento in micro-attività non in linea con il
disegno strategico del Programma. Questo eviterebbe anche il “dissolvimento” della visibilità
dell’intervento italiano nel panorama locale e internazionale.
8.8.
Per quanto concerne il capacity building delle Autorità Locali si suggerisce di prevedere un
accompagnamento delle stesse che sia costante e continuativo nel tempo; la mera partecipazione a
inaugurazioni e workshop di breve durata non risulta strategica nel medio e lungo periodo.
8.9.
La componente formativa e di assistenza tecnica dovrebbe essere garantita fin dalla fase di
programmazione con la partecipazione delle istituzioni beneficiarie. Il loro coinvolgimento diretto è
fondamentale in tutte le fasi del ciclo del progetto: nella definizione del percorso formativo, nella
selezione dei partecipanti più adeguati, nel permettere a chi ha partecipato di mettere in pratica le
lezioni apprese, nel moltiplicare l’esperienza formativa permettendo a chi ha partecipato di disseminare
quanto appreso tra i colleghi.
29
Responsibility Assignment Matrix (RAM), Linear Responsibility Chart (LRC).
Rapporto finale
51
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
8.10. Le istituzioni locali dovrebbero garantire che le attività di formazione previste siano in linea con
le policy nazionali di rafforzamento del capitale umano. Una formazione adeguatamente strutturata può
essere riconosciuta dalle istituzioni beneficiarie ed eventualmente prevedere il rilascio di certificati di
partecipazione.
8.11. I formatori dovrebbero essere fluenti nella lingua veicolare del Programma e prevedere
un’adeguata disseminazione dei documenti di riferimento utilizzati. Per garantire inoltre una presa di
coscienza anche delle generazioni future potrebbe essere utile, tra le altre cose, un maggiore
coinvolgimento delle scuole.
8.12. I rischi dovrebbero essere opportunamente analizzati e il corrispondente piano di mitigazione
dovrebbe essere elaborato al momento della presentazione della proposta e aggiornato costantemente
durante la fase di implementazione.
8.13. Relativamente a quei Programmi che affrontano contemporaneamente la conservazione, la
valorizzazione e lo sviluppo turistico si consiglia di esplorare la possibilità di realizzare partnership
pubblico-private sia per sviluppare e promuovere la fruizione del patrimonio culturale che per sviluppare
la rivitalizzazione economica del Paese da un punto di vista turistico.
52
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
9. Lezioni apprese
Dalla valutazione del presente Programma sono emerse le seguenti lezioni apprese:
9.1.
Quando la complessità operativa, relazionale e gestionale di un Programma non è stata tradotta
in strumenti che ne facilitino la gestione, semplificando e strutturando le informazioni, risulta impossibile
avere una situazione chiara in itinere, monitorare l’andamento delle attività ed eventualmente
correggere per tempo aspetti puntuali dell’iniziativa.
9.2.
Ancorché le proposte siano pertinenti relativamente al contesto nazionale e alle strategie locali e
internazionali, non sempre si inseriscono all’interno di un unico quadro strategico operativo, composto
da tutti gli stakeholders attivi nello stesso settore d’intervento; cogliere per tempo, tutte le iniziative in
essere o in previsione per un determinato settore operativo aiuta a creare una strategia univoca di
medio e lungo periodo, nella quale il ruolo di ciascuno ha peculiarità uniche, anche operative e
metodologiche, e contribuisce alla realizzazione di uno sviluppo più ampio.
9.3.
Nei programmi di cooperazione allo sviluppo, non di emergenza, e che prevedono
collaborazioni di partenariato con istituzioni pubbliche (ministeri, municipalità, istituzioni), vanno favorite
e ricercate attività di capacity building strutturate in percorsi formativi appositamente definiti. Solo se i
Programmi faciliteranno lo sviluppo di competenze e di ownership nei beneficiari diretti, anche
attraverso un processo partecipativo tra stakeholders e decision makers, potranno risultare efficaci ed
avere un impatto sostenibile.
9.4.
La visibilità dell’aiuto italiano, intesa anche come riconoscimento sociale e istituzionale, deriva
dall’efficacia e dall’impatto che i Programmi sono in grado di avere nel Paese beneficiario;
un’implementazione che tenga conto di quanto evidenziato precedentemente nelle raccomandazioni
gioverebbe anche al riconoscimento e alla visibilità del Governo Italiano.
Rapporto finale
53
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
10. Bibliografia
AGREEMENT OF CO-OPERATION BETWEEN THE REPUBLIC OF MACEDONIA AND THE INTERNATIONAL
MANAGEMENT GROUP, 25 ottobre 2001
ANALYSIS OF THE DECENTRALIZATION PROCESS IN MACEDONIA, SeeNet, Dicembre 2010
ANNUAL REPORT US AMBASSARDORS FUND FOR CULTURAL PRESERVATION, UNITED STATES, DEPARTEMENT
OF STATE, 2008/2009/2010/2011
CULTURAL POLICIES AND TRENDS IN EUROPE: FYROM COUNTRY PROFILE, Zlatko Teodosievski, Cosiglio
d’Europa, ottobre 2012
CULTURAL POLICY IN “THE FORMER YUGOSLAV REPUBLIC OF MACEDONIA”, Consiglio d’Europa, Comitato
per la Cultura, settembre 2003
ENLARGEMENT STRATEGY AND MAIN CHALLENGES 2010-2011, COM(2010) 660 final, Commissione
Europea, 2010
ENLARGEMENT STRATEGY AND MAIN CHALLENGES 2012-2013, COM(2012) 660 final, Commissione
Europea, 2012
FRAMEWORK AGREEMENT BETWEEN THE MINISTRY OF FOREIGN AFFAIRS, DIRECTORATE GENERAL OF
COOPERATION FOR DEVELOPMENT (DGCS) AND INTERNATIONAL MANAGEMENT GROUP, 26 marzo 2004
FYR MACEDONIA SECURES PLEDGES, World Bank, marzo 13, 2002
IMPLEMENTATION, COMPLETION AND RESULTS REPORT (IDA-35300 NETH-52501), World Bank 2007
IPA CROSS-BORDER COOPERATION PROGRAMME REPUBLIC OF MACEDONIA, 2007-2013, Unione Europea e
Repubblica di Macedonia, 2007
ITALIAN TRUST FUND FOR CULTURE AND SUSTAINABLE DEVELOPMENT (ITFCSD), Governo Italiano 2000
ITL 22 Inception Report, International Management Group (IMG), Febbraio 2007
ITL 22 Mid-term Report, International Management Group (IMG), Dicembre 2007
ITL 22 Status Report, International Management Group (IMG), Novembre 2008
ITL 22 Status Report, International Management Group (IMG), Dicembre 2008
ITL 22 Status Report, International Management Group (IMG), Maggio 2010
ITL 22 Final Report, International Management Group (IMG), Dicembre 2010
MACEDONIA - DONORS' CONFERENCE - GEORGIEVSKI: "SERIOUS POLITICAL AND ECONOMIC STEP FOR THE
INTERNATIONAL COMMUNITY", Reliefweb, marzo 14, 2002
NATIONAL DEVELOPMENT PLAN 2007-2009, Repubblica di Macedonia, Febbraio 2007
NATIONAL PROGRAMME FOR THE DEVELOPMENT OF EDUCATION IN THE REPUBLIC OF EDUCATION 2005-2015,
Ministry of Education and Culture (FYROM), 2005
OHRID FRAMEWORK AGREEMENT, Repubblica di Macedonia, 2001
OPENING REMARKS BY MR. REIHNARD PRIBE DIRECTOR, WESTERN BALKANS ON BEHALF OF MR. CHRIS
PATTEN, COMMISSIONER FOR EXTERNAL RELATIONS, Brussels,12 marzo 2002
54
Rapporto finale
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
PILOT ACTIVITIES FOR EDUCATION AND CULTURE, Proposta di progetto, International Management Group
(IMG), 2004
PROJECT APPRAISAL DOCUMENT ON A PROPOSED CREDIT TO THE REPUBLIC OF MACEDONIA FOR COMMUNITY
DEVELOPMENT AND CULTURE, World Bank, 2001
REGIONAL PROGRAMME FOR CULTURAL AND NATURAL HERITAGE IN SOUTH EAST EUROPE, Commissione
Europea, 2008
SECURING IMPLEMENTATION OF THE OHRID AGREEMENT THORUGH CONCRETE POLICY ACTION: THE “POLICY
DIALOGUE INITIATIVE”, European Center for Minority Issues, marzo 2006
STRATEGY FOR LOCAL SUSTAINABLE DEVELOPMENT 2006-2011, Municipality of Berovo, UNDP, 2006
STRATEGY FOR THE FORMER YUGOSLAV REPUBLIC OF MACEDONIA, European Bank for Reconstruction and
Development, 20 luglio 2004
TEN YEARS FROM THE OHRID FRAMEWORK AGREEMENT, IS MACEDONIA FUNCTIONING AS A MULTI-ETHNIC
STATE?, South East European University, 2011
THE FORMER YUGOSLAV REPUBLIC OF MACEDONIA, 2012 PROGRESS REPORT, Commissione Europea,
Brussels ottobre 2012
THE IMPLEMENTATION OF THE OHRID AGREEMENT: ETHNIC MACEDONIAN
Brunnbauer,Center for the Study of Balkan Societies and Culture, 2002
RESENTMENTS,
Ulf
THE PATH TO OHRID FRAMEWORK AGREEMENT, Ardit Memeti and Veli Kreci, 2012
TOURSIM IN THE GLOBAL DEVELOPMENT STRATEGY OF MACEDONIA: ECONOMIC PRESPECTIVES, Bljana
Petrevska, 2011
Rapporto finale
55
Valutazione ex post dell’iniziativa “Pilot Activites for Education and Culture”
11. Allegati
1.
Termini di Riferimento
2.
Calendario Missione
3.
Matrice di valutazione
4.
Quadro Logico Rivisto
5.
Budget di progetto
6.
Riepilogo costi
7.
Cronogramma attività
8.
Cronogramma estensioni
9.
Elenco persone contattate
10. Traccia KII
11. Traccia FGD
12. Documentazione fotografica
Rapporto finale
57
ALLEGATO N. 1
MINISTERO DEGLI AFFARI ESTERI
DIREZIONE GENERALE PER LA COOPERAZIONE ALLO SVILUPPO
Ufficio IX
Sezione Valutazione
TERMINI DI RIFERIMENTO
PER LA VALUTAZIONE INDIPENDENTE DEL PROGETTO:
“PILOT ACTIVITIES FOR EDUCATION AND CULTURE”
AID N. 8240
MINISTERO DEGLI AFFARI ESTERI
DIREZIONE GENERALE PER LA COOPERAZIONE ALLO SVILUPPO
TITOLO DEL PROGETTO:
Pilot activities for Education and Culture – AID n. 8240
LUOGO DEL PROGETTO:
Repubblica di Macedonia
LINGUA DEL PROGETTO:
Italiano e Inglese
ORGANISMO ESECUTORE:
International Management Group (IMG)
DURATA:
18 mesi
BUDGET:
EURO 3.000.000,00 (Art. 15 L. 49/87)
DONATORE:
Governo italiano
1. Obiettivi del progetto
Il progetto “Pilot Activities for Education and Culture” è stato implementato dall’International
Management Group (IMG) con l’assistenza dell’UNESCO.
L’obiettivo principale del progetto è fornire assistenza al Governo della Repubblica di Macedonia
nel decentramento dell’amministrazione e delle attività istituzionali dei Ministeri della Cultura,
dell’Educazione e della Scienza, prevedendo il rafforzamento e il sostegno alle Autonomie locali.
Per quanto riguarda la componente culturale, gli obiettivi specifici del progetto consistono in:
-
attività di assistenza alle Istituzioni Culturali locali, che a sua volta si articola nell’assistenza
tecnica in favore delle Istituzioni locali e nella formazione degli addetti alla cultura delle
Municipalità;
-
interventi di valorizzazione dei siti storici di rilevanza nazionale quali Stobi, Scupi,
Heraclea;
-
realizzazione di un Centro Regionale per la Digitalizzazione del Patrimonio Culturale,
attività realizzata in collaborazione con l’UNESCO;
-
riabilitazione e assistenza al Museo di Arte Contemporanea di Skopje.
L’attività relativa al settore dell’educazione è articolata in:
-
realizzazione di un Centro Multimediale presso l’Università dei SS. Cirillo e Metodio di
Skopje;
-
l’intervento in favore della minoranza di lingua albanese a Tetovo, soprattutto alla luce
della peculiare composizione etnica della Repubblica di Macedonia.
Il programma è stato avviato nell’agosto 2006 con l’erogazione della prima tranche di
finanziamento pari a Euro 1.170.000,00, contemporaneamente al piano di spesa presentato
dall’IMG riguardante il Museo d’Arte Contemporanea e il Centro Multimediale dell’Università di
Skopje. La seconda tranche di Euro 1.830.000,00 è stata erogata nel giugno 2007, a completamento
dell’impegno italiano di Euro 3.000.000,00 all’International Management Group (IMG). A seguito
di 3 richieste di estensione non onerosa da parte dell’IMG e una da parte dell’UNESCO, il
programma si è concluso nel dicembre 2010. L’avanzo di US$ 109.261,64, su proposta UNESCO, è
stato riallocato per attività attinenti al Centro Regionale di Digitalizzazione.
2. Utilità della valutazione
L’utilità della valutazione del programma “Pilot activities for Education and Culture” in Macedonia
è di accertare la misura in cui l’assistenza dell’IMG, e quindi della Cooperazione italiana, sia stata
rilevante, effettiva, efficace e sostenibile nel raggiungimento degli obiettivi previsti per il settore.
La valutazione dovrà pervenire a un giudizio generale sul grado in cui le strategie e il programma
hanno contribuito al raggiungimento degli obiettivi e dell’impatto previsto attraverso le risposte alle
domande che dovranno essere concordate (vedi Allegato A).
Le conclusioni della valutazione saranno basate su risultati obiettivi, credibili, affidabili, validi e
dovranno fornire alla Cooperazione Italiana raccomandazioni utili e operative. La valutazione dovrà
rendere condivisibili le esperienze acquisite al fine di poter indirizzare i futuri finanziamenti nel
settore educativo-culturale nell’area balcanica ed in particolare in Macedonia.
A questo scopo, la valutazione dovrà analizzare come, per il programma considerato, il supporto al
settore educativo-culturale ha influito:
- sulle previsioni e l’implementazione delle politiche, delle strategie e dei programmi;
- sull’efficacia degli aiuti in termini di prevedibilità, di implementazione delle strategie educativoculturali nazionali.
La valutazione dovrà fornire lezioni e raccomandazioni finalizzate alla continuità degli aiuti al
settore nel contesto attuale.
3. Scopo della valutazione
La valutazione dovrà:
•
esprimere un giudizio sulla rilevanza degli obiettivi e sul loro grado di raggiungimento;
•
esprimere un giudizio su efficienza, efficacia, impatto e sostenibilità del progetto;
•
esaminare il Progetto nella sua completezza, per identificare le buone pratiche e le lezioni
apprese, in modo da usarle come base conoscitiva per sviluppare gli eventuali futuri
pacchetti d'assistenza tecnica nel territorio;
•
analizzare le strategie e le modalità d’implementazione;
•
tenere in considerazione i fattori di sostenibilità e l’impatto che l’implementazione di tale
programma ha avuto sulle condizioni educative e culturali del Paese;
•
stimare i risultati e l’effettività dei programmi pilota a livello distrettuale, la loro discutibilità
ed i rispettivi mezzi per la decentralizzazione dell’amministrazione e l’effettiva capacità di
gestione da parte degli enti locali.
Infine, la valutazione terrà in considerazione:
1. le iniziative mirate al contesto multiculturale del Paese, ovvero le attività di assistenza alle
Istituzioni Culturali locali;
2. il livello di formazione degli addetti alla cultura delle Municipalità;
3. gli interventi tesi a valorizzare i siti storici di rilevanza nazionale;
4. la realizzazione, il funzionamento, l’efficacia, nonché il livello di preparazione dei tecnici
del Centro Regionale per la Digitalizzazione del Patrimonio Culturale;
5. l’efficacia degli interventi di riabilitazione strutturale e di assistenza tecnica al Museo di
Arte Contemporanea;
6. la realizzazione del Centro Multimediale presso l’Università dei SS. Cirillo e Metodio e la
relativa attività di formazione;
7. l’efficacia dell’intervento in favore della minoranza di lingua albanese a Tetovo;
8. l’analisi qualitativa dell’assistenza tecnica da parte dell’organismo esecutore e delle capacità
gestionali degli enti coinvolti nel programma.
4. Quadro analitico suggerito
Il team di valutazione può includere altri aspetti consoni allo scopo della valutazione.
I criteri di valutazione si basano sui seguenti aspetti:
•
Rilevanza: Il valutatore dovrà verificare il grado in cui il Programma tiene conto del
contesto. La valutazione riesaminerà la misura con la quale gli obiettivi del Programma sono
coerenti con i requisiti e le esigenze dei beneficiari. La valutazione stimerà se l’approccio è
strategico e in che misura la controparte locale ha usato le risorse per l’attuazione delle
attività previste dal Programma. Nel valutare la rilevanza dell’iniziativa bisognerà tenere
conto: a) in che misura gli obiettivi dell’iniziativa sono validi, b) in che misura gli obiettivi
dell’iniziativa sono coerenti, c) percezione dell’utilità dell’iniziativa da parte del
destinatario.
•
Validità del design del progetto: La valutazione riesaminerà la misura con la quale il
design del Programma è stato logico e coerente.
•
Efficienza: Analisi dell’ottimizzazione nell’utilizzo delle risorse per conseguire i risultati
attesi. Nel valutare l’efficienza sarà utile considerare: 1) se i risultati sono stati raggiunti con
i costi previsti, 2) se i risultati sono stati raggiunti nel tempo previsto, 3) se l’alternativa
utilizzata era la più efficiente
(minori costi
o minori tempi) rispetto alle altre. La
valutazione indicherà come le risorse e gli inputs sono stati convertiti in risultati.
•
Efficacia: La valutazione misurerà il grado e l’entità di raggiungimento degli obiettivi del
programma. Nel valutare l’efficacia del progetto sarà utile considerare: a) se gli obiettivi,
generale e specifico dei progetti, sono stati chiaramente identificati e quantificati, b)
verificare se le caratteristiche progettuali dei progetti sono coerenti con gli obiettivi generali
e gli obiettivi specifici, c) verificare in che misura gli obiettivi generali sono stati raggiunti,
d) analizzare i principali fattori che hanno influenzato il raggiungimento degli obiettivi.
•
Impatto: La valutazione misurerà gli effetti diretti ed indiretti provocati dal programma nel
contesto di riferimento. Nel valutare l’impatto si dovrà tenere conto dei reali cambiamenti
che l’iniziativa ha prodotto nella collettività. La valutazione stimerà l’orientamento
strategico dell’iniziativa in relazione al contributo apportato.
•
Sostenibilità: Si valuterà la capacità del Programma di produrre e riprodurre benefici nel
tempo. Nel valutare la sostenibilità del Programma sarà utile: a) considerare in che misura i
benefici continueranno anche dopo che è cessato l’aiuto, b) verificare i principali fattori che
influenzeranno il raggiungimento o il non raggiungimento della sostenibilità dei progetti.
5. Outputs
Gli outputs dell’esercizio saranno:
•
Un rapporto finale in inglese ed italiano con i risultati e le raccomandazioni per indirizzare i
citati criteri di valutazione.
•
Quattro pagine di sommario del Rapporto di Valutazione del Progetto in inglese e in
italiano.
6. Metodologia
Data Collection:
Il valutatore userà un metodo di approccio multiplo che includerà la revisione della
documentazione, l’analisi di dati derivanti dalle attività di monitoraggio, le interviste individuali, i
focus groups e la visita dei luoghi interessati dal Programma.
Il metodo finale selezionato dal valutatore dovrà tenere conto degli obiettivi della valutazione e
delle domande di valutazione che il valutatore formulerà attenendosi all’Allegato A.
E’ richiesto quindi, che la proposta tecnica dovrà:
a. Identificare la metodologia;
b. Stabilire il livello di partecipazione degli stakeholders alla valutazione.
Validation:
Il team di valutazione userà diversi metodi (inclusa la triangolazione) al fine di assicurare che i dati
rilevati siano validi.
Coinvolgimento degli stakeholders:
Sarà usato un approccio inclusivo coinvolgendo un ampio numero di stakeholders e di partners.
Dovranno essere coinvolti rappresentanti di istituzioni educative, di istituzioni culturali,
governativi, di organizzazioni della società civile, del settore privato e, più importanti, i beneficiari
del progetto di seguito elencati:
-
Ministero delle Autonomie Locali
-
Ministero dell’Educazione e della Scienza
-
Ministero della Cultura
-
Gli Enti locali interessati dalle attività programmate
-
UNESCO BRESCE di Venezia
-
Il Centro Regionale per la Digitalizzazione
-
Il Museo di Arte Contemporanea di Skopje
-
L’Università dei SS. Cirillo e Metodio di Skopje
-
L’Istituto di Biotecnologie e Nutrizione dell’Università di Tetovo
-
Le Istituzioni Culturali locali
-
Gli addetti dei settori interessati
-
Gli utenti finali dei servizi culturali, educativi, di formazione e di promozione economica
7. Disposizioni gestionali, piano di lavoro e quadro temporale
1. Desk Analysis
Revisione
della
documentazione relativa al
progetto
2. Field visit
Il team di valutazione visita i
luoghi del progetto, intervista
le parti coinvolte, i beneficiari
e raccoglie informazioni
supplementari.
3. Rapporto di valutazione
Bozza del rapporto di
valutazione
4.Commenti
delle
parti La prima stesura del rapporto
di valutazione circola tra le
interessate e feedback
parti interessate per commenti
e feedback. Queste vengono
consolidate ed inviate al team
di valutazione.
5. Workshop
Workshop sulla presentazione
della bozza del rapporto di
valutazione
con
il
coinvolgimento delle parti
interessate.
6. Relazione finale
Il team di valutazione mette a
punto
il
rapporto
di
valutazione incorporando i
commenti.
10 giorni lavorativi
10 giorni lavorativi
10 giorni lavorativi
7 giorni lavorativi
5 giorni lavorativi
3 giorni lavorativi
Caratteristiche del Gruppo di Valutazione
La valutazione dovrà essere svolta da un team di valutatori con esperienza nella gestione di progetti
di cooperazione ed in particolare nel settore educativo-culturale. E’ richiesta una buona esperienza
nella conduzione di valutazioni ex post. E’ richiesto inoltre:
•
Laurea magistrale;
•
Esperienza in interviste, ricerche documentate, redazione e scrittura di relazioni;
•
Eccellenti capacità analitiche e di sintesi;
•
Eccellenti capacità comunicative e di scrittura;
•
Eccellente padronanza della lingua Inglese;
FORMATO SUGGERITO PER IL RAPPORTO DI VALUTAZIONE
Copertina
1. Sintesi
2. Contesto del progetto
3. Obiettivo
4. Quadro teorico e metodologico
5. Verifica della realizzazione
Il file relativo alla prima pagina sarà fornito
dall’Ufficio IX della DGCS.
Quadro generale che mette in rilievo i punti di forza e
di debolezza dei progetti. Max 4 pagine,
focalizzandosi
sulle
lezioni
apprese
e
raccomandazioni.
- Situazione paesi
- Breve descrizione delle necessità che i progetti
hanno inteso soddisfare
- Analisi del quadro logico
- Stato di realizzazione delle attività e stima dei
tempi di completamento dei progetti
-
Tipo di valutazione.
Descrizione dello scopo e dell’utilità della
valutazione.
- Gli obiettivi della valutazione
- I criteri della valutazione
- L’approccio e i principi metodologici adottati
- Fonti informative: interviste, focus groups, site
visit
- Le difficoltà metodologiche incontrate
Verifica dei principali stadi di realizzazione dei
progetti.
6. Presentazione dei risultati
7. Conclusioni
8. Raccomandazioni
9. Lezioni apprese
10. Annexes
Concludere la valutazione facendola derivare dai
risultati e dalle comunicazioni principali.
Le raccomandazioni dovrebbero essere volte al
miglioramento dei progetti futuri e delle strategie
della DGCS.
Osservazioni, intuizioni e riflessioni generate dalla
valutazione, non esclusivamente relative all’ambito
dei progetti, ma originate dai findings e dalle
raccomandazioni.
Devono includere i TORs, la lista delle persone
contattate e ogni altra informazione/documentazione
rilevante.
Allegato A.
Identificazione delle domande di valutazione:
La valutazione si baserà su un limitato numero di domande (max 10) che dovranno coprire i
seguenti cinque criteri di valutazione: rilevanza, efficienza, efficacia, impatto e sostenibilità
(OCSE/DAC).
Linee Guida per la redazione delle domande di valutazione:
•
Dovranno essere previste delle domande finalizzate alla verifica dei risultati raggiunti;
•
Evitare di introdurre domande su argomenti non correlati, che devono essere invece
analizzati in maniera trasversale, introducendo, per esempio, specifici criteri di giudizio;
•
le domande di valutazione devono essere focalizzate e indirizzate verso uno dei risultati;
•
evitare di introdurre domande troppo ampie qualora siano necessarie domande esplicative
aggiuntive;
•
evitare di inserire domande riferite a diversi livelli di risultati;
•
i cinque criteri di valutazione non devono essere menzionati esplicitamente nelle domande
di valutazione;
•
verificare che le risposte non siano soltanto affermative o negative;
•
le domande di valutazione devono essere correlate a un numero specifico dei criteri di
giudizio, alcuni rapportati ad analisi trasversali e a concetti chiave;
•
aggiungere un breve commento che specifichi il significato e lo scopo delle domande.
Allegato 2 – Calendario Missione
Incontro con IMG staff: Arjan Karaj e
Tomislav Stefanovski
Monday 4
Incontro con IMG staff: Arjan Karaj e
Prof. Lazar Sumanov
Tuesday 5
Sito archeologico di Scupi: Liubica
Kondiyanova, Direttrice Museo della
Città si Skopje - Lence Jovanova,
Capo Archeologa
Wednesday 6
Thursday 7
Sito archeologico di Stobi: Silvana
Blazevska, Direttrice Esecutiva - Jo‐
van Radnianski, Acting Manager Hristian Talevski, Archeologist Doc‐
umentator
Sito archeologico di Heraclea : Lil‐
jana Hristova, Direttrice esecutiva Anica Georgievska, Direttrice Scavi
Archeologici - Engin Nash, Capo
Archeologo - Gazanfer Bayram, mo‐
saicista. Focus Group con: Toni
Nikolovski, Gjorgji Dimovski, Oliv‐
era Makricuska (partecipanti semi‐
nario e workshop su conservazione)
March 4 to March 10, 2013
Week 10
8 AM
9 AM
10 AM
11 AM
Noon
1 PM
2 PM
3 PM
4 PM
5 PM
6 PM
Friday 8
Ambasciata d'Italia: Fabio Cristiani,
Ambasciatore
Saturday 9
Allegato 2 – Calendario Missione
Sunday 10
Page 1/2
Valutazione ex-post del Programma “PIlot Activities for Education and Culture”
Monday 11
Cultural Heritage Protection Office:
Zoran Pavlov, Capo Dipartimento
per la Documentazione
Ministero della Cultura: Irina Topu‐
zovska, Vice-Capo Dipartimento per
la Cooperazione Internazionale e
UNESCO
Focus group: Viktoria Apostolova,
Capo della Sezione per la Regis‐
trazione, Documentazione e Infor‐
matizzazione - Sasha Krstevski,
Database Administrator - Burim
Ameti, Information Technology
Manager
Ministero dell'Economia: Zoran
Nikolovski, Capo Dipartimento per il
Turismo
NGO Toleranza: Daut Dauti, Diret‐
tore
New Event
Tuesday 12
Visita al Centro per la Digitaliz‐
zazione del Patrimonio Culturale
Museo di Macedonia: Pero
Iosifonski, Direttore
Wednesday 13
Facoltà di Biotecnologie di TetovoGostivar: Hazir Pollozhani, Preside
della Facoltà - Spartak Bozo, Do‐
cente - Erhan Sulejmani, Respons‐
abile del Laboratorio, Arita Karai,
Segretaria
Thursday 14
Visita al sito di Jastrebnik
Municipalità di Berovo: Gorgi Peovs‐
ki, Dipartimento per lo Sviluppo e la
Cooperazione Internazionale
Visita al Museo del Vino di Negotino
Municipalità di Negotino: Lolita Ris‐
tova, Capo Dipartimento dello
Sviluppo
Museum of Contemporary Arts:
Elisa Shulevska, Direttrice
Municipalità di Kocani: Ratko Dim‐
itrovski, Sindaco - Zoran Manasiev,
Direttore Dipartimento Pianifi‐
cazione e Sviluppo
March 11 to March 17, 2013
Week 11
8 AM
9 AM
10 AM
11 AM
Noon
1 PM
2 PM
3 PM
4 PM
5 PM
6 PM
7 PM
8 PM
9 PM
10 PM
11 PM
Friday 15
Centro Multimediale Italo-Mace‐
done: Aleksandra Sarkovska, Vice
Preside incaricato per gli Affari Fi‐
nanziari - Radica Nikodinovksa,
Ministry of Self Government: Mjell‐
ma Mehmeti, Dipartimento per l'In‐
tegrazione Europea
Ambasciata d'Italia: Alessandra
Ksenija Jelen, Addetto Culturale
Museum of Contemporary Arts:
Elisa Shulevska, Direttrice
Saturday 16
Allegato 2 – Calendario Missione
Sunday 17
Valutazione ex-post del Programma “PIlot Activities for Education Page
and2/2
Culture”
-
CRITERI DI GIUDIZIO
- Capacità dei corsi di suscitare
interesse e di trasmettere nuove
conoscenze ai partecipanti e
agli istituti di appartenenza.
SPECIFICI PER I TRAININGS
Scelta delle risorse e uso
del tempo
Qualità degli interventi
Trasparenza delle
Procedure
Capacità di Rispondere alle
In che misura le azioni e le strategie applicate sono in linea con le
Necessità.
politiche dei Ministeri Macedoni coinvolti e con quelle del
Capacità di tradurre
Ministero degli Affari Esteri Italiano?
l’intervento in appositi
In che misura gli strumenti e le strategie appilcate dal programma
formati/strumenti
sono rilevanti in termini di miglioramento della valorizzazione,
decentralizzazione e gestione del patrimonio culturale?
SPECIFICI PER I TRAININGS
In che misura gli strumenti e le strategie applicate dal programma
sono rilevanti in termini di promozione dell'accesso all'educazione Capacità dei corsi di
delle minoranze?
rispondere alle necessità
Qual è la qualità del design del progetto? C'è una logica nel flusso
della Macedonia in termini
tra attività, risultati, e obiettivi? Esistono sinergie tra le componenti
di valorizzazione del
del progetto?
patrimonio culturale.
DOMANDE PER LA VALUTAZIONE1
Allegato 3 – Matrice di valutazione
CRITERIO DI
VALUTAZIONE
RILEVANZA
La misura in cui il
progetto di IMG ha
saputo
rispondere/adattarsi
alle necessità, alle
priorità e alle
politiche dei
beneficiari designati
EFFICIENZA
I risultati avrebbero potuto essere raggiunti in modo diverso? Più
economico e/o più rapido?
Quali misure sono state prese durante la pianificazione e
l'implementazione per assicurare un utilizzo efficiente delle
risorse?
Le risorse umane impiegate e gli equipment acquistati sono in
linea con gli standard del donatore?
Per le DOMANDE DIRETTE (KIIs e FGDs) si faccia riferimento agli allegati 10 e 11.
La misura in cui il
progetto di IMG ha
raggiunto i risultati
attesi attraverso il
ricorso a risorse
umane, tecniche,
finanziarie e materiali
1
Allegato 3 – Matrice di valutazione
FONTE DEI DATI
Studio della
documentazione del
Ministero degli Affari
Esteri Italiano, del
Governo Macedone, di
Unesco e IMG su
strategie al momento
della formulazione
dell'iniziativa.
-
DATI
INDICATORI
- Piani di sviluppo nazionali
- Strategie nazionali per i settori
educativo e culturale
- Strategie europee e
internazionali per i settori
educativo e culturale
- Documentazione di progetto
inclusi rapporti intermedi e finali
- Funzionari ministeri coinvolti
- Beneficiari dei grants
(municipalità)
Analisi del budget, dei
report finanziari,
interviste e visite in loco.
METODO DI RACCOLTA
- Prove che gli obiettivi
dell'intervento sono coerenti con i
Piani di Sviluppo del Paese nel
medio/lungo periodo
- Rapporti finanziari intermedi e
finali
- Monitoraggi e/o valutazioni
- Ministero degli Affari Esteri
Italiano e Ambasciata d'Italia a
Skopje
- Funzionari ministeri coinvolti
- Staff di IMG HQ & Macedonia
- UNESCO staff
- Beneficiari dei grants
(municipalità)
-
Num. di Musei/Siti
archeologici/istituti ristrutturati.
Num.di materiali distribuiti.
Num. di formatori formati.
Num. di stakeholders formati.
Livello 1 e 2 modello di
Kirkpatrick.
Livello di applicazione da parte
delle amministrazioni
locali/istituzioni delle nuove
informazioni ricevute.
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
CRITERIO DI
VALUTAZIONE
EFFICACIA
La misura in cui il
progetto di IMG ha
raggiunto gli obiettivi
specifici
DOMANDE PER LA VALUTAZIONE1
Quali Risultati sono stati raggiunti dalle diverse componenti del
programma (educazione e cultura)? Sono in linea con i risultati
attesi?
In che misura i risultati raggiunti hanno contribuito il
raggiungimento dell'obiettivo specifico?
Quali sono stati i punti di forza e di debolezza di IMG nel
raggiungimento dei risultati?
Come le pre-condizioni ed i rischi hanno influenzato il
raggiungimento degli Obiettivi Specifici?
-
-
CRITERI DI GIUDIZIO
-
-
-
-
Trasferimento di Know How
alle istituzioni
locali/partners (Capacity
Building).
Coinvolgimento degli
stakeholders
Capacita’ di analisi e
mitigazone dei rischi
SPECIFICI PER I TRAININGS
- Capacità dei partecipanti e
degli istituti di appartenenza di
riutilizzare le competenze
acquisite con i corsi di
formazione.
-
INDICATORI
Aumento del numero di
Visitatori Annui
Aumento del numero di
Oggetti d’arte conservati e
restaurati
Aumento del numero di
manifestazioni realizzate
Aumento del numero di reperti
archeologici conservati e
restaurati
Aumento del numero dei
servizi offerti
Aumento del numero di attività
private presso i musei/siti
archeologici
Aumento della domanda di
iscrizioni ai corsi di lingua
italiana
Aumento degli iscritti al
Politecnico di Tetovo
Aumento di prodotti lattocaseari controllati e certificati
Aumento del senso di
ownership dei principali
stakholders circa la
valorizzazione del patrimonio
culturale e il decentramento
amministrativo.
Aumento dei flussi turistici
nelle aree dell’intervento
Raggiungimento livello 3
modello di Kirkpatrick
Studio della
documentazione del
Ministero degli Affari
Esteri Italiano, del
Governo Macedone, di
Unesco e IMG su
strategie, programmi
annuali, rapporti annuali,
rapporti di monitoraggio,
valutazione delle
formazioni, studi,
assessments e
interviste.
DATI
METODO DI RACCOLTA
Allegato 3 – Matrice di valutazione
FONTE DEI DATI
- Rapporti finanziari intermedi e
finali
- Monitoraggi e/o valutazioni
- Ministero degli Affari Esteri
Italiano e Ambasciata d'Italia a
Skopje
- Staff di IMG HQ & Macedonia
- Stakeholders a livello Paese –
ministeri macedoni rilevanti,
istituzioni nazionali nei settori
della cultura e dell'educazione,
Ambasciata d'Italia, altri donatori,
UNESCO, partecipanti a
formazioni e workshop, altre
NGO
- Stakeholders a livello
municipale – autorità municipali,
addetti nei settori della cultura e
dell'educazione
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
CRITERIO DI
VALUTAZIONE
SOSTENIBILITÀ
DOMANDE PER LA VALUTAZIONE1
In che misura la coordinazione bi-multilaterale tra i partner ha
contribuito a raggiungere gli obiettivi?
In che misura le modifiche del contesto socio economico hanno
influito sul raggiungimento degli obiettivi?
CRITERI DI GIUDIZIO
Capacità di partecipare
proattivamente agli altri
Programmi in essere nel paese
per il settore di competenza.
Sviluppo di Capacità
finanziarie nei Beneficiari
Capacità di tradurre le
Gli effetti prodotti sono ancora sostenibili?
La possibilità che i
risorse economiche a
In che misura l'intervento di IMG ha rafforzato le istituzioni con cui
benefici derivanti dal
disposizione in attività
ha collaborato?
progetto di IMG
coerenti con il contesto
Esiste un senso di appropriazione tra i beneficiari delle
possano continuare a
infrastrutture/training realizzate da IMG?
rinnovarsi
SPECIFICI PER I TRAININGS
Il progetto prevedeva delle exit strategies che tenessero in
successivamente alla
considerazione fattori politici, finanziari, tecnologici e ambientali?
conclusione
In che misura gli strumenti e le strategie applicate dal programma - Capacità dei partecipanti e
dell'intervento
sono rilevanti in termini di adeguatezza delle tecnologie utilizzate? degli istituti di appartenenza di
Utilizzo e sviluppo nel tempo
delle conoscenze acquisite.
EFFETTO SINERGICO
La misura in cui gli
effetti del progetto
sono massimizzati da
sinergie con altre
collaborazioni
N/A
-
-
-
INDICATORI
Incremento del livello di
ownership delle istituzioni
partner (Ministero della
Cultura, Ministero per il
decentramento Amministrativo,
Ministero dell’Educazione).
Aumento delle attività
produttive e dei servizi nelle
zone oggetto degli interventi
per effetto dell’incremento dei
turisti
Aumento delle potenzialità
produttive e dei servizi nelle
zone oggetto degli interventi
per effetto dello sviluppo del
DATI
METODO DI RACCOLTA
Allegato 3 – Matrice di valutazione
FONTE DEI DATI
- Rapporti finanziari intermedi e
finali
- Monitoraggi e/o valutazioni
- Ministero degli Affari Esteri
Italiano e Ambasciata d'Italia a
Skopje
- Staff di IMG HQ & Macedonia
- Stakeholders a livello Paese –
ministeri macedoni rilevanti,
Visite in loco, interviste e
istituzioni nazionali nei settori
focus groups.
della cultura e dell'educazione,
Ambasciata d'Italia, altri donatori,
UNESCO, partecipanti a
formazioni e workshop, altre
NGO
- Stakeholders a livello
municipale – autorità municipali,
addetti nei settori della cultura e
dell'educazione
- Rapporti finanziari intermedi e
finali
- Monitoraggi e/o valutazioni
- Ministero degli Affari Esteri
Italiano e Ambasciata d'Italia a
Skopje
- Staff di IMG HQ & Macedonia
Visite in loco, interviste e
- Stakeholders a livello Paese –
focus groups.
ministeri macedoni rilevanti,
istituzioni nazionali nei settori
della cultura e dell'educazione,
Ambasciata d'Italia, altri donatori,
UNESCO, partecipanti a
formazioni e workshop, altre
NGO
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
CRITERIO DI
VALUTAZIONE
IMPATTO
L'effetto del
programma
sull'ambiente e in
generale il suo
contributo all'obiettivo
generale
DOMANDE PER LA VALUTAZIONE1
In che misura il progetto ha favorito l’attuazione degli accordi di
Ohrid in termini di valorizzazione patrimonio culturale,
decentramento amministrativo e integrazione delle minoranze?
In che misura i risultati ottenuti possono essere attribuiti
all'intervento di IMG piuttosto che a fattori esogeni?
I partners hanno partecipato nelle varie fasi del progetto (design,
programmazione, implementazione, valutazione)
-
-
-
CRITERI DI GIUDIZIO
-
-
-
Capacità di Incidere sulle
Politiche e Strategie
Nazionali
Livello di valorizzazione del
Patrimonio Culturale,
sviluppo del decentramento
e integrazione delle
minoranze
Capacità di Incidere sulle
condizioni socioeconomiche delle
popolazioni
Livello di partecipazione dei Partners a tutte le fasi del
Progetto.
SPECIFICI PER I TRAININGS
- Capacità dei partecipanti e
degli istituti di appartenenza di
creare nuove opportunità
professionali e di favorire
l’ambiente circostante.
Allegato 3 – Matrice di valutazione
INDICATORI
- Stakeholders a livello
municipale – autorità municipali,
addetti nei settori della cultura e
dell'educazione
FONTE DEI DATI
DATI
decentramento amministrativo
Aumento degli sbocchi
professionali e occupazionali
per le minoranze
- Rapporti finanziari intermedi e
finali
- Monitoraggi e/o valutazioni
- Ministero degli Affari Esteri
Italiano e Ambasciata d'Italia a
Skopje
- Staff di IMG HQ & Macedonia
- Stakeholders a livello Paese –
ministeri macedoni rilevanti,
Visite in loco, interviste e
istituzioni nazionali nei settori
focus groups.
della cultura e dell'educazione,
Ambasciata d'Italia, altri donatori,
UNESCO, partecipanti a
formazioni e workshop, altre
NGO
- Stakeholders a livello
municipale – autorità municipali,
addetti nei settori della cultura e
dell'educazione
METODO DI RACCOLTA
Incremento del livello di
ownership delle istituzioni
partner (Ministero della
Cultura, Ministero per il
decentramento Amministrativo,
Ministero dell’Educazione).
Aumento delle attività
produttive e dei servizi nelle
zone oggetto degli interventi
per effetto dell’incremento dei
turisti
Aumento delle potenzialità
produttive e dei servizi nelle
zone oggetto degli interventi
per effetto dello sviluppo del
decentramento amministrativo
Aumento degli sbocchi
professionali e occupazionali
per le minoranze
Livello 4 modello di Kirkpatrick
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
RISULTATI ATTESI
ATTIVITÀ DA QL E PROGETTO INIZIALE
Riabilitazioni strutturali del museo di Skopje (A "h" QL)
ATTIVITA' NON IDENTIFICATE
RISULTATO NON IDENTIFICATO
1.1 Miglioramento delle capacità di
restauro di opere d'arte contemporanea e
manufatti archeologici (R3 QL)
Attività di valorizzazione dei siti archeologici selezionati (A
f QL)
Allegato 4 – Quadro Logico rivisto
ATTIVITÀ RICOSTRUITE DAL RAPPORTO FINALE
- Riabilitazione Museo d'Arte Contemporanea (Budget C)
1. Lavori di riabilitazione
2. Preparazione ufficio UNESCO
3. Progettazione, disegno e supervisione lavori
1.1.1 Formazione (Budget D)
1.Seminario Internazionale sulla conservazione dei mosaici
2. Workshop internazionale sulla conservazione e gestione
del patrimonio culturale macedone
3. Seminario internazionale sulle tecniche di conservazione
dei mosaici
- Protezione e valorizzazione di tre siti archeologici (SCUPI,
STOBI AND HERACLEA) (Budget D)
1. Progettazione, disegno e supervisione lavori
2. Implementazione di massimo 3 progetti archeologici
2.1 STOBI: riabilitazione 5 baracche, illuminazione, recinzione
perimetro, camminamenti, pannelli informativi, GIS Database,
digitalizzazione del patrimonio culturale (creazione software) e
analisi laser
2.2 SCUPI: recinzione perimetro, illuminazione,, Video Monitoring,
camminamenti, preparazione del terreno per gli scavi, pannelli
informativi
2.3 HERACLEA: Adattamento del' Eastern Theatre Room,
recinzione perimetro, illuminazione, pannelli informativi, video
monitoring.
3. Pubblicazioni
3.1 Guides su Scupi, Stobi e Heraclea
3.2 Monografie:
Heraclea - an Ancient City. Ivan Mikulcic (Magor - Skopje)
Heraclea Lyncestis - The path of Heraclea Lyncestis through the
time (Anica Gjorgievska. Municipality of Bitola)
Ancient town of Bregalnica (Ivan Mikulcic. Magor - Skopje)
2.1.1 Centro Multimediale Italo Macedone (MIMEC) (Budget B)
1 Costruzione del MIMEC presso l'Università Ss. Cirillo e Metodio
2 Progettazione, disegno e supervisione lavori
3 Acquisto arredi (arredamento e aria condizionata) ed
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
Progettazione e realizzazione del Centro multimediale, e
suo equipaggiamento con il materiale necessario a
consentirne l'utilizzo effettivo (Al QL)
RISULTATO NON IDENTIFICATO
2) Il rafforzamento di legami di
2.1 Creazione di un centro multimediale
cooperazione con l'Italia e con gli
presso la facoltà di filologia dell'Università
Organismi locali operanti nei
dei SS. Cirillo e Metodio (Skopie) (R8 QL)
settori dei beni culturali e
1) Favorire il recupero, anche in
termini di una loro valorizzazione
economica e turistica, di alcune
delle risorse storiche, artistiche e
culturali più significative del
Paese, in una prospettiva di
sviluppo sostenibile del territorio
che proceda a riqualificare e
rendere maggiormente fruibili i
siti di interesse turistico e i
capolavori a rischio di degrado.
OBIETTIVI SPECIFICI
Allegato 4 – Quadro Logico rivisto
GENERALE
OBIETTIVO
Favorire la completa attuazione degli accordi di Ohrid, con particolare riferimento al processo di decentramento
amministrativo nei settori dei beni culturali e dell'educazione, alla protezione e valorizzazione del Patrimonio
culturale e all'integrazione delle minoranza
GENERALE
OBIETTIVO
OBIETTIVI SPECIFICI
RISULTATI ATTESI
ATTIVITÀ DA QL E PROGETTO INIZIALE
Allegato 4 – Quadro Logico rivisto
ATTIVITÀ RICOSTRUITE DAL RAPPORTO FINALE
ATTIVITA' NON IDENTIFICATE
equipaggiamento multimediale (Computer, network)
ATTIVITA' NON IDENTIFICATE
ATTIVITA' NON IDENTIFICATE
3.1.5a Workshop internazionale: Tourism Culture and Education.
From theory to practice
3.1.5b Round table Culture in Tourism - Tourism in Culture
ATTIVITA' NON IDENTIFICATE
3.1.3 Workshop internazionale sulla gestione e conservazione del
patrimonio culturale macedone, siti archeologici e musei
3.1.1a Training e assistenza tecnica al MoCA e traduzione
manuale sicurezza nei musei
3.1.1b Miglioramento del MaMu: studio del Museo, studio area
espositiva, organizzazione esposizioni, Master classes per gli
studenti della facoltà di architettura e per i curatori del museo,
finalizzate alla creazione di un progetto preliminare per il MAMU
master plan
3.1.2 Seminario internazionale sul Bilinguismo
nell'Amministrazione Pubblica Macedone - L'esperienza del NordEst italiano
Pubblicazione dizionario termini amministrativi macedone-albanese
ATTIVITA' NON IDENTIFICATE
3.1.1 Assistenza tecnica in favore delle istituzioni locali
(assistenza alle istituzioni interessate dagli interventi
strutturali (A b QL)
3.1.3 Progettazione e realizzazione di work shop, tavole
rotonde, corsi specifici nel settore mussale e del restauro
(A d QL)
3.1.4 Progettazione e realizzazione di workshop, tavole
rotonde, corsi specifici nel settore dell'economia dei Beni
Culturali (A e QL)
3.1.2 Progettazione e realizzazione di attività formative e
3.1 Miglioramento delle capacità gestionali di assistenza per il decentramento delle istituzioni culturali
delle istituzioni culturali centrali e locali (R1 (A c QL)
QL)
dell'educazione professionale
stabilendo collaborazioni
tecniche che coinvolgano con
regolarità Centri di Eccellenza
presenti nel nostro Paese per
2.2 Incremento dell'offerta formativa nel
dare luogo a opportuni
campo del restauro dei beni culturali e
programmi di scambio e
dell'Economia dei Beni culturali (R2 QL)
formazione rivolti alla controparte 2.3 Attivati rapporti di partenariato fra
macedone
soggetti pubblici e/o privati macedoni e
italiani, nei settori oggetto dell'intervento
(R11 QL)
3) Il sostegno ed il trasferimento
di Know how alle istituzioni locali
interessate ai fini di rendere
sostenibile nel tempo
l'assunzione di responsabilità e
competenze da parte macedone
nei settori oggetto dell'intervento
italiano, con particolare riguardo
al reperimento e
all'ottimizzazione delle risorse
indispensabili per la conduzione
delle attività di pertinenza e alla
promozione di queste ultime
concordemente agli obiettivi
sottostanti agli impegni di Ohrid
3.1.5 Progettazione e realizzazione di work shop, tavole
rotonde, corsi specifici in campo turistico (A i QL)
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
GENERALE
OBIETTIVO
OBIETTIVI SPECIFICI
4) Contribuire al rafforzamento
dell'integrazione fra le diverse
componenti etniche della
Macedonia, facilitando l'accesso
all'educazione superiore per la
minoranza albanese e
sostenendo la diffusione di
conoscenze funzionali allo
sviluppo socio-economico del
Paese (con particolare riguardo
al settore agroalimentare).
RISULTATI ATTESI
3.2 Avvio di politica turistica, governativa e
locale, come strumento in grado di
assicurare programmazione e opportunità
economica ai comparti culturali e
naturalistici (R6 QL)
3.3 Aumento dei finanziamenti e della
partecipazione di soggetti privati alle
attività culturali (R4 QL)
3.4 Creazione di connessione fra attori
pubblici e privati operanti in campo turistico
(R7 QL)
ATTIVITÀ DA QL E PROGETTO INIZIALE
ATTIVITA' NON IDENTIFICATE
Atttivazione tavoli comuni tra Min Cultura e dip Turismo (A
a QL)
ATTIVITA' NON IDENTIFICATE
ATTIVITA' NON IDENTIFICATE
4.1 Alloggiamento del Politecnico di Tetovo Riabiltazione dell'edificio adibito ad ospitare il Politecnico
presso una nuova struttura appositamente di Tetovo, e suo equipaggiamento con il materiale
riablitata (R9 QL)
necessario a consentirne l'utilizzo effettivo (Am QL)
4.2 Revisione dell'offerta formativa
Politecnico - dipartimento di biotecnologie,
e suo adeguamento alle esigenze del
settore agroalimentare (R10 QL)
Valutazione e revisione del curriculum attualmente in uso
presso il dipartimento di biotecnologie del Politecnico di
Tetovo (An QL)
Istituzione di un ufficio placement presso il Politecnico di
Tetovo, e formazione del personale dell'ufficio (Ao QL)
Formazione del personale del Politecnico in merito alla
partecipazione a progetti di cooperazione internuversitaria
europei (Ap QL)
Esecuzione di uno studio di fattibilità per l'avvio di attività
extra-curriculari a pagamento da parte del politecnico (Aq
QL)
Identificazione di opportunià di formazione e/o
specializzazione del corpo docente del Politecnico presso
istituti italiani, e finanziamento delle relative borse di
studio (Ar QL)
Allegato 4 – Quadro Logico rivisto
ATTIVITÀ RICOSTRUITE DAL RAPPORTO FINALE
3.2.1.Grants for culture projects (Budget E)
1. Sveti Nikole: educational equipment; video surveillance
2. Berovo: promotion of culture (Eastern Event)
3 Kochani: establishment "Centre for valorization"
4 Negotino: establishment "Wine Museum"
5 Strumica: cultural exchange with Piacenza
6 Chair: musical instrument to Albanian Folk dance
7 Tearce: urban planning of resort and Info Centre
8 Tetovo: Billboards and sign-posts for Popova Shapka
ATTIVITA' NON IDENTIFICATE
Re-Discovery the Route of Culture 1a edzione
Re-Discovery the Route of Culture 2a edizione
ATTIVITA' NON IDENTIFICATE
4.1.1 Costruzione e dotazione del Laboratorio di Biotecnologie,
State University Tetovo (Budget A)
1. Costruzione del laboratorio
2. Acquisto di arredamento e equipaggiamento multimediale
3. Acquisto attrezzature per il laboratorio
4. Progettazione, disegno e supervisione lavori
ATTIVITA' NON IDENTIFICATE
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
GENERALE
OBIETTIVO
OBIETTIVI SPECIFICI
5) Sarà infine cura del progetto
ampliare l'orizzonte delle
collaborazioni tra i vari soggetti
istituzionali e culturali/formativi
presenti in Macedonia per
consentirne l'aggiornamento
internazionale e l'accesso alle
tecniche settoriali e gestionali più
moderne disponibili. Così come
verrà in ogni modo promossa la
condivisione tra gli operatori
culturali dei risultati conseguiti e
delle tipologie di problemi
affrontati localmente nello
svolgimento dei programmi
omologhi con la creazione di un
network informatico e di un primo
nucleo di banca dati cui
accedere. ATTIVITA' UNESCO
RISULTATI ATTESI
4.3 Migliorati i livelli di qualità e sicurezza
della produzione agroalimentare
macedone connessa alle attività del
Politecnico di Tetovo (R12 QL)
5.1 Organizzare il centro di catalogazione
digitale del Patrimonio Culturale (R5 QL)
5.2 Rafforzare le capacità degli esperti e
dei tecnici locali nel settore della
digitalizzazione del Patrimonio culturale
(non dettagliato nel QL)
5.3 Costituire un Gruppo di
Rappresentanti nazionali degli Stati del
Sud-Est europeo nell'ambito della
digitalizzazione del Patrimonio culturale
(non dettagliato nel QL)
ATTIVITÀ DA QL E PROGETTO INIZIALE
Definizione di brevi attività didattiche da inserire all'interno
dei diversi insegnamenti del Politecnico, e loro
realizzazione da parte di docenti italiani (As QL)
ATTIVITA' NON IDENTIFICATE
Attività di catalogazione del patrimonio culturale e
coinvolgimento istituzioni dei paesi della regione (A g QL)
Allegato 4 – Quadro Logico rivisto
ATTIVITÀ RICOSTRUITE DAL RAPPORTO FINALE
ATTIVITA' NON IDENTIFICATE
5.1.1 Valutazione dello stato dell'arte in materia di digitalizzazione
del patrimonio culturale
5.1.2 Selezione del materiale da digitalizzare
5.1.3 Preparativi per la digitalizzazione: dotazione o posta in opera
strumentazione tecnica necessaria
5.1.4 Esecuzione del progesso di digitalizzazione, conservazione
dei file e trattamento delle immagini
5.1.5 Pubblicazione on line e promozione
5.1.6 Organizzazione di una conferenza
5.2.1 Selezione del personale docente
5.2.2 Selezione dei partecipanti
5.2.3 Preparazione del materiale d'insegnamento e organizzazione
logistica dei corsi
5.2.4 Realizzazione dei corsi
5.2.5 Predisposizione della piattaforma per la formazione a
distanza
5.3.1 Organizzazione di conferenze, meeting e realizzazione di
pubblicazioni
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
Allegato 5 – Budget di progetto
Allegato 5 – Budget di progetto
Riabilitazione dell'edificio
!70.000,00
!50.000,00
!142.000,00
!90.000,00
!28.000,00
!132.000,00
!30.000,00
!100.000,00
!261.000,00
!370.000,00
!58.000,00
!38.000,00
!141.000,00
!33.000,00
!100.000,00
!26.000,00
!61.000,00
!261.000,00
!338.000,00
!35.000,00
!38.000,00
!142.000,00
!33.000,00
!90.000,00
!25.100,00
!60.600,00
!261.600,00
!327.000,00
!12.700,00
!49.300,00
!142.000,00
!33.000,00
!90.000,00
BUDGET TOTALE
Arredi scolastici
!90.000,00
!380.000,00
!74.000,00
REPORT FINALE 50M
Laboratorio Biotecnologie
!48.000,00
!254.000,00
!26.000,00
43 MESI
Training e assistenza tecnica per formazione e preparazione curricula
!400.000,00
!74.000,00
BUDGET TOTALE
Progettazione, direzione lavori e Coordinamento attività di training
!160.000,00
!27.000,00
!131.500,00
36 MESI
Subtotale A
!130.000,00
!93.900,00
!478.800,00
BUDGET TOTALE
Costruzione e riabilitazione dell'edificio
!128.000,00
!95.000,00
!441.900,00
!327.200,00
24 MESI
Fornitura ed installazione equipment e arredi
!128.000,00
!456.000,00
!326,500.00
!50.800,00
BUDGET TOTALE
Training e assistenza tecnica
!82.000,00
!483.000,00
!326.500,00
!50,700.00
BUDGET TOTALE
Progettazione, direzione lavori e Coordinamento attività di training
!500.000,00
!326.500,00
!50.700,00
!22.000,00
!101.000,00
PROPOSTA ORIGINALE
VARIAZIONI BUDGET DI PROGETTO A SEGUITO DELLE ESTENSIONI NON ONEROSE
DESCRIZIONE
Subtotale B
!340.000,00
!50.700,00
!22.000,00
!112,700.00
A) Istituto di Biotecnologie e Nutrizione - Università di Tetovo
Lavori di riabilitazione
!50.000,00
!30.000,00
!108.000,00
C) Museo d'Arte Contemporanea - Skopje
B) Centro Multimediale - Università Sts Cirillus et Methodius
UNESCO ROSTE Allestimento ufficio
!57.000,00
!501.000,00
!128.000,00
!511,900.00
!82.000,00
!515.200,00
!128.000,00
!562.200,00
Training a assistenza al MAC di Skopje
!600.000,00
Progettazione, direzione lavori e Coordinamento attività di training
Subtotale C
D) Sviluppo e protezione di 3 siti archeologici
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
Allegato 5 – Budget di progetto
!404.000,00
!51.000,00
!401.000,00
!52.600,00
BUDGET TOTALE
!58.000,00
BUDGET TOTALE
!420.000,00
BUDGET TOTALE
!60.000,00
!58.500,00
BUDGET TOTALE
!423.000,00
!512.100,00
BUDGET TOTALE
!60.000,00
!61.000,00
!208.576,00
REPORT FINALE 50M
!423.000,00
!50.000,00
!516.000,00
!80.600,00
43 MESI
Training per archeologia
!45.023,00
!528.000,00
!223.000,00
!20.878,00
36 MESI
Implementazione e sviluppo fino a 3 siti
!57.000,00
!528.023,00
!210.000,00
!65.000,00
!310.054,00
24 MESI
Progettazione, direzione lavori e Coordinamento attività di training
!540.000,00
!210.000,00
!72.000,00
!39.000,00
PROPOSTA ORIGINALE
Subtotale D
!210.000,00
!72.000,00
!327.000,00
DESCRIZIONE
Grants
!72.000,00
!13.760,00
E) Grants per Istituzioni Culturali in via di decentralizzazione
Workshop per management di istituzioni culturali
!295.760,00
!16.000,00
!8.000,00
!16.000,00
!290.000,00
!16.000,00
!8.000,00
!16.000,00
!290.000,00
!16.000,00
Progettazione, direzione lavori e Coordinamento attività di training
Subtotale E
F) UNESCO - Centro per la digitalizzazione del Patrimonio Culturale
Missioni relative all'implementazione del progetto
!60.000,00
!60.000,00
!30.000,00
!18.000,00
!60.000,00
!60.000,00
!30.000,00
!18.000,00
!60.000,00
!60.000,00
!30.000,00
!18.000,00
!60.000,00
!60.000,00
!18.000,00
!60.000,00
!40.000,00
!-
!18.000,00
Assistenza ai lavori, collaudi e implementazione banca dati
Attrezzature informatiche (8postazioni + software)
!30.000,00
Segreteria
Organizzazione di conferenze
Borse di studio
Materiali stampati
Sito Internet
!38.000,00
!18.000,00
!30.000,00
!30.000,00
!10.000,00
!20.000,00
!330.000,00
!38.000,00
!18.000,00
!30.000,00
!30.000,00
!10.000,00
!20.000,00
!330.000,00
!38.000,00
!18.000,00
!30.000,00
!30.000,00
!10.000,00
!20.000,00
!330.000,00
!38.000,00
!18.000,00
!30.000,00
!30.000,00
!10.000,00
!20.000,00
!330.000,00
!38.000,00
!18.000,00
140.000,00
Spese generali UNESCO (13%)
!330.000,00
Corsi di formazione
Costi operativi
Consulenze
!
Subtotale F
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
BUDGET TOTALE
24 MESI
BUDGET TOTALE
!2.494.960,00
36 MESI
BUDGET TOTALE
!99.000,00
!2.464.800,00
43 MESI
BUDGET TOTALE
!33.000,00
!99.000,00
!2.458.954,00
REPORT FINALE 50M
BUDGET TOTALE
Allegato 5 – Budget di progetto
PROPOSTA ORIGINALE
!2.573.223,00
!99.000,00
!33.000,00
DESCRIZIONE
!2.660.000,00
!94.500,00
!-
!33.000,00
Totale A+B+C+D+E+D
!81.000,00
!-
!31.500,00
Salari
G) Management del programma
Esperto - Direttore PIE
!-
!27.000,00
Field monitor - Ingegnere locale
Team leader - Ingegnere locale
Viaggi aerei
!6.000,00
!23.400,00
!29.700,00
!14.850,00
!2.100,00
!222.800,00
!600,00
!31.200,00
!39.600,00
!19.800,00
!5.600,00
!259.000,00
!600,00
!41.600,00
!49.500,00
!29.700,00
!5.600,00
!272.450,00
!600,00
!46.800,00
!49.500,00
!37.950,00
!5.600,00
!273.400,00
!600,00
!49.400,00
!49.500,00
!36.300,00
!5.600,00
!-
Rimborso spese in loco esperto
Staff locale di supporto (segreteria / amministrazione)
!184.050,00
Per diem esperto
Per diem personale locale
Subtotale - salari
Telephone - fax - email
Costi di mantenimento Ufficio
Affitto uffici
!27.000,00
!18.000,00
!9.900,00
!27.000,00
!36.000,00
!24.000,00
!13.200,00
!36.000,00
!7.500,00
!19.500,00
!45.000,00
!30.000,00
!16.500,00
!40.500,00
!8.500,00
!19.500,00
!46.500,00
!33.000,00
!18.150,00
!46.500,00
!8.500,00
!21.000,00
!46.500,00
!33.000,00
!18,150,00
!49.500,00
Costi diretti
Affitto automezzi nr.2 a 1/2 tempo
!6.000,00
!18.600,00
!18.000,00
!18.600,00
!4.500,00
!18.000,00
!3.000,00
!31.000,00
!13.500,00
!14.400,00
!3.000,00
!31.000,00
Affitto di workstation (computer, stampante, scanner, cell, etc.)
!10.800,00
!3.000,00
!30.000,00
Assicurazioni
Costi di mantenimento autovetture
!3.000,00
!229.250,00
!24.000,00
!224.750,00
!2.000,00
!210.000,00
!18.000,00
!174.600,00
Cancelleria, carta stampante, toner etc.
!130.700,00
Brochure, stampe, corrieri, posta etc.
Subtotale costi diretti
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
BUDGET TOTALE
Allegato 5 – Budget di progetto
BUDGET TOTALE
!2.000,00
BUDGET TOTALE
!2.000,00
!1.000,00
BUDGET TOTALE
!2.000,00
!1.000,00
!3.000,00
BUDGET TOTALE
!2.000,00
!1.000,00
!3.000,00
!505.650,00
REPORT FINALE 50M
!2.000,00
!1.000,00
!3.000,00
!500.200,00
!35.396,00
43 MESI
Iniziative di visibilità del programma
!1.000,00
!3.000,00
!472.000,00
!35.000,00
!541.046,00
36 MESI
Altri costi (spese bancarie e di cambio)
!3.000,00
!400.400,00
!33.040,00
!535.200,00
!3.000.000,00
24 MESI
Subtotale - Varie
!317.750,00
!26.377,00
!505.040,00
!3.000.000,00
PROPOSTA ORIGINALE
Subtotale G
!22.250,00
!426.777,00
!3.000.000,00
DESCRIZIONE
H) Costi amministrativi IMG @ appross. 7% costi diretti
!340.000,00
!3.000.000,00
Varie
Totale G+H
!3.000.000,00
Totale programma (A+B+C+D+E+F+G+H)
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
Allegato 6 – Riepilogo costi
RIEPILOGO COSTI RENDICONTATI
DESCRIZIONE
Allegato 6 – Riepilogo costi
!89.822,85
!33.108,70
!142.025,34
!49.238,47
!6.955,70
!321.151,06
SPESO AL
31/12/2010
!89.822,85
!33.071,15
!142.015,68
!49.238,47
!12.705,70
!326.853,85
!261.602,59
!60.636,66
!25.110,31
!131.454,22
!478.803,78
SPESO AL
31/12/2009
!89.815,47
!33.038,44
!141.875,15
!40.126,22
!49.755,34
!354.610,62
!261.602,59
!60.636,66
!25.110,31
!131.454,22
!478.803,78
!327.126,72
!50.833,54
!95.742,06
!21.977,68
!495.680,00
SPESO AL
31/12/2008
!261.564,47
!60.613,03
!24.686,89
!76.047,97
!422.912,36
!327.126,72
!50.735,80
!101.087,00
!22.075,42
!501.024,94
!52.646,26
!401.418,26
!58.562,44
!512.626,96
SPESO AL
31/10/2007
!261.675,88
!327.126,73
!50.833,54
!21.977,68
!79.088,92
!479.026,87
!52.646,26
!401.407,52
!58.562,44
!512.616,22
!1.500,00
B) Centro Multimediale - Università Sts Cirillus et Methodius
Costruzione e riabilitazione dell'edificio
Fornitura ed installazione equipment e arredi
Training e assistenza tecnica
Progettazione, direzione lavori e Coordinamento attività di training
Subtotale B
!280.764,68
!50.612,76
!21.981,57
!37.700,00
!391.059,01
!52.645,44
!397.452,41
!58.452,20
!508.550,05
!16.920,10
!244.755,78
!1.500,00
C) Museo d'Arte Contemporanea - Skopje
Lavori di riabilitazione
UNESCO ROSTE Allestimento ufficio
Training a assistenza al MAC di Skopje
Progettazione, direzione lavori e Coordinamento attività di training
Subtotale C
!2.735,73
!762,05
!3.497,78
A) Istituto di Biotecnologie e Nutrizione - Università di Tetovo
Riabilitazione dell'edificio
Arredi scolastici
Laboratorio Biotecnologie
Training e assistenza tecnica per formazione e preparazione curricula
Progettazione, direzione lavori e Coordinamento attività di training
Subtotale A
D) Sviluppo e protezione di 3 siti archeologici
Training per archeologia
Implementazione e sviluppo fino a 3 siti
Progettazione, direzione lavori e Coordinamento attività di training
Subtotale D
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
DESCRIZIONE
E) Grants per Istituzioni Culturali in via di decentralizzazione
Grants
Workshop per management di istituzioni culturali
Progettazione, direzione lavori e Coordinamento attività di training
Subtotale E
SPESO AL
31/12/2010
Allegato 6 – Riepilogo costi
SPESO AL
31/12/2009
!194.276,73
!80.622,08
!46.041,08
!320.939,89
SPESO AL
31/12/2008
!178.268,53
!80.622,08
!15.876,13
!274.766,74
!40,51
!28.612,61
!248.709,58
SPESO AL
31/10/2007
!144.865,86
!32.833,85
!15.598,55
!193.298,26
!10.968,06
!37.717,47
!53.290,46
!17.304,62
!40,51
!11.129,22
!96.738,64
!2.377.911,27
100.775,86
!4.036,07
!18.628,04
!55.852,22
!
!40,51
!10.028,55
!82.171,24
!2.190.804,17
!95.400,00
!31.800,00
!3.666,02
!18.661,50
!53.354,40
!63.941,80
!8.925,49
7.052,58
!4.036,07
!10.161,31
!55.852,22
!
!-
!2.040.569,40
!90.900,00
!30.300,00
!3.666,02
!18.661,50
!49.443,90
!58.442,80
!8.317,96
2.052,58
!657.732,67
!80.730,00
!26.910,00
!3.164,02
!18.661,50
!42.438,00
!47.073,00
!6.240,64
!
Totale A+B+C+D+E+D
!64.063,64
!19.275,00
!2.299,62
!9.247,50
!12.427,50
!11.445,91
!149,32
F) UNESCO - Centro per la digitalizzazione del Patrimonio Culturale
Missioni relative all'implementazione del progetto
Assistenza ai lavori, collaudi e implementazione banca dati
Attrezzature informatiche (8postazioni + software)
Costi operativi
Corsi di formazione
Sito Internet
Materiali stampati
Borse di studio
Organizzazione di conferenze
Segreteria
Spese generali UNESCO (13%)
Subtotale F
G) Management del programma
Salari
Esperto - Direttore PIE
Rimborso spese in loco esperto
Viaggi aerei
Team leader - Ingegnere locale
Field monitor - Ingegnere locale
Staff locale di supporto (segreteria / amministrazione)
Per diem personale locale
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
Allegato 6 – Riepilogo costi
Costi diretti
Affitto uffici
Costi di mantenimento Ufficio
Telephone - fax - email
Affitto automezzi nr.2 a 1/2 tempo
Affitto di workstation (computer, stampante, scanner, cell, etc,)
Assicurazioni
Costi di mantenimento autovetture
Cancelleria, carta stampante, toner etc.
Brochure, stampe, corrieri, posta etc.
Subtotale costi diretti
Subtotale - salari
!1.847,36
!1.022,13
!2.869,49
!9.719,71
!3.205,73
!11.028,85
!18.000,00
!8.853,69
!2.553,12
!6.142,48
!7.270,03
!1.319,91
!68.093,52
!118.908,49
!395.792,79
!1.968,13
!810,18
!2.778,31
!23.697,60
!7.288,37
!30.569,55
!39.000,00
!18.000,00
!5.997,67
!16.134,57
!23.964,24
!3.145,32
!167.797,32
!225.217,16
!33.039,88
!471.998,26
!2.152,49
!810,18
!2.962,67
!34.457,64
!13.297,70
!38.210,39
!45.000,00
!19.500,00
!7.890,14
!17.991,98
!29.459,39
!3.496,17
!209.303,41
!259.732,18
!541.046,00
!35.396,00
!509.934,11
!2.170,92
!810,18
!2.981,10
!43.482,71
!16.089,37
!44.106,71
!45.000,00
!19.500,00
!8.645,33
!18.482,82
!32.325,43
!3.571,43
!231.203,80
!275.749,21
SPESO AL
31/12/2010
Varie
Iniziative di visibilità del programma
Altri costi (spese bancarie e di cambio)
Subtotale - Varie
!189.871,50
!13.291,00
!505.038,14
!2.918.957,27
SPESO AL
31/12/2009
Subtotale G
!13.291,00
!409.083,79
!2.695.842,31
SPESO AL
31/12/2008
H) Costi amministrativi IMG @ appross. 7% costi diretti
!203.162,50
!2.449.653,19
SPESO AL
31/10/2007
Totale G+H
!860.895,17
DESCRIZIONE
Totale programma (A+B+C+D+E+F+G+H)
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
11
2006
12
1
2
3
4
5
6
7
8
9
10
11
12
1
2
3
4
5
6
7
2008
8
9
10
11
12
1
2
3
Cronogramma attuale delle attività - report finale dicembre 2010
2007
Allegato 7 – Cronogramma attività
UNIVERSITA' DI TETOVO
Preparazione progetto esecutivo
Preparazione documentazione di gara d'appalto
Valutazione gara, preparazione e firma contratto
Esecuzione lavori (inclusi arredo e attrezzature)
Finalizzazione e consegna lavori, collaudi e rap. finale
Assistenza tecnica e formazione
MULTIMEDIA CENTER UNIVERSITA' SKOPJE
Preparazione progetto esecutivo
Preparazione documentazione di gara d'appalto
Valutazione gara, preparazione e firma contratto
Esecuzione lavori (inclusi arredo e attrezzature)
Finalizzazione e consegna lavori, collaudi e rap. finale
Assistenza tecnica e formazione
MUSEO ARTE CONTEMPORANEA
Preparazione progetto esecutivo
Preparazione documentazione di gara d'appalto
Valutazione gara, preparazione e firma contratto
Esecuzione lavori (inclusi arredo e attrezzature)
Finalizzazione e consegna lavori, collaudi e rap. finale
Assistenza tecnica e formazione
UNESCO
Preparazione UNESCO Office in MCA
Attività di UNESCO
SITI ARCHEOLOGICI
Preparazione e sviluppo siti archeologici (As.tecnica)
Sviluppo siti archeologici
Formazione
GRANTS A ISTITUZIONI CUTURALI DECENTRALIZZATE
Preparazione progetti esecutivi
Esecuzione progetti
Training e assistenza tecnica (+ route of culture)
LEGENDA
Cronogramma aggiornato delle attività - Inception report del febbraio 2007
4
5
6
7
2009
8
9
10
12
1
2
3
4
5
6
7
2010
8
9
10
11
12
Allegato 7 – Cronogramma attività
11
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
1
11
12
2006
17
1
2
3
5
7
2007
6
22
8
9
10
11
12
1
2
1
3
10
4
30
5
7
2008
6
8
Presentazione richiesta estensione non onerosa
4
Allegato 8 – Cronogramma estensioni
Avvio Attività
Firma accordo con UNESCO
Avvio attività UNESCO (in seguito all’invio fondi)
Termine originale attività
1a richiesta estensione 6 mesi
Approvazione 1a richiesta estensione
Nuovo termine attività
2a richiesta estensione attività 12 mesi
Approvazione 2a richiesta estensione
Nuovo termine attività
3a richiesta estensione attività per 12 mesi UNESCO
Approvazione 3a richiesta estensione attività UNESCO
Nuovo termine attività per UNESCO
4a richiesta estensione attività fino a giugno 2010 IMG
Comunicazione mancata concessione estensione
Approvazione richiesta estensione non onerosa
LEGENDA
9
10
28
11
30
12
12
1
2
3
4
5
6
7
2009
8
10
11
2
31
12
1
9
2
3
4
5
21
6
7
2010
8
9
10
11
Allegato 8 – Cronogramma estensioni
9
27
Estensione fine attività
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
12
31
Allegato 9 – Elenco delle persone contattate
5
4
3
2
1
#
Dauti
Blazevska
Bicciato
Bayram
Apostolova
Ameti
COGNOME
Claudia
Daut
Silvana
Dino
Gazanfer
Viktoria
Burim
Municipalità di Kocani
IMG
NGO Toleranza
Istituto Nazionale di Stobi
IMG
Accademia macedone delle
Arti
Ufficio per la Protezione del
Patrimonio Culturale
Ufficio per la Protezione del
Patrimonio Culturale
Mosaicista
Sindaco
Project Manager
Direttore
Direttrice Esecutiva
Direttore Generale
Mosaicista
Capo della Sezione per la
Registrazione, Documentazione
e Informatizzazione
Information Technology
Manager
POSIZIONE
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
EMAIL
+389 75 298 848
+389 33 274 001
+381 (11) 3118 782
+389 75 223 255
+389 43 251 026
+381 (11) 3118 782
+389 2 3235 400
+389 2 3289 759
+389 2 3289 759
TELEFONO
Allegato 9 – Elenco delle persone contattate
6
De’ Besi
Radko
Istituto e Museo Nazionale di
Bitola - Heraclea
IN ORDINE ALFABETICO
7
Dimistrovski
Gjorji
ISTITUZIONE
8
Dimovski
NOME
9
Valutazione ex-post del Programma “Pilot Activities For Education and Culture”
14
13
12
11
10
#
Kondijanova
Karai
Jovanova
Josifovski
Hristova
Georgievska
COGNOME
Sasha
Ljubica
Argjent
Lence
Pero
Liliana
Anica
Ambasciata d’Italia a Skopje
Ufficio per la Protezione del
Patrimonio Culturale
Museo della Città di Skopje
IMG
Museum of the City of Skopje
- Scupi
Museo di Macedonia
Istituto e Museo Nazionale di
Bitola - Heraclea
Istituto e Museo Nazionale di
Bitola - Heraclea
Mosaicista
Addetto culturale
Database Administrator
Direttrice
Project Manager
Capo Archeologa
Direttore
Direttrice Esecutiva
Archeologa
[email protected]
[email protected]
[email protected]
[email protected]
--
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
+389 71 226 613
+389 70 309 369
+389 75 298 700
+389 70 304 199
+389 2 3289 759
+389 2 3114 742
+381 38 775 776
+389 2 3113 609
+389 2 3116 044
+389 47 233 187
+389 47 233 187
Allegato 9 – Elenco delle persone contattate
15
Krstevski
Alessandra
Istituto e Museo Nazionale di
Bitola - Heraclea
Direttore del Settore per la
Pianificazione e lo Sviluppo
[email protected]
TELEFONO
16
Ksenija Jelen
Olivera
Municipalità di Kocani
Dipartimento per l’Integrazione
Europea
EMAIL
17
Makrievska
Zoran
Ministero per il
Decentramento
Amministrativo
POSIZIONE
18
Manasiev
Mjellma
ISTITUZIONE
19
Mehmeti
Petersen
NOME
20
Valutazione ex-post del Programma “Pilot Activities For Education and Culture”
25
24
23
22
21
#
Perovski
Pavlov
Nikolovski
Nikolovski
Nikodinovska
Nash
COGNOME
Alberto
Gorgi
Zoran
Toni
Zoran
Radica
Engin
Università Statale di Tetovo
--
Municipalità di Berovo
Ufficio per la Protezione del
Patrimonio Culturale
Istituto e Museo Nazionale di
Bitola - Heraclea
Ministero dell’Economia
Università Ss. Cirillo e
Metodio
Istituto e Museo Nazionale di
Bitola - Heraclea
Acting Manager
Preside della Facoltà di
Tecnologie Alimentari
--
Dipartimento per lo sviluppo e la
cooperazione internazionale
Capo Dipartimento per la
Documentazione
Mosaicista
Capo Dipartimento per il
Turismo
Capo Dipartimento di
Italianistica
Archeologo
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
+39 041 2601 535
+389 70 370 555
+389 43 251 026
+389 72 275 752
--
+389 71 302 604
+389 2 3289 796
+389 75 298 830
+389 2 3093 540
+389 2 3240 491
+389 47 233 187
Allegato 9 – Elenco delle persone contattate
26
Pogorelz
Hazir
Istituto Nazionale di Stobi
Capo Dipartimento per lo
Sviluppo
[email protected]
TELEFONO
27
Pollozhani
Jovan
Municipalità di Negotino
Program Officer
EMAIL
28
Radnianski
Lolita
UNESCO BRESCE
POSIZIONE
29
Ristova
Matteo
ISTITUZIONE
30
Rosati
NOME
31
Valutazione ex-post del Programma “Pilot Activities For Education and Culture”
32
#
Schulevska
Sarzoska
COGNOME
Tomislav
Eliza
Aleksandra
--
IMG
Museo d’Arte
Contemporanea
Università Ss. Cirillo e
Metodio
Archeologo documentarista
Architetto
Project Coordinator
Direttrice
Vice-Preside incaricata per gli
Affari Finanziari
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
EMAIL
+389 2 3240 517
+389 43 251 026
+389 70 781 671
+389 2 3117 734
+389 70 306 895
TELEFONO
Allegato 9 – Elenco delle persone contattate
33
Stefanovski
Lazar
Istituto Nazionale di Stobi
Capo Dipartimento per la
Cooperazione Internazionale e
UNESCO
POSIZIONE
34
Sumanov
Hristian
Ministero della Cultura
ISTITUZIONE
35
Talevski
Lidija
NOME
36
Topuzovska
+389 70 358 244
37
Valutazione ex-post del Programma “Pilot Activities For Education and Culture”
Allegato 10 - Traccia Interviste
Allegato 10 - Traccia Interviste
TRACCE UTILIZZATE PER LE INTERVISTE QUALITATIVE1
!
MUSEI E SITI ARCHEOLOGICI (MOCA, MAMU, SCUPI, STOBI, HERACLEA)
CRITERIO DAC
RILEVANZA
CRITERIO DI GIUDIZIO
-
EFFICIENZA
-
EFFICACIA
-
DOMANDE
Capacità di Rispondere alle
Necessità.
Capacità di tradurre l’intervento
in appositi formati/strumenti
-
Scelta delle risorse e uso del
tempo
Qualità degli interventi
Trasparenza delle Procedure
-
Trasferimento di Know How alle
istituzioni locali/partners
(Capacity Building).
Coinvolgimento degli
stakeholders
Capacita’ di analisi e mitigazone
dei rischi
-
-
-
-
IMPATTO
-
-
SOSTENIBILITA’
-
1
Capacità di Incidere sulle
Politiche e Strategie Nazionali
Livello di valorizzazione del
Patrimonio Culturale, sviluppo
del decentramento e
integrazione delle minoranze
Capacità di Incidere sulle
condizioni socio-economiche
delle popolazioni
Livello di partecipazione dei
Partners a tutte le fasi del
Progetto
-
Sviluppo di Capacità finanziarie
nei Beneficiari
Capacità di tradurre le risorse
economiche a disposizione in
attività coerenti con il contesto
-
-
-
Qual è la specificità culturale del museo/sito
archeologico per il patrimonio culturale
macedone?
Quali sono le principali esigenze del
museo/sito in termini di valorizzazione?
In che misura le attività che sono state
realizzate da IMG hanno contribuito alla
conservazione e alla valorizzazione del sito?
Che cosa poteva essere fatto diversamente?
In che misura è cambiato il flusso di turisti
nazionali/internazionali negli ultimi 3 anni nel
sito/museo? Avete prova documentale di
questi numeri?
Come sono cambiate le relazioni con agenzie
di
viaggio
nazionali/internazionali
per
organizzazione visite guidate al sito/museo?
Che tipo di rapporti ci sono, se ci sono, tra il
museo/sito
e
le
scuole/le
comunità
circostanti/la popolazione?
Che attività di ricerca storica e archeologica
sono state sviluppate negli ultimi 3 anni nel
sito (quando e quante)?
In che misura ci sono stati cambiamenti a
livello di gestione del museo/sito in seguito
all’entrata in vigore degli accordi di Ohrid?
C’è stato qualche ulteriore cambiamento
negli ultimi 3 anni rispetto al funzionamento
precedente?
Quali sono gli aspetti di gestione del sito su
cui sta concentrando gli sforzi e che obiettivi
che si prefigge come direttore?
Che attività di disseminazione volte favorire
una presa di coscienza del patrimonio
culturale sono state realizzate?
In che misura sono aumentate le capacità
finanziarie del sito/museo? Come sono
finanziate le attività del museo/sito? Il turismo
è sufficiente per sostenerle?
Quali altri finanziamenti sono stati ottenuti
per la realizzazione di attività e progetti? Da
chi?
Le tracce qui allegate sono state adattate di volta in volta a seconda dell’interlocutore.
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
Allegato 10 - Traccia Interviste
!
UNIVERSITÀ (SS. CIRILLO E METODIO, UNIVERSITÀ STATALE DI TETOVO)
CRITERIO DAC
RILEVANZA
CRITERIO DI GIUDIZIO
-
Capacità di Rispondere alle
Necessità.
Capacità di tradurre l’intervento
in appositi formati/strumenti
DOMANDE
-
EFFICIENZA
-
-
Scelta delle risorse e uso del
tempo
Qualità degli interventi
Trasparenza delle Procedure
-
EFFICACIA
-
Trasferimento di Know How alle istituzioni locali/partners
(Capacity Building).
Coinvolgimento degli
stakeholders
Capacita’ di analisi e mitigazone dei rischi
-
IMPATTO
-
-
SOSTENIBILITA’
-
Capacità di Incidere sulle
Politiche e Strategie Nazionali
Livello di valorizzazione del
Patrimonio Culturale, sviluppo
del decentramento e
integrazione delle minoranze
Capacità di Incidere sulle
condizioni socio-economiche
delle popolazioni
Livello di partecipazione dei
Partners a tutte le fasi del
Progetto
Sviluppo di Capacità finanziarie
nei Beneficiari
Capacità di tradurre le risorse
economiche a disposizione in
attività coerenti con il contesto
-
-
-
-
Come si colloca quest’università nel
panorama universitario macedone?
Quanti studenti ci sono?
Qual è l’importanza di avere una facoltà di
biotecnologie?
Qual
è
la
strategia
del
ministero
dell’educazione
sull’insegnamento
della
lingua italiana?
Cosa ha portato alla creazione del centro
multimediale italo-macedone?
In che misura le attività di IMG hanno
risposto alle esigenze soggiacenti la
creazione
di
laboratorio
di
biotecnologie/strategia dell’ateneo/laboratorio
multimediale?
In che misura le attività di IMG hanno
contribuito
allo
sviluppo
di
nuove
competenze? Che cosa poteva essere fatto
diversamente?
Trend degli studenti negli ultimi 10 anni?
Quante facoltà ci sono?
Quanto
personale
lavora
al
centro/laboratorio?
Quanti
studenti
lo
utilizzano?
L’ufficio placement è attivo? Quante persone
vi lavorano? Che tipo di attività vengono
svolte?
Quanti
progetti
di
cooperazione
interuniversitaria sono stati implementati dal
2008 a oggi?
In che misura le attività che sono state
realizzate da IMG hanno contribuito al
rafforzamento dei legami di cooperazione
con Italia e scambi e formazione?
Ci sono stati altri programmi/attività di
cooperazione/scambi tra il centro/laboratorio
e realtà italiane?
Che tipo di attività vengono realizzate al
centro/laboratorio? (Viene utilizzato anche
dalle comunità circostanti per testare i
prodotti? Se sì, questo ha avuto un impatto
sul miglioramento della produzione agricola
locale?)
Chi in questo momento si fa carico delle
spese di gestione del laboratorio/ufficio
placement/centro multimediale? Ci sono
partenariati con altre realtà pubbliche e/o
private per il suo mantenimento?
Qual è la strategia dell’università per lo
sviluppo
del
laboratorio/ufficio
placement/ufficio
progetti/centro
multimediale? Cosa si propone di fare per
valorizzarne e massimizzarne l’utilizzo?
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
Allegato 10 - Traccia Interviste
!
MUNICIPALITÀ
CRITERIO DAC
RILEVANZA
CRITERIO DI GIUDIZIO
-
Capacità di Rispondere alle
Necessità.
Capacità di tradurre l’intervento
in appositi formati/strumenti
DOMANDE
-
EFFICIENZA
-
EFFICACIA
-
Scelta delle risorse e uso del
tempo
Qualità degli interventi
Trasparenza delle Procedure
-
Trasferimento di Know How alle
istituzioni locali/partners
(Capacity Building).
Coinvolgimento degli
stakeholders
Capacita’ di analisi e mitigazone
dei rischi
-
-
-
IMPATTO
-
-
SOSTENIBILITA’
-
Capacità di Incidere sulle
Politiche e Strategie Nazionali
Livello di valorizzazione del
Patrimonio Culturale, sviluppo
del decentramento e
integrazione delle minoranze
Capacità di Incidere sulle
condizioni socio-economiche
delle popolazioni
Livello di partecipazione dei
Partners a tutte le fasi del
Progetto
Sviluppo di Capacità finanziarie
nei Beneficiari
Capacità di tradurre le risorse
economiche a disposizione in
attività coerenti con il contesto
-
-
-
Qual è la specificità culturale di questa
municipalità per il patrimonio culturale
macedone?
Qual è la potenzialità turistica di questa
municipalità?
Quali sono le principali esigenze del
sito/municipalità in termini di incremento del
turismo?
Le attività che sono state realizzate da IMG
hanno contribuito alla valorizzazione del
sito/incremento turismo/aumento capacità
gestionali/rafforzamento del processo di
decentramento amministrativo? In che
modo? Che cosa poteva essere fatto
diversamente?
Qual
è
il
flusso
di
turisti
nazionali/internazionali negli ultimi 3 anni
nella
municipalità?
Avete
prova
documentale di questi numeri?
Sono stati stabilite relazioni con agenzie di
viaggio
nazionali/internazionali
per
organizzazione
visite
guidate
al
sito/museo?
Che attività di valorizzazione del patrimonio
culturale/promozione del turismo negli ultimi
3 anni nel territorio della municipalità
(quando e quante)?
Quali sono stati i cambiamenti a livello di
gestione del municipalità in seguito
all’entrata in vigore degli accordi di Ohrid?
C’è stato qualche ulteriore cambiamento
negli
ultimi
3
anni
rispetto
al
funzionamento?
Che attività di disseminazione volte favorire
una presa di coscienza del patrimonio
culturale sono state realizzate?
Come sono finanziate le attività della
municipalità per quanto concerne la
valorizzazione
del
patrimonio
culturale/promozione del turismo? Il turismo
è sufficiente per sostenerle? Quali altri
finanziamenti sono stati ottenuti per la
realizzazione di attività e progetti? Da chi?
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
Allegato 10 - Traccia Interviste
!
MINISTERI
CRITERIO DAC
RILEVANZA
CRITERIO DI GIUDIZIO
-
Capacità di Rispondere alle
Necessità.
Capacità di tradurre l’intervento
in appositi formati/strumenti
DOMANDE
-
-
EFFICIENZA
-
Scelta delle risorse e uso del
tempo
Qualità degli interventi
Trasparenza delle Procedure
-
-
EFFICACIA
-
IMPATTO
-
-
SOSTENIBILITA’
-
Trasferimento di Know How alle istituzioni locali/partners
(Capacity Building).
Coinvolgimento degli
stakeholders
Capacita’ di analisi e mitigazone
dei rischi
-
Capacità di Incidere sulle
Politiche e Strategie Nazionali
Livello di valorizzazione del
Patrimonio Culturale, sviluppo
del decentramento e
integrazione delle minoranze
Capacità di Incidere sulle
condizioni socio-economiche
delle popolazioni
Livello di partecipazione dei
Partners a tutte le fasi del
Progetto
-
-
Sviluppo di Capacità finanziarie nei Beneficiari
Capacità di tradurre le risorse
economiche a disposizione in
attività coerenti con il contesto
Come funziona il Ministero attualmente?
Qual è stato il ruolo del Ministero nel progetto
di IMG?
Quali sono state, a seguito degli accordi di
Ohrid, le priorità del MoC?
Quali sono stati i cambiamenti a livello di
strategia nel settore culturale/turistico in
seguito all’entrata in vigore degli accordi di
Ohrid?
C’è
stato
qualche
ulteriore
cambiamento negli ultimi 3 anni rispetto al
funzionamento e alla strategia?
Quali sono le principali esigenze in termini di
valorizzazione del patrimonio culturale?
(MOC)
Le attività che realizzate da IMG hanno
contribuito alla conservazione e alla
valorizzazione
patrimonio
culturale/rafforzamento del decentramento
amministrativo? In che modo? Che cosa
poteva essere fatto diversamente?
In generale, le attività di IMG hanno favorito il
decentramento amministrativo in campo
culturale?
Qual è lo stato dell’arte del decentramento
amministrativo in campo culturale? (MLSG)
Quali sono le relazioni tra il Ministero
dell’Economia e il Ministero della Cultura per
quanto riguarda la valorizzazione del
patrimonio culturale macedone? (MOE/MOC)
Come considera i vari workshop e seminari
realizzati sul capacity building in termini di
rafforzamento
del
decentramento
amministrativo?
Come funziona il Ministero attualmente?
Qual è stato il ruolo del Ministero nel progetto
di IMG?
Quali sono stati i cambiamenti a livello di
strategia nel settore culturale/turistico in
seguito all’entrata in vigore degli accordi di
Ohrid?
C’è
stato
qualche
ulteriore
cambiamento negli ultimi 3 anni rispetto al
funzionamento e alla strategia?
Il progetto ha favorito l’instaurarsi di rapporti
duraturi con istituzioni italiane/internazionali?
Ci sono stati altri interventi negli stessi
ambiti?
Come sono finanziate le attività dei vari
siti/musei?
Quali altri finanziamenti sono stati ottenuti
per la realizzazione di attività e progetti?
Valutazione ex-post del Programma “Pilot Activities for Education and Culture”
Allegato 11 – Traccia FGD
Allegato 11 – Traccia FGD
TRACCE UTILIZZATE PER I FGD SU CONSERVAZIONE
PATRIMONIO CULTURALE E DIGITALIZZAZIONE
RISULTATO
CRITERIO DI GIUDIZIO
RILEVANZA
Capacità dei corsi di rispondere alle - A che corso avete partecipato? Quanti erano i
necessità della Macedonia in termini
partecipanti?
di valorizzazione del patrimonio - Quale lavoro fate adesso?
culturale.
- Qual è la vostra percezione dell’attuale
situazione del patrimonio mosaicale in
macedonia/digitalizzazione? Secondo voi, è
valorizzato sufficientemente/fruibile oppure no?
E perché?
Capacità dei corsi di suscitare - Qual è il ricordo del corso a cui avete
interesse e di trasmettere nuove partecipato? Puoi esprimere un commento
conoscenze ai partecipanti e agli sintetico complessivo sulla qualità della lezione?
istituti di appartenenza.
Qual è stato il rapporto tra teoria ed esercitazioni
e che supporti didattici sono stati utilizzati?
Capacità dei partecipanti e degli
- Fino a che punto la formazione ti è servita in
istituti di appartenenza di riutilizzare
termini di miglioramento delle conoscenze,
le competenze acquisite con i corsi
apprendimento di metodologie e di strumenti di
di formazione.
lavoro?
- E nei confronti dell’istituto in cui lavori (la
partecipazione al corso è stata dettata da un
bisogno personale o istituzionale)?
- Fino a che punto avete usato nella vostra attività
le conoscenze acquisite?
Capacità dei partecipanti e degli
- Negli ultimi 4 anni quali sono state le vostre
istituti di appartenenza di creare
attività in campo mosaicale/digitalizzazione?
nuove opportunità professionali e di
- Fino a che punto le persone con cui voi avete a
favorire l’ambiente circostante.
che fare con la vostra attività quotidiana, hanno
beneficiato indirettamente delle competenze
che avete acquisito con la partecipazione al
corso?
Capacità dei partecipanti e degli
- Avete uno specifico interesse ad approfondire
istituti di appartenenza di Utilizzo e
gli argomenti trattati?
sviluppo nel tempo delle conoscenze - Quali
sono
le
vostre
priorità/progetti
acquisite.
professionali?
- Ci sono stati ostacoli nell’applicazione delle
informazioni apprese durante il corso?
EFFICIENZA
EFFICACIA
IMPATTO
SOSTENIBILITA’
DOMANDE
Valutazione ex post del Programma “Pilot Activities for Education and Culture”
Allegato 12 – Documentazione fotografica
MISSIONE IN MACEDONIA 2-16 MARZO 2013
Valutazione ex-post del Programma “Pilot Activities For Education and Culture”
SCUPI
A destra in alto: camminamento, recinzione,
illuminazione e pannelli
A destra in basso: attuale area espositiva
A destra in basso: esempio di pannello esplicativo
Sotto: camminamento
Allegato 12 – Documentazione fotografica
Valutazione ex-post del Programma “Pilot Activities For Education and Culture”
STOBI
A destra in alto: attuale metodo di
conservazione del patrimonio musivo
A destra in basso: baracche riabilitate da
IMG e attualmente utilizzate da archeologi
impiegati sul sito
Sotto: esempio di pannello esplicativo
Allegato 12 – Documentazione fotografica
Valutazione ex-post del Programma “Pilot Activities For Education and Culture”
HERACLEA LYNCESTIS
A destra in alto: area espositiva riabilitata
A destra in basso: attuale metodo di
conservazione del patrimonio musivo
Sotto: pannelli e recinzione installate da IMG
Allegato 12 – Documentazione fotografica
Valutazione ex-post del Programma “Pilot Activities For Education and Culture”
CENTRO CULTURALE, KOCANI
A destra in alto: il centro culturale di Jastrebnik
A destra in basso: ufficio presso il centro culturale
Sotto: area espositiva
Allegato 12 – Documentazione fotografica
Valutazione ex-post del Programma “Pilot Activities For Education and Culture”
PIAZZA CENTRALE, BEROVO
Allegato 12 – Documentazione fotografica
Valutazione ex-post del Programma “Pilot Activities For Education and Culture”
MUSEO DEL VINO, NEGOTINO
A destra in alto: area espositiva Museo del Vino
A destra in basso: particolare del pannello visibilità
Sotto: area espositiva
Allegato 12 – Documentazione fotografica
Valutazione ex-post del Programma “Pilot Activities For Education and Culture”
LABORATORIO DI BIOTECNOLOGIE, TETOVO
A destra: parte dell’equipaggiamento acquistato da IMG
Sotto: laboratorio di biotecnologie costruito da IMG e
attualmente in disuso
Allegato 12 – Documentazione fotografica
Valutazione ex-post del Programma “Pilot Activities For Education and Culture”
CENTRO MULTIMEDIALE ITALO-MACEDONE, SKOPJE
A destra in alto: il Centro Multimediale ItaloMacedone
A destra in basso: aula
A destra in basso: piano superiore
Sotto: accesso al piano superiore
Allegato 12 – Documentazione fotografica
Valutazione ex-post del Programma “Pilot Activities For Education and Culture”
CENTRO PER LA DIGITALIZZAZIONE DEL PATRIMONIO CULTURALE, SKOPJE
A destra in alto: vista complessiva del Recedig
A destra in basso: il personale del RECEDIG
attualmente impegnato in attività di digitalizzazione
Sotto: vista dal piano rialzato
Allegato 12 – Documentazione fotografica
Valutazione ex-post del Programma “Pilot Activities For Education and Culture”
MUSEO D’ARTE CONTEMPORANEA, SKOPJE
A destra in alto: interno, rampa e illuminazione
A destra in basso: ingresso principale
Sotto: area esposizioni temporanee
Allegato 12 – Documentazione fotografica
Valutazione ex-post del Programma “Pilot Activities For Education and Culture”
MUSEO D’ARTE CONTEMPORANEA, SKOPJE
Allegato 12 – Documentazione fotografica
Documentazione fotografica fornita dalla direttrice del Museo d’Arte Contemporanea relativamente alle problematiche delle vetrate
Valutazione ex-post del Programma “Pilot Activities For Education and Culture”