Review sistematiche, sintesi theory-driven e utilizzazione

Review sistematiche, sintesi theory-driven e utilizzazione delle evidenze.
Il caso dei programmi di prevenzione
(Pubblicato nel n.35/2007, RIV Rivista Italiana di Valutazione, Franco Angeli)
Dicembre 2006- Liliana Leone1
Introduzione
Le questioni della produzione e dell’utilizzazione delle evidenze d’efficacia dei
programmi di prevenzione in ambito socio-sanitario rappresentano dei temi che
vedono impegnati in un acceso dibattito operatori sociosanitari, policy makers e
ricercatori. Le criticità riguardano sia la natura delle ‘evidenze’ e il processo
sottostante alla di cumulazione delle conoscenze, sia i processi di diffusione e
utilizzazione delle conoscenze prodotte dalle revisioni sistematiche (Bernhardt
2003, Boaz, Solesbury, Sullivan 2004, Pawson 2006, Petticrew 2003, Solesbury
2001, Rychetnik, Frommer 2002). Una revisione sistematica è definibile come
cumulazione e sintesi dei risultati emersi da numerose ricerche e valutazioni allo
scopo di determinare se un dato intervento o trattamento funziona o meno; si tratta
di una nuova forma di produzione di conoscenza ‘autoritativa’ nell’area della
sanità, dell’educazione e dei servizi sociali che a partire dagli inizi degli anni ’90 è
andata incontro ad un progressivo processo di istituzionalizzazione (Hansen, Rieper
2006). Le conoscenze prodotte dalle revisioni sistematiche vengono indicate come
‘evidenze’ che vengono diffuse allo scopo di promuovere decisioni politiche e
pratiche professionali maggiormente informate.
Nell’articolo2 vengono illustrate le origini e le caratteristiche salienti di alcuni
orientamenti che, muovendosi sotto il comune denominatore dell’“evidence
movement”, realizzano con metodologie diverse una sintesi della produzione
scientifica; indicheremo i principali filoni di ricerca e le specificità connesse al
settore della sanità pubblica e in modo più specifico ai programmi di prevenzione
delle dipendenze. Vengono in particolare confrontati e discussi due metodi di
revisione sistematica: la meta-analisi e la sintesi realista (Pawson 2006).
Accogliendo alcune indicazioni sviluppate dalla sintesi realista, e dal movimento
della Evidence Based Policy, si descrivono in seguito alcuni passaggi della
metodologia utilizzata in una valutazione realizzata in tre regioni del Nord Italia
nell’ambito del progetto di ricerca-azione Re-Ligo; si rimanda il lettore interessato
all’approfondimento dei risultati ad un recente testo di Leone e Celata (Leone,
1
Responsabile Studio CEVAS, Docente a contratto Facoltà Sociologia- Università di Roma “La Sapienza”.
Studio: Via Calpurnio Fiamma 9, 00175 Roma, Tel +39 069422505 Cel 3494210845 Sito www.cevas.it E mail
[email protected]
2
Il contributo rappresenta una rielaborazione di un paper presentato all’VIII Congresso dell’AIV (Catania 17-19 marzo
2005 ) in cui ho proposto e curato insieme a M. Palumbo una sessione sul tema “Valutare la prevenzione”. Sono
riconoscente a Nicoletta Stame per i continui stimoli culturali e confronti, per avermi spinto a considerare il ruolo della
teoria nella valutazione.
1
Celata 2006)3. Nella fase antecedente il progetto sono state ri-codificate e
riaggregate le evidenze offerte dalle maggiori revisioni sistematiche e linee guida in
materia di prevenzione delle dipendenze. Tali evidenze sono state in seguito
‘incorporate’ all’interno della valutazione che ha interessato 11 ASL del nord Italia
ed utilizzate come parametro di riferimento per giudicare l’adeguatezza delle
metodologie di intervento adottate in un campione di 122 progetti.
Nel lavoro si propone un parallelismo tra la nozione di strategia applicata ai diversi
approcci di prevenzione e la nozione di “famiglia di meccanismi” propria della
sintesi realista (Pawson 2006). La sistematizzazione delle evidenze attraverso la
nozione di ‘strategia di intervento’ sembra favorire l’utilizzazione delle evidenze in
quanto maggiormente in grado di influenzare le teorie implicite e esplicite degli
operatori e dei decisori. Il processo di diffusione ed utilizzazione delle conoscenze
è, infatti, meno semplicistico e lineare di quanto inizialmente assunto dai promotori
del movimento dell’‘evidenza’, non risponde a logiche autoritative e
monodirezionali ma piuttosto a logiche di diffusione, contaminazione e influenza
indiretta.
L’uso delle evidenze nelle pratiche professionali come nei processi di
programmazione viene favorito da un approccio user-led (Boaz, Pawson 2006),
attento cioè al coinvolgimento diretto dei diversi stakeholder interessati alla
programmazione e gestione di interventi di prevenzione, e dalla promozione di
processi di produzione e diffusione di conoscenze ‘contestualizzate’. Con il
termine contestualizzate ci si riferisce sia a conoscenze di carattere relazionale
connesse a modalità di integrazione e coordinamento tra diverse agenzie territoriali
(es. Presenza o assenza di coordinamenti istituzionalizzati), sia a conoscenze
derivate dall’analisi dei fenomeni (es: dati di prevalenza), dei problemi oggetto di
intervento e delle caratteristiche del sistema di offerta (es: durata, costo, tipologia di
promotore, finanziamento, target raggiunto, attività prevalenti).
1. Alla ricerca delle evidenze: dall’EBM al movimento dell’ evidence based policy
Negli ultimi anni si è sviluppato un vivace dibattito inerente le modalità atte a produrre delle
prove d’efficacia in sanità pubblica e in altri settori, in grado cioè di fornire ad operatori del
settore e dirigenti solide basi che giustifichino le attività degli operatori sanitari e, al contempo,
di orientare le scelte di sanità pubblica dei policy maker.
Tale dibattito è stato caratterizzato dallo sviluppo di una molteplicità di ricchi e stimolanti
contributi solo parzialmente sovrapponibili.
Senza alcun intento classificatorio ricordo solamente che la stessa terminologia presente nel
dibattito testimonia l’ampiezza di tali sviluppi: l’Evidence Based Medicine o EBM, l’Evidence
Based Health Care, l’Evidence Based Prevention EBP (Bernhardt 2003), l’Evidence Based
Practice (Rychetnik, Frommer, 2002), Evidence Based Public Health EPPH (CDC, 1996),
Evidence Based, Health Promotion, Evidence Based Social Work o EBSW (Mullen 2005),
3
La sezione del sito di Cevas www.cevas.it/bibliografia_e_link/valutazione_tossicodipendenze/index.htm è stata dedicata
alla presentazione e messa a disposizione di materiali su evidenze di efficacia e valutazione nell’area della prevenzione delle
dipendenze.
2
Evidence Based Policy (Pawson 2002 b, Boaz 2005), Evidence Based Policy and Practice o
EBPP (Davies, Nutley, 2001).
Negli anni ’70, 80’ psicologi e scienziati sociali hanno sviluppato delle procedure sistematiche
per minimizzare errori casuali o sistematici nella revisione delle ricerche e nel settore sanitario
a partire dagli anni ’80 si è iniziata a sviluppare un’attenzione sempre crescente alla questione
della qualità delle review.
Anche nel settore delle scienze sociali si sono sviluppate una serie di iniziative che si pongono
l’obiettivo di raccogliere e sistematizzare attraverso meta-analisi, narrative reviews, sintesi
realiste, strategie EPPI, le evidenze di efficacia nell’area delle politiche educative, per la
giustizia e dei servizi sociali. A livello internazionale ricordo negli USA la Campbell
collaboration fondata nel 1999 in memoria di Donald Campbell, che si occupa di redigere
revisioni sistematiche di studi nei settori del sociale e dell’educazione, e in Inghilterra l’EPPI–
Centre (Evidence for Policy and Practice Information Co-ordinating Centre) (Eppi Centre
2001, Oakley et Al. 2005) per quanto riguarda le aree dell’istruzione, educative e della
promozione della salute.
Il Governo laburista inglese ha ulteriormente contribuito alla popolarità del movimento basato
sulle evidenze. Nei documenti ufficiali in cui indicava le sette caratteristiche per la
modernizzazione delle politiche citava la necessità che fossero ‘basate su tutte le migliori
evidenze a disposizione’ (Cabinet Office 1999): la parola d’ordine divenne il miglioramento
dei servizi (‘delivery, delivery, delivery’) e il cambiamento radicale dei servizi di front–line
relativamente ai processi di implementazione ed alla formulazione di nuovi programmi.
Gran parte delle diverse sfumature connesse al dibattito sulle evidenze di efficacia deriva
dall’ambito in cui esso si sviluppa e dall’oggetto cui si riferiscono le ricerche. Nel settore della
medicina clinica, ove si sviluppa la EBM, l’oggetto di analisi è un singolo intervento o un
procedimento fortemente standardizzato di tipo clinico che interessa singoli pazienti ed i
quesiti alla base di una review sistematica sono formulati in modo simile a: ‘il fluoro può
aiutare a prevenire le carie nei bambini?’ oppure ‘gli antibiotici possono ridurre i sintomi del
mal di gola?’4.
Nella medicina di comunità oggetto di analisi privilegiato sono invece i programmi di sanità
pubblica, i programmi di promozione della salute e di prevenzione od anche i servizi sanitari.
Nella letteratura sulle evidenze prodotta da epidemiologi e ricercatori di sanità pubblica
(Bernhardt 2003) la specificità dal punto di visto metodologico tende a definirsi in parte per
contrasto rispetto ad alcuni limiti percepiti nella EBM; le motivazioni addotte riguardano in
genere la maggior complessità dei setting della sanità pubblica in rapporto ai setting clinici o di
laboratorio e, di conseguenza, l’impossibilità nella maggior parte dei casi di utilizzare, per
motivazione d’ordine metodologico, etico e pratico, il modello di ricerca sperimentale tipico
del laboratorio e della sperimentazione clinica umana.
Inoltre la Evidence Based Health Care, ha come target ideale l’amministratore sanitario e
tende maggiormente a rivolgersi a coloro che hanno responsabilità nella programmazione e
organizzazione dei servizi sanitari diversamente dalla EBM che si rivolge prioritariamente al
clinico.
Secondo Sara Bernhardt (Bernhardt 2003) a partire dagli anni 80 nella health care sono stati
introdotti concetti, come la qualità e l’attenzione ai costi, che hanno incontrato una notevole
popolarità ma hanno avuto anche il difetto di creare una separazione tra giudizi attinenti al “far
4
Esempi tratti da presentazione in .ppt della Cochrane Library in
http://www3.interscience.wiley.com/homepages/106568753/6 (accesso 9.08.2005)
3
bene le cose” da quelli attinenti al merito dei programmi e cioè alle “cose giuste da fare”.
Giudizio quest’ultimo, che è stato delegato ai clinici.
Nell’assistenza sanitaria e nella “sanità pubblica” il salto che viene compiuto riguarda il fatto
che i principi della ‘evidence’ vengono applicati non a singoli casi clinici ma alle comunità:
tale salto compiuto in tempi recenti è dovuto in particolare alle ricerche di Muir Gray e
all’esperienza realizzata dal sistema sanitario inglese (NHS) ed è sostenuto anche dalla “Carta
di Lubiana” promossa dall’OMS che fornisce un quadro di riferimento politico per l’assistenza
sanitaria basata sulle evidenze di efficacia. In tali settori sono predominanti altre discipline (es:
in primis l’epidemiologia) che per certi versi condividono con la sociologia, l’economia, la
psicologia e la politologia una maggiore attenzione al ruolo del contesto culturale, sociale,
economico.
Il contesto in tali settori non è inteso necessariamente come variabile ‘confondente’
possibilmente da controllare o limitare ma piuttosto come setting ineliminabile e che anzi,
condizionando profondamente modalità di implementazione ed esiti di determinati programmi,
entra in gioco quale fattore esplicativo di enorme interesse per chi ha ruoli di programmazione.
Il merito della Evidence Based Practice (Rychetnik, Frommer 2002) introdotta da un gruppo
australiano alla fine del 1999 nel settore della prevenzione (v. dell’incidentalità, dell’abuso di
sostanze, salute sessuale e riproduttiva, salute mentale, stili di vita e salute) sarebbe quello “di
aver unito la cultura “clinica” delle revisioni sistematiche di letteratura e di aver preso in
considerazione l’ambiente, lo scenario e le sue influenze sull’intervento stesso e quindi sugli
outcome di salute raggiunti. (…) Diversamente dagli sforzi cui assistiamo in campo clinico,
tesi ad isolare quasi come in un laboratorio gli individui su cui i ricercatori intervengono, qui,
ci sforziamo di prendere in considerazione, di analizzare e di ponderare il contesto. (…)”. (
Bernhardt, p. 26, 2003)
Nei testi dedicati alla Evidence Based Prevention si fa esplicito riferimento alla necessità di
“Aprire la black box dei programmi e testare sul campo il metodo”. (Bernhardt, p.51, 2003); si
noti che si tratta di una nozione ampiamente discussa, a partire dagli anni ’70, dalla letteratura
sulla valutazione ed in particolare dal filone della ‘theory driven’ e della ‘theory based
evaluation’ (Stame 1998, Stame 2004). Nella valutazione dei programmi di sanità pubblica,
diversamente dal settore clinico, gli stessi protagonisti5 lamentano una eccessiva
segmentazione del dibattito scientifico all’interno di canali editoriali propri dei singoli settori e
discipline e vi è una maggior apertura nei confronti dell’uso di metodi misti di valutazione, e di
approcci valutativi sviluppati nell’ambito di altre discipline e politiche pubbliche.
2. Le revisioni sistematiche
Le revisioni sistematiche rappresentano, come osservato in precedenza, lo strumento più noto e
diffuso degli approcci evidence-based; scopo di tali revisioni è la sintesi dei risultati, delle evidenze
di efficacia, che provengono da ricerche empiriche e in particolare da studi ritenuti di buona qualità
e la riduzione al minimo di errori sistematici nell’estrazione degli stessi. (Cruciani, p.601, 2004)
5
Per valutare un progetto di sanità pubblica realizzato dai Dipartimenti di Prevenzione delle ASL (Progetto
SALeM- ISS Istituto Superiore di Sanità) sono state, infatti, utilizzate diverse metodologie in relazione alle
diverse componenti del progetto stesso: l’analisi storica narrativa, la revisione sistematica della letteratura
scientifica, survey tra esperti, analisi dei dati di monitoraggio, stakeholders’ analisi e la valutazione di esperti
indipendenti.
4
La meta-analisi consiste in tecniche statistiche per mettere assieme i risultati numerici provenienti
da due o più studi e nelle linee guida ICH96 viene definita come “la valutazione formale
dell’evidenza quantitativa di due o più esperimenti riferiti allo stesso quesito”. Essa rappresenta la
versione tuttora dominante delle revisioni sistematiche; affonda le sue radici nel movimento della
scienza medica basato sulle evidenze empiriche, anche EBM, e sulla necessità di giungere a solide
dimostrazioni in campo clinico aumentando la potenza e la generalizzabilità di singoli studi clinici e
la valutazione dei rischi associati con l’impiego, ad esempio, di un determinato farmaco. Lo
sviluppo di nuove cure o la sperimentazione sull’efficacia di determinati procedimenti clinici o di
farmaci prosegue attraverso la comparazione dei risultati forniti da molte centinaia di studi.
Si tenga conto che la produzione scientifica nel settore della clinica medica, e di quello più ampio
della sanità pubblica, è letteralmente immensa e che sin dagli albori della Cochrane collaboration,
con gli studi storici di Archibald Cochrane, si è avvertita l’esigenza di capitalizzare e sintetizzare
apprendimenti e conoscenze sviluppati grazie a molte migliaia di ricerche. Da un’analisi compiuta
una decina di anni fa risultava che solo nel settore della letteratura biomedica, oltre due milioni di
articoli venivano annualmente pubblicati in oltre 20.000 riviste: si tratta di un quantitativo di
produzione cartaceo pari a circa una collina di 500 metri! (Mulrow 1994)
L’esigenza di sintetizzare la mole di conoscenze spiega la forte crescita del numero di revisioni
sistematiche; nel solo Cochrane Database of Systematic Reviews (Cochrane Reviews) troviamo
nell’agosto del 2005 ben 4041 records di cui 2435 relativi a review complete.
Le review sistematiche cercano di rilevare in modo esplicito e con procedure standard quali
interventi funzionano o meno e come funzionano; esse vengono realizzate per una serie di
ragioni diverse e in genere includono i seguenti step:
• la focalizzazione su domande e specifiche questioni a cui lo studio intende dare risposta;
• l’utilizzo di un protocollo come guida del processo di revisione;
• la ricerca della maggior parte possibile di letteratura rilevante rispetto ai quesiti;
• la misurazione del grado di qualità delle ricerche da includere (o escludere) nella
revisione;
• la sintesi dei risultati delle ricerche incluse;
• l’aggiornamento costante il miglioramento e la diffusione della review.
Alcuni focus rilevanti nel processo di revisione sistematica riguardano la condivisione di
criteri comuni attraverso cui giudicare la qualità degli studi primari, delle ricerche da includere
nelle revisioni sistematiche; il reperimento delle evidenze e del livello di informatività degli
studi, il grado di evidenza da essi fornito in merito ad esempio all’efficacia di un determinato
intervento o programma e, infine, il procedimento che si utilizza nel processo di cumulazione
delle conoscenze e per la sintesi delle ‘evidenze’. Il revisore attraverso l’utilizzazione di una
serie ben definita di standard, introdotti tramite protocolli di ricerca promossi da organismi
riconosciuti a livello internazionale, identifica gli studi che possono rientrate all’interno della
revisione sistematica, estrae gli esiti di ciascun esperimento confrontando la deviazione
standard del gruppo trattato da quella del gruppo di controllo, e utilizza delle tecniche
6
Le linee guida ICH vengono elaborate nell’ambito delle International Conferences on Harmonization of
Technical Requirements for Registration of Pharmaceuticals for Human Use (ICH); esse sono valide nei paesi
della Comunità Europea, in USA e Canada e in Giappone. Note far Guidance on Statistical Principles for Clinical
Trials. ICH 9. London, England: European Agency for the Evaluation of Medical Products, 1998.
5
statistiche per aggregare i risultati e giungere a identificare gli effetti netti di ciascuna classe di
programmi.
Esiste una forte condivisione tra i due maggiori network deputati alla produzione delle
evidenze, la Campbell e la Cochrane, circa i criteri atti a giudicare la qualità del disegno di
ricerca e a produrre una ‘gerarchia delle evidenze’ (Hansen, 2006); il criterio cardine è quello
che viene definito il “golden standard”. Il disegno di ricerca ritenuto dalla meta-analisi
metodologicamente superiore è l’esperimento con gruppo di controllo randomizzato - RCT (v.
“Golden standard” riferito al Random Control Trial) e “a doppio cieco” (assegnazione casuale
sia del paziente al gruppo sperimentale o di controllo che di colui che somministra il
trattamento, in genere il clinico). Sebbene siano presi in considerazione anche altri tipi di
disegni di ricerca il criterio principe che guida la scelta non è la pertinenza del metodo ma la
presenza di studi RCT di buona qualità e comunque studi che adottano altri disegni di ricerca
vengono in genere giudicati meno informativi e di rango inferiore.
Tra le criticità delle revisioni sistematiche segnalate da molti autori, non solo nell’ambito della
sanità pubblica e alla base dello sviluppo di metodi alternativi (Narrative review, Sintesi
realista, strategie EPPI, revisione etnografica), distinguiamo due livelli:
• il primo riguarda il potere informativo che queste possiedono, e cioè la capacità di
mantenere le promesse e di fornire ai policy maker e ai professionisti indicazioni per
orientare in modo più efficace gli interventi;
• il secondo, più rilevante, riguarda la correttezza di alcuni assunti metodologici e alcune
criticità relative alle tecniche di revisione sistematica. La meta-analisi rappresenta la
tecnica più nota e la versione dominante delle revisioni sistematiche e per tale ragione
su di essa concentreremo l’attenzione.
Analizziamo separatamente nei prossimi due sotto paragrafi tali aspetti.
2.1 Il potere informativo delle revisioni sistematiche
Ci chiediamo ora: in questi studi che tipo di evidenze sono offerte ai decisori e in che modo
possiamo trarne indicazioni per architettare meglio futuri programmi di prevenzione?
Concentreremo l’analisi sul settore della prevenzione delle dipendenze da sostanze lecite e
illecite. Tra le review sistematiche più accreditate sulla prevenzione delle dipendenze troviamo
quelle realizzate dall’Organizzazione Mondiale della Sanità WHO (Hawks D. et Al. 2002) e
altre inserite nella Cochrane Lybrary7 e nel database del British Medical Journal (BMJ); si
noti che solo alcune utilizzano unicamente tecniche quantitative di meta analisi per trarre
evidenze di efficacia e che anzi molte revisioni di organismi internazionali sul tema della
prevenzione delle dipendenze come il NIDA National Institute on Drug Abuse (NIDA, 2003) e
il CSAP Centre for Substance Abuse Prevention (Brounstein, Zweig, Gardner 1998) si basano
7
La Cochrane Collaboration è una organizzazione internazionale no-profit fondata nel 1992 nel Regno Unito con
l’obiettivo di produrre, aggiornare e diffondere revisioni sistematiche della letteratura scientifica nei diversi ambiti
dell’assistenza sanitaria. Le revisioni sistematiche sono documenti elettronici aggiornati 2 volte l’anno che sintetizzano,
valutandoli, i risultati degli studi sperimentali sull’efficacia dei trattamenti. Il Gruppo Cochrane su Droghe ed Alcol è stato
fondato nel 1998 e si avvale di 7 editori in diversi paesi e di una base editoriale presso il Dipartimento di Epidemiologia
della ASL RME a Roma.
6
anche su altri criteri di revisione, su meta analisi qualitative e su procedure basate sul consenso
tra esperti.
Osserviamo di seguito un esempio della difficoltà che abbiamo incontrato quando si è cercato
di utilizzare i risultati delle revisioni sistematiche nel settore della prevenzione delle
dipendenze al fine di trarne delle raccomandazioni per programmatori, operatori e
amministratori.
Innanzitutto dobbiamo segnalare una scarsa conoscenza tra gli addetti al settore delle diverse
revisioni realizzate aventi come oggetto l’efficacia della prevenzione delle dipendenze e della
riduzione del danno e la scarsa diffusione di lavori sviluppati a tale scopo da alcune regioni
(Orlandini, Nardelli, Bottignolo 2002). Un’eccezione a tale osservazione è data dalle linee
guida del NIDA che sono state diffuse anche in versione italiana e che tuttavia non sono di per
sé revisioni sistematiche ma rielaborano i risultati delle valutazioni in termini di
raccomandazioni e ‘principi’ per la progettazione di interventi di prevenzione delle
dipendenze. A tale problema segue anche una scarsissimo riferimento e utilizzo delle evidenze
di efficacia nell’ambito dei processi decisionali e della produzione di indirizzi e linee guida da
parte di regioni e ASL.
Si tratta di lavori ampi, talvolta complessi e di difficile consultazione, anche se relativamente
facilmente reperibili.
Le review presenti nella Cochrane Lybrary dedicate alla prevenzione dell’abuso di sostanze
lecite e illecite, a dispetto della rilevanza sociale dei fenomeni di dipendenza e consumo
problematico e del crescente allarme espresso da media, decisori pubblici e professionisti del
settore, sono ad oggi piuttosto ridotte. Una delle motivazioni addotte dai ricercatori riguarda la
carente qualità dei disegni di ricerca basati sull’approccio sperimentale. .
Abbiamo tratto dal database della Cochrane Lybrary e del British Medical Journal (BMJ)
alcune recenti review sull’efficacia dei programmi preventivi relativi a consumo di alcolici, di
tabacco, infezione HIV, incidentalità stradale. Abbiamo privilegiato studi aventi come oggetto
l’efficacia di interventi preventivi e non ad esempio l’influenza negativa della pubblicità sui
tabacchi; gli studi selezionati e analizzati riguardano:
1. programmi educativi in ambito scolastico finalizzati alla prevenzione del fumo8;
2. efficacia di programmi che utilizzano i mass media per prevenire il fumo9;
3. programmi basati sullo sviluppo della Comunità 10;
4. programmi basati sulla restrizione delle vendite al dettaglio di tabacchi ai minori11;
5. uno studio sull’efficacia degli autovelox quale intervento di prevenzione degli incidenti
stradali12;
6. uno studio su programmi di prevenzione dell’abuso di alcool13;
7. uno studio sull’efficacia di interventi di prevenzione dell’HIV rivolti a persone gay;14
8
Thomas R. School-based programmes for preventing smoking. The Cochrane Database of Systematic Reviews 2002, Issue 2. Art. No.:
CD001293. DOI: 10.1002/14651858.
9
Sowden AJ, Arblaster L. Mass media interventions for preventing smoking in young people. The Cochrane Database of Systematic
Reviews 1998, Issue 4. Art. No.: CD001006. DOI: 10.1002/14651858.
10
Sowden A, Arblaster L, Stead L. Community interventions for preventing smoking in young people. The Cochrane Database of
Systematic Reviews 2003, Issue 1. Art. No.: CD001291. DOI: 10.1002/14651858.
11
Stead LF, Lancaster T. Interventions for preventing tobacco sales to minors. The Cochrane Database of Systematic Reviews 2005, Issue
1. Art. No.: CD001497. DOI: 10.1002/14651858.CD001497.pub2.
12
Paul Pilkington, Sanjay Kinra, Effectiveness of speed cameras in preventing road traffic collisions and related casualties: systematic
review, doi:10.1136/bmj.38324.646574.AE 2005;Vol 330;331-334
13
Foxcroft DR, Ireland D, Lister-Sharp DJ, Lowe G, Breen R. Primary prevention for alcohol misuse in young people. The Cochrane
Database of Systematic Reviews 2002, Issue 3. Art. No.: CD003024. DOI: 10.1002/14651858.
14
A.J.P. Billington, A.J Copas, L.French, P.D French and J. Imrie, .JM Stephenson, F.M Cowan, S.Wanigaratne, A cognitive behavioural
intervention to reduce sexually transmitted infections among gay men, doi:10.1136/bmj.322.7300.1451, 2001;322;1451-1456 BMJ
7
8. e uno studio sull’efficacia degli interventi pilota basati su schemi di pagamento dei medici di
base per la riduzione del fumo.15
Da un primo confronto delle diverse conclusioni a cui sono pervenute le review sull’efficacia degli
interventi preventivi emergono alcuni elementi ricorsivi:
⇒
pur in presenza talvolta di studi ritenuti di buona qualità le evidenze di efficacia delle
review considerate sono quasi sempre considerate dagli autori molto deboli (Casi review 2,3,6,8
Allegato) o dubbie;
⇒
nella metà dei casi (Casi 4,6,7,8) si segnalano problemi dovuti alla scarsa qualità del
disegno di ricerca sperimentale e alla mancanza di gruppi di controllo con assegnazione casuale
dei soggetti o la scarsa considerazione di variabili confondenti. In due casi si suggerisce di
ripetere sperimentazioni più accurate prendendo meglio in considerazione l’influenza di fattori
connessi a culture di appartenenza, stadio del consumo e cosivvia;
⇒
gli unici due studi, sugli otto presi in considerazione, che hanno individuato evidenze di
efficacia delle politiche di prevenzione, riguardano la parziale efficacia di misure volte a
disincentivare la vendita al dettaglio delle sigarette e, in parte, le campagne preventive tramite
media (Casi 1 e 2). In un terzo caso si segnala il programma “Strengthening Families
Programme” che propone interventi formativi volti allo sviluppo di skill “culturalmente
focalizzate”.
Il dubbio che sarebbe potuto sorgere a seguito di questi risultati era: i programmi che disincentivano i
comportamenti ritenuti dannosi per la salute basati su campagne pubblicitarie e le misure sanzionatorie
relative all’offerta devono considerarsi strumenti da privilegiare nella programmazione di politiche
preventive nel settore della salute (Consumo alcol, tabacco, infezione HIV, incidenti stradali)? Oppure
la prevenzione che utilizza approcci d’educazione alla salute, e le misure che intendono modificare le
prassi di segmenti del sistema sanitario (v. schemi di pagamento dei medici), hanno una maggior
complessità e pongono problemi di “valutazione dell’efficacia” maggiori?
Concordiamo con la Petticrew, una rappresentante del movimento dell’Evidence Based Policy, secondo
cui l’ironia vuole che review finalizzate ad offrire evidenze di efficacia concludano spesso affermando
che esistono limitate evidenze di efficacia, lasciando così i ricercatori, i policy maker e gli operatori
cui si rivolgono, confusi e frustrati (Petticrew, 2003).
2.2. Alcuni limiti metodologici delle meta-analisi
Per comprendere la logica sottostante al procedimento della meta-analisi, e quindi le ragioni alla base
di alcune critiche e di altre proposte, occorre considerarne gli assunti sottostanti e cioè:
1. i trattamenti sono concreti, circoscritti e riproducibili;
2. i soggetti beneficiari hanno un ruolo prevalentemente passivo e i trattamenti funzionano in
modo indipendente dal loro giudizio (o a tal fine si possono controllare effetti placebo);
3. l’esperimento con gruppo di controllo rappresenta la prova aurea;
4. i risultati vengono raggruppati attraverso processi di aggregazione;
5. gli esiti sono identificabili senza eccessiva ambiguità e codificati in modi simili;
6. la revisione sistematica deve fornire elementi per una generalizzazione empirica e durevole.
15
T.Coleman, Alison T Wynn, S.Barrett, A.Wilson and S.Adams, Practitioners' antismoking advice to smokers promotion payment aimed
at increasing general Intervention study to evaluate pilot health, doi:10.1136/bmj.321.7257.355, 2000;321;355-358 BMJ
8
Secondo Pawson i primi due assunti alla base delle revisioni sistematiche sono semplicemente errati
per quanto riguarda i programmi sociali; laddove trattiamo programmi complessi (es: i programmi di
prevenzione) diventa meno sostenibile presumere che l’intervento sia caratterizzato da trattamenti,
come nel caso di alcune cure mediche, altamente standardizzati e facilmente riproducibili e sostenere
che il raggruppamento dei risultati possa eliminare le variazioni contingenti (casuali) che sorgono
nell’applicazione sul campo.
Il modello della black box è stato già ampiamente criticato (Pawson, Tilley 1997, Stame 1998, 2004); i
programmi sociosanitari non sono altamente riproducibili e le variazioni contingenti che sorgono
nell’implementazione sul campo non sono necessariamente “casuali”: esistono fattori che attengono a
come gli operatori interpretano il programma in determinate situazioni o a come diversi sottogruppi dei
beneficiari reagiscono alla proposta che possono esser oscurati dalle comuni analisi.
Talvolta si sviluppano reazioni opposte e impreviste nel campione “trattato”, come nel caso degli
interventi informativi sulle dipendenze rivolti nelle scuole a giovani “user” e “non user”, che non
emergono in un’analisi degli effetti medi del programma (Leone, 2002).
Nel processo d’aggregazione dei risultati attuato dalle meta analisi scompaiono i riferimenti a
caratteristiche connesse al target, contesti di attuazione e processi di implementazione dei programmi.
La codifica degli stessi esiti non è omogenea, essi vengono codificati in funzione dell’approccio di
riferimento e sebbene gli obiettivi generali di cambiamento siano sovrapponibili o identici i risultati
vengono spesso misurati in modo diversificato solo in termini di incerte proxy agli esiti.
Se osserviamo una recente revisione sistematica sull’efficacia dei programmi di prevenzione delle
dipendenze nella scuola (Faggiano et Al. 2005), osserviamo direttamente le difficoltà insite
nell’operazione di codifica e comparazione dei risultati. Il lavoro, che è stato presentato al Congresso
AIV di Catania del 2005, rappresenta un buon esempio di revisione sistematica basata sul metodo
Cochrane e ci permette di analizzare da vicino sia i pregi che alcuni limiti di tale metodo.16.
Le meta analisi, e le tecniche di aggregazione statistica dei dati da queste utilizzate, finiscono
purtroppo per ignorare tutti gli aspetti connessi all’implementazione dei programmi e sottovalutare le
conoscenze possedute dagli attuatori. Il fatto che vengano rafforzati nei protocolli di ricerca delle
review elementi a favore della forte proceduralizzazione e dell’omogeneità impedisce il riconoscimento
16
I ricercatori hanno identificato inizialmente 9657 articoli, a seguito dell’analisi della qualità degli stessi vengono inclusi
nella review 41 articoli: solo 15 studi basati sull’esperimento con gruppo di controllo randomizzato (RCT) forniscono dati
utili mentre altri 14 RCT non forniscono dati utili per la meta-analisi. In questo studio gli indicatori di esito utilizzati infine
per la comparazione degli studi sono piuttosto ridotti e consistono nella conoscenza sulle droghe (n.b.che in realtà non è
correlato al consumo do sostanze e non può rappresentare una proxy di efficacia), le capacità decisionali, il miglioramento
del senso di auto-efficacia e, solo in 6 studi, l’uso di droghe.
E’ comprensibile come a seguito di tale rarefazione del campione moltissimi elementi attinenti a differenze di contesto non
possano essere presi in considerazione e che pure la nozione di esito sia stata necessariamente semplificata eliminando altri
tipi di esiti. La comparazione tra i diversi studi viene effettuata in relazione alla tipologia prevalente di intervento
(socioaffettivo, informativo..) e ai diversi tipi di esiti e risultati considerati singolarmente e ciò si traduce in un confronto
statistico che interessa infine due o tre studi per volta e che non riesce a rendere conto del fatto che più fattori attinenti a
caratteristiche del target (età, sesso, atteggiamenti e comportamenti relativi a consumo di sostanze lecite e illecite..), ai
processi di implementazione o caratteristiche del contesto (es: area metropolitana, area scarsamente urbanizzata, area con
tasso di prevalenza dei consumi alto/basso..) possono interagire per spiegare i risultati. Osserviamo ad esempio che la
popolazione presa in considerazione negli studi era costituita da alunni delle scuole elementari, medie inferiori e medie
superiori e che pure la variabile età non è stata presa in considerazione nello spiegare i differenti esiti dei programmi
sebbene sia noto in letteratura che approcci di tipo informativo producano esiti differenti, e talvolta opposti, in relazione
all’età del target e alla fase di consumo delle sostanze (fase di iniziazione o di consumo occasionale).
9
delle tacite conoscenze, delle intuizioni, e il valore dei risultati imprevisti nel guidare lo sviluppo di
nuove ipotesi o di nuove teorie.
L’efficacia di un programma di prevenzione non dipende da singoli segmenti di intervento di durata
annuale o biennale ma, in gran parte, da come vengono realizzati i singoli interventi-progetti e dalla
collocazione di questi in strategie più complessive e di lungo termine che impattano sulla comunità.
Sappiamo ad esempio che una tattica che si è dimostrata efficace nella realizzazione di progetti
educativi focalizzati sulla prevenzione del consumo di sostanze stupefacenti in ambito scolastico è
quella di inserirli all’interno di programmi più ampi di educazione alla salute (health/life skills) (Hawks
D., Scott K., McBride N., Jones P., Stockwell T. P.41, 2002); questa accortezza facilita, infatti, anche
la realizzazione del progetto in quanto la promozione di comportamenti auto-protettivi e “salutari” se
inserita all’interno del normale curriculum scolastico (Idem, p. 41) ha una minor incidenza economica
sul piano di offerta formativa della scuola.
Sappiamo inoltre che l’intervento in ambito scolastico dovrebbe essere collocato all’interno di una
strategia a lungo termine (es: almeno 15 sessioni iniziali con richiami nei 3-4 anni successivi) e che
dovrebbe essere ripetuto nel tempo (le booster session previste nell’approccio alle life skill). Rispetto a
tali indicazioni si sottolinea il fatto che non necessariamente l’intervento debba essere realizzato da una
singola agenzia e coincidere con un singolo progetto: l’importante è che su un dato target o su una data
scuola vi sia una certa continuità di interventi preventivi. Se questi sono i presupposti non possiamo
basare le valutazioni di efficacia sull’analisi di studi che considerano le dimensioni temporali dei
progetti quasi esclusivamente in termini formali ed avulsi dal contesto in cui si collocano.
Uno dei limiti manifestati dalla meta-analisi consiste, secondo la sintesi realista, nel fatto che
aggregando i risultati raggiunti da diversi programmi, essa si traduce in un riassunto di riassunti
derivato dalla fusione dei meccanismi, dall’eccessiva semplificazione degli esiti e dall’occultamento
dei contesti dei programmi (Pawson 2002, p.21).
Abbiamo nel precedente paragrafo constatato un’eccessiva debolezza nelle evidenze fornite dagli
attuali studi realizzati sulla base di accreditati sistemi di review internazionali. Tra i limiti maggiori sul
piano metodologico delle review sistematiche si segnala uno slittamento tra metodo dell’indagine
scientifica e aspetti tecnici dei disegni di ricerca: tale slittamento porta ad anteporre e previlegiare
particolari tecniche e procedure sviluppate nell’ambito di alcune specifiche discipline all’analisi degli
elementi fondamentali che dovrebbero qualificare una proposizione scientifica.
Il fatto che le review nel campo delle politiche sanitarie pongano tra gli standard ideali di uno studio di
qualità l’utilizzo di disegni di ricerca basati sul modello sperimentale con campione di controllo e
metodo random (preferibilmente “a doppio cieco”) ha delle profonde ricadute su tutto il processo di
conoscenza che ne deriva. Questo tipo di opzione, a parte altre considerazioni, porta a ridurre
notevolmente il tipo di studi che possono esser presi in considerazione ed anche il tipo di fenomeni in
quanto le tecniche di indagine si sono sviluppate proprio a partire dalla loro adeguatezza e utilità
rispetto precisi oggetti e discipline di riferimento (es. astronomia, antropologia, fisica…) e poco si
prestano ad essere utilizzate come paradigma indifferenziato di riferimento e ad assurgere a buono
standard di scientificità.
Torniamo tuttavia alle stesse parole di Donald Campbell, lo psicologo e metodologo americano a cui si
ispira la Campbell Collaboration17 e a cui dobbiamo, tra l’altro, l’ideazione del disegno di ricerca
quasi-sperimentale.
Negli anni ’80 un’agenzia federale statunitense, precisamente un Centro di Ricerca sulla Prevenzione
(CPR) del National Institute of Mental Health, chiese a Donald Campbell di formulare delle linee guida
17
Sito: www.campbellcollaboration.org
10
per monitorare, finanziare e analizzare i fabbisogni che avrebbero potuto aumentare la validità
scientifica del lavoro di ricerca realizzato da una serie di centri a livello regionale (Campbell, Russo
1999).
Le scienze sociali applicate, osserva Campbell, sono tenute a confrontarsi con problemi pratici
evitando di orientarsi verso compiti ritenuti più desiderabili in cui risulterebbe più facile adottare un
maggiore rigore scientifico.
“L’ideologia della scienza-pura con cui siamo stati tutti formati, in aggiunta alla necessità di ottenere
l’approvazione dei progetti di ricerca da commissioni esaminatrici il cui principale comun
denominatore è l’expertise nel metodo scientifico, più la necessità di carriera dello staff di prodotti
della ricerca pubblicabili in rispettabili riviste scientifiche, tutto ciò si combina nello spingere coloro
che fanno ricerca applicata (…)verso l’abbandono di problemi mirati e la sostituzione con ricerche
scientificamente fattibili ma con obiettivi di dubbia rilevanza” (Campbell, Jean Russo1999, 210-211
Traduzione dell’autrice)
Il CPR Centro di Ricerca sulla Prevenzione avrebbe dovuto supportare attività di ricerca il più possibile
scientificamente valide, senza tuttavia modificare i problemi oggetto di indagine, infatti, “..dove il
problema non è adatto ad una ricerca quantitativa sperimentale, si dovrebbe utilizzare una ricerca
appropriata all’obiettivo utilizzando approcci “clinici”, “umanistici”, “etnografici”, o “qualitativi””.
(Campbell, Jean Russo 1999, 211)
Le raccomandazioni espresse da Campbell e finalizzate a rafforzare la validità scientifica dei lavori di
ricerca di un centro che si occupava di prevenzione non riguardavano l’adozione di determinati
standard e approcci di ricerca, ma la struttura sociale. Esse riguardavano strategie volte a:
• sostenere una comunità scientifica mutualmente stimolante, focalizzata sul confronto;
• evitare monopoli sui problemi di metodologia della ricerca ed incoraggiare sovrapposizioni e
competizione nelle agende dei diversi team di ricerca,
• facilitare la possibilità di rianalizzare i dati da parte di altri ricercatori e realizzare metaanalisi;
• suddividere grandi studi in studi paralleli in modo da sviluppare maggior senso critico e ed
una pluralità di soluzioni senza pressioni ad una identità metodologica.
Tutti questi punti sembrano enfatizzare l’importanza nel processo di conoscenza scientifica del
confronto tra visioni rivali e i vantaggi della pluralità metodologica piuttosto che il conformismo in
termini di standard aurei da rispettare comunque.
Pawson ironicamente osserva che alcune caratteristiche promosse dalla Campbell Collaboration similmente dalla Cochrane Collaboration- quali la spinta all’uniformità dei protocolli delle review
sistematiche, la gerarchia delle evidenze e la corrispondente sottovalutazione delle conoscenze tacite e
locali, non sarebbero apprezzate dallo stesso Campbell se oggi fosse vivo. (Pawson, 2004)
3. La revisione proposta dalla sintesi realista
Secondo la valutazione ‘realista’ l’efficacia dei programmi può essere concepita nel seguente modo.
“Il potere causale di un’iniziativa sta nel meccanismo sottostante (M), vale a dire nelle risorse
(materiali cognitive o emotive) da essa fornite nella convinzione che tali risorse possano influenzare le
azioni del soggetto: il funzionamento di questo meccanismo dipende dal contesto (C): dalle
caratteristiche tanto dei soggetti quanto del luogo in cui si svolge il programma” (Pawson, 2002, 27).
11
L’elemento centrale della critica realista alla meta-analisi riguarda la concezione di causalità di tipo
“successionista” che assume un nesso esplicativo tra trattamento e cambiamento osservato in seguito.
Nella prospettiva realista si utilizza una concezione ‘generativa’ della causalità; la causazione è
contingente e non dipende unicamente dal “programma” o dal trattamento ma dai meccanismi che si
generano in relazione all’interazione tra intervento, natura dei soggetti coinvolti e circostanze.
Il quesito di valutazione quindi si sposta da “Il programma funziona?” a “Cosa funziona per chi e in
quali circostanze?”.
Ne consegue un diverso modo di concepire anche la generalizzazione il cui obiettivo non è più la
replicabilità su ampia scala dei risultati dei programmi in contesti eterogenei ma lo sviluppo di teorie
trasferibili: questa teoria del programma funziona a queste condizioni, per questi soggetti e in queste
circostanze”. (Pawson 2002 b).
Le revisioni sistematiche sull’evidenza si occupano di sintesi delle indagini senza tener conto nel loro
modello di ricerca dei processi cumulativi alla base della stessa investigazione scientifica. L’assunzione
critica dei problemi alla base dell’indagine e delle ipotesi assunte e il procedimento basato sulla ricerca
di falsificazione delle ipotesi rappresentano il modo con cui procede la conoscenza scientifica. Ogni
ricerca nelle review sistematiche è, invece, considerata una monade a se stante e non piuttosto nel suo
contesto di ricerca quale processo di messa a confronto di più ipotesi esplicative contendenti.
Ci chiediamo allora: come la sintesi realista intende favorire politiche basate sull’evidenza d’efficacia?
“La soluzione è composta di due parti, la prima delle quali consiste nel cambiare l’unità di analisi della
revisione sistematica. Poiché sono i «meccanismi dei programmi» a innescare il cambiamento,
piuttosto che i programmi in quanto tali, è molto più ragionevole basare la revisione sistematica sulle
«famiglie di meccanismi» invece che sulle «famiglie dei programmi». Sono i meccanismi gli
ingredienti attivi degli interventi sociali, ed è necessario che vengano identificati e concettualizzati e
poi eletti a luogo di confronto per l’intero esercizio.” (Pawson, 2002, 27).
La seconda parte della soluzione riguarda ciò che avviene nel processo di sintesi dei risultati dei
diversi studi e che nelle meta-analisi si traduce in un esercizio di unificazione e aggregazione statistica.
Realizzare una sintesi realista vuol dire invece realizzare un confronto fra le diverse configurazioni di
Outcome-Contesto- Meccanismo (C + M= O) e dare una spiegazione delle variazioni osservate in
programmi che, seppur diversi, utilizzano una stessa famiglia di meccanismi, con lo scopo di mettere in
evidenza con quali soggetti si è realizzato il cambiamento sperato e in quali contesti. Si tratta di una
prospettiva non determinata da esigenze e competenze amministrative connesse alla valutazione di un
programma ma di una prospettiva conoscitiva basata sul meccanismo.
Mentre lo scopo della meta-analisi è quello di tirare fuori “cosa funziona”, con la sintesi realista si va a
scavare fra le coerenze e incoerenze emerse nell’applicazione dei diversi programmi per ri-costruire,
modificare, revisionare le “teorie dei programmi”. È ancora una volta la teoria, quindi, il punto di
ritorno della sintesi sistematica dei programmi.
Di seguito sintetizziamo i principali step del procedimento della sintesi realista , di un approccio di
revisione guidato dalla teoria (Pawson et Al., 2004); si noti che la questione degli standard di ricerca
compare in diversi punti ed in particolare nel sesto.
Il procedimento di una revisione guidata dalla teoria
1. Con i committenti e i decisori indagare come intendono utilizzare i risultati della review.
Sviluppare una teoria approssimativa del programma, di come l’intervento si suppone debba
12
funzionare. Analizzare i presupposti teorici alla base del programma e ricostruire tramite
l’analisi di fonti diverse (per ora non considerare le evidenze empiriche dei programmi) un
modello esplicativo di come il processo di attuazione del programma dovrebbe condurre agli
outcomes previsti.
2. Ricercare evidenze rispetto ai diversi link previsti dal programma; ogni studio può contribuire
alla comprensione di parti della “catene logiche”.
3. Identificare l’evidenza offerta da questi studi ricordando che l’elemento chiave è l’originale
interpretazione dell’autore la sua spiegazione dei risultati e non invece “i risultati” derivati da
misure di outcome, osservazioni di processo, focus group, interviste, documenti etc.
4. Fare una preliminare verifica in ciascun studio rispetto a quanto le interpretazioni sono
sostenute e giustificate dall’evidenza ricordando che vanno giudicate alla luce del paradigma con
il quale sono state create. L’iniziale mappa di interpretazioni sarà costituita da un diverso grado
di plausibilità e correttezza.
5. Sintetizzare le evidenze individuando pattern sottostanti le affermazioni esplicative.
Identificare i processi individuati ad esempio nello studio A, che danno peso e giustificano gli
outcome dimostrati nello studio B). Combinare le evidenze tra diversi studi per produrre un
insieme coerente di spiegazioni che non rappresentino la somma delle singole parti.
6. Questo processo di assorbimento delle diverse interpretazioni include il fatto che vengano dati
dei giudizi sulla qualità degli studi. Esiste un’accettazione o rifiuto a più riprese dei risultati e
delle interpretazioni degli stessi, ogni scelta va giustificata individualmente alla luce del pattern
complessivo e della coerenza dei risultati. Il valore degli studi è determinato nel processo di
sintesi.
7. Ripetere il processo alla luce delle nuove informazioni e di un ampio numero di studi primari.
Nuovi studi possono permettere di rifinire o apportare aggiustamenti al modello esplicativo
precedentemente sviluppato.
Una revisione basata sulla teoria realizza una sintesi delle evidenze di efficacia di programmi attuati in
differenti contesti e settori di policy che hanno in comune “le famiglie di meccanismi” sottostanti ai
cambiamenti previsti dai programmi stessi. Secondo tale approccio i programmi che sono composti da
lunghe e complesse catene di interventi, come per l’appunto quelli nel settore della prevenzione,
necessitano di una revisione che non si limiti a sovrapporre e contemplare le analisi quantitative degli
outcomes ma che tenga conto dei processi e dei meccanismi sviluppati nel corso delle azioni.
Programmi diversi tra loro, realizzati in ambiti di policy differenti, spesso hanno alla base delle teorie
del cambiamento molto simili: dopotutto i decisori non hanno una sconfinata fantasia e tendono a
riprodurre strategie che hanno funzionato in altri contesti. Nei paesi anglosassoni sono, ad esempio,
piuttosto comuni i programmi che si basano su meccanismi di “blaming and shaming”, cioè sulla
denuncia e “additamento” pubblico di comportamenti che si intende contrastare e che prevedono
interventi quali la pubblicazione di statistiche sulle performace scolastiche, di liste di soggetti
condannati per crimini sessuali, di statistiche sui furti di automobili con luogo e marca. Il programma
per il mantenimento dell’ordine pubblico basato sul motto “tolleranza zero” ha attraversato l’atlantico e
si è trasformato nella città di Napoli in un programma per il mantenimento della pulizia.
Delle sintesi realiste sono state, ad esempio, recentemente realizzate sui programmi che utilizzano le
strategie del Mentoring (Pawson 2004). Il mentoring si realizza in una pluralità di ambiti , nelle
politiche educative in ambito scolastico, carcerario, extrascolastico per la prevenzione del drop out, in
moltissimi contesti (scuole, prigioni, ospedali) e a favore di differenti target group.
13
Ricavare delle lezioni su “cosa funziona” da questa massa di esperienze è virtualmente impossibile e il
tentativo di aggregare i risultati di diversi studi o trovare gli effetti netti può portare a risultati
contrastanti.
Vi sono diverse ragioni che ci inducono a ritenere che per lo sviluppo di politiche di prevenzione basate
sull’evidenza, questo tipo di ragionamento, applicato sino ad oggi in ambito internazionale (Network
for Evidance Based Policy, UK) in diversi ambiti e settori di policy assai vicini alle politiche preventive
nel settore socio sanitario, porterà a indicazioni e risultati significativi. Innanzitutto si tratta di un
settore maturo con un’ampia produzione di studi valutativi, si tratta inoltre di programmi basati su un
numero limitato di “meccanismi” sperimentati in innumerevoli contesti.
I programmi per la prevenzione della dipendenza da sostanze lecite e illecite comprendono programmi
basati su misure diverse:
• Regolamentazione della disponibilità economica e fisica di alcune sostanze (Es:
Modificare il tasso alcolemia per guidatori, disincentivare l’uso inappropriato di farmaci
tramite attività di controllo delle prescrizioni e del consumo di alcuni farmaci da banco…);
• Regolamentazione che influenza la disponibilità di sostanze psicoattive illecite sul mercato
(es. accordi internazionali, eradicazione delle colture, legislazione su precursori
chimici…);
• Regolamentazione dei Media (es : regolamentazione restrittiva della pubblicità esplicita e
occulta sul tabacco);
• Campagne informative (es : informazione su effetti delle sostanze tramite campagne su
Mass media o sessioni informative rivolte a gruppi, classi etc. );
• Programmi di educazione alla salute in contesti scolastici ed extra scolastici rivolti a target
intermedio o giovani beneficiari (es: interventi volti a rafforzare le life skill e la capacità di
resistere a pressioni sociali);
• Interventi basati sulla peer education.
Un esame delle similitudini rinvenibili tra programmi di prevenzione nel settore delle dipendenze con
quelli realizzati in altri settori svela le analogie che esistono in termini di strategie di intervento: le
campagne informative sono ampiamente utilizzate non solo per la prevenzione, ad esempio, dell’abuso
alcolico e del tabagismo, ma anche dell’incidentalità stradale, della trasmissione di malattie
sessualmente trasmissibili, dei disturbi cardiovascolari connessi all’obesità e a un’inadeguata
alimentazione e stile di vita, degli incidenti sul lavoro, etc.
Così pure l’educazione peer to peer è stata sperimentata nel settore della prevenzione del disagio
mentale, per prevenire drop out e dispersione scolastica, come in quello della devianza giovanile o
quello del consumo di sostanze illecite.
La nostra tesi è dunque, in sintonia con quanto proposto dalla sintesi realista, la seguente:
• poiché le strategie di fondo dei programmi di prevenzione attuati in diversi contesti e con
obiettivi diversificati (es: prevenire dispersione scolastica, abuso di sostanze stupefacenti,
comportamenti a rischio nell’incidentalità stradale, disturbi cardiovascolari connessi a stili di
vita inadeguati etc.) sono limitate e poiché ben identificabili sono le teorie del programma a cui
le stesse si ispirano, sarebbe più sensato porre tali strategie (analoghe alla nozione di famiglia di
meccanismi proposta dalla sintesi realista) al centro dell’analisi valutativa piuttosto che gli
outcome di ciascun programma.
14
4. L’utilizzazione delle evidenze offerte dalle revisioni sistematiche in un ottica realista: il
caso della ricerca valutativa in Re-Ligo
In questo paragrafo illustreremo un’esperienza di utilizzazione delle evidenze di efficacia offerte dalla
ampia letteratura sulla prevenzione e dalle review sistematiche nell’ambito di una ricerca valutativa
inserita in un progetto di ricerca-intervento denominato Religo.
Tale esperienza enfatizza l’importanza della comprensione delle teorie sottostanti ai maggiori approcci
di prevenzione a partire dalla convinzione che sono i meccanismi in azione in determinati contesti a
produrre gli outcomes. In questo paragrafo ci soffermiamo sul metodo utilizzato e rimandiamo il lettore
interessato ai risultati alla ricerca valutativa, e ad una descrizione esaustiva dell’approccio e delle
maggiori evidenze di efficacia nell’area della prevenzione delle dipendenze18 ad altri testi (Leone 2006,
Leone, Celata 2006).
Il progetto Re-Ligo era un progetto di ricerca-intervento (periodo 2003-2006) finanziato dal
Dipartimento nazionale anti droga della Presidenza Consiglio dei Ministri, promosso dalla Regione
Lombardia e coordinato dalla ASL Città di Milano (ASL capofila). Al percorso hanno partecipato i
Dipartimenti Dipendenze di 11 ASL di 3 Regioni del nord Italia (Lombardia, Liguria Piemonte),
CEVAS per la parte relativa alla conduzione della ricerca valutativa, la formazione dei 22 operatori ricercatori referenti dei diversi servizi territoriali e l’elaborazione del manuale utilizzato nella fase di
diffusione. Uno degli obiettivi del progetto era quello di individuare elementi conoscitivi utili allo
sviluppo di raccomandazioni e indicazioni per la programmazione di attività di prevenzione nel settore
delle dipendenze. Un secondo obiettivo riguardava lo sviluppo, sui diversi territori, di Agenzie locali
per la prevenzione atte a svolgere una funzione di catalizzazione, coordinamento e programmazione
delle attività di prevenzione promosse da diverse istituzioni e organismi presenti nel territorio ASL
(Comuni, altri dipartimenti ASL, associazioni locali, organismi del privato sociale accreditati). In
questo processo le contaminazioni tra diversi organi di governo, Regione, diversi dipartimenti delle
ASL., comuni e uffici tecnici dei Piani di Zona l.328/00, tavoli di coordinamento con il privato sociale ,
sono state significative e ricorsive; in corso d’opera elementi emergenti dalla sperimentazione sono
stati, infatti, inglobati e rielaborati all’interno di ordinari strumenti di programmazione regionale
(v.DGR relative a utilizzo dei fondi vincolati, ipotesi su modello di accreditamento delle attività
preventive) e locale (v. piano territoriale L.45/99). La logica alla base dell’implementazione del
progetto può essere rappresentata dal seguente grafico che pone in luce il processo ricorsivo connesso
alla utilizzazione, diffusione, e in seguito riformulazione, di indicazioni e raccomandazioni connesse a
evidenze di efficacia.
18
Si veda in particolare il capitolo di Leone L, Ruffa M. (2006), “Prevenzione delle dipendenze, riduzione
del danno ed evidenze di efficacia: sintesi delle principali indicazioni offerte da review sistematiche e linee
guida”, in: Leone L., Celata C. (a cura di), Per una prevenzione efficace, Il Sole 24 ore, Milano
15
Estrazione di
raccomandazioni
tratte da linee guida
e review e
aggregazione in
relazione a Famiglie
di meccanismi
Ricerca
valutativa su
territori e
sviluppo
conoscenze
contestualizzate
Rifinitura delle linee
guida, loro
contestualizzazione
e diffusione tra
programmatori
locali
Questa forte enfasi sulla ricaduta pratica del progetto, la disseminazione delle evidenze e la
significativa presenza dei decisori all’interno degli organismi di coordinamento insita nella stessa
architettura dell’iniziativa19, hanno influenzato il disegno della ricerca valutativa e rafforzato la
possibilità di trarre dalla ricerca suggerimenti fruibili sia dai programmatori locali sia da operatori
responsabili di progetti.
Una classificazione theory-driven delle evidenze di efficacia delle review sulla prevenzione
La prima tappa della ricerca valutativa, quella su cui in questo scritto intendiamo soffermarci, è stata
caratterizzata da un lavoro di analisi della letteratura scientifica sulla prevenzione in campo
sociosanitario e socioeducativo, finalizzata a rintracciare le strategie ricorrenti dei diversi programmi,
considerandole in termini di “famiglie di meccanismi”.
La tabella seguente mostra i criteri di classificazione adottati originariamente dalle review sistematiche
e dai documenti presi in esame; solitamente si utilizza la nozione di ‘componente’ centrale di un
programma per collocarlo in una o l’altra delle possibili classificazioni20.
Tab. 1 Classificazione originaria delle revisioni e delle linee guida
Criteri di
Review sistematiche o Linee Guida
classificazione
Review WHO Regolamentazione della disponibilità fisica ed economica
dell’alcol. Regolamentazione delle sostanze psicoattive. Iniziative basate su
utilizzo dei media. Iniziative basate sulla strategia di sviluppo di comunità. L’uso
di strategie educative all’interno delle scuole.
Strategia
Ambito intervento
Linee Guida EMCDDA Programmi rivolti a dispersione scolastica e abbandono
Fattori di rischio e
19
La connessione tra progetto e operatività dei servizi è in parte affidata agli sessi operatori del “GOI”: si tratta di persone
segnalate dal Dipartimento Dipendenze la cui attività lavorativa è stata destinata per due anni a part time al progetto Religo.
20
World Health Organization (WHO); European Monitoring Centre for Drugs and Drug Addiction (EMCDDA); National
Institute on Drugs Abuse (NIDA); Centre for Substance Abuse Prevention (CSAP).
16
precoce della scuola. Interventi con gruppi vulnerabili nella scuola. Giovani
delinquenti. Counseling per giovani consumatori (contesto extra scolastico).
Interventi nel tempo libero, attività sportive, giovani lavoratori..
obiettivi; Target;
Ambito di intervento
Linee Guida NIDA Fattori di rischio e fattori protettivi, segnali iniziali, periodo
più a rischio. Interventi di prevenzione delle dipendenze nella Comunità.
Programmi di prevenzione universale, selettiva e indicata nella scuola elementaremedia-superiore.
Fattori di rischio e
Protettivi. Ambito di
intervento. Tipologia di
prevenzione: Universale,
Selettiva , Indicated
Ambito di intervento
Strategie
Review CSAP Principi a seconda del dominio di intervento: individuo, famiglia,
peer, scuola, comunità, società-ambiente. Principi secondo la strategia CSAP
Spieghiamo meglio: l’idea da cui siamo partiti è che dalla vasta tipologia di programmi di prevenzione
(differenti per ambiti di policy, target, contesti di implementazione e così via) fosse possibile
rintracciare e classificare alcune comuni strategie sottostanti la programmazione di tali interventi,
ovvero quelle quasi-teorie e quelle ipotesi (più o meno esplicite) che i programmatori o i progettisti
formulano rispetto a cosa dovrebbe accadere, perché e in chi a seguito di determinati interventi.
Alla base degli interventi informativi esiste, infatti, una comune ipotesi sottesa.
Dal momento che, come abbiamo ribadito più volte, il cambiamento nei soggetti è provocato dai
meccanismi che i programmi innescano e non dai programmi in sé, aver individuato delle “strategie
sottostanti i programmi di prevenzione”, significava anche aver individuato delle “classi di
meccanismi” che si innescano presumibilmente in programmi che condividono un’architettura simile
anche se diversi per ambiti di intervento. Di seguito indichiamo Strategie e “famiglie di meccanismi”
da noi evidenziate e utilizzate per ricodificare le evidenze di efficacia offerte dalla letteratura
relativamente al settore delle dipendenze.
1) Strategia normativa
Meccansimo: Minaccia-dissuasione
Rientrano in questa famiglia di meccanismi una serie di programmi basati sull’assunto che il
sanzionamento, basato sul meccanismo del “bastone” (Bemelmans-Videc., Rist, Vedung 1998), di un
determinato comportamento possa scoraggiare l’adozione dello stesso da parte degli individui e che la
minaccia scoraggia il ripetersi di tali comportamenti (v. art 75 DPR 309/90)21.
2) Strategia Informativa
Meccanismo: Diffusione informazione “scientificamente corretta”- adozione comportamenti
protettivi
Riguardano tale famiglia di meccanismi programmi che adottano approcci di tipo informativo, basati
sul meccanismo del “sermone” (Bemelmans-Videc., Rist, Vedung 1998) e sulla diffusione di
informazioni e raccomnadazioni rivolte a singoli, a gruppi (di giovani o di adulti) o a masse.
Determinati comportamenti della popolazione sono interpretati come frutto di una scarsa o errata
conoscenza (lettura del fenomeno e del problema) dei rischi e conseguenze a questi connessi. Le
strategie informative prevedono interventi volti a colmare o modificare tale deficit informativo tramite
messaggi rivolti a singoli individui, gruppi o grandi pubblici (v. mass media, conferenze..). L’ipotesi
alla base dell’intervento è che tali messaggi possano modificare e aumentare il livello di conoscenza e
che questo si traduca in una modificazione di atteggiamenti (es: maggiore percezione del rischio) e di
21
L’art 75 DPR 309/90 prevede che vengano applicate sanzioni amministrative e obbligo colloquio prefettizio a soggetti
trovati dalle FFOO in possesso per uso personale di sostanze stupefacenti.
17
conseguenza in una modificazione di comportamenti (v. campagne informative sull’utilizzo del casco;
interventi tenuti da esperti sulle modalità per prevenire il contagio del virus HIV…).
3) Strategia educativo-promozionale
Meccanismo: Rafforzamento e promozione delle competenze sociali- adozione comportamenti e
stili di vita protettivi
In questa famiglia di meccanismi rientrano una molteplicità di modelli di intervento che vanno sotto il
nome di approcci educativi e che spesso utilizzano in modo più o meno eclettico il modello basato sulla
promozione delle Life skills promosso dallo stessa OMS nel settore dell’educazione alla salute o
l’approccio socioaffettivo. Il presupposto di fondo è: se si rafforzano negli individui le life skills,
ovvero le capacità di gestire le emozioni, prendere le decisioni, di percepirsi adeguati (autostima), di
gestire lo stress, di resistere all’influenza del gruppo, di accrescere un pensiero critico ecc., è possibile
che questi sviluppino una maggiore consapevolezza di sé e una maggior tendenza all’auto-protezione
(es. interventi volti a ridurre la dispersione scolastica degli studenti).
4) Strategia di Sviluppo di comunità
Meccanismo: Sviluppo competenze e soluzione dei problemi da parte della comunità – le diverse
agenzie sostengono stili di vita protettivi
Rientrano in questa famiglia di meccanismi una serie di orientamenti afferenti all’approccio dello
sviluppo di comunità. Secondo tale approccio, frutto dell’incontro di una pluralità di quasi-teorie del
cambiamento sociale, se si interviene all’interno di una comunità adottando un approccio
emancipatorio e prevedendo, in un’ottica sistemica, la partecipazione degli individui, delle diverse
agenzie educative e delle istituzioni presenti nella comunità (approccio di rete) e favorendone
l’assunzione di responsabilità (v. comunità competente e empowerment di comunità) rispetto alla
realizzazione degli stessi interventi, allora è probabile che si sviluppino una serie di cambiamenti
all’interno della stessa in termini di rafforzamento del controllo sociale sui comportamenti devianti, di
una maggiore comunicazione e capacità di gestione dei conflitti, di una corresponsabilità nella
soluzione di problemi comuni, ecc… (es. interventi di prevenzione dell’incidentalità stradale che
prevedono il coinvolgimento di forze dell’ordine, gestori dei bar e opinion leader di una determinata
zona).
5) Strategia peer education
Meccanismo: Adozione di comportamenti protettivi dei giovani Leader di gruppo-influenza sui pari
Quest’ultima famiglia di meccanismi riguarda gli interventi che utilizzano l’approccio della peer
education per promuovere cambiamenti di atteggiamento e comportamento nei giovani. L’assunto
sottostante è che se la promozione di determinati comportamenti auto-protettivi proviene da soggetti
che appartengono al proprio gruppo di riferimento e svolgono un ruolo di leader, gli individui saranno
più inclini a orientare i propri atteggiamenti e comportamenti nella direzione indicata dai pari .
Tenendo conto dello specifico ambito di intervento del progetto Religo, nella seconda tappa della
ricerca ci siamo soffermati sull’analisi delle evidenze offerte principalmente da review sistematiche e
linee guida di programmi di prevenzione sul consumo di sostanze lecite e illecite. Tali documenti sono
stati selezionati per i seguenti motivi:
18
1) sono stati redatti da organizzazioni internazionali fortemente accreditate22 rispetto al settore
sanitario o delle politiche per le tossicodipendenze;
2) sono stati prodotti con l’intento di fornire delle raccomandazioni, basate su evidenze di
efficacia, rispetto alla implementazione di programmi di prevenzione.
L’obiettivo della ricerca-intervento, ricordiamo, era quello di rafforzare le evidenze di efficacia dei
programmi di prevenzione e di diffondere indicazioni utili al fine di migliorare la programmazione
degli interventi a livello locale. E’ a questo punto della ricerca che l’influenza dell’approccio theorydriven emerge in modo più evidente. La sistematizzazione dei risultati delle diverse valutazioni
effettuate sui progetti inserite nelle review, infatti, non è avvenuta rispettando le classificazioni
originarie utilizzate dai ricercatori (v. contesto di implementazione, caratteristiche del target, obiettivi
che si vogliono raggiungere…); i contributi offerti sono stati esaminati e ricollocati in modo originale
in relazione alle “famiglie di meccanismi”, da noi identificate come strategie preventive. In questo
modo è stato possibile estrapolare per ciascuna “famiglia di meccanismi” un elenco di indicazioni
relative alle condizioni che, sulla base di evidenze, sembrano favorire l’efficacia degli interventi di
prevenzione.
Il presupposto centrale di questo lavoro riguarda la possibilità di comparare e in parte assimilare il
concetto di “strategia di prevenzione” con la nozione di “famiglia di meccanismi” proposta da Pawson
(Pawson, 2006). Tale assimilazione del concetto di strategia sarebbe plausibile perché:
•
esso taglia trasversalmente e in diversi campi di policy i diversi programmi (es: sicurezza
stradale, educazione alla salute, sicurezza sul lavoro, prevenzione delle dipendenze…). In tal
modo si eviterebbe di considerare il dominio amministrativo dei programmi come unità di
analisi.
•
La nozione di strategia si riferisce ai modelli teorici ed alle teorie del cambiamento sociale
sottostanti ai diversi approcci, a quelle quasi teorie o teorie implicite che guidano le attese degli
operatori e degli “architetti dei programmi”.
Questo lavoro di sistematizzazione delle evidenze di efficacia nella prevenzione delle dipendenze è
stato utilizzato in più modi:
a) per sviluppare parte di un questionario utilizzato per la valutazione di un campione di n.122 progetti
di prevenzione realizzati nelle 11 ASL;
b) per diffondere attraverso seminari locali, conferenze e tramite canali editoriali (v. un testo dedicato
alle evidenze di efficacia nella prevenzione) pratiche di prevenzione ritenute efficaci e
raccomandazioni scaturite dalla valutazione dei progetti di prevenzione.
In sede di analisi dei dati è stato possibile sintetizzare le informazioni23 raccolte su ciascun progetto
attraverso un indice che ci ha permesso di determinare il grado in cui ciascun progetto ha realizzato
interventi secondo le raccomandazioni e le indicazioni metodologiche suggerite da letteratura. Si tratta
22
World Health Organization (WHO); European Monitoring Centre for Drugs and Drug Addiction
(EMCDDA); National Institute on Drugs Abuse (NIDA); Centre for Substance Abuse Prevention
(CSAP).
23
Le indicazioni tratte dall’analisi delle revisioni e delle linee guida sono state tradotte in forma di items e inserite nella
scheda di rilevazione utilizzata dai ricercatori per valutare i progetti (n.b. attraverso le interviste a responsabili di progetto,
analisi documentazione e report monitoraggio e valutazione)23. Al ricercatore è stato chiesto di dare un giudizio (scala
Likert da 1 a 4) a ciascun item sulla base della rispondenza delle azioni implementate dal progetto con le indicazioni di
“buon utilizzo” della strategia riprese dalla letteratura.
19
di un indice sull’adeguato utilizzo delle diverse strategie che ci ha permesso di esprimere dei giudizi
valutativi riferiti alla qualità dei progetti.
La rielaborazione di evidenze di efficacia in termini di strategie ha permesso in diverse ASL in cui
abbiamo lavorato e presentato i risultati di sviluppare o rafforzare il confronto tra più dipartimenti e
servizi ( dipartimento dipendenze, dipartimento prevenzione, medicina scolastica, servizio materno
infantile, servizio educazione alla salute per la ASL, Prefettura, Comune, Scuole, organismi del privato
sociale) che a diverso titolo si occupano di prevenzione ed educazione alla salute nella comunità locale.
Presentiamo di seguito un breve esempio di come abbiamo utilizzato nello strumento di rilevazione le
raccomandazioni relative alla strategia informativa24.
Tab. 2 Alcuni item presenti nella scheda di rilevazione relativi alla Strategia Informativa
a. Sono assenti messaggi e comunicazioni di tipo allarmistico o molto ansiogeni
b. Se si utilizzano messaggi intimidatori, si danno anche indicazioni positive e rassicuranti che
rinforzano i comportamenti non-devianti
c. Si utilizzano metodi di apprendimento attivo (es: con scambi e discussioni di gruppo)
d. Le informazioni fornite evidenziabili nei materiali utilizzati nel progetto o comunque nella
documentazione paiono chiare e scientificamente corrette (n.b. nel senso che non vi sono
informazioni scorrette né traspaiono fortemente posizioni di fondo liberiste o proibizioniste)
e. Gli stili di comportamento proposti nel messaggio appaiono socialmente accettabili per il gruppo
target di riferimento (Es. utilizzo del casco che non rovina i capelli)
f. Nel caso di interventi su gruppi di giovani, i destinatari vengono differenziati a seconda delle
diverse “fasi esperienziali” rispetto al consumo di sostanze stupefacenti (es: giovani che si
presuppone non siano ancora entrati in contatto con le sostanze stupefacenti, giovani che ne fanno
uso occasionale, giovani che abusano di sostanze stupefacenti…)
Tramite interviste semistrutturate, la somministrazione di questionario e l’analisi della
documentazione (v. In ciascuna ASL i ricercatori del GOI Gruppo Operativo Interregionale hanno
raccolto i formulari dei progetti inseriti nel campione e i relativi report di monitoraggio e valutazione)
sono state indagate numerose dimensioni dei progetti di prevenzioni attinenti a: caratteristiche
strutturali dei progetti (costi, tempi, fonte finanziaria..), rete degli attori coinvolti, contesti organizzativi
e territoriali, attività realizzate, target e risultati raggiunti, grado di adeguatezza rispetto ciascuna delle
strategie di intervento individuate. Per misurare il grado di adeguatezza delle metodologie di intervento
sono stati confrontati i processi di implementazioni dei progetti con le singole indicazioni tratte dalla
letteratura scientifica ed infine sono state sviluppati otto indicatori sintetici per ciascuna delle strategie
in precedenza individuate. Le evidenze tratte dalla letteratura scientifica hanno assunto in questo
disegno di valutazione il ruolo di standard e pietra di paragone attraverso cui esprimere un giudizio
circa la qualità dei progetti (Stame 2002).
Nel successivo diagramma a barre ( Fig. 1) vengono riepilogati i giudizi complessivi relativi al
grado di adeguata utilizzazione di ciascuna strategia di prevenzione all’interno del campione. Si
rimanda il lettore interessato a questi aspetti della ricerca alla sua descrizione esauriente mentre in in
questa sede il focus viene posto solamente sui processi di estrazione e utilizzazione delle evidenze e
sulla modalità di utilizzo delle revisioni sistematiche.
24
In tale famiglia di meccanismi vi rientrano interventi di prevenzione che si rivolgono a singoli (v. interventi di
counseling), a gruppi di soggetti (v. interventi nelle classi) o a grandi pubblici (v. campagne informative che utilizzano i
media). Dalle review internazionali abbiamo tratto indicazioni rispetto alle categorie di intervento individuate e anche nella
scheda di rilevazione abbiamo presentato gli item suddivisi nelle tre aree; in questa sede abbiamo preferito portare a titolo
esemplificativo solo alcuni items senza specificare le distinzioni effettuate per non appesantire troppo il testo.
20
Le sigle di ciascuna barra indicano le iniziali di ciascuna strategia25, sull’asse delle ascisse viene
indicato il punteggio standardizzato. Il toni del colore sono graduati dallo scuro, che indica basso
punteggio, al chiaro che indica punteggio alto (cioè adeguatezza alta). Osserviamo, ad esempio, che le
strategie informative sul singolo individuo (SIS) sono quelle insieme alla Peer education (SPE) che
vengono realizzate in conformità alle indicazioni delle revisioni sistematiche.
Fig. 1
Indici di adeguata utilizzazione delle strategie di prevenzione
In fase di elaborazione dei dati si sono analizzate anche le correlazioni tra tali indicatori sintetici
(Tramite Chi Quadro ed R phi- Software Datastat) e le altre variabili osservando, ad esempio, una
connessione significativa tra prevalenza di determinate strategie (es: sviluppo di comunità, Educativopromozionale), presenza a livello ASL di chiari indirizzi nel settore della prevenzione, caratteristiche
dei partenariati in fase di implementazione, migliore capacità progettuale, costi e durata dei progetti. I
risultati dei progetti sono stati messi in relazione ai meccanismi, alle strategie adottate, ed ai contesti di
attuazione cercando di individuare le possibile configurazioni.
Le raccomandazioni emerse dall’analisi delle review internazionali (espresse sottoforma di items)
fanno riferimento alle metodologie di intervento che, nei programmi che rientrano nella famiglia di
meccanismi Diffusione Informazione “scientifica”- adozione comportamenti protettivi si sono mostrate
maggiormente efficaci. In particolare le affermazioni relative alle modalità di costruzione del
messaggio che sembrano essere più efficaci (items a. b. d. e.) sono state rintracciate nella review del
WHO (Hawks et al., 2002, 28, 48) e nella review redatta dal CSAP (Brounstein P.J. et al.,1998, 53, 60);
mentre le indicazioni sulle modalità di intervento che sembrano favorire il cambiamento di
atteggiamento da parte dei destinatari (v. items c. f.) sono estrapolate dalla review del WHO (Hawks et
al., 2002, 40, 47), quella del NIDA (AAVV, 2003, 2, 5, 23) e quella del CSAP (Brounstein P.J. et
al.,1998, 54, 66).
Se si presta attenzione alle affermazioni riportate è possibile inferire da ciascun item i presupposti
teorici che sono alla base dell’utilizzo di tale strategia.
25
Sigle: SSC Strategia Sviluppo comunità, SEPA Strategia Educativo Promozionale per Adulti, SEPG Strategia Educativo
Promozionale per Giovani, SPE Strategia Peer Education, SRD Strategia Riduzione del Danno, SIG Strategia Informativa
sul Singolo.
21
Esistono molte teorie o quasi-teorie sottostanti a l’approccio informativo; spesso si fa riferimento alla
dissonanza cognitiva di Festinger (Festinger, 1957) per cui le incoerenze percepite tra i vari aspetti
della conoscenza, dei sentimenti e del comportamento instaurano uno stato interiore di disagio che le
persone cercano di ridurre tutte le volte che è possibile. La conseguenza che viene tratta è che occorre
evitare di proporre situazioni che generano una eccessiva dissonanza cognitiva (vedi item 2) altrimenti i
destinatari del messaggio cercheranno in diversi modi (es. evitamento, dimenticanza, pensiero
“magico”…) di ridurre tale dissonanza rendendo inefficace l’intervento informativo e selezionando
(attenzione selettiva) unicamente le informazioni che tendono a confermare e rafforzare precedenti
credenze (Cedri, 2003).
Al tempo stesso occorre che vi sia un minimo di dissonanza per favorire una messa in discussione dei
sistemi di riferimento personali. Un intervento efficace, quindi, è l’intervento che produce nel soggetto
un’attivazione emozionale e una ristrutturazione cognitiva che determina un comportamento nuovo e
più sicuro. L’intervento deve essere in grado di creare una dissonanza nel sistema di convinzioni e
valori che mantengono il comportamento a rischio; accanto a tale intervento occorre però anche fornire
i mezzi per ridurre la dissonanza illustrando, ad esempio, soluzioni sufficientemente percorribili dai
soggetti. Per tali ragioni sono sconsigliabili interventi informativi basati sull’utilizzo di messaggi
violenti e traumatici (es. campagne sugli incidenti stradali o su effetti connessi all’uso di sostanze) che
producono assuefazione, indifferenza, esitamento nei destinatari.
5. Osservazioni conclusive
L’intento dello scritto è stato quello di cogliere i suggerimenti di alcune correnti di pensiero sulla
Evidence Based Prevention e la Evidence Based policy (Pawson 2002, Pawson 2006, Stame 2003)
relativi al miglioramento delle revisioni sistematiche di programmi di prevenzione nel settore della
sanità pubblica e in quello socioeducativo.
Diversi autori hanno messo in luce problemi d’ordine metodologico delle review sistematiche sottesi al
processo di sintesi e cumulazione delle conoscenze ed alla natura stessa delle ‘evidenze’. Tra questi si è
fatto riferimento ad alcuni contributi di epidemiologici nel settore della sanità pubblica (Bernahrdt
2003) ed a quello dato dalla ‘sintesi realista’ (Pawson, 2001, 2002, 2006). Ray Pawson rappresenta
oggi, da un punto di vista metodologico, il critico più puntuale e feroce della meta-analisi, la tecnica
prevalente di cumulazione delle conoscenze nelle revisioni sistematiche.
Attraverso l’esemplificazione di un caso di valutazione degli interventi per la prevenzione delle
dipendenze (progetto Re-Ligo) è stato proposto un parallelismo tra la nozione di strategia applicata ai
diversi approcci di prevenzione e la nozione di “famiglia di meccanismi” propria della sintesi realista.
Il procedimento adottato e le indicazioni scaturite si prestano ad essere utilizzate ovviamente anche al
di fuori del singolo settore delle dipendenze.
L’ambito di sperimentazione è particolarmente promettente perché il richiamo a diverse teorie del
cambiamento sociale è abbastanza esplicito nei diversi modelli e approcci di prevenzione e promozione
alla salute. Nel settore dell’educazione alla salute la letteratura sulla prevenzione fa riferimento a
diversi modelli basati sulla “influenza sociale”, a modelli “comprensivi e combinati”, a modelli
cognitivi. In tali modelli di intervento molteplici sono le teorie chiamate in causa: la teoria
dell’apprendimento sociale di Bandura, della normative beliefs di Hansen, dello sviluppo sociale di
Hawkins e Catalano, della dissonanza cognitiva di Festinger (Emcdda, 2005) e numerose altre ancora.
Le revisioni sistematiche vengono in genere realizzate in funzione di una classificazioni di programmi
aventi in comune le sostanze o i comportamenti considerati dannosi (alcol, tabacco, droghe illecite,
marijuana, utilizzo del casco) sebbene i decisori tendano ad utilizzare in ambiti diversi della
prevenzione strategie simili. Occorrerebbe quindi tener conto di tale gap e al contempo opportunità e
22
sviluppare revisioni sistematiche di iniziative di promozione della salute aventi in comune proprio le
strategie di intervento e le famiglie di meccanismi alla base dei cambiamenti auspicati.
Un secondo ordine di problemi analizzato nello scritto riguarda l’utilizzazione delle evidenze e cioè la
capacità delle stesse revisioni sistematiche di informare e influenzare i processi decisionali e le pratiche
professionali. Grazie all’analisi di alcune revisioni sistematiche sul tema della prevenzione abbiamo
potuto osservare una certa debolezza informativa dovuta alla ricorsività con cui tali studi denunciamo
“carenze di evidenze” o carenze inerenti “la scarsa qualità dei disegni sperimentali”.
Si è osservato che la sistematizzazione delle evidenze attraverso la nozione di ‘strategia’ di
prevenzione ha favorito la comprensione e l’utilizzazione delle evidenze in quanto probabilmente si è
proposto qualcosa di più comprensibile e coerente rispetto alle classificazioni originarie delle review
sistematiche. Si è proposta una conoscenza più congruente con il back ground culturale, un ‘costrutto’
più trasversale ai diversi settori di intervento (n.b. la prevenzione del consumo di tabacco è in Italia
realizzata dal Dipartimento Prevenzione della ASL, l’educazione socio-affettiva dal servizio Materno
Infantile, mentre la prevenzione delle sostanze illecite è realizzata dai Servizi per le tossicodipendenze
che rispondono ad un altro dipartimento), maggiormente rispondente all’esperienza ed alla forte
necessità di strategie integrate tra diversi settori dell’amministrazione; per tali diverse ragioni il nuovo
costrutto è stato forse maggiormente in grado di influenzare le teorie implicite ed esplicite degli
operatori e dei decisori. A termine del progetto di ricerca si sono sviluppate in modo collaterale, come
ricadute impreviste, una serie di iniziative e progetti formativi a livello di singole ASL (es: ASL BG,
ASL MI1) finalizzati allo sviluppo di strategie integrate di programmazione tra diversi dipartimenti
della ASL, Comuni, organismi del privato sociale ed agenzie educative ed a promuovere una cultura
comune circa approcci di prevenzione e pratiche di programmazione più efficaci.
Sebbene i due aspetti – quello relativo al metodo e quello relativo all’uso delle evidenze- attengano a
ordini diversi del problema in realtà si connettono ad una concezione comune della conoscenza
scientifica intesa come fonte autoritativa del sapere professionale e più recentemente del processo di
policy-making (Nutley 2003, Young 2002, Hansen 2006). Nell’ultimo decennio, in particolare nei
Paesi anglosassoni, si è assistito ad un processo di istituzionalizzazione delle ‘evidenze’; in alcuni
settori di policy (v. sanità) non esiste innovazione o iniziativa che non si promuova senza l’imprimatur
della ‘evidence based’. Si sta imponendo una nuova forma retorica dei processi decisionali (Nutley,
Davies 2001) e qualcuno suggerisce che occorrerebbe ripensare ai concetti di ‘evidence based practice’
ed ‘evidence based policy’ in direzione di una ‘evidence-informed society’ (Nutley 2003, Young et Al
2002). In questa seconda prospettiva sarebbero i processi di costruzione collettiva e di assunzione delle
decisioni ad essere ‘razionali’ e ‘informati’ e non tanto i contenuti delle singole scelte in sé.
Il processo di diffusione e utilizzazione delle conoscenze è meno semplicistico e lineare di quanto
inizialmente assunto dai promotori del movimento dell‘evidence’; non risponde a logiche autoritative e
monodirezionali ma piuttosto a logiche di diffusione, contaminazione e influenza indiretta.
Il caso illustrato dimostra che l’uso delle evidenze nelle pratiche professionali come nei processi di
programmazione viene favorito da un approccio user-led (Boaz, Pawson 2006, Leone 2006 a), attento
cioè al coinvolgimento diretto dei diversi stakeholder interessati alla programmazione e gestione di
interventi di prevenzione, ed dalla promozione di processi di produzione di
conoscenze
‘contestualizzate’. Con il termine contestualizzate ci si riferisce sia a conoscenze di carattere
relazionale connesse a modalità di integrazione e coordinamento tra diverse agenzie territoriali (es.
Presenza o assenza di coordinamenti istituzionalizzati), sia a conoscenze derivate dall’analisi dei
fenomeni (es: dati di prevalenza), dei problemi oggetto di intervento e delle caratteristiche del sistema
di offerta (es: durata, costo, tipologia di promotore, finanziamento, target raggiunto, attività prevalenti)
in determinati setting e territori.
23
Se è vero che “lo scopo ultimo è trovare modalità per revisionare la letteratura e presentare reviews che
siano su misura rispetto ai bisogni di specifici policy makers e practitioners” (Pawson, Boaz 2006),
occorre allora rafforzare e sperimentare metodi di estrazione e presentazione delle evidenze
maggiormente in grado di rispondere ai reali fabbisogni informativi e di dialogare con le teorie
implicite dei diversi attori, i meccanismi di cambiamento assunti ed alla base dei nessi ipotizzati tra dati
interventi e risultati.
Riferimenti bibliografici
Bemelmans-Videc M.L.., Rist R., Vedung E., a cura di, (1998), Carrots, Sticks & Sermons.
Policy Instruments and Their Evaluation, New Jersey, Transaction, Publishers.
Bernhardt S. (2003), “Metodologia della valutazione di prove di efficacia in sanità pubblica”, Tesi
di specializzazione AA 2002-2003 Università degli Studi di Firenze, EpiCentro, ISS Istituto Superiore
di Sanità, Roma.
Boaz A., “Applying the Lessons from Evidence-based Medicine to Public Policy”, ESRC UK
Centre for Evidence Based Policy and Practice, London.
Boaz A., Ashby D. (2003), “Fit for purpose? Assessing research quality for evidence based policy
and practice”, ESRC UK Centre for Evidence Based Policy and Practice, London.
Boaz A. Solesbury W. and Sullivan F. (2004) “The practice of research reviewing I. An assessment
of 28 review reports”, ESRC UK Centre for Evidence Based Policy and Practice, Working Paper 9,
London.
Brounstein P.J., Zweig, J.M., Gardner S.E. (1998), “Science-Based Practices In Substance Abuse
Prevention: A Guide”, Substance Abuse and Mental Health Services Administration, Centre for
Substance Abuse Prevention (CSAP), USA.
Burkhart G., (2003), “Report On Selective Prevention In The European Union And Norway,
Selective Prevention: First Overview On The European Situation”, European Monitoring Centre for
Drugs and Drug Addiction (EMCDDA), Lisbona.
Cabinet Office (1999) “Modernising government” Stationery Office: London,
http://www.archive.official-documents.co.uk/document/cm43/4310/4310-02.htm ) (Accesso 14 ottobre
2006)
Campbell D. M . Russo J.M.(1999), Social Experimentation , SAGE Classics Ed.
Campbell Foudation, “Systematic Reviews Guidelines for the Preparation of Review Protocols”
(Version 1.0: January 1,2001) http://www.campbellcollaboration.org/(Accesso 9.08.2005)
Cedri S. (2003), “La prevenzione degli incidenti stradali: il ruolo delle comunicazioni di massa”, in
Taggi F. a cura di, (2003), Aspetti sanitari della sicurezza stradale. Secondo rapporto sul progetto
DATIS: dati, fattori di rischio, prevenzione, valutazione, costi, Istituto Superiore di Sanità Roma.
Cruciani M. (2004), “La meta-analisi: un utile strumento per i dipartimenti delle dipendenze”, in:
Serpelloni G., de Angeli M., Rampazzo L.(a cura di), La valutazione dell'outcome nei trattamenti della
tossicodipendenza. Quality management, Indicazioni per le Aziende Socio Sanitarie e il Dipartimento
delle Dipendenze, Edizione La Grafica
De Santi A., (2002), La prevenzione dei comportamenti a rischio di incidente stradale, Settimana
nazionale della sicurezza stradale , 5-12 maggio 2002, Istituto Superiore di Sanità, Roma.
EMCDDA, Prevention and Evaluation Resources Kit (PERK),
Models and theories,
http://www.emcdda.eu.int/ (Accesso 29.08.2005)
EPPI-Centre (2001) Core Keywording Strategy: Data Collection for a Register of Educational
Research Version 0.9.4. London: EPPI-Centre, Social Science Research Unit.
24
Faggiano F, Vigna-Taglianti FD, Versino E, Zambon A, Borraccino A, Lemma P. (2005), “Schoolbased prevention for illicit drugs' use”. The Cochrane Database of Systematic Reviews 2005, Issue 2.
Art. No.: CD003020.pub2. DOI: 10.1002/14651858.
Festinger, L.A. (1957), A Theory of Cognitive Dissonance, Stanford, Stanford University Press.
Hawks D., Scott K., McBride N., Jones P., Stockwell T. (2002), Prevention of Psychoactive
Substance Use - A Selected Review of What Works in the Area of Prevention, World Health
Organization (WHO), NLM Classification WM 270.
Higgins JPT, Green S (2005), Cochrane Handbook for Systematic Reviews of Interventions
Version 4.2.5, http://www.cochrane.org/resources/handbook/hbook.htm (Accesso 20.10.2006).
Hansen H. F., Rieper O. (2006), The institutionalization of synthesized evaluative knowledge:
adoption, methods and use, Paper presentato alla Joint International Conference UKES-EES
‘Evaluation in Society: Critical Connections’, London, 4-6 October 2006
Hunt N., Hunt N., Ashton M., Lenton S., Mitcheson L., Nelles B. and Stimson G. (2003), (2003),
A Review Of The Evidence-Base For Harm Reduction Approaches To Drug Use, Forward Thinking on
Drugs, http://www.forward-thinking-on-drugs.org/review2.html
Leone L. De Gregorio A, (2002), “Valutazione dell’area prevenzione” in: Rapporto finale di
valutazione del Piano territoriale fondo nazionale di intervento per la lotta alla droga, ASL Città di
Milano, Ottobre 2002, CEVAS.
Leone L.. Ruffa M. (2005) Come apprendere dalle diverse valutazioni d’efficacia dei programmi di
prevenzione: la proposta della sintesi realista, Paper presentato all’VIII Congresso AIV Catania
Leone L., Celata C. (a cura di), Per una prevenzione efficace, Il Sole 24 ore, Milano
Leone L. (2006 a), Promoting the utilization of effectiveness evidences and guide-lines in the sector
of health prevention, Paper presentato alla Joint International Conference UKES-EES ‘Evaluation in
Society: Critical Connections’, London, 4-6 October 2006.
Mullen E.J., Shlonsky A., Bledsoe S.E. and L. Bellamy J. (2005) “From concept to
implementation: challenger facing evidence-based social work”, Evidence & Policy, vol 1, n.1, 2005,
p.61-84
Mulrow C.D.(1994), “Systematic Reviews: Rationale for systematic reviews”, British Medical
Journal 1994;309:597-599
National Health Service Centre for Reviews and Dissemination (2000), Undertaking systematic
reviews
of
research
on
effectiveness.
York,
England:
University
of
York.
http://www.york.ac.uk/inst/crd/report4.htm (Accesso 9.08.2005)
NIDA National Institute on Drug Abuse (2003), Preventing Drug Abuse Among Children And
Adolescents. A Research-Based Guide for Parents, Educators, and Community Leaders, NHI
Pubblication No. 04-4212 (A) Second Edition 1997, Revised 2003.
Nutley S. (2003), Bridging the policy/ research divide Reflections and Lessons from the UK,
Keynote paper presented at Facing the Future: Engaging stakeholders and citizens in developing public
policy. National Institute of Governance Conference, Canberra, Australia 23/24 April 2003
Nutley S., Davies H., Walter I. (2002), “Evidence Based Policy and Practice: Cross Sector Lessons
From the UK”, ESRC UK Centre for Evidence Based Policy and Practice, Working Paper 9, London.
Nutley S., Davies H. (2001), Evidence Based Policy and Practice: moving from rethoric to reality,
CEM Centre University of Durham, Third International, Inter-disciplinary Evidence Based Policies and
Indicator Systems conference, July 2001.
Oakley A., Gough D., Oliver S. and Thomas J. (2005), “The politics of evidence and methodology:
lessons from the EPPI-Centre”, Evidence & Policy, vol 1, 1-2005, pp.5-31
Orlandini D., Nardelli R., Bottignolo E. (2002), Programmi e modelli di prevenzione primaria
delle dipendenze: i diversi aspetti della valutazione, Pubblicazione non in vendita Regione Veneto
Assessorato alle Politiche Sociali, Volontariato e Non-Profit, Direzione Regionale per i Servizi Sociali,
25
Servizio Prevenzione delle Devianze
http://serviziweb.ulss12.ve.it/news/download/pubbl_medici/aliment.pdf (Accesso 13 ottobre 2006)
Palumbo M.(2002), “Il piacere della spiegazione senza l'incubo della casualità”, in Sociologia e
ricerca Sociale, n.68/69, Franco Angeli, Milano.
Pawson R., Nick Tilley (1997) Realistic Evaluation, Sage, London.
Pawson R. (2000), “Assessing the quality of evidence in evidence-based policy: why, how and
when?”, Working paper 1, ESRC UK Centre for Evidence Based Policy and Practice
Pawson R. (2001), Evidence Based Policy: In Search of a Method, Evaluation 8 (2): 157-181,
SAGE Publications, London.
Pawson R. (2002), “Una prospettiva realista. Politiche basate sull'evidenza empirica”, in Sociologia
e ricerca Sociale, n.68/69, Franco Angeli, Milano.
Pawson R. (2002 a), “Does Megan’s Law Work? A Theory-Driven Systematic Review”, Working
paper 8, ESRC UK Centre for Evidence Based Policy and Practice, July 2002, London
Pawson R.(2002 b ), “Evidence-based Policy: The Promise of 'Realist Synthesis'”, Evaluation, Jul
2002; 8: 340- 358.
Pawson R. (2004), “Mentoring relationships: an explanatory review”, ESRC UK Centre for
Evidence Based Policy and Practice, London.
Pawson R. (2006), Evidence Based Policy, Sage, London.
Pawson R., Boaz A. (2006) “Evidence-based policy, theory-based synthesis, user-led reviews”,
ESRC UK Centre for Evidence Based Policy and Practice, London.
Pellai A., Rinaldin V., Tamborini B., (2002), Educazione tra pari. Manuale teorico- pratico di
empowered peer education, Erickson, Trento.
Petticrew M. (2003), “Why certain systematic reviews reach uncertain conclusions”, British
Medical Journal, 5 Apr 2003, 756-758.
Sayer A., (1984) Method in Social Science: a Realistic Approach, Hutchinson, London
Solesbury W. (2001), “Evidence Based Policy:Whence it Came and Where it’s Going”, ESRC UK
Centre for Evidence Based Policy and Practice, Working Paper 1, London.
Rychetnik L, Frommer M. (2002), A Schema for Evaluating Evidence on Public Health
Interventions; Version 4. National Public Health Partnership, Melbourne. ISBN: 0-9580326-7-X
Taggi F. a cura di, (2003), Aspetti sanitari della sicurezza stradale. Secondo rapporto sul progetto
DATIS: dati, fattori di rischio, prevenzione, valutazione, costi, Istituto Superiore di Sanità, Roma.
Stame, N. (1998) L’esperienza della valutazione. Rome: SEAM.
Stame N.(2002), “La valutazione realistica: una svolta, nuovi sviluppi”, in Sociologia e ricerca
Sociale, n.68/69, Franco Angeli, Milano
Stame N. (2004), Theory-based Evaluation and Types of Complexity, Evaluation, Sage Pub, Vol
10(1): 58–76
Young K., Ken, Ashby D., Boaz A., Grayson L. (2002), “Social science and the Evidence-Based
Policy Movement”, Social Policy and Society, 1,3, 2002
Young K., Boaz A. (2005), “Editorial”, Evidence & Policy , vol 1, n.1-2005, p. 3-4
Vigna-Taglianti F., Zambon A., Mathis F., Versino E., Lemma P, Borraccino A, Vitale L, Faggiano
F. (2005), Risultati della revisione Cochrane sull’efficacia degli interventi di prevenzione primaria
dell’uso di sostanze illecite effettuati nelle scuole, Paper presentato all’VIII Congresso AIV Catania.
26