Misurare la performance del sistema sanitario

127
APPENDICE 2
Argomenti di approfondimento
LA MISURA DELL’EFFICIENZA
Una delle componenti essenziali della qualità organizzativomanageriale è senza dubbio l’efficienza.
Storicamente, l’analisi dell’efficienza è legata alla creazione di indici
ad hoc di stampo tipicamente economico/aziendale che misurano la produttività del sistema confrontando l’output con l’input. Il limite principale di questo approccio, tuttora ampiamente diffuso data la sua relativa
semplicità di applicazione e la sua adattabilità a sistemi di valutazione di
tipo normativo (che generalmente si avvalgono di misure puntuali relative a singoli aspetti del fenomeno), consiste nel fatto che le caratteristiche del processo produttivo vengono considerate separatamene producendo una rappresentazione parziale della realtà; si tenta talvolta di
ovviare utilizzando a posteriori metodologie di aggregazione degli indicatori che spesso contengono un certo grado di arbitrarietà o si basano
su ipotesi restrittive o non si prestano a facili interpretazioni.
Un approccio alternativo oggi fortemente consolidato è rappresentato
dalla cosiddetta analisi di frontiera.
L’uso delle frontiere come metodo per stabilire standard di riferimento nell’analisi dell’efficienza si sviluppa a partire dal lavoro di Farrell (1957) il quale ha inoltre introdotto la nota distinzione tra i tre aspetti dell’efficienza già ricordati nei precedenti paragrafi e che qui si ribadiscono:
• l’efficienza tecnica ovvero la capacità di minimizzare la quantità di input impiegata per un dato livello produttivo o di massimizzare la produzione ottenibile a
parità di risorse impiegate;
128
MISURARE LA PERFORMANCE DEL SISTEMA SANITARIO
• l’efficienza allocativa o gestionale ovvero la capacità di allocare al meglio le
risorse, impiegando la combinazione di input ottimale dati i prezzi di mercato o
di acquisizione;
• l’efficienza complessiva o di costo ovvero la capacità di minimizzare i costi totali di produzione, raggiungendo sia l’efficienza tecnica sia quella allocativa.
L’analisi di frontiera consiste sostanzialmente nell’individuazione
della frontiera che consente di associare a ogni quantità di input il massimo livello di produzione tecnicamente ottenibile o, analogamente, a
ogni livello di produzione il minimo impiego di risorse. In altri termini
la frontiera consente di delimitare lo spazio produttivo nel quale trovano
collocazione specifiche combinazioni di input e output.
Un’analoga definizione è quella di «luogo geometrico dei punti tecnicamente
efficienti»; l’efficienza relativa di una specifica unità produttiva può dunque essere
misurata in termini di distanza rispetto ai punti appartenenti alla frontiera. In questo senso la frontiera rappresenta uno standard di riferimento della produzione, poiché quantifica il «valore limite» ossia il massimo prodotto realizzabile da determinati fattori quando essi vengono utilizzati nella maniera più efficiente possibile,
dato lo stato della tecnologia e delle procedure. Le unità produttive che si posizionano sulla frontiera sono quelle che realizzano trasformazioni tecnicamente efficienti, tali che un maggior livello di produzione risulti ottenibile solo aumentando
la quantità dei fattori in input.
Tradizionalmente i metodi di stima delle funzioni di frontiera vengono classificati in due grandi categorie: i modelli parametrici e i modelli non parametrici. Semplificando al massimo, si può dire che l’approccio parametrico si basa su procedure di stima di tipo econometrico
applicate a una specifica forma funzionale mentre quello non parametrico viene svincolato dalla necessità di specificare a priori una forma
funzionale che risulta invece definita solo sulla base dei dati osservati.
Quest’ultimo elemento rappresenta un grosso vantaggio in quanto dall’imposizione di ipotesi teoriche sul sistema di produzione spesso non
perfettamente coerenti con la realtà osservata (e in assenza, come può
accadere, di strumenti effettivamente in grado di dimostrare tale coerenza) potrebbero derivare rilevanti effetti di distorsione sui risultati
dell’analisi.
D’altro canto l’applicazione delle tecniche non parametriche richiede
un’elevata numerosità delle unità di osservazione a causa della forte sensibilità dei risultati agli errori di misurazione e alla presenza di eventua-
Appendice 2
129
li outlier cioè di valori anomali che si discostano significativamente da
quelli relativi a tutte le altre unità osservate.
Appartengono alla tipologia dei modelli parametrici i cosiddetti modelli
multilevel* che si applicano a dati organizzati secondo una struttura gerarchica (ad esempio, in ambito sanitario, le prestazioni ospedaliere potrebbero essere raggruppate per reparto, per ospedale, per ASL di appartenenza
dell’ospedale, ecc.). Ciascun livello al quale vengono rilevate le unità di
analisi, e le corrispondenti variabili in studio, costituisce una fonte di variabilità che può essere analizzata mediante questo approccio: in altre parole
il modello consente di stimare gli effetti individuali e di contesto (cioè attribuibili all’appartenenza a un dato gruppo) e le loro reciproche relazioni.
Presupposto e fondamento del modello è la correlazione tra le osservazioni
micro (unità di primo livello), cioè quelle che appartengono allo stesso gruppo
(dove i gruppi costituiscono le unità di secondo livello), la quale si realizza mediante un campionamento a più stadi. Tale dipendenza, ossia la relazione esistente tra
livello micro e livello macro, può costituire, come già detto, il vero oggetto di interesse dell’analisi multilevel.
Prima di adottare l’approccio multilevel occorre dunque capire quando la struttura dei dati consente un’applicazione multilevel (cioè è possibile, ma non necessario, impostare il disegno campionario e la successiva analisi in modo da adattarla a
un’esplorazione delle relazioni micro/macro che sono ovviamente considerate di
interesse in relazione agli obiettivi dello studio) e quando invece esige un’applicazione multilevel (nel senso che i dati sono naturalmente clusterizzati e quindi ignorare questo tipo di struttura provocherebbe una perdita significativa di informazione con ovvie conseguenze sull’interpretazione del fenomeno).
Alcune interessanti applicazioni dei modelli multilevel per la misurazione dell’efficienza sono state effettuate nell’ambito di indagini valutative sui reparti ospedalieri in cui la scelta di questo tipo di approccio è
stata dettata da specifiche esigenze, in particolare:
* L’applicazione più classica (ma traslabile ad altri ambiti tra cui anche quello dell’analisi delle
performance sanitarie) dei modelli multilevel è quella relativa alle scienze sociali, dove l’interazione tra l’individuo e l’ambiente è storicamente l’oggetto prioritario di interesse. In questo particolare ambito tale metodologia si è posta come punto di incontro tra due approcci opposti cioè quello di tipo macro (analisi «ecologica») e quello di tipo micro (ad esempio, indagini di popolazione
in cui i fenomeni vengono analizzati solo a livello individuale). Questo ha consentito di evitare gli
estremismi derivanti da tali impostazioni (rispettivamente la cosiddetta fallacia ecologica e la cosiddetta fallacia atomistica che consistono appunto nell’estendere all’individuo le relazioni emerse a
livello macro e, viceversa, nell’attribuire caratteristiche individuali a gruppi e strutture più complesse) e di studiare in che modo l’aggregato «ambiente» condiziona direttamente o indirettamente
le scelte, i comportamente, i processi decisionali dell’individuo.
130
MISURARE LA PERFORMANCE DEL SISTEMA SANITARIO
• raccordo tra fonti informative diverse cioè tra archivi di dati raccolti
con finalità indipendenti: ad esempio, misure di output (quali la
numerosità dei casi trattati, la durata della degenza e i finanziamenti
ottenuti sulla base del sistema dei DRG) possono essere desunte dai
dati SDO mentre le variabili da considerare come input sono generalmente ricavabili dalla rilevazione dei flussi delle attività gestionali ed
economiche delle strutture ospedaliere;
• valorizzazione della struttura gerarchica dei dati: esistono ad esempio
nell’organizzazione ospedaliera delle unità superiori (reparti) che presumibilmente esercitano un effetto sulle unità di base (ricoveri, giorni di degenza, ecc.) contribuendo alla determinazione delle singole
dimensioni dell’efficienza; l’approccio multilevel consente di stimare
tale effetto e di superare i limiti dell’analisi multivariata classica la
quale risulterebbe infatti inadeguata se, come in questo caso, si volessero effettuare confronti tra i reparti (a causa dell’esistenza di una correlazione intra-gruppo), tanto più se si volesse tener conto di tutti gli
altri fattori di complessità che influiscono sui risultati e che quindi
vanno in qualche modo controllati nelle valutazioni;
• analisi del trend: la struttura gerarchica dei dati può coinvolgere anche
la componente temporale (sempre con riferimento al settore ospedaliero, si potrebbe studiare come è variata nel tempo l’appropriatezza
dei ricoveri e in questo caso i tre livelli della gerarchia sarebbero ad
esempio rappresentati rispettivamente dai reparti, dall’anno di rilevazione e dalla variabile di output data dai singoli ricoveri o dalle giornate di degenza).
In uno studio condotto nella regione Lombardia e finalizzato a un’analisi dell’efficienza delle strutture ospedaliere attive sul territorio, è stato applicato un
modello di regressione multilevel considerando come variabili risposta i giorni di
degenza, il numero di casi trattati e il fatturato totale (cioè la somma delle remunerazioni ottenute per ogni caso trattato) e come variabili esplicative il numero totale
dei posti letto, il personale totale, il totale delle apparecchiature mediche e il totale
dei servizi forniti dall’ospedale. I dati sono stati analizzati sia a livello di ospedale
sia a livello di singolo reparto: dai risultati è emerso un effetto fortemente significativo (nel senso di una correlazione positiva) della variabile posti letto sulle variabili giorni di degenza e fatturato totale e, in misura più ridotta, della variabile totale apparecchiature (correlazione negativa) sulla variabile giorni di degenza. La
dimensione del personale in servizio nell’ospedale si correla positivamente con le
variabili di output ma il valore del coefficiente varia significativamente a seconda
del tipo di reparto considerato, ad indicare il maggiore/minore fabbisogno di personale in relazione all’output del reparto stesso.
Appendice 2
131
Sulla base di questi risultati e delle stime effettuate a livello aggregato (cioè di
ospedale, considerando tutti i reparti), è stato poi costruito un indice sintetico che
ha permesso di stilare una graduatoria dei vari ospedali a seconda del livello di efficienza raggiunto (Bolzan 2002).
LA MISURA DELL’EFFICACIA
Prima di accennare agli aspetti più tecnici è opportuno ribadire che il
primo fondamentale passo verso l’analisi dell’efficacia è la definizione
dell’outcome, la quale di per sé implica non pochi problemi concettuali
e metodologici.
Si è già più volte ribadita la necessaria distinzione, all’interno di una
valutazione multidimensionale della qualità dell’assistenza sanitaria, tra
l’output cioè il prodotto aziendale e l’outcome ossia il risultato in termini
di ricaduta dell’intervento posto in atto sulla salute individuale e collettiva. Data la molteplicità dei fattori, interni ed esterni al sistema sanitario,
che contribuiscono (con una diversità di ruoli, funzioni, intensità di impatto, ecc.) alla determinazione dell’esito di salute, questo viene spesso interpretato come un costrutto multidimensionale alla cui misurazione partecipano una serie di indicatori relativi ai vari aspetti connessi alla salute.
Alcuni autori hanno tentato una classificazione degli outcome distinguendo tre categorie principali (Cittadini 2002):
1. Outcome di contesto: non descrivono direttamente i risultati, in termini di salute, dell’assistenza fornita bensì i fattori e le condizioni che
influiscono, in senso positivo o negativo, sull’effetto prodotto dall’assistenza stessa. Gli outcome di contesto sono quindi identificabili con
quegli aspetti della performance che insieme concorrono a generare
un certo esito, quali l’accessibilità, l’appropriatezza, lo stato di salute
preesistente o indipendente dall’intervento assistenziale:
• Ad esempio i tempi di attesa, che sono correntemente considerati un indicatore di accessibilità e rispondenza, rappresentano un fattore interno al sistema
che può condizionare la realizzazione dell’outcome; analoghi esempi sono la
percentuale di ricoveri inappropriati, che è un indicatore di inappropriatezza
o, relativamente alle variabili esogene al sistema, i cosiddetti eventi sentinella ossia quei fenomeni epidemiologici e/o clinici che preannunciano il manifestarsi di un evento patologico sulla persona o sulla popolazione e che possono essere assunti come indicatori dello stato di salute.
132
MISURARE LA PERFORMANCE DEL SISTEMA SANITARIO
2. Outcome clinici: descrivono i risultati conseguenti a uno specifico
trattamento medico, chirurgico o riabilitativo effettuato sulla base di
standard scientificamente validi e riconosciuti (linee-guida).
• Vari esempi di indicatori di esito clinico possono essere desunti dalla letteratura nazionale e internazionale: ad esempio nell’ambito dei trial clinici e degli
studi di disease progression così come nell’ambito delle varie scale di misurazione adottate per la valutazione dei sintomi, o dello stato funzionale, ecc.
3. Outcome inerenti lo stato di salute inteso in senso lato: descrivono la
qualità della vita salute-correlata tenendo conto di una molteplicità di
aspetti quali la comorbosità, la disabilità fisica e/o mentale conseguente alla malattia, lo stato psicologico, gli effetti collaterali di interventi o farmaci, ecc.
• Un tipico esempio di misura di questo tipo di outcome è la scala SF-36 (e la
sua versione ridotta SF-12), che viene spesso definita come indicatore di
«stato di salute generico» in quanto basata su valori universalmente accettati
ossia su una definizione ampiamente condivisibile e generale (cioè non specifica per età, patologia o terapia) di benessere individuale.
Riguardo agli aspetti più tecnici, agli indicatori di efficacia si estendono considerazioni simili a quelle espresse a proposito degli indicatori
di efficienza; in particolare si può anche in questo caso affermare che agli
indicatori univariati, i quali cioè valutano separatamente singoli aspetti
(spesso soggetti a «discutibili» sintesi a posteriori) dei processi, delle
attività e dei risultati andrebbero «preferiti» metodi di analisi multivariata che privilegiano una visione di insieme dei fenomeni e che valorizzano la struttura di relazione delle variabili esaminate. In tal senso i modelli multilevel rappresentano anche in questo caso un valido supporto in
quanto consentono di effettuare confronti coeteris paribus cioè a parità
di condizioni (caratteristiche di contesto, caratteristiche dei soggetti
coinvolti nella valutazione,* ecc.) e quindi di produrre stime di «efficacia relativa», indagando al tempo stesso le relazioni tra i vari attori che,
a diversi livelli, giocano un ruolo nella determinazione dei risultati.
* In particolare il controllo di quest’ultima variabile consente di prevenire i cosiddetti meccanismi
di «selezione avversa» che possono essere messi in atto dai valutatori al fine di modificare a loro
vantaggio gli indicatori di efficacia (ad esempio, nelle valutazioni di efficacia clinica possono essere scelti solo i pazienti con esiti più favorevoli, inficiando ovviamente i risultati dell’analisi).
Appendice 2
133
L’approccio multilevel permette di «modellizzare» le tre tipologie in cui, secondo alcuni autori, deve essere distinta l’efficacia:
• efficacia di tipo A che comprende gli effetti dell’istituzione o agente (in particolare le risorse e la capacità di management) e gli effetti dei fattori socioeconomici di contesto;
• efficacia di tipo B che include solo l’effetto delle risorse dell’agente (che sono
osservabili);
• efficacia di tipo C che considera soltanto la capacità di management (che non è
direttamente osservabile).
In tutti e tre i casi l’analisi multilevel consente di stimare tali effetti e le loro reciproche interazioni.
C. LA MISURA DEL «PUNTO DI VISTA DEL PAZIENTE»
Le opinioni dei pazienti riguardo all’assistenza effettivamente ricevuta
o della quale sono potenziali fruitori è parte integrante della qualità relazionale. Si riporta, a scopo esemplificativo, una breve sintesi di un recente studio (Wensing e Elwyn 2002) che è sembrato estremamente interessante in quanto enuclea e sviscera gli aspetti salienti della questione.
In questo studio sono stati effettuati una revisione, riferita all’ultimo
decennio, e un tentativo di classificazione delle tecniche di valutazione
delle opinioni dei pazienti a partire dall’individuazione di quelle che
possono essere identificate come le dimensioni più significative del
punto di vista degli utenti del sistema sanitario. Più precisamente, lo studio tenta, in prima analisi, di rispondere al quesito circa la maniera in cui
possono essere scomposte (in una tassonomia che riguardi anche le definizioni e la relativa terminologia tecnica) le opinioni dei pazienti, il loro
modo di esprimerle e la maniera di valutarle.
Viene quindi proposta una modalità di aggregazione in base alla quale
è possibile individuare:
1. Le preferenze, ossia le idee che i pazienti hanno su come dovrebbe
essere l’assistenza sanitaria. Generalmente il termine si riferisce specificatamente all’opinione individuale dei pazienti riguardo a un trattamento clinico; strettamente correlati al concetto di preferenza vi
sono altri costrutti teorici quali le aspettative, i bisogni percepiti, i
desideri, le priorità (termine quest’ultimo utilizzato per intendere le
opinioni e gli orientamenti nei confronti dei servizi sanitari, e non
134
MISURARE LA PERFORMANCE DEL SISTEMA SANITARIO
verso trattamenti come nel caso delle preferenze, in una popolazione
di cittadini o pazienti).
2. Le valutazioni, ossia le «reazioni» dei pazienti agli aspetti più salienti del contesto, del processo e dei risultati dell’assistenza, sulla base
del proprio vissuto; concetti affini alle valutazioni sono: soddisfazione, giudizi, lamentele, commenti, ecc.
3. I report, ossia le osservazioni oggettive che i pazienti fanno dell’organizzazione e dei processi, indipendentemente dalle loro preferenze
e valutazioni (ne è un esempio la registrazione dell’attesa per ottenere una data prestazione priva del giudizio soggettivo sulla durata di
tale attesa e quindi della percezione/valutazione della qualità dell’assistenza ricevuta). Concetti analoghi sono esperienza e percezione
delle performance professionali.
Per ciascuna delle suddette categorie vengono prima descritti e criticati i metodi di valutazione (quantitativi e qualitativi) oggi più frequentemente usati e quindi enucleati i limiti e i vantaggi di ciascuno,
con la raccomandazione finale che, indipendentemente dalla metodologia applicata, vengano adottati gold standard (ossia criteri condivisi di
validità, accuratezza, affidabilità) per validare e rendere comparabili i
risultati.
Un secondo obiettivo dello studio è quello di classificare i risultati
delle valutazioni delle opinioni dei pazienti in base al loro possibile utilizzo al fine di migliorare la qualità dell’offerta assistenziale. Lo spunto
suggerito dallo studio permette di immaginare, anche per il nostro Paese,
almeno cinque approcci differenti:
• il primo concerne le ricadute delle opinioni dei pazienti sui comportamenti e sulle opinioni dei pazienti stessi (in generale, report e resoconti pubblici relativi ai differenti fornitori di prestazioni potrebbero
includere dati e indicatori sulle valutazioni effettuate dagli utenti di
quelle prestazioni).
• il secondo focalizza l’attenzione sulla potenzialità informativa delle
opinioni dei pazienti rispetto all’agire dei singoli operatori sanitari.
Ad esempio, tutto ciò che riguarda la formazione professionale potrebbe avvalersi delle analisi e delle evidenze emerse relativamente al punto di vista dei
pazienti; analogamente, le informazioni sulle opinioni dei pazienti potrebbero
innescare un meccanismo di feedback con i professionisti del settore.
Appendice 2
135
• il terzo approccio propone di sfruttare il feedback del paziente (così
come risulta da indagini ad hoc, da rilevazione delle lamentele, da
gruppi di consenso, ecc.) per migliorare determinati aspetti della qualità dell’assistenza, ad esempio per rivedere ed eventualmente modificare linee-guida di buona pratica derivate esclusivamente da indicazioni cliniche o «etiche»;
• il quarto riguarda la valutazione di impatto: le opinioni dei pazienti
dovrebbero essere raccolte e valutate anche in relazione a possibili
effetti sui processi e sugli esiti dell’assistenza sanitaria.
A tal fine occorre selezionare opportuni indicatori di outcome derivandoli dagli
obiettivi: in altre parole, come più volte ribadito a proposito di ogni componente
della performance, anche in questo ambito la definizione degli obiettivi è preliminare alla misurazione dei risultati ottenuti e al loro confronto con quelli attesi.
• il quinto e ultimo enfatizza l’opportunità e il valore insiti nella rilevazione delle esperienze dei pazienti e delle loro preferenze al fine di
concordare scelte e strategie di politica sanitaria.
Affinché ciò avvenga è necessario esplorare e valutare le priorità e i bisogni assistenziali nel territorio, interagire con le organizzazioni dei cittadini e accogliere
le loro specifiche richieste (che possono riguardare sottogruppi con
opinioni/aspettative/esigenze significativamente differenti da quelle di gruppi
più ampi o della popolazione generale) e in sostanza procedere ad analisi più
complesse e dettagliate affinché le opinioni individuali e collettive degli utenti
diventino uno degli input della programmazione e realizzazione degli interventi.
Naturalmente, le potenzialità delle opinioni dei pazienti dipendono
dalla bontà dei metodi utilizzati per la loro raccolta e valutazione nonché
dalla congruità dei metodi stessi con gli obiettivi che lo studio delle opinioni si propone. Nell’articolo in esame viene dunque nuovamente prospettata una classificazione che identifica diverse tipologie di obiettivi e
di corrispondenti indicatori.
Ovviamente, nell’analisi di impatto non ci si può sottrarre alla possibile scoperta e interpretazione di risultati negativi o meglio all’evidenza
che il coinvolgimento del paziente può essere un obiettivo di performance potenzialmente in grado di provocare effetti sfavorevoli sul sistema (ad esempio, un’eccessiva o non realistica aspettativa degli utenti nei
confronti delle prestazioni o dei servizi richiesti può dar luogo a un
aumento dei costi, così come un comportamento «difensivo» dei forni-
136
MISURARE LA PERFORMANCE DEL SISTEMA SANITARIO
tori di assistenza verso la propria organizzazione può sfociare in un
aumento, ovviamente non auspicabile, delle procedure cliniche non
necessarie o delle prestazioni inappropriate, ecc.).
Infine, in questa analisi allargata dei metodi di valutazione delle opinioni dei pazienti occorre anche tener conto della loro reale applicabilità
in termini di comprensione e acquisizione da parte di tutti gli attori coinvolti. In altre parole esiste e quindi va gestita l’eventualità che medici,
pazienti, decisori, ecc. non dispongano delle capacità e delle competenze per utilizzare concretamente tali strumenti o che esistano, all’interno
della struttura organizzativa, barriere che in qualche modo limitano la
loro applicazione e le loro potenzialità; tali ostacoli vanno individuati e
possibilmente superati attraverso strategie e azioni che devono a loro
volta essere valutate quantificando il successo del metodo (in termini
appunto di recepimento e consenso).