SULLA VALUTAZIONE COMPARATIVA DI PRESTAZIONI

Technical Report: 01/01/2001, dip. Sc. Stat
SULLA VALUTAZIONE COMPARATIVA DI PRESTAZIONI
EROGATE DA STRUTTURE SANITARIE
Giulio D’Epifanio
Dipartimento di Scienze Statistiche, Universita’ di Perugia,
via A.Pascoli, 06100 Perugia, Italy
e-mail: [email protected]
Sommario
Dalla prospettiva di un paziente che persegue gli obiettivi di sopravvivere ad un intervento
chirurgico e di riabilitarsi, si considera il problema di valutare comparativamente l'offerta sanitaria
sulla base non solo di indicatori di prestazione - rilevati da un osservatorio - ma anche delle
aspettative del paziente. Queste aspettative potranno tenere conto anche del corrispettivo preteso
dalle strutture stesse per erogare le prestazioni richieste. Un approccio di tipo econometrico alla
valutazione (Fried, Lovel e Schmidt, 1993) risulta troppo rigido per adattarsi ai diversi possibili
criteri - personali o normativi - che il valutatore può assumere. Un approccio più flessibile è quello
basato su modelli probabilistici strutturali (Goldstein e Spiegelhalter, 1996) che utilizzano variabili
latenti. Dal nostro punto di vista, lo scopo della valutazione è quello di valutare la qualità delle
prestazioni erogate, non in senso assoluto ma relativamente agli obiettivi specifici che il pazientevalutatore persegue. Collegato formalmente con l’approccio di Goldstein e Spiegelhalter (1996), il
nostro distingue nettamente la valutazione dalla stima statistica per i diversi obiettivi che queste
attività si pongono, anche se la prima sulla seconda dovrà pur basarsi per avere un fondamento
scientifico. Il problema principale di un paziente-valutatore è quello di prescrivere targets di
prestazione alle diverse strutture sanitarie sulla base di un'analisi contestuale di tutte le strutture da
comparare, pienamente condizionata dal criterio di valutazione che egli assume. Rispetto a un
profilo latente di caratteristiche (del servizio erogato) di interesse per il paziente, questi targets
corrispondono alle aspettative (alle pretese) del paziente-valutatore nei confronti delle strutture da
valutare. La valutazione comparativa si basa quindi su un'analisi contestuale di scostamenti tra
stime (predizioni) statistiche del profilo latente di interesse e targets attesi (pretesi), considerati
come valori di riferimento (base-lines). Opportunamente standardizzati, questi scostamenti
assegnano punteggi (scores) multi-dimensionali alle diverse strutture che potranno essere analizzati
qualitativamente attraverso opportuni displays grafici. Senza perdita di generalità metodologica, si
presenta un'applicazione che utilizza modelli per indicatori qualitativi di tipo binomiale con
variabili latenti in un contesto multivariato.
1. INTRODUZIONE A UN PROBLEMA DI VALUTAZIONE COMPARATIVA
Nell'ottica di questo lavoro, la valutazione comparativa di strutture (erogatrici di uno stesso tipo di
servizio) non può che dipendere dal punto di vista, personale o normativo, del valutatore,
dipendente questo dagli obiettivi primari che egli persegue. Servizi sanitari concorrenti potranno
quindi essere valutati rispetto a diverse dimensioni, relative a caratteristiche latenti del servizio
erogato, sulla base di diversi possibili criteri di valutazione. Dal punto di vista ad esempio di un
manager pubblico responsabile di una azienda sanitaria, il profilo del servizio di interesse e il
criterio stesso di valutazione saranno di tipo economico-contabile, indotto da vincoli di bilancio e
da norme legislative tipo la «carta dei servizi”. Diversa sarà invece la prospettiva di valutazione
tipica di un paziente (che una agenzia di rating può cercare di interpretare) che persegue
essenzialmente gli obiettivi di sopravvivere ad un intervento chirurgico e di riabilitarsi, in un quadro
di esigenze, di vincoli economici e logistici del tutto personali. Con la finalità' di delineare un
approccio metodologico alla valutazione del tutto generale, questo lavoro focalizza l’attenzione
sullo sviluppo di un sistema di valutazione a supporto di un paziente-tipo che deve scegliere la
struttura sanitaria per sottoporsi proprio ad un delicato intervento chirurgico. Le dimensioni del
profilo (di caratteristiche latenti del servizio erogato) di interesse per il paziente saranno quindi: (a)
competenza dell'équipe chirurgica per la operazione, (b) competenza della equipe medica per la
riabilitazione. Gli ingredienti alla base della valutazione saranno, da una parte i dati forniti da un
osservatorio, tipo quelli schematizzati nella tavola 1 del paragrafo 2; dall'altra, un criterio come
quello, per fissare le idee, sotto riportato.
« Per quanto riguarda i risultati conseguiti nelle operazioni chirurgiche, per ogni struttura
il tasso di successo dovrebbe essere tanto più alto quanto maggiore è la competenza tecnica
dichiarata dalla equipe chirurgica, a parità delle condizioni cliniche iniziali dei pazienti
operati. La competenza tecnica si può ritenere implicitamente dichiarata attraverso il
corrispettivo richiesto al paziente per la prestazione”.
Ora, una analisi dei dati basata su tecniche meramente descrittive sembra difficile da giustificare
nell'ottica della valutazione, soprattutto perché non dipende esplicitamente dal particolare criterio di
valutazione - tipo quello quotato sopra - che il valutatore adotta e che può, a sua discrezione,
riformulare. Anche un approccio econometrico tradizionale (Fried, Lovel e Schmidt, 1993) è però
troppo rigido per delineare una metodologia generale per la valutazione di servizi caratterizzabili in principio - da molteplici punti di vista (Gazzei, Lemmi e Viviani, 1997), persino dipendenti da
sensazioni soggettive (cortesia, comprensione del medico, etc.) dell'utente in un quadro di
«customer satisfaction". Un approccio più flessibile è quello delineato da Goldstein e Spiegelhalter
(1996), basato su modelli strutturali (gerarchici, hierarchical Bayes), che assume la scambiabilità tra
i fornitori di un tipo di servizio a meno di opportuni aggiustamenti (adjusted comparisons) degli
indicatori. La valutazione coincide con la predizione statistica - per ogni fornitore - di caratteristiche
latenti del servizio erogato, basata su una eventuale precedente conoscenza a priori.
Basata su modelli probabilistici, in questo lavoro si delinea una metodologia di analisi dei dati
finalizzata alla valutazione comparativa, pienamente condizionata dagli obiettivi che il pazientevalutatore persegue. Questa terra' conto non solo dei risultati conseguiti, rilevati da una batteria di
indicatori, ma anche di un criterio che tiene conto di caratteristiche (delle strutture fornitrici del
servizio richiesto) di interesse per il paziente (rilevate, presunte dallo stesso o semplicemente
dichiarate dalle strutture); al netto pero' di eventuali condizioni operative e ambientali, che possano
influire sulle prestazioni, che il paziente-valutatore vorrebbe stralciare dalla valutazione. Il cuore di
un sistema di valutazione è dunque un criterio inizialmente qualitativo come quello quotato sopra.
Questo pretende ad esempio tassi di successo (targets) diversi nei confronti delle strutture sanitarie
sulla base del diverso corrispettivo da queste richiesto, al netto pero' di eventuali diverse condizioni
operative e ambientali. Si osservi che questo criterio non tenta di descrivere affatto una situazione di
fatto («ciò che è”) ma tende invece a rappresentare la intenzione prescrittiva del paziente-valutatore
(«ciò che dovrebbe essere”), dipendente dagli obiettivi che questi implicitamente persegue. Dopo
aver identificato il ``profilo latente di interesse" per il paziente attraverso un modello statistico,
quello che si valuta per ogni struttura sanitaria e' lo scostamento multi-dimensionale della
predizione di questo profilo da un valore di riferimento target, atteso (preteso) dal pazientevalutatore come quello "equo", sia pure ex-post sulla base di una analisi contestuale di tutte le
strutture. Per ogni struttura, questo scostamento si interpreta quindi come una misura di non
conformità' (di non allineamento) tra la prestazione effettiva e quella che il paziente avrebbe dovuto
pretendere, dal suo punto di vista. Una volta prescritti i targets, la valutazione è intesa come analisi
degli scostamenti tra predizioni statistiche - del profilo latente del servizio - specifiche per ogni
struttura e i valori targets prescritti - sia pure ex post - presi come base-lines di riferimento.
Opportunamente standardizzati, scostamenti relativamente piccoli indicheranno conformità (qualità'
relativa agli obiettivi); scostamenti relativamente grandi non conformità che potrà essere positiva
(efficienza) oppure negativa (inefficacia). Punteggi multi-dimensionali potranno essere analizzati
qualitativamente utilizzando displays grafici, possibilmente attraverso tecniche di grafica dinamica.
2. SULLO SVILUPPO DI UN SISTEMA DI VALUTAZIONE BASATO SU MODELLO
Finalizzata allo sviluppo di un sistema di valutazione comparativa, si presenta una metodologia
basata su modello probabilistico per interpretare strutture di dati come la seguente:
Struttura sanitaria:
Codice
(A)
1
N.successi oper.
chirurg.
Stato iniz. paz.
Normale
(B,C)
(x11 ,n11 )
N.successi oper.
chirurg.
Stato iniz. paz.
Grave
(D,E)
(x12 , n12 )
…
k
…
(xk 1 , nk 1 )
…
…
N
(xN 1 , nN 1 )
(xN 2 , nN 2 )
(xk 2 , nk 2 )
N.successi medici
Costo operaz.
N.medio giorni di
degenza
Recupero
soddisfacente
(F)
(G)
(H)
x13
z11
z12
…
…
…
xk 3
zk 1
zk 2
xN 3
zN 1
zN 2
Tavola 1. Esempio di data set.
Qui, (xk1 , nk1 ) e (xk 2 , nk 2 ) indicano, rispettivamente per i gruppi di pazienti operati nelle
condizioni cliniche iniziali normale e grave, il numero di successi ottenuti e il numero complessivo
di operazioni effettuate; x k 3 indica il numero di pazienti che hanno ottenuto un recupero di qualità
della vita post-operatorio soddisfacente, su un totale di x k1 +x k 2 pazienti sopravvissuti sottoposti a
recupero. La tavola è quindi completata con le informazioni ausiliarie zk1 e zk 2 relative,
rispettivamente, al costo della operazione (richiesto al paziente) e al numero medio dei giorni di
degenza. Si indichi con xk il profilo osservato ( xk 1 , xk 2, xk 3 ) sulla struttura k , fissato ( nk 1 , nk 2, nk 3 ) ,
rispettivamente il numero di pazienti operati in condizioni normali, in condizioni gravi e il numero
di quelli sottoposti a riabilitazione.
Le dimensioni del profilo latente (del servizio erogato) di interesse per il paziente sono quelle
(a) e (b) del paragrafo precedente. Per interpretare i dati della tavola 1, per ogni struttura sanitaria, si
considera un modello probabilistico strutturato - attraverso il profilo latente (del servizio erogato) di
interesse per il valutatore - in due sezioni. Il modello nella prima sezione ha il ruolo di un vero e
proprio modello statistico, adeguato a descrivere la distribuzione (condizionata al profilo latente) di
una batteria di indicatori. Quello nella seconda ha invece il ruolo di un modello di lavoro (working
model) che interpreta la assegnazione dei targets come valori attesi dal valutatore, con una
incertezza residua imputabile al valutatore stesso e intrinseca nella attività' di assegnazione dei
targets; in questo senso sarà' indicato con il termine "modello di valutazione". Il modello statistico
(1) che segue serve per identificare formalmente il profilo latente di interesse per il paziente. Il
modello di valutazione (2-3) servirà' invece a fornire un contesto formale per prescrivere le regole,
indotte dal criterio che il paziente utilizza (ad esempio, quello quotato nel paragrafo 1.), che
assegnano i valori targets al profilo latente di interesse.
(i)
Il modello statistico.
X k | ϑki , nki ~ Bin( x ki ;ϑki , nki ) indip. k := 1,.., N , i := 1,..,3,
ϑki := exp(ηki )(1+ exp( ηki )) −1
(1)
η k 1 
η  =
 k2 
η k 3 
1 0
1 0


0 1
0
− 1

η~kChir .  

0
η~
 + 1
 kMed .   0 ( x / n )
k2
k3 

α1 
α 
 2
Per la generica struttura k , Bin( x ki ;ϑki , nki ) denota la distribuzione binomiale con parametro
ϑki =Pr( X ki =1) latente e numero di prove nki noto. La notazione ηki rappresenta la trasformata
logistica (logit) di ϑki . Lo scopo di questo modello è quello di identificare formalmente il profilo
latente del servizio η~k = (η~kChir. ,η~kMed ) imputabile alla abilità della equipe chirurgica e medica,
scorporandolo da una parte residua imputabile invece alle condizioni cliniche iniziali dei pazienti.
Fissate le condizioni del paziente, al crescere delle componenti del profilo latente del servizio η~k
cresce anche il valore atteso dei rispettivi indicatori binari. La covariata ( xk 2 / nk 3 ) si interpreta qui
come una proxy che tiene conto della diversa composizione - tra le strutture sanitarie da comparare
- dei pazienti da recuperare in condizioni iniziali normali e gravi, nk 3 = xk1 + xk 2 rappresenta il
numero di pazienti sottoposti a riabilitazione. Focalizzando l'interesse sulla valutazione, questo
modello si assume qui adeguato, validato e con i parametri α := (α1,α 2 ) assegnati - utilizzando
possibilmente tecniche di inferenza condizionata - attraverso una precedente indagine finalizzata a
questo scopo specifico.
(ii)
Il modello di valutazione
~
~
~
~ ,Σ
~
ηk | mk , Σ k ~ Φ 2 (η~; m
k := 1,.. N
k
k ) , indip.
~  z
m
k1
k1
m
~  = 0
 k2 
~
~
Σ k := Σ ( ς )
0   β1 
zk 2   β 2 
(2)
(3)
~
~
~ ,Σ
Qui, Φ 2 (η~; m
k k ) rappresenta la distribuzione associata al profilo latente ηk del servizio, di tipo
~
~ e matrice di covarianza Σ
normale bivariata con valore atteso m
k
k . La regola che assegna il vettore
~
~
valore atteso mk con la associata matrice di varianza-covarianza Σ k è prescritta a meno di iper~
parametri β := ( β1, β 2 ) e ς . La notazione Σ rappresenta una funzione matriciale lineare, che si
~
assume comune per tutte le strutture, che modelizza Σ k attraverso un vettore di parametri ς . Le
equazioni in (3) - che sono il cuore del sistema di valutazione - esplicitano il criterio di valutazione
assunto implicitamente dal paziente per prescrivere - a meno di β e ς - valori targets. In pratica, la
~ alla equipe chirurgica della struttura sanitaria k
prima equazione in (3) assegna il valore target m
k1
~ alla equipe medica sulla
sulla base del corrispettivo zk1 da questa preteso; la seconda, il target m
k2
base del numero medio dei giorni di degenza z k 2 . La terza equazione struttura invece linearmente la
matrice di varianza-covarianze del profilo latente η~k = (η~kChir. ,η~kMed ) , a meno di parametri ς . A
rigore, un criterio come quello quotato nel paragrafo 1. impone vincoli di positività come
β1 > 0 .Benché il profilo latente η~k del servizio erogato, per ogni struttura sanitaria, si consideri una
quantità fissa, il linguaggio probabilistico serve qui per rappresentare la incertezza «residua” del
~ ,m
~
valutatore intorno ai valori targets ( m
k 1 k 2 ) ritenuti «equi” sulla base delle equazioni (3). Questa
incertezza del valutatore discende dalla coscienza che la assegnazione dei targets è comunque
basata su un criterio semplificato che trascura - per semplicità, per difficoltà di identificazione e di
osservazione - altre eventuali caratteristiche delle strutture sanitarie, ritenute secondarie. Benché
formalmente coincidente con una distribuzione a priori - se ri-interpretata in un contesto Bayesiano
- tuttavia il ruolo sostanziale del modello espresso attraverso la distribuzione (2-3) è diverso: è
quello di prescrivere targets, dipendenti essenzialmente dagli obiettivi di valutazione che persegue il
valutatore piuttosto che da sue pregresse conoscenze a priori.
3. SULLA ASSEGNAZIONE DEI VALORI TARGETS E DEI PUNTEGGI
La assegnazione dei valori targets alle diverse strutture sanitarie da comparare si ottiene dalle
equazioni (3), una volta assegnati gli (iper-)parametri β e ς . La determinazione di questi parametri
dovrebbe essere basata su una analisi contestuale - tra tutte le strutture sanitarie da comparare - dei
dati rilevati sia dalla batteria di indicatori che dalle caratteristiche delle strutture (il corrispettivo
preteso per la prestazione chirurgica e il numero di giorni di degenza ) di interesse per il pazientevalutatore. Lo scopo di questa operazione è quello di calibrare i valori targets da assegnare alle
diverse strutture. Per ogni struttura sanitaria, mentre la batteria di indicatori è fisicamente distribuita
secondo il modello statistico (1) - assunto questo statisticamente adeguato - il modello (1-2-3) nel
suo complesso tende invece a rappresentare quella distribuzione virtuale di prestazioni che
sarebbero invece conformi alle aspettative del paziente, una volta calibrati da questo i targets. Senza
entrare in delicate questioni di tipo concettuale in questa sede, osserviamo soltanto che una logica di
calibrazione dei targets - previa assegnazione di valori per β e ς - dovrebbe essere concettualmente
autonoma da quella propria di una vera e propria operazione di stima, dato il ruolo essenzialmente
prescrittivo del modello di valutazione (2-3). Un approccio generico alla calibrazione di β e ς e'
comunque quello che ricorsivamente cerca valori ( β * , ς * ) tali che le prestazioni effettive delle
strutture sanitarie - rilevate dagli indicatori - risultino il più possibile conformi, utilizzando il
modello pieno (1-2-3) con ( β * , ς * ) fissati, ai targets indotti dai valori ( β * , ς * ) stessi. Da un punto
di vista puramente formale, questo tipo di problema è analogo - benché differente nella sua
interpretazione sostanziale - a quello della determinazione empirica di una distribuzione a priori in
un contesto predittivo di tipo Empirical Bayes (Carlin et al., 1996, pp. 37-38). Procedure
riconducibili formalmente a quelle standard sono comunque difficili da implementare a causa della
struttura complessa (Rodriguez et al., 1995, pp. 76, eq. 8) della verosimiglianza predittiva. Tecniche
basate su simulazioni tipo il Gibbs sampler in un contesto Hierarchical Bayes (Zeger e Karim,
1991), benché facilmente implementabili, risultano invece computazionalmente complesse a causa
della difficoltà di stabilire regole di arresto non ambigue e facili da verificare. Un approccio che
porta ad algoritmi numerici efficaci è quello basato sulla quasi-verosimiglianza penalizzata di
Breslow et al. (1991). Senza approfondire la questione in questa sede, accenniamo soltanto al fatto
che equazioni di calibrazione potrebbero essere costruite imponendo vincoli di centratura allo
insieme degli scostamenti (tra i valori attesi del profilo latente condizionati dai risultati e quelli
invece non condizionati) imputabili alle diverse strutture sanitarie, eventualmente utilizzando
opportuni sistemi di pesi. Versioni «lineari” e «quasi-lineari” (D’Epifanio, 1998) dei valori attesi
condizionati (chiamati anche predittori Empirical-Bayes, in certa letteratura) porteranno quindi a
semplici ma efficaci procedure di calcolo numerico, come quella da noi utilizzata nella applicazione
numerica che segue nel paragrafo successivo.
Si ponga ora per comodità γ := ( β , ς ) e si supponga di avere determinato un valore γ * , da
un analisi contestuale dei dati interpretata attraverso il modello (1-2-3). Il vettore dei valori targets
(da prescrivere al profilo latente η~k ) del servizio erogato dalla generica struttura sanitaria k sarà
~ * = Z β * con associata la
quindi (usando il linguaggio matriciale per comodità) il valore atteso m
k
k
~ * ~ *
matrice di varianza-covarianza Σ k = Σ(ς ) . Assegnando ora questi valori, attraverso il modello (12-3) il paziente-valutatore considera in un certo senso quella distribuzione virtuale degli indicatori
X k che sarebbe conforme alle sue aspettative (pretese). Si ponga
~
∆T (γ * ) := ( E (η~ | x , z , z ; Z β * , Σ (ς * )) − Z β * )
xk
k
k
k1
k2
k
k
k
per indicare lo scostamento multi-dimensionale tra il valore atteso condizionato del profilo latente
~ * = Z β * preso come base-line. Intuitivamente, per ogni struttura
del servizio e il valore targets m
k
k
sanitaria k , il valutatore si aspetta - coerentemente con ben note identità formali dei valori attesi
~
condizionati - uno scostamento ∆Txk (γ * ) «piccolo” quando i risultati effettivamente realizzati xk
sono conformi ai targets pretesi. Per valutare comparativamente gli scostamenti associati a tutte le
strutture si dovrà però tenere conto sia della variabilità fisica degli indicatori specifici di ogni
struttura - inclusa nel modello statistico (1) - che di quella residua inclusa nel modello di
valutazione una volta che questo è stato calibrato. Utilizzando i valori targets come base-lines di
riferimento, si potranno quindi calcolare, per ogni struttura k , punteggi multi-dimensionali,
standardizzati come il seguente:
[
Scorek := diag (Cov( m~
~
k ,Σ k
)( γ * )
]
−1 / 2
~
~
∆Txk (γ * ))
∆Txk (γ * )
La realizzazione effettiva degli indicatori servirà quindi ad evidenziare eventuali situazioni di non
conformità', dal punto di vista del paziente-valutatore, tra prestazioni erogate e attese (pretese). Per
ogni struttura sanitaria k , quello che si tende a misurare (sul profilo latente di interesse) con questo
sistema di punteggi e' infatti la lacuna di conformità tra la predizione statistica corrente,
condizionata dalla realizzazione effettiva xk della batteria di indicatori, e il valore target che il
paziente-valutatore avrebbe dovuto invece pretendere.
4. UN ESEMPIO NUMERICO
Lo scopo di questo esempio numerico è quello di mostrare concretamente che sistemi di valutazione basati su criteri diversi possono
portare - pur dagli stessi dati di prestazione - anche a valutazioni di conformità' (quindi di qualità relativa) sostanzialmente diverse.
Modificando infatti gli obiettivi che il valutatore persegue si modifica il criterio alla base della valutazione, quindi si modificano
anche i punteggi di qualità da assegnare alle prestazioni. Si riportano graficamente due sistemi di valutazione per valutare 17 strutture
sanitarie dai dati della tavola 2., organizzati sullo schema della tavola 1. Il primo sistema di valutazione (figura 1, a-b-c) valuta le
prestazioni delle strutture tenendo conto sia del costo dell’intervento chirurgico che del numero medio di giorni di degenza richiesto.
Il secondo sistema (figura 2, a-b-c) valuta invece le prestazioni in base ai soli risultati.
(A)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
(B)
608
278
440
424
606
447
253
267
251
258
425
590
743
523
459
603
209
(C)
613
284
447
433
618
456
259
276
257
266
436
607
762
545
478
636
222
(D)
185
116
201
88
330
194
215
280
75
148
238
121
285
180
175
229
73
(E)
200
120
210
100
350
200
230
300
80
155
250
130
300
220
190
250
80
(F)
400
200
300
200
450
300
150
200
150
300
330
400
600
350
310
450
105
(G)
7.0
9.0
5.0
7.5
15.0
9.0
14.0
8.0
7.0
5.0
12.0
13.0
6.5
9.0
11.0
9.0
6.0
Tavola 2. Data set numerico
(H)
30
25
40
20
30
23
15
21
25
35
26
21
18
23
40
26
21
Punteggi Targets
c
o
m
p -1
et
e
n
z
a
m
e
di
c
a
Predizioni profilo di interesse del servizio
10
15
3
10
1
5
13
16
2
9
16
11
17
11
12
14
14
6
8
2
5
115
3
6
12
9
4
8
13
7
17
4
7
1.5
2.0
2.5
3.0
3.5
4.0
4.5
2.6
competenza chirurgica
Fig. 1.a
Punteggi di conformita' (Qualita' relativa)
10
13
12
16
11
2
14
5
6
8
1
9
15
3
7
17
4
-1.5
-1.0
-0.5
2.8
3.0
competenza chirurgica
Fig. 1.b
0.0
0.5
competenza chirurgica
Fig. 1.c
Figura1. Primo sistema di valutazione.
1.0
3.2
3.4
3.6
Punteggi Targets
c
o
m
p
et
e
n
z
a
m
e
di
c 0.
a 30
Predizioni profilo di interesse del servizio
10
13
17
16
15
14
13
12
11
10
9
8
7
6
5
4
3
2
1
16
12
14
2.8
3.0
3.2
competenza chirurgica
3.4
3.6
3.8
Fig. 2.a
2.4
2.6
36
9
8
7
17
2.6
2
1
0.
0
2.4
11
5
15
4
2.8
3.0
3.2
competenza chirurgica
3.4
Fig. 2.b
Punteggi di conformita' (Qualita' relativa)
10
13
16
12
11
5
14
2
1
15
36
9
8
-1
7
17
4
-2.0
-1.5
-1.0
-0.5
0.0
0.5
competenza chirurgica
Fig. 2.c
Figura2. Secondo sistema di valutazione.
Le figure 1a, 1b, 1c rispettivamente riportano, per ogni struttura sanitaria - i punteggi targets, le predizioni e gli scostamenti
standardizzati. Il secondo sistema di valutazione - che non tiene conto ne` dei costi ne` dei giorni di degenza - porta invece ai
punteggi targets uguali per tutte le strutture, quindi a predizioni e scostamenti come quelli riportati nelle figure 2a, 2b e 2c.
Commentando brevemente i risultati, rispetto al primo sistema di valutazione il comportamento delle strutture sanitarie 2, 6, 8, 14,
11, 16 si può ritenere sostanzialmente conforme alle aspettative, quindi efficace. Il comportamento delle strutture 10 e 13 manifesta
invece una difformità positiva, che è di eccellenza (strutture efficienti rispetto a tutte le caratteristiche considerate). Al contrario, le
strutture 7 e 15 risultano difformi in senso negativo (inefficaci). La valutazione (positiva o negativa) delle altre strutture dipende
invece dalla dimensione del servizio che si considera. Ad esempio, la struttura 17 manifesta una qualità positiva per quanto riguarda
la equipe chirurgica ma negativa rispetto quella medica. Rispetto al secondo sistema di valutazione (da considerare come riferimento
per il primo) mentre le strutture 10 e 13 si confermano ancora eccellenti, rispetto alla dimensione della competenza chirurgica le
strutture 14, 16, 17 peggiorano la valutazione. La valutazione della 5, che prima era negativa, viene ora completamente ribaltata.
Rispetto alla dimensione della competenza medica non risultano invece significative variazioni nella valutazione. In conclusione, ad
un paziente, che tenga conto o no dei costi - diretti (per la operazione) e indiretti (per i giorni di degenza) - si dovrebbe consigliare la
struttura 10.La struttura 5 è invece consigliabile (eccellente per la equipe chirurgica e conforme per quanto riguarda quella medica)
solo
a
un
paziente
che
può
prescindere
dal
costo
dell'operazione.
RIFERIMENTI
[1] BRESLOW N.E., CLAYTON D.G. (1993), Approximate Inference in Generalized
Mixed Models, J.A.S.A. Vol. 88, N. 421, 9-25
[2] CARLIN B., LOUIS T. (1996), Bayes and Empirical Bayes Methods for Data
Analysis, Chapman & Hall: London
Linear
[3] DEELY J.J., SMITH A.F. (1998), Quantitative Refinements for Comparisons of Institutional
Performances, J.R. Statist. Soc. A, 161, pp. 5-12
[4]D’EPIFANIO G. (1998), An estimation Procedure for Multilevel Models with Binary Responses,
Convegno Data Science Classification and Related Methods, Book of Short Papers, Roma, ISTAT
[5] FRIED H., LOVEL C., SCHMIDT S. (1993), The Measurement of Productive Efficiency,
Oxford University Press: Oxford
[6] FABRIS L., CORSI M., FRANCI A. (edit.) (1997), La Valutazione della Qualità dei Servizi
Socio-Assistenziali, CLEUP, Padova
[7] GAZZEI D.S., LEMMI A., VIVIANI A. (1997), Misure Statistiche di Performance Produttiva,
CLEUP, Padova
[8] GOLDSTEIN H., SPIEGELHALTER D.J. (1996), League Tables and Their Limitations:
Statistical Issues in Comparisons of Institutional Performance, J.R. Statist. Soc. A, 159, pp. 385443
[9] RODRIGUEZ G., GOLDMAN N. (1995) An Assessment of Estimation Procedures for
Multilevel Models with Binary response, J.R. Statist. Soc. A, 158, pp. 73-89
[10] SMITH P. (1990), The Use of Performance Indicators in the Public Sector, J.R. Statist. Soc. A,
153, pp. 53-72
[11] SPIEGELHALTER D.J. (1998), Bayesian Graphical Modelling: a Case Study in Monitoring
Health Outcomes, Applied Stat., 47, pp. 115-133
[12] VIVIANI A. (1997), Introduzione alla Sezione Specializzata: Misura della Produttività delle
Imprese e dell’ Efficacia dei servizi, atti del convegno SIS «La Statistica per le Imprese”, Torino 14 aprile 1997, Editrice Tirrena Stampatori, Torino,
[13] ZEGER S. L., KARIM M. R. (1991), Generalized Linear Models with Random Effects; a
Gibbs Sampling Approach, J.A.S.A. Vol. 86, N. 413, pp. 79-86
ca
urgi
chir
enza
1.a
mpet
ig.