Leggi

La valutazione dell’appropriatezza dei ricoveri
nell’esperienza del Friuli-Venezia Giulia
Luca Lattuada, Carlo Francescutti, Giulio Borgnolo, Giorgio Simon, Laura Rizzi
Area dell’epidemiologia - Agenzia Regionale della Sanità - Udine
Introduzione
Il Protocollo di Revisione dell’Uso dell’Ospedale (PRUO) è uno strumento utile per verificare
il grado di inappropriatezza delle giornate di ammissione e delle singole giornate di degenza
degli ospedali per acuti, impiegato a livello internazionale da molti anni.
Le sue utilizzazioni in letteratura sono state molteplici e possono essere schematizzate nei
seguenti punti:
• valutare se l’introduzione di un ticket per i ricoveri modificava la quantità di ricoveri
inappropriati;
• studiare le cause delle variazioni geografiche nell’utilizzo dell’ospedale;
• fornire criteri per ridurre i ricoveri e le giornate di degenza inappropriate;
• stimare i fabbisogni di posti letto;
• controllare quotidianamente l’esistenza di motivi per mantenere il paziente in ospedale;
• valutare le differenze fra reparti nell’utilizzo della degenza ospedaliera;
• valutare l’attività di Pronto Soccorso;
• valutare il livello organizzativo e di attività dei singoli ospedali.
Il PRUO consente di classificare come appropriate (o non appropriate) sia la giornata di
ammissione in ospedale che le specifiche giornate di degenza, attraverso la ricerca di una
serie di criteri espliciti nella documentazione clinica routinariamente disponibile, permette,
inoltre, di individuare i motivi sottostanti le ammissioni e le degenze non appropriate.
I criteri contenuti nel PRUO , che permettono la corretta classificazione delle diverse giornate
di degenza, sono differenziati per la giornata di ammissione in ospedale e per le singole
giornate di degenza. Per la classificazione della giornata di ammissione si dividono in tre
grandi categorie: a) criteri legati alle condizioni del paziente; b) criteri legati a prestazioni da
eseguirsi nelle successive 24 ore e la cui esecuzione richiede il ricovero; c) criteri straordinari
( di scavalcamento od override). I criteri per la classificazione della singola giornata di
degenza sono divisi in quattro categorie principali: a) criteri legati alla necessità di eseguire
prestazioni medico/chirurgiche; b) criteri legati alla necessità di prestazioni infermieristiche o
di supporto vitale; c) criteri legati alle condizioni del paziente; d) criteri straordinari (di
scavalcamento od override).
Per considerare appropriata una giornata di ammissione o una singola giornata di degenza è
sufficiente che il rilevatore verifichi che almeno uno dei rispettivi criteri espliciti sia
rintracciabile nella documentazione del paziente, senza aggiunte o interpretazioni o inferenze
personali. Se nessuno dei criteri è stato soddisfatto il rilevatore giudicherà non giustificata
(non appropriata) una determinata giornata di ammissione o giornata di degenza.
Lo strumento è stato validato per quasi tutti i reparti generali e specialistici; non è in grado di
valutare i ricoveri di natura psichiatrica ed ostetrica, mentre per quanto riguarda i ricoveri
pediatrici è arricchito di alcune specifiche particolari.
Naturalmente non ci si può aspettare che uno strumento semplice come il PRUO possa
comprendere tutte le situazioni clinico-assistenziali. Per questo sono previsti dei criteri
straordinari (detti anche override) che permettono di classificare come appropriata una
ammissione o giornata di degenza anche quando nessuno dei criteri previsti dalla lista è
soddisfatto, ma vi sono evidenti elementi in tale senso (che naturalmente vanno esplicitati).
Allo stesso modo può venire classificata come non appropriata un’ammissione o una giornata
di degenza anche quando sia soddisfatto uno specifico criterio (ed anche in questo caso
esplicitando il motivo). Nell’esperienza maturata sinora, il ricorso a questi criteri straordinari
è stato assai limitato. Questo conferma l’asserzione che i criteri del PRUO sono in fondo
esaustivi. Qualora il ricovero o le giornate di degenza esaminate vengano classificate come
non appropriate il rilevatore deve cercare di identificare i motivi di tale inappropriatezza
utilizzando un’apposita lista di motivi.
I criteri di PRUO sono normativi, non empirico-statistici. Ad esempio: il criterio di una
frequenza cardiaca >140 (per la ammissione) o di almeno 3 visite mediche/24 ore (per il
giorno di degenza) non sono medie o mediane o percentili della realtà americana o di altri
paesi; sono norme/standard, arbitrarie, individuate “a tavolino” da gruppi di esperti, in base
alle conoscenze mediche ed alle caratteristiche e modalità di funzionamento dell’ospedale per
acuti.
Nell’ottica di PRUO un’ammissione o una giornata di degenza sono giustificate (cioè
appropriate) se fanno uso delle competenze/risorse tipiche dell’ospedale per acuti e se
l’utilizzo è intensivo ed organizzato nel tempo in modo da evitare sprechi di risorse. Ad
esempio una ammissione programmata per un intervento chirurgico sarà appropriata se
l’intervento verrà effettuato nella stessa giornata o in quella seguente; risulterà invece
inappropriata se lo stesso intervento chirurgico sarà effettuato successivamente.
L’appropriatezza valutata dal PRUO non è quindi la “appropriatezza clinica”, che si riferisce
alla necessità che il paziente sia sottoposto ad un intervento sanitario, che questo intervento
sia quello più idoneo per rispondere al bisogno del paziente e che sia erogato dalla struttura
sanitaria a minor complessità. Prestazione inappropriata secondo la metodica PRUO in
conclusione non significa affatto prestazione inutile, senza beneficio per il paziente o
clinicamente sbagliata; significa semplicemente che tale prestazione era erogabile in altre
strutture (lungodegenza, ambulatorio, domicilio, residenza protetta ecc.) o con altri tempi.
Le caratteristiche che rendono il PRUO uno strumento tanto diffuso e riconosciuto a livello
internazionale sono le seguenti:
• Essere esplicito: i criteri con cui si valuta l’ammissione o la degenza sono forniti a priori e
in modo esplicito. Il rilevatore non deve interpretare nulla, ma solo rintracciare nella
documentazione la presenza o meno dei criteri prefissati. La lista dei criteri è unica per tutti i
rilevatori. Questo carattere esplicito garantisce la comparabilità dei risultati ottenuti da studi
diversi.
• Indipendenza dalle diagnosi: le diagnosi e i relativi codici ICD-9 non servono per valutare
l’appropriatezza; sono necessari solo i criteri previsti. Questo facilita l’adozione dello
strumento, ne permette l’utilizzo anche da parte di personale non specialistico e facilita
l’interpretazione dei risultati.
• Validità: indica la capacità di misurare esattamente ciò per cui è nato. Essendo uno
strumento basato su norme e criteri definiti a priori il PRUO è stato validato attraverso un
processo di confronto dei suoi risultati con quelli ottenuti dalla revisione degli stessi casi fatti
da un panel di esperti. Essa è risultata pari o superiore a quella esibita da altri strumenti
analoghi (quali lo ISD e lo SMI).
• Riproducibilità: è stata testata in numerosi paesi ed anche in Italia ed è risultata molto
elevata, sempre superiore a quella di altri strumenti analoghi per scopo.
• Versatilità e flessibilità: il PRUO è uno strumento molto versatile. Infatti può essere adottato
in diversi tipi di studi, sia in maniera retrospettiva, che prospettica, che concorrente; la sua
struttura consente anche utilizzi “parziali”, ad esempio solo sul giorno di ammissione oppure
su uno o più giorni di degenza ecc. Inoltre, per quanto riguarda i motivi di inappropriatezza,
lo strumento è “personalizzabile”: esiste la possibilità di aggiungere alla lista standard altri
motivi che determinano inappropriatezza che possano indagare particolari aspetti, tipici della
realtà oggetto di studio.
In conclusione, il PRUO controlla:
• se la situazione clinica del paziente e/o le prestazioni erogate (informazioni ricavabili dalle
cartelle cliniche) sono tipiche ed esclusive dell’ospedale per acuti;
• se le prestazioni sono state erogate con una tempistica ottimale.
L’esperienza della Regione Friuli-Venezia Giulia
Nella Regione Friuli-Venezia Giulia il PRUO è stato introdotto per la valutazione
dell’appropriatezza dell’uso dell’ospedale dal 1995.
Le ragioni che hanno portato a questa scelta sono state:
1. fornire a tutti gli ospedali la capacità di analizzare il proprio livello di appropriatezza ed i
motivi eventualmente responsabili di inefficienza organizzativa;
2. favorire una riduzione dei ricoveri ospedalieri anche attraverso un incremento
dell’efficienza degli ospedali;
3. introdurre un meccanismo di regolazione al finanziamento per DRG in modo da
scoraggiare la tendenza all’aumento dei ricoveri, tipica di questa modalità di pagamento;
4. tutelare il reale bisogno di ricovero in modo tale che i tetti previsti per i ricoveri ospedalieri
(1) non si traducano in un taglio indiscriminato di tutti i ricoveri, sia quelli necessari che
quelli inutili, ma agiscano riducendo i ricoveri inappropriati;
5. proseguire nel graduale inserimento di obiettivi di processo e di risultato nel meccanismo
di finanziamento regionale ad Aziende Sanitarie, IRCCS e Università.
Come si può notare l’avvio del PRUO nella Regione è inserito in una strategia complessiva
che riguarda da una parte l’obiettivo di una riduzione dei ricoveri ospedalieri e dall’altra
l’introduzione dei nuovi meccanismi di finanziamento previsti dalla legge e le modalità di
controllo degli effetti indesiderati indotti dagli stessi.
Questa esperienza regionale presenta alcune caratteristiche peculiari rispetto algi studi
condotti in altri ospedali italiani. Infatti, oltre a fornire un approfondimento aziendale sulle
modalità organizzative che regolano i propri ricoveri (elemento comune con tutte le altre
esperienze), il progetto della Regione Friuli-Venezia Giulia si caratterizza per:
• essere diffuso contemporaneamente su tutto il territorio regionale e quindi coinvolgere
tipologie diverse di ospedali per acuti;
• essere legato ad un risultato in termini di finanziamento e non rappresentare una semplice
rilevazione: per il 1996 il 2,5% del fatturato DRG di ogni ospedale è stato assegnato solo se la
percentuale di inappropriatezza delle giornate di ammissione non era superiore al 25% del
totale dei ricoveri; per il 1997 la percentuale di giornate di ammissione inappropriate non
deve essere superiore al 22,5% e quella dei ricoveri senza alcuna giornata di degenza
appropriata non deve essere superiore al 15% (gli importi di tariffato DRG “vincolato” sono
rispettivamente del 2 e dell’1%); per il 1998 gli obiettivi saranno fissati sulla base dei risultati
della rilevazione effettuata nel 1997.
Iter seguito per la conduzione del progetto
Il progetto si articola in fasi successive, che possono essere così sintetizzate:
1) 1995: fase propedeutica e fissazione obiettivo 1996;
2) 1996: rilevazione a livello di ogni ospedale eseguita dai rilevatori dell’Agenzia sulle
dimissioni 1996;
3) 1997: rilevazione a livello di ogni ospedale eseguita dai rilevatori dell’Agenzia sulle
dimissioni 1997.
1) Fase propedeutica
L’avvio dell’attività è cominciato nell’aprile 1995, quando è stato organizzato un corso
teorico e pratico di preparazione alla filosofia ed alla metodica di utilizzo e analisi del PRUO.
Tale corso era rivolto alla formazione di un operatore per ogni Azienda Sanitaria, IRCCS ed
Università, ed alla formazione del gruppo di rilevatori dell’Agenzia Regionale della Sanità.
Successivamente il gruppo di rilevatori dell’Agenzia ha condotto un controllo
dell’appropriatezza dei ricoveri della Regione, finalizzato a definire i valori dell’obiettivo da
assegnare ad Aziende e Istituti per il 1996.
Lo studio si è basato su un campione casuale semplice di cartelle relative ai dimessi nei
reparti di base (medicine, chirurgie, ortopedie, ginecologie, pediatrie) degli ospedali pubblici
nel corso del 1995. Il campione è stato definito a partire da un’ipotesi di inappropriatezza del
30% e con un livello di precisione del 3%. Il totale delle cartelle considerate dallo studio è di
911.
Il protocollo di valutazione delle cartelle e il programma di formazione dei rilevatori è stato
realizzato in collaborazione con l’Istituto Mario Negri di Milano che da anni segue
l’applicazione del PRUO in Italia e ne cura la revisione continua. Ogni cartella è stata
valutata riportando i motivi di inappropriatezza o di appropriatezza dell’ammissione e
l’indicazione dei casi di override.
La concordanza dei rilevatori dell’Agenzia è stata, infine, testata con un esperto esterno,
dell’Istituto Mario Negri. La concordanza con l’esperto è stata di circa il 90% con un
coefficiente K di 0,73, indicativo di una buona affidabilità dei dati rilevati.
2) Rilevazione a livello di ogni ospedale eseguita dai rilevatori dell’Agenzia sulle dimissioni
1996
La rilevazione ha riguardato, come indicato nella delibera regionale “Linee per la gestione del
Servizio Sanitario Regionale 1996”, le dimissioni del periodo luglio-ottobre 1996. E’ stato
scelto questo periodo per poter disporre dei risultati in tempo utile ai fini della chiusura dei
bilanci delle Aziende ed Istituti.
Il campione delle cartelle, definito per ogni ospedale, è stato selezionato assumendo come
ipotesi un livello di inappropriatezza allineato allo standard atteso (25%) e scegliendo una
precisione di stima pari al 3%; con questi criteri il campione complessivo individuato è stato
di 8.393 cartelle cliniche di dimissioni in regime ordinario, relative ai reparti di base
(medicina, chirurgia, ortopedia, ginecologia e pediatria).
Ad ogni ospedale è stato comunicato in anticipo l’elenco delle cartelle oggetto di revisione
per permettere sia la ricerca negli archivi che un controllo parallelo e indipendente da parte
dell’ospedale stesso sulle medesime cartelle; successivamente, i rilevatori dell’Agenzia
(cinque in totale) si sono recati in tutti gli ospedali per la rilevazione. Tutte le cartelle del
campione non disponibili al momento della visita dei rilevatori sono state classificate come
inappropriate.
3) Rilevazione a livello di ogni ospedale eseguita dai rilevatori dell’Agenzia sulle dimissioni
1997
Le modalità di esecuzione dell’indagine sono state sostanzialmente simili a quelle dell’anno
precedente. Complessivamente le cartelle cliniche analizzate sono state 10.748.
Risultati
Di seguito sono sinteticamente presentati i risultati della rilevazione 1995 (fase propedeutica)
e della rilevazione 1996; i dati relativi al 1997 saranno disponibili entro il mese di febbraio
1998.
1) Rilevazione 1995
Il numero totale di ricoveri è stato di 275.000, di cui 30.516 con durata di degenza di un
giorno.
La percentuale di inappropriatezza è risultata complessivamente del 36% (I.C. 32,9-39,2). Sul
totale delle cartelle esaminate i casi di override (criteri straordinari) sono stati 41 (il 4,5%); di
questi, 39 trasformano in appropriate delle ammissioni sprovviste dei criteri necessari e solo 2
rendono inappropriate ammissioni ospedaliere fornite dei criteri previsti. La consistenza
complessiva dei casi di inappropriatezza non appare dunque sovrastimata per difficoltà nella
valutazione dei dati clinici disponibili.
I motivi di inappropriatezza più frequentemente citati sono riportati in tabella 1.
Il motivo di inappropriatezza di gran lunga più comune è quello dell’esecuzione di esami
diagnostici (63,1% di casi) seguito dall’esecuzione di interventi terapeutici medici (18,0). I
motivi “sociali” hanno carattere di eccezionalità (0,6% del totale).
Tab. 1: motivi di inappropriatezza: numero totale e percentuale
(sono possibili piu' motivi di inappropriatezza per ogni singola ammissione)
Motivo di inappropriatezza dell'ammissione
Nr
%
Esecuzione di esami diagnostici
Esecuzione di terapia medica
Intervento chirurgico non eseguito entro
il giorno successivo
Clinica complessivamente critica, ma
nessun criterio specifico presente
Assistenza infermieristica per terapia
Assistenza infermieristica di base
Situazione familiare critica
Situazione sociale critica
207
59
63,1
18,0
57
17,4
15
12
2
1
1
4,6
3,7
0,6
0,3
0,3
La percentuale di inappropriatezza dell’ammissione è del 52,7% per i pazienti in età
pediatrica, mentre scende al 30% circa negli anziani (tabella 2)
Tab. 2: numero di ricoveri e percentuale di appropriatezza
dell'ammissione per classi d'età
classi d'età
0-14
15-64
65-w
totale
Nr. Ricoveri %
Nr. ricoveri
appropriati inappropriati
35
47,3
39
250 61,6
156
298 69,1
133
583 64,0
328
%
52,7
38,4
30,9
36,0
x²= 14,94 d.f.= 2 p= 0,00057
La tendenza ad un aumento dei ricoveri inappropriati nelle classi di età più giovani è
statisticamente significativa e presenta un X2=14,94 con 2 gradi di libertà ed una p=0,000.
La probabilità di avere un ricovero inappropriato nella classe di età più giovane è del 71% più
elevata che nella classe di età sopra i 65 anni (O.R. 1,71 - I.C. 1,32-2,21), mentre tra i 15 e i
64 anni è del 25% più elevata (O.R. 1,25-I.C. 1,03-1,50).
I reparti chirurgici hanno presentato una percentuale di inappropriatezza significativamente
più alta dei reparti medici: 40% contro 32% (tabella 3).
Tab. 3: numero di ricoveri e percentuale di appropriatezza
dell'ammissione per tipologia di reparto
Tipo di Nr. Ricoveri %
reparto
appropriati
medico327
68,0
chirurgico
256
totale
583
Nr. ricoveri
%
inappropriati
154
32,0
59,5
174
64,0
328
40,5
36,0
x²= 7,033 d.f.= 1 p= 0,008
O.R. 1,44 (I.C. 1,09-1,91)
Tab. 4: numero di ricoveri e percentuale di appropriatezza
dell'ammissione per tipo di ricovero
Tipo di
reparto
programm.
urgente
totale
Nr. ricoveri
%
appropriati
208
49,5
375
583
64,0
x²= 70,831 d.f.= 1 p= 0,000
O.R. 3,29 (I.C. 2,46-4,42)
Nr. ricoveri
%
inappropriati
212
50,5
76,4
116
328
36,0
23,6
In tabella 4 è riportata la distribuzione dell’appropriatezza dell’ammissione per ricoveri
urgenti e ricoveri programmati. L’inappropriatezza nei ricoveri urgenti è percentualmente
circa la metà rispetto ai ricoveri programmati.
2) Rilevazione 1996
Il numero totale di ricoveri è stato di 255.000, di cui 14.500 con un solo giorno di durata di
degenza.
La percentuale di inappropriatezza è risultata complessivamente del 31% (I.C. 30,0-32,0), con
una diminuzione netta statisticamente significativa del 5% rispetto al 1995. I valori riscontrati
nei singoli ospedali variano dal 14 al 44% e 9 ospedali su 18 hanno superato il valore definito
dall’obiettivo del 25% di giornate di ammissione inappropriate, come si evidenzia nel grafico.
Sul totale i casi di override (criteri straordinari) sono stati il 2,1% delle cartelle cliniche
esaminate, con una diminuzione di oltre la metà rispetto al valore del 1995.
I motivi di inappropriatezza della giornata di ammissione più frequenti sono stati: esecuzione
di esami diagnostici (40.4% di casi), seguito dall’esecuzione di interventi terapeutici medici
(35.3%) e dall’esecuzione dilazionata di intervento chirurgico (19,4%).
Utilizzando un modello di regressione logistica e controllando le dimissioni per età e sesso, si
è rilevato che l’ammissione programmata (O.R.=2.36), la degenza breve (O.R.=3.06),
l’ammissione in un reparto chirurgico (O.R.=1.58) e la dimissione con un DRG medico
(O.R.=3.06) rappresentano variabili che sono contemporaneamente ed indipendentemente
associate con i più alti livelli di inappropriatezza in modo statisticamente significativo. Non si
è rilevata associazione tra la percentuale di inappropriatezza e la tipologia e la dimensione
degli ospedali.
Discussione e conclusioni.
La Regione Friuli-Venezia Giulia nel 1994 registrava un tasso di ospedalizzazione grezzo di
220,9 ricoveri per mille abitanti, uno tra i più alti in Italia. Il totale dei ricoveri nel 1995
ammontava a 275.000, di cui circa l’11,1% (30.500 ricoveri) era rappresentato da ricoveri con
degenza di un giorno. Nello stesso anno, con l’introduzione del meccanismo di finanziamento
a prestazione dell’attività di ricovero (DRG) poteva essere indotto, quale effetto non
desiderato, un ulteriore incentivo all’aumento del numero di ricoveri.
La Regione ha quindi cercato di ridurre l’eccesso di ricoveri e la tendenza all’ulteriore
aumento degli stessi insita nel nuovo meccanismo di finanziamento attraverso una strategia
integrata basata sulla definizione di un tetto di ricoveri tariffabili per singolo ospedale e sulla
individuazione di un limite massimo delle giornate di ammissione inappropriate, vincolato ad
un meccanismo di penalizzazione economica; il meccanismo era tarato in modo che fosse
economicamente più conveniente ridurre i ricoveri non appropriati piuttosto che ottenere un
maggior tariffato DRG con un aumento del numero di dimissioni.
Le ricadute di questa strategia sono così sintetizzabili: il numero di ricoveri nel 1996 è stato
di 255.000 (meno 7,3% rispetto al 1995) e il numero di ammissioni inappropriate è passato da
46.000 (valore stimato) nel 1995 a 34.000 (valore stimato) nel 1996, con una diminuzione del
26.1%. Questa è principalmente attribuibile ai ricoveri di un giorno che sono passati da
30.500 nel 1995 a 14.500 nel 1996 (corrispondente a una diminuzione del 65,5%) e che
rappresentano per la maggior parte ricoveri “inutili”, utilizzati generalmente per l’esecuzione
di accertamenti diagnostici.
La strategia complessiva messa in atto non permette di conoscere il reale contributo
attribuibile al PRUO nella riduzione dei ricoveri inappropriati, in quanto il tetto programmato
sul numero di dimissioni potrebbe di per sé determinare la riduzione dei ricoveri
inappropriati. Va anche tenuto presente che la crescente pressione sul controllo dei costi
potrebbe avere spinto verso un miglior utilizzo dell’ospedale, senza l’intervento di altri
fattori; inoltre, la possibile penalizzazione in caso di fallimento dell’obiettivo potrebbe avere
spinto ad una miglior compilazione delle cartelle cliniche determinando una più completa
rilevazione dell’iter diagnostico-terapeutico e quindi una minor quantità di ricoveri
inappropriati.
In ogni caso, il fatto che minori percentuali di inappropriatezza si siano registrate negli
ospedali in cui la Direzione ha messo in atto azioni per diffondere e applicare il “progetto
PRUO” (vedasi tab. 5), rafforza l’ipotesi che l’uso dello strumento su base regionale abbia
sicuramente contribuito alla riduzione dei ricoveri con giornata di ammissione inappropriata.
Tab. 5: Iniziative messe in atto dalle Aziende Sanitarie, IRCCS e
Università in merito al progetto PRUO
Azioni
Informazioni sul progetto regionale PRUO
Nomina di un referente di Azienda
Rilevazione della percentuale di inappropriatezza
Adozione di un sistema di monitoraggio
Comunicazione dei risultati ai primari
Verifica dei motivi di inappr. con medici dei reparti
Discussione dei risultati con medici e
infermiere dei reparti
Adozione di modifiche organizzative
Adozione di meccanismi di premio/sanzione
legati ai risultati
Num. (%)
di ospedali
18 (100)
18 (100)
13 (72)
12 (67)
11 (50)
9 (50)
8 (44)
5 (28)
2 (11)
Non va trascurato, infine, l’interesse che questa iniziativa riveste anche al di fuori dei confini
della Regione. Si tratta, infatti, di un primo esempio italiano di applicazione del PRUO non a
scopo di pura indagine, ma di meccanismo di finanziamento delle Aziende. Il successo di
questo esperimento potrà dare un contributo agli sforzi che da più parti vengono fatti per
trovare modalità di trasferimento delle nozioni o linee guida o evidenze di appropriatezza
nella pratica operativa quotidiana.
Bibliografia
1- Alonso J., Munos A., Antò J.M. Using lenght of stay and inactive days in the hospital to
assess appropriateness of utilization in Barcelona, Spain. J. Epid. Community Health 1996;
50: 196-201.
2- Apolone G., Liberati A., Meregalli G. et al. A survey of the necessity of the hospitalization
day in an Italian teaching hospital. Qual. Assur. Health Care 1991; 3:1- 9
3- Gertman P.M., Restuccia J.D. The appropriateness evaluation protocol: a technique for
assessing unnecessary days of hospital care. Med. Care 1981; 19: 855-870
4- Gruppo di lavoro PRUO, La valutazione dell’uso dell’ospedale: quadro di riferimento,
strumenti di misurazione ed esperienze italiane. Ricerca & Pratica, Agosto 1994; 58.
5- Restuccia J. D., Gertman P.M., Dayno S. A method to determine inappropriate use of
hospital resources: final report. Baltimore: health care finance administration, 1982.
6- Restuccia J.D., The evolution of hospital utilization review methods in the United States.
Int. J. Qual. Health Care1995; 7 (3): 253-260
7- Siu A.L., Sonnenberg F.A., Manning W.G. et al. Inappropriate use of hospitals in a
randomized trial of health insurance plans. N. Engl. J. Med. 1986; 315: 1259-66.
8- Strumwasser I, Paranjpe N.V., Ronis D.L. et al. Relialibity and validity of utilization
review criteria. Appropriateness evaluation protocol, standardized medreview instrument and
intensity severity discharge criteria. Med Care 1990; 28: 95-111
9- Winickoff R.N., Restuccia J.D., Fincke B.G. et al. Concurrent application of the
appropriateness evaluation protocol to acute admission in department of veterans affairs
medical centres. Med. Care 1991; 29 (suppl.): AS 64-76