Breve resoconto su alcuni articoli dedicati al confronto fra Web of

Breve resoconto su alcuni articoli dedicati al confronto fra Web of Science e Scopus
Ezio Tarantino
(agosto 2009)
Premessa
Sono stati presi in considerazione articoli pubblicati a partire dal 2008, ma anche molti di questi non
sono da considerarsi estremamente attendibili perché ovviamente fanno riferimento ad analisi svolte
precedentemente, e dati i notevoli cambiamenti in entrambe le basi dati occorre valutarli con
attenzione.
L’elenco si trova su Delicious all’indirizzo http://delicious.com/ezio.t60/confronto2009.
Sono stati individuati preferibilmente articoli in cui venivano analizzati dati relativi a specifiche aree
disciplinari. Questo perché esistono numerose differenze all’interno delle aree, e fra i due prodotti a
seconda della disciplina trattata.
Gli articoli risultano tutti interessanti anche per le metodologie utilizzate per la comparazione. Quanto
ai risultati, sembrerebbe che la mera analisi quantitativa raramente si dimostra del tutto esaustiva per
dare un giudizio. Spesso le differenze fra i due database non sono solo quantitative (l’uno ha più o
meno articoli o citazioni dell’altro), ma qualitative (cioè occorre andare a vedere perché l’uno ha più o
meno citazioni dell’altro, dal momento che in molti casi la ragione non è semplicemente la non
indicizzazione di una fonte, ma errori materiali, errata grafia dei nomi italiani, errata interpretazione
della bibliografia etc.) e soprattutto analizzare quali citazioni mancano, se quelle da riviste importanti
(identificabili a loro volta per il numero di citazioni ricevute) o meno.
Confronto generale
Tutte le fonti concordano nel dire che la valutazione varia in base all’area disciplinare.
In uno degli articoli meno recenti (Three options for citation tracking: Google Scholar, Scopus and
Web of Science), basandosi sul numero di citazioni medie per articolo, si dice che per la Fisica è
preferibile WOS, mentre per la Medicina Scopus è migliore (ma solo per gli anni recenti).
In un interessante studio (Comparing bibliometric statistics obtained from the Web of Science and
Scopus) si analizza la produzione scientifica per aggregazione geografica.
I risultati sono assolutamente identici, sia in generale che per ciascuna area disciplinare. Nessun
paese “guadagna posizioni” per numero di articoli prodotti in un dato periodo di tempo in rapporto al
database che li indicizza (es.: non solo gli Stati Uniti sono ovviamente al primo posto sia per WoS che
per Scopus, ma anche paesi meno rilevanti mantengono la loro posizione nel ranking mondiale in
entrambi i prodotti).
Per quanto riguarda l’h-index, Peter Jacsò (The pros and cons of computing the h-index using Web of
Science e The pros and cons of computing the h-index using Scopus) sottolinea come il fatto che
Scopus faccia partire l’analisi citazionale dal 1996 sia un forte limite, perché per valutare l’h-index è
assolutamente fondamentale valutare l’intera carriera di uno scienziato.
Un’analisi molto approfondita è contenuta nello studio Appraisal of citation data sources. A report to
HEFCE by the Centre for Science and technology studies (Sept. 2008).
Le conclusioni dello studio sono che Scopus è una “autentica alternativa a WoS come fonte di dati
per indicatori bibliometrici delle performance della ricerca nei campi delle scienze, a condizione che le
lacune (articoli o interi numeri di riviste indicizzate mancanti) siano colmate”.
Un’altra condizione è che non si abbia bisogno di dati anteriori al 1996 perché, come è noto, Scopus
inizia la copertura delle citazioni a partire da quell’anno.
Scopus presenta quasi lo stesso numero di articoli di WoS e il numero di articoli mancanti da fonti
indicizzate diminuisce con il passare degli anni (meno errori nel corrente).
In Scopus è comunque rilevata una quantità di errori superiore a WoS. Quelli più frequenti
riguardano nomi, anni di pubblicazione, numero dei volumi, e pagina di inizio degli articoli.
Prendendo a riferimento un certo numero di riviste, indicizzate da entrambi i database, la percentuali
di articoli mancanti è del 5,6% in Scopus e dello 0,6 in WoS.
A favore di Scopus c’è la forte copertura di conference proceedings e citazioni che non si limitano al
primo autore, come in WoS. Inoltre in Scopus tutti gli autori di un articolo hanno indicata la loro
affiliation.
Infine, Scopus si fa preferire per le scienze sociali, per le scienze cliniche, WoS per la fisica, la
matematica e la biologia, nonché per quelle umanistiche.
In due recentissime analisi (maggio-giugno 2009) Peter Jacsò, mette a confronto i due database
analizzando alcuni macro-dati estremamente significativi.
Premesso che i risultati delle due indagini sono pubblicati su un periodico della Thomson Reuters, è
anche necessario dire che Jacsò da alcuni anni esegue analisi approfondite su questi e molti altri
prodotti editoriali digitali.
Il risultato della sua indagine è sostanzialmente molto negativo nei riguardi di Scopus per alcuni
motivi di fondo.
Il primo sembra essere la mancanza di sincerità e di chiarezza dei responsabili della comunicazione
di Elsevier, che dichiarano cifre non vere, o parzialmente vere.
In Scopus ci sono circa 38 milioni di record (42,1 milioni WoS, dal 1900 a oggi).
In Scopus 15 milioni di record sono corredati da 330 milioni di citazioni, mentre sono 33 milioni i
record arricchiti da 720 milioni di citazioni in WoS. Solo 7.000 record ante-1996 sono corredati da
citazioni in Scopus.
Scopus si fa preferire per la presenza di abstract (presente in 27 milioni di record pari al 70% del
totale, mentre in Wos la percentuale è del 40%). Il dato è significativo (anche se non utile per analisi
bibliometriche, nota Jacsò), ma abbastanza lontano da quanto dichiarato nelle brochure di Elsevier
(che dichiara 33 milioni di record con abstract).
Un altro punto di forza secondo i “public relations” di Elsevier è la copertura delle riviste Arts &
Humanities. Jacsò contesta nettamente la veridicità di questa affermazione, sostenendo che a)
costituiscono solo l’1% del totale dei record; b) si tratta di 1.600 riviste per un totale di 330.000 record
di cui 230.000 provenienti dagli ultimi 10 anni (Vs. 3.785.157 di record di A&H in WoS provenienti da
un numero inferiore di riviste, 1.450). E’ il segno che la copertura è piuttosto casuale.
La grave inesattezza compiuta dai PR di Scopus, a giudizio di Jacsò, è di parlare di fonti in termini
assoluti, senza specificare quale sia la profondità di spoglio al loro interno.
Anche nel campo delle scienze sociali, di cui normalmente si sostiene la maggiore copertura di
Scopus, WoS sembra essere più performante. WoS produce infatti 6 milioni di record da 2.500 fonti;
laddove Scopus ne ha 2 milioni e mezzo da 5.300, dal 1910 in avanti.
Jacsò si dice molto scettico sull’annunciato “raddoppio” delle fonti nel campo delle A&H, dal momento
che il dato di partenza è così basso da non poter modificare molto la situazione.
Alcuni dati:
- in Scopus ci sono più riviste indicizzate che in WoS ma meno record. In Scopus il rapporto record
per fonte è di 2.540 (38 milioni / 15.000 riviste), mentre in WoS è 4.210 (42 milioni / 10.000 riviste). Il
dato per Scopus peggiorerebbe considerando le dichiarate 16.500 fonti;
- Scopus dichiara di far partire la sua copertura dal 1823; ma i record da quella data al 1923
costituiscono solo l’1% del totale; il numero di record per anno in Scopus è di 204.290, mentre in WoS
è di 384.745.
- in Scopus manca l’indicazione di provenienza geografica degli autori per 13 milioni di record; nel
range temporale 1975-2009 solo il 66% dei record ha la “country affiliation” (WoS: 85%); è vero che
Scopus assegna la country affiliation a tutti gli autori di un articolo ma sistematicamente lo fa solo dal
2003;
- in Scopus 1.340.000 record (circa) non hanno l’indicazione dell’autore. Gli utenti sono avvertiti dalla
scritta ANON solo in 67.000 casi; nei restanti record il campo è vuoto.
- oltre 3 milioni di record non hanno assegnata l’indicazione di “document type”;
- manca il tipo di documento “book review”;
- è una grave lacuna far partire il calcolo dell’h-index dal 1996. Molti ricercatori intorno ai 50 anni, per
non dire di quelli più anziani, ha iniziato a pubblicare prima del 1996, lavori magari importanti cui
hanno collaborato da giovani dottorandi o laureandi.
Punti a favore di Scopus:
- il software, più potente, duttile in varie funzioni;
- la presenza di article-in-press (utile per la ricerca bibliografica, non come funzione bibliometrica);
- gli abstract (vedi sopra)
NEW: (vedi, in fondo, una tabella che riepiloga alcuni dati messi a confronto nell'analisi di P. Jacsò)
Aree disciplinari
LIS
In Impact of Data Sources on Citation Counts and Rankings of LIS Faculty: Web of Science vs.
Scopus and Google Scholar si attesta l’insostituibilità di WOS, ma si raccomanda anche l’uso di
Scopus, che si fa preferire per l’indicizzazione di materiale non-english, e per la presenza di
numerosi conference proceedings.
Human-Computer Interaction (HCI)
In questa area a cavallo fra la psicologia cognitiva e l’informatica, lo studio Citation counting, citation
ranking, and h-index of human-computer interaction researchers: A comparison of Scopus and Web
of Science rileva come la forte presenza di conference proceedings in Scopus è determinante a
cambiare i risultati della valutazione, poiché in questo settore i conference proceedings (dell’IEEE o
di ACM) sono la fonte primaria di diffusione delle informazioni.
Sono stati analizzati i lavori di un gruppo di esperti (informatici, sociologici, psicologici) di un gruppo di
lavoro europeo, verificando la copertura delle loro pubblicazioni sui 2 database. Scopus si rivela
molto più ricco di record.
Per quanto riguarda le citazioni, il 47% delle citazioni agli articoli esaminati sono in comune; il 7%
sono presenti solo su WOS, mentre il 46% sono solo su Scopus.
E’ singolare che il 62% delle citazioni presenti solo su WOS provengono da fonti indicizzate anche da
Scopus (e che quindi sarebbe stato ragionevole trovare su Scopus: è difficile capire perché così non
è); solo il 16% delle citazioni presenti solo su Scopus provengono da fonti indicizzate anche da WOS
(che quindi commette un numero di errori molti minore).
Altre conclusioni dell’articolo sono: le analisi sull’h-index è opportuno farle “manualmente” e non
fidarsi dei sistemi automatici; si può utilizzare Google Scholar come supporto, e infine è quanto mai
opportuno che le analisi citazionali vengano condotte da esperti.
Scienze sociali
Per questa area Scopus è preferibile (è un dato già emerso in letteratura).
In A Comparative Citation Analysis of Web of Science, Scopus, and Google Scholar sono stati
analizzati 5 periodici presi a caso fra quelli che Scopus indicizza e WOS no. E sono stati confrontati
con i primi 5 e gli ultimi 5 nel ranking dell’Impact factor ISI.
Scopus si fa preferire perché mentre c’è uniformità nel confronto fra le “5 top”, Scopus riporta molte
più citazioni per alcune delle riviste “non-ISI” rispetto alle peggiori ISI (in media 4,11 citazioni per
articolo contro la media di 2,50 citazioni per le peggiori ISI).
Nelle conclusioni si fa notare peraltro come, è da notare come la differenza della media di citazioni
per articolo fra WOS e Scopus è più bassa di quella che si sarebbe potuto immaginare visto il
maggior numero di fonti di Scopus (8,06 citazioni per articolo in WOS Vs. 9,06 in Scopus).
Scienze della terra, Ambiente
Gli autori dell’articolo Comparison of Journal Citation Reports and Scopus Impact Factors for Ecology
and Environmental Sciences Journals hanno calcolato l’IF utilizzando i dati di Scopus.
Il risultato ha mostrato una sostanziale identità (0,98 di indice Spearman, dove 1=identità assoluta) e
quindi l’inutilità di cambiare strumento (se si usa già WOS).
Anche perché sostengono gli autori che se le differenze sono addebitabili alla scelta di WOS di non
indicizzare un titolo, in discussione c’è un criterio più o meno discutibile, ma, dal lato di Scopus,
spesso le differenze sono imputabili all’inaccuratezza dei dati, e qui c’è poco da discutere.
Farmacia
In A bibliometric analysis of pharmacology and pharmacy journals: Scopus versus Web of Science gli
autori rilevano come Scopus sia più ricco di articoli e citazioni per quanto riguarda le pubblicazioni
recenti. Ma si tratta fondamentalmente di riviste poco significative (in accordo con le politiche di
selezione di ISI).
WOS si fa preferire per la profondità dei backfiles.
Conclusioni (provvisorie)
Scopus è giudicato un prodotto degno di affiancarsi a WoS e in qualche caso a sostituirlo, ma ha
ancora molti limiti dovuti alla non completa copertura delle fonti e sconta il grave limite di iniziare a
inserire in modo sistematico le citazioni a partire dal 1996.
Viene stigmatizzato in particolare, per quanto riguarda Scopus, il difetto di comunicazione, dove la
propaganda prevale sulla verità dei dati.
Allegato 1
tabella riepilogativa
numero articoli
numero riviste
rapporto art/riv
articoli per anno
record con citazioni
numero citazioni
citazioni < 1996
abstract
WoS (1900- )
Scopus
42.000.000 38.000.000
10.000
16.500
4.200
2.303
384.745
204.290
33.000.000 15.000.000
720.000
330.000
7.000
20.000.000 27.000.000