Bibliometria De Bellis - Biblioteca Scientifica Interdipartimentale

Dipartimento di Scienze Chimiche e Geologiche, 23/06/2016
Bibliometria e valutazione
della ricerca: certezze,
controversie, opportunità
Nicola De Bellis
Ufficio Bibliometrico (CSBA)
Università di Modena & Reggio Emilia
[email protected]
[email protected]
INTRODUZIONE:
DI COSA PARLIAMO
01
Certezze
Controversie
Opportunità
02
03
04
01
INTRODUZIONE:
DI COSA PARLIAMO
partiamo da un concetto di base
QUALITATIVA
valutazione
documenti
QUANTITATIVA
Accuratezza/Correttezza/
01
Struttura/Aggiornamento
Le informazioni presentate
sono corrette e accurate?
L'organizzazione del testo è
adeguata? Le fonti sono
pertinenti e aggiornate?
01
 per sapere se un'informazione riportata è scorretta o
inaccurata bisogna conoscere quella corretta/accurata
 in alcuni casi la validità/correttezza è problematica
persino per gli esperti, es.: metodologia statistica negli
studi sperimentali di ambito socio-psicologico
Persone
Qual è lo status e la
reputazione dei
soggetti coinvolti
(autore, curatore,
editore)?
02
è un controllo relativamente facile ma anche rischioso:
 autori ormai affermati hanno un rapporto di fiducia con
gli editori che gli permette di pubblicare anche libri o
articoli poco originali sulla base della fiducia acquisita
 difficilmente un autore giovane ha un curriculum solido
alle spalle, non per questo ciò che pubblica va scartato
 non è facile applicare questo criterio agli editori, infatti ...
... oggi è possibile pubblicare in riviste che chiedono soldi
agli autori per rendere poi gratuitamente accessibile
l'articolo: spesso sono predatori senza scrupoli che non
applicano alcun filtro qualitativo (una lista di predatory
journals si trova qui: http://scholarlyoa.com/publishers)
Controllo/Consenso
C'è stato un controllo da
parte di qualcuno? Chi
altro ci crede? Cosa ne
pensano quelli che
l'hanno già letto?
03
la peer review è il filtro fondamentale anche se la
semplice etichetta peer reviewed non è da sola
sinonimo di qualità e non copre tutti i casi possibili
04
Interessi
Ci sono interessi in gioco?
L'autore cerca di dimostrare
una tesi senza considerare
punti di vista alternativi?
 è il criterio più difficile da applicare: alla base di ogni
studio c'è una prospettiva teorica e/o metodologica più o
meno disinteressata che condiziona i risultati
 l'esempio classico è quello delle ditte farmaceutiche che
sponsorizzano studi a favore dell'efficacia di un farmaco,
ma è un esempio fuorviante: ci sono tante zone d'ombra
anche in studi di altro tipo e provenienza
gran parte della letteratura accademica passa di
default attraverso una valutazione qualitativa ... ma la
peer review è un metodo infallibile?
almeno tre lacune:
1
2
3
 ricerche sbagliate o
fraudolente sfuggono
spesso al controllo dei
pari salvo ritrattazioni
 documenti di qualità che
non hanno ancora subìto
peer review o non la
subiranno mai (es.:
preprint, working paper)
 la peer review non dice
nulla sulla qualità relativa
dei documenti
 INDICATORE =
qualcosa di
accessibile che indica
delle proprietà di
qualcos'altro di
inaccessibile in
maniera imperfetta
 temperatura corporea
= indicatore di febbre
ma la febbre può
avere tante cause e la
sensibilità dei
termometri può variare
si arriva così alle valutazioni quantitative
QUALITATIVA
valutazione
documenti
QUANTITATIVA
BIBLIOMETRIA / SCIENTOMETRIA /
INFORMETRICA = studio quantitativo dei testi e delle
reti bibliografiche (citazioni) nei documenti scientifici
esiste un anello che collega
bibliometria e valutazione
della ricerca e si chiama ...
... analisi delle citazioni
 studio quantitativo dei
legami bibliografici
 tecnica bibliometrica
prevalente dagli anni
'60 in poi
 estendibile ad altre
unità di analisi (es.
hyperlink, download)
A cita B in un riferimento
bibliografico R di una
pubblicazione accademica
A
B
dal punto di vista di A, il link R è un riferimento
bibliografico (bibliographic reference)
dal punto di vista di B, il link R è una citazione (citation)
articolo citante (citing paper)
A
riferimento bibliografico
(reference, cited reference)
B
A1
A2
A3
A4
B
 il documento/autore B riceve 4 citazioni,
i.e. 4 riferimenti bibliografici da altrettanti
documenti/autori puntano a B
 il documento/autore B sta esercitando un
impatto (bibliografico? scientifico?
retorico?) sulle 4 fonti citanti
per chi fa o usa la bibliometria impatto bibliografico
equivale perlopiù a impatto reale (conoscitivo,
pratico) = indicatore di qualità scientifica
C1
A1
A2
C2
A3
C3
C4
B
quando la rete dei legami bibliografici
diventa più fitta si può:
 contare il numero di citazioni ricevute dai
documenti/autori per stimarne l'impatto
 analizzare la rete bibliografica con
strumenti matematici (calcolo delle
probabilità, network analysis, etc.)
oltre le citazioni
 A scarica il full text di B
 A evoca o “segue” B sul social web
 A cataloga B in un reference manager
A
 A (biblioteca) cataloga B in un OPAC
 A (sito web) crea un link a B (sito web)
B
la nuova frontiera è cercare tracce dell'impatto al di
fuori delle bibliografie: è il mondo della cybermetrica
e delle metriche alternative o altmetrics
applicazioni
1
Valutazione
indicatori di
produttività e
impatto basati su
statistiche
relative a
pubblicazioni e
citazioni
2
Mappatura
associazioni
costanti di legami
bibliografici o
altmetrici allo scopo
di identificare
discipline,
specialità, fronti di
ricerca emergenti
sono aspetti collegati: valutazione = confronto con
reference set della stessa disciplina o fronte di ricerca
numero
pubblicazioni
numero e distribuzione
temporale delle
pubblicazioni scientifiche
di un autore, ma di per
sè indica poco, bisogna:
 definire ciò che conta
come “scientifico” (es.
meeting abstract,
relazione di convegno)
 dare un peso alle diverse
tipologie di pubblicazioni
numero
citazioni
Numero e distribuzione
temporale delle citazioni
ricevute da un set di
documenti:
 è il mattone col quale
sono costruiti indicatori
più complessi
 è un indicatore che ha
tanti problemi ... li
vedremo dopo
numero
medio
citazioni
PROBLEMA
quantità vs.
qualità: in
media 3
articoli citati in
totale 30 volte
valgono
quanto 30
articoli citati
300 volte
10
10
10
indice h
(di Hirsch)
h=5
un ricercatore ha h index = h se
ha pubblicato h articoli ciascuno
dei quali citato almeno h volte ...
anche questo ha tanti problemi,
ad esempio la scarsa “sensibilità”
Impact
Factor (IF)
IF(rivista J nell'anno y) =
A
B
A = numero di citazioni ricevute, nell'anno y, da tutti gli
articoli pubblicati su J nei due anni precedenti y –1,
y–2 (compresi editoriali, lettere, commentari, etc.)
B = numero totale di citable items (solo research papers
& notes, reviews, NO editoriali, lettere, commentari,
etc.) pubblicati su J lungo gli stessi 2 anni y-1, y-2
Impact
Factor (IF)
 è l'indicatore più
(ab)usato e
bistrattato della
storia della
bibliometria
 spesso si confonde
l'IF con tutta la
evaluative
bibliometrics
termini MeSH che descrivono gli argomenti di
ricerca di un autore UNIMORE
rete di collaborazione tra gli autori
che citano una rivista
rete di collaborazione tra le nazioni di
provenienza degli autori che citano una rivista
utilità delle mappe
 com'è fatta la struttura
intellettuale (visibile) di un
settore di ricerca
 quali sono i fronti di ricerca
emergenti in una disciplina
 come si evolve la visibilità
internazionale di un'entità
(autore, subject, rivista)
IT'S NOT JUST
ABOUT NUMBERS!
01
CERTEZZE
certezza numero uno: la
bibliometria è tra noi
certezza numero due
i database fondamentali per la bibliometria
sono due: Web of Science (WoS) e Scopus
... lasciate perdere Google Scholar (GS)
certezza numero tre
numero articoli
autocitazioni
coautori
età
tipo documento
disciplina
e area di ricerca
i numeri grezzi di
citazioni (e indicatori
derivati come l'hindex) non vanno
bene perché
dipendono da fattori
che non hanno nulla a
che vedere con
l'impatto
Informed Peer
Review =
valutazione
qualitativa
(in)formata da
indicatori
bibliometrici
gli indicatori bibliometrici usati sono
“relativi” o “normalizzati”: si cerca di
confrontare il simile con il simile a livello
nazionale e/o internazionale
numero pubblicazioni recenti, numero citazioni,
indice h contemporaneo: tutti indicatori vincolati
al superamento di soglie disciplinari
indicatori bibliometrici = numero citazioni
in ISI Web of Science o Scopus + indicatore
impatto rivista (non solo Impact Factor)
nella VQR ANVUR confronta il SIMILE CON
IL SIMILE in modo indiretto: un
articolo/rivista di una certa subject category
viene confrontato con tutti gli articoli/riviste
della stessa subject category WoS o Scopus
più precisamente ANVUR determina, per ogni articolo:


il percentile del numero di citazioni in relazione a tutti gli
articoli simili per tipologia (article, review), anno di
pubblicazione, subject category in WoS e/o Scopus
il percentile dell'indicatore d'impatto della rivista in
relazione tutte le riviste simili per anno di pubblicazione e
subject category indicizzate in WoS e/o Scopus
02
CONTROVERSIE
copertura limitata e irregolare
ambiguità in profili autore
errori nel citation matching
WoS e Scopus hanno limiti strutturali e tecnici
di varia natura ... qualcosa si può fare per
contrastarli ma alcuni limiti sono insormontabili
ESISTONO CENTINAIA (O MIGLIAIA) DI
LOST CITATIONS ovvero citazioni non contate
correttamente dal sistema per tante tipologie di
documenti ... in Scopus si trovano tra i
Secondary Documents
la situazione è molto grave per i
conference papers: lo abbiamo segnalato,
questa la risposta di ELSEVIER
il numero percentile rappresenta il posto che il bambino
occupa rispetto ad altri 100 bambini della stessa età e dello
stesso peso (o altezza) cresciuti nelle stesse condizioni
socio-economiche in un paese occidentale ...
non c'è corrispondenza con le distribuzioni bibliometriche
gli usi normativi dei percentili presuppongono un
riferimento più o meno indiretto alla distribuzione
gaussiana MA ...
“Perché a chiunque ha
sarà dato e sarà
nell'abbondanza; ma a
chi non ha sarà tolto
anche quello che ha”
(Matteo 25:29)
... il capitale simbolico,
al pari di quello
materiale, tende a
concentrarsi in poche
mani (autori, gruppi,
enti) per dinamiche
indipendenti dal merito
i dataset bibliometrici hanno una distribuzione
profondamente asimmetrica che rende poco
significativi valori medi e tecniche analitiche
convenzionali come correlazione e regressione
 uno studente supera un esame
col massimo dei voti
 nel complesso solo l'1% dei
candidati ha ottenuto il massimo
questa situazione può essere descritta in due modi alternativi:
 il punteggio dello studente occupa il 99esimo percentile in quanto
il 99% dei candidati ha ottenuto un voto strettamente minore;
 il punteggio dello studente occupa il 100esimo percentile in
quanto il 100% dei candidati ha ottenuto un voto minore o uguale
a quello del candidato.
PUNTEGGIO
RANK
1000
500
500
500
500
500
500
500
500
200
1
2
2
2
2
2
2
2
2
10
PERCENT PERCENT PERCENT
_1
_2
_3
100%
100%
100%
90%
10%
50%
90%
10%
50%
90%
10%
50%
90%
10%
50%
90%
10%
50%
90%
10%
50%
90%
10%
50%
90%
10%
50%
10%
0
0
La posizione degli 8 punteggi uguali a 500 può essere interpretata
in vari modi:




è nel 90° percentile perché maggiore o uguale al 90% dei punteggi
è nel 10° percentile perché maggiore del 10% dei punteggi
è nel 50° percentile perché occupa il centro della distribuzione
è nel range percentile 10-89
in alcune discipline è
la correzione più
importante di tutte
soluzioni possibili
FIRST
Autore 1
Autore 2
FULL
Autore 3
20 citazioni
 1 
 i 
 
1
1
1 
 ... 
2
N
FRACTIONAL
RANKBASED
Autore 1
20
Autore 2
0
Autore 3
0
Autore 1
20
Autore 2
20
Autore 3
20
Autore 1
20/3
Autore 2
20/3
Autore 3
20/3
Autore 1
0.55
Autore 2
0.27
Autore 3
0.18
le classi di soggetto (subject
categories) in WoS e Scopus
sono assegnate alle riviste non
ai singoli articoli
incites.isiknowledge.com/common/help/h_field_category_wos.html
questo articolo supercitato uscito su Nature, ad
esempio, non viene classificato in BIOCHEMISTRY
e MOLECULAR BIOLOGY ma in multidisciplinary
sciences ... la distribuzione delle citazioni in quelle
subject categories quindi è falsata di default
modello bibliometrico di scienza
 ispirata da criteri
universali e impersonali
di giudizio
 pubblica
 disinteressata
 basata su affermazioni
logicamente coerenti e
verificate o verificabili
 governata da peer
review imparziale
Robert K. Merton (1910-2003)
tante piccole peer reviews realizzate
ogni volta che un documento ne cita
un altro in bibliografia
la valutazione (imperfetta) di pochi
sostituita dalla micro-valutazione
meno imperfetta (?) di tanti
a partire dagli
anni '70 il
modello
bibliometrico di
scienza è stato
demolito sul
piano teorico
la peer review ha tanti difetti
fonte immagine: http://tinyurl.com/kdtg6h9
chiedendo
direttamente agli
autori le ragioni per
citare, si è
scoperto che le
citazioni non sono
atti di micro peer
review
alla stessa conclusione si è giunti esaminando
il contesto delle citazioni negli articoli
citation
context
gli articoli più citati sono
spesso NON rivoluzionari
(metodi, reviews, linee guida)
“Un articolo senza
riferimenti bibliografici è
come un bambino che
passeggia di notte da
solo in una città che non
conosce: isolato, perso,
qualunque cosa può
succedergli”
(Bruno Latour)
lettera ricevuta da un prof. UNIMORE: l'autore
citato chiede di dichiarare il motivo della citazione
la risposta
03
OPPORTUNITÀ
come si sopravvive in un mondo
governato dalla bibliometria?
STRATEGIA 1
Read! Write! Read!
Write! Read! Write!
Read! Write! Read!
Write! Read! Write!
l'errore più grosso: pensare che una volta terminato un
esperimento con “buoni” risultati la maggior parte del
lavoro sia fatta ... invece di là inizia la parte più difficile!
http://www.gocomics.com/
fare ricerca e comunicarla sono due
attività radicalmente diverse: per la
seconda non esistono corsi specifici !!!!!
questo manuale si segnala
per l'originalità:
 si basa su lettura e analisi di
estratti da articoli ACS e altre
tipologie (conference papers,
poster, progetti, etc.)
 nato dalla collaborazione tra
esperti di chimica e linguistica
applicata
 approccio read-analyze-write:
analizza le convenzioni
stilistiche nella letteratura
chimica (sono le regole del
gioco linguistico “scrivere un
articolo di chimica”)
alcuni problemi
ricorrenti e annesse
soluzioni
(fonte: Eric
Lichtfouse, Writing
for Impact Factor
Journals. New York:
Nova Science,
2013, p. 5)
per inquadrare correttamente la novità del contributo
bisogna conoscere la letteratura (problema di controllo e
gestione bibliografica), essere up-to-date (convegni,
seminari, news) e recepire le critiche altrui (tutor, revisori)
NON SCRIVERE SOLO PER POCHI ELETTI


la ricerca innovativa avviene spesso al confine tra
settori diversi, ciascuno con un suo “linguaggio”
potenziali utilizzatori (citanti) e finanziatori/employers
potrebbero essere tagliati fuori
(fonte: Eric Lichtfouse, Writing for Impact Factor
Journals. New York: Nova Science, 2013, p. 8)
STRATEGIA 2
know your enemy!
potete ad esempio sapere quali sono i
numeri medi di citazioni (valori attesi) a
livello di macroaree ISI WoS
https://esi.incites.thomsonreuters.com
oppure potete sapere quante citazioni servono per entrare nel
top 50%, 20%, 10% etc. a livello di macroaree ISI WoS
di qui capite anche perché non si possono confrontare direttamente
gli indici bibliometrici di un chimico con quelli di un geologo
https://incites.thomsonreuters.com
se avete un account Web of Science (con email UNIMORE)
e vi collegate a questo indirizzo in rete d'ateneo avete
accesso a dati bibliometrici normalizzati
ad esempio questo ricercatore ha un impatto
normalizzato (in WoS) 2.78 volte superiore alla
media internazionale (pari a 1)
in IRIS si vedono i percentili Scopus a livello di
citazioni individuali e indicatori di rivista
STRATEGIA 3:
(let everybody)
know yourself !!!
WORKFLOW
AREE
BIBLIOMETRICHE
STRATEGIA 4:
share everything
(worth sharing)!
mettete su IRIS i pdf dei lavori: le chances di
essere letti e citati aumentano ... un gruppo di
lavoro UNIMORE si preoccuperà di:
 controllare la correttezza dei metadati
 controllare i diritti di distribuzione dei fulltext
cercate di tenere aggiornato
almeno un profilo 2.0
tre slides riassuntive
sulle scelte informate:
dalla progettazione alla
disseminazione ...
tipologia di studio e scelta
argomento influenzano le
probabilità di citazione
citare in maniera accurata le
fonti crea una rete sociale
virutale con gli autori citati
non solo testo
(immagini, video, dataset)
progettare
la ricerca
organizzare le bibliografie
con sofware appropriati e
social (Mendeley, Zotero)
scelta strategica coautori
titoli, parole chiave e abstract
ottimizzati in funzione della reperibilità
da parte dei motori di ricerca
contenuto e forma appropriati
(leggere attentamente le sezioni Aims
& Scope e Instructions for Authors)
indicizzazione WoS/Scopus
o presenza nel citation index
tempi di revisione
dichiarati e
acceptance rates
scegliere
la rivista
quartile categoria IF, SNIP,
SJR, altri indicatori JCR
prestigio editore, editor-inchief
e comitato editoriale
policy Open Access e costi
(attenzione ai predatory publishers:
http://scholarlyoa.com/publishers)
preparare curriculum arricchito (modelli
BECKER e ACUMEN, vedi slide seguenti)
monitorare e
promuovere altmetrics
(es. Researchgate,
Academia.edu,
Nature Network)
disseminare full text e link
in tutti i luoghi possibili (open
archive disciplinare o
istituzionale, sito o blog
personale, etc.) unitamente a
CV e profilo ORCID autore
disseminare
i risultati
monitorare indicizzazione
in WoS, Scopus, IEEE
inviare copia o segnalazione a tutti i
potenziali citing authors (cfr. mappe)
disseminare i risultati
attraverso convegni,
seminari,
comunicati stampa
ESTENSIONE CV 1: modello BECKER
https://becker.wustl.edu/impact-assessment/model
ESTENSIONE CV 2: modello ACUMEN
http://research-acumen.eu/wp-content/uploads/D6.14-Good-Evaluation-Practices.pdf
http://eprints.rclis.org/20496
in questo articolo trovate una rassegna di oltre 30 sistemi
per incrementare la probabilità di citazione di un articolo
GRAZIE!