The Complex Systems of Science: Computer simulations, laboratory

DISS. ETH NO. 22660
The Complex Systems of Science
Computer simulations, laboratory and online experiments.
A thesis submitted to attain the degree of
DOCTOR OF SCIENCES of ETH ZURICH
(Dr. sc. ETH Zurich)
presented by
Stefano Balietti
MSc, Universitá Politecnica delle Marche
born on 26.02.1983
citizen of Italy
accepted on the recommendation of
Examiner:
Prof. Dr. Dirk Helbing
– ETH Zürich
Co-Examiner: Prof. Dr. Robert Goldstone – Indiana University
Co-Examiner: Prof. Dr. Andreas Flache
– University of Groningen
2015
Abstract
Science is the human endeavor that aims at finding answers to the most pressing real-world
problems of our century, such as climate change, hunger, clean-energy production, etc. Instead,
this dissertation is not attempting to solve any of these. This dissertation embarks on what is
arguably an even more fundamental challenge: investigating under which conditions science can
best fulfill its task. In fact, science is now carried out in settings that are very far away from its
inception in Western countries. For example, competition has dramatically increased, the average
size of scientific teams has grown, and the communication patterns have changed completely
with the advent of the email and Internet. Nonetheless, other key institutions of the scientific
enterprise have remained essentially unchanged for almost the same amount of time. These
are: the reward system and the publication system. Due to the coexistence of old institutions
and new technological means, and new productivity goals within already established scholarly
traditions, a number of tensions originated with the potential to slow down the rate of scientific
progress. This thesis identifies three dichotomies originating tensions in modern science: (i)
unification vs fragmentation, (ii) competition vs cooperation, and (iii) meritocracy vs stratification.
It investigates the reasons behind them, and elaborates on the consequences they bear for the
overall goal of the scientific enterprise, i.e. the production of unbiased scientific knowledge. This
dissertation aims at answering questions such as: Why do disciplinary fragmentation and slower
scientific progress often seem to coincide? Does competition in the peer review system promote
or discourage innovation? Does competition improve or hamper the ability to identify valuable
scientific contributions? If the production of scientific knowledge can be modeled akin to the
provision of a public-good, how can we increase the incentives to contribute? To do so, this
Ph.D. thesis employs methods from the emerging field of computational social science, making
use of computer simulations, laboratory and online experiments to investigate how individual
micro-motives of scientists can have an impact on outcome variables at the macro-level of
science as such. Furthermore, this dissertation also develops a strong methodological focus.
In particular, it contains an essay on “how to do agent-based modeling” where the pro and
cons of computer-based social simulations are discussed. Moreover, it develops a complete
new software framework to conduct behavioral research online called “nodeGame”. Both
methodological contributions have been prerequisite to the achievement of substantive research
insights. Finally, this dissertation ends with a visionary contribution entitled “How to Create an
Innovation Accelerator,” highlighting some of the problems of the current scholarly publication
system and proposing an array of possible technological solutions.
v
Abstract
La scienza è l’attivitá umana alla ricerca delle risposte ai problemi piú urgenti del nostro secolo:
il cambiamento climatico, la fame nel terzo mondo, la produzione di energia pulita, eccetera.
Questa tesi di dottorato non prova a risolvere nessuno di questi problemi. Questa tesi si cimenta
in una sfida che si potrebbe definire ancora piú fondamentale: capire attraverso quali condizioni
l’attivitá scientifica puó essere svolta nel migliore dei modi. Infatti, la scienza oggi è condotta
in un’ambiente che è completamente diverso da quello in cui si è sviluppata inizialmente nei
paesi occidentali. Per esempio, oggi c’è molta piú competizione, la dimensione dei gruppi di
ricerca è cresciuta, e le possibilitá di comunicazione sono cambiate radicalmente con l’avvento
di Internet e email. Ciononostante alcune istituzioni chiave del sistema scientifico sono rimaste
sostanzialmente le stesse durante tutti questi anni. Esse sono: il sistema di riconoscimento e
attribuzione dei meriti scientifici e il sistema di pubblicazione scientifica. Per via della coesistenza
di vecchie istituzioni con nuovi mezzi tecnologici, e di nuovi target di produttivitá all’interno di
tradizioni accademiche ben sviluppate, si sono venuti a creare dei nuovi contrasti che rischiano di
rallentare il progresso scientifico. Questa tesi individua tree dicotomie che stanno creando tensioni
nella scienza moderna: (i) unificazione vs fragmentazione, (ii) competizione vs collaborazione, e
(iii) uguaglianza vs meritocrazia. Questa tesi esamina le condizioni alla base di queste dicotomie e
elabora quali conseguenze esse abbiano per il fine ultimo della scienza: la creazione di conoscenza
obbiettiva e imparziale. Questa tesi di dottorato si propone di dare risposte alle sequenti domande:
Perchè le discipline più frammentate tendono ad esibire un minore livello di progresso scientifico?
La competizione nel peer review (“revisione dei pari”) favorisce o limita l’innovazione scientifica?
La competizione migliora o peggiora l’abilitá di distinguere tra lavori scientifici di qualitá e
non? Se la produzione di nuova conoscenza scientifica puó essere assimilata alla realizazzione di
un bene pubblico, come si possono aumentare gli incentivi alla sua contribuzione? Questa tesi
di dottorato impiega metodologie prese in prestito dall’emergente campo della computational
social science (“scienza sociale computazionale”), quali simulazioni al computer e esperimenti
in laboratorio e online, per investigare come le motivazioni individuali di ciascun scienziato
impattino ad un livello aggregato su macro-variabili del sistema scienza. Inoltre, questa tesi
di dottorato sviluppa anche un proprio tema metodologico al suo interno. Infatti contiene un
saggio su come fare agent-based modeling (“modellazione ad agenti”) in cui sono discussi i
vantaggi e gli svantaggi della simulazione al computer di sistemi sociali. In aggiunta, la tesi
sviluppa un nuovo ambiente di programmazione per esperimenti sociali da effettuare online
chiamato “nodeGame”. Entrambe i contributi metodologici sono stati importanti prerequisiti per
il raggiungimento degli obbiettivi di ricerca. Infine, questa tesi di dottorato si conclude con un
vii
Abstract
contributo speculativo intitolato “How to Create an Innovation Accelerator” (“Come Creare un
Acceleratore per l’Innovazione”), che illustra i problemi principali del sistema di pubblicazione
scientifico, e propone una serie di soluzioni concrete di stampo prettamente tecnologico.
viii