11 Sistemi colturali analizzati e gestiti con modelli

Sistemi Colturali
Sistemi colturali
analizzati e gestiti con modelli di simulazione
(2)
Sistemi Colturali
Vedremo diverse tipologie di modelli per l’analisi e la gestione dei
sistemi colturali…
Ma prima:
• Perché ce ne sono molti?
• Ne esiste uno migliore?
• Come scegliere quello più adatto per uno specifico studio?
Sistemi Colturali
Capacità
di spiegare
Modellistica
di simulazione
Misure
dirette
Indicatori
agroecologici
Telerilevamento
Precisione
Applicabilità
Sistemi Colturali
Capacità
di spiegare
Modellistica
di simulazione
Misure
dirette
Indicatori
agroecologici
Telerilevamento
Precisione
Applicabilità
Valutare i modelli
Sistemi Colturali
Qualunque sia l’applicazione specifica per la quale viene richiesto
l’uso di un modello di simulazione, è necessario:
1. identificare chiaramente gli obiettivi (cosa deve fare esattamente
il mio modello?) e le condizioni di applicazione (es. scala,
disponibilità di dati)
2. derivarne un criterio quantitativo per valutare i modelli in base alla
loro adeguatezza
3. utilizzare il criterio ottenuto per ordinare i modelli
4. scegliere il modello più adeguato per la specifica applicazione (il
miglior modello per quell’obiettivo ed in quelle condizioni)
5. usare criticamente il modello scelto
Diversi punti di vista
Sistemi Colturali
Pablo Picasso, “Guernica” (1937)
Diversi punti di vista
Sistemi Colturali
Il criterio scelto per valutare i modelli disponibili dipende fortemente
dal punto di vista.
Oggi cercheremo di capire perché… intanto limitatevi a tenere bene
a mente questa cosa.
Accuratezza
Sistemi Colturali
“Accuratezza”… (ISO 5725-2)
In modellistica, viene intesa come una stima dello scarto tra valori
misurati e simulati. Esistono molti indici per valutarla (Loague and
Green, 1991).
Accuratezza
Sistemi Colturali
Root mean square error (RMSE; minimo e ottimo = 0; massimo = +∞;
Fox, 1981)
n
RMSE 
2


S

M
 i i
i 1
n
Relative root mean square error (RRMSE; minimo e ottimo = 0%; massimo
= +∞; Jørgensen et al., 1986; anche chiamato GSD: General standard
deviation)
n
2


S

M
 i i
i 1
RRMSE 
n
M
 100
Accuratezza
Sistemi Colturali
Modelling Efficiency (EF; minimo = -∞; massimo e ottimo = 1; Nash
and Sutcliffe, 1970) se negativo, la media dei misurati è meglio del
2
modello!!!
n
S i  M i 

EF  1  i 1
2
 M
n
i 1
i
M

Coefficient of Residual Mass (CRM; minimo = -∞; massimo = +∞;
ottimo = 0; Loague and Green, 1991; se positivo indica sottostima;
se negativo sovrastima)
n
CRM 
n
M  S
i 1
i
i 1
n
M
i 1
i
i
Accuratezza
Sistemi Colturali
Attenzione che gli indici non danno tutti la stessa informazione:
valutano aspetti diversi dell’accuratezza
rilevamento
1
2
3
4
5
6
misurati
0.5
1
1.5
2
2.5
3
simulati
1
0.5
2
2.6
2.3
2
60
misurati
RRMSE = 34.21%
EF = 0.51
40
20
0
0
rilevamento
1
2
3
4
5
6
misurati
43
46
48
50
51
55
simulati
48
47
46
52
49
47
simulati
1
2
3
4
5
6
60
RRMSE = 8.44%
EF = -0.17
40
20
misurati
simulati
0
0
1
2
3
4
5
6
Accuratezza
Sistemi Colturali
… e ancora
rilevamento
1
2
3
4
5
6
misurati
10
15
20
25
35
40
simulati
15
10
25
20
40
35
60
misurati
RRMSE = 20.69%
CRM = 0.00
40
20
0
0
rilevamento
1
2
3
4
5
6
misurati
10
15
20
25
35
40
simulati
5
10
15
20
30
35
simulati
1
2
60
3
4
misurati
5
6
simulati
RRMSE = 20.69%
CRM = 0.21
40
20
0
0
1
2
3
4
5
6
Accuratezza
Sistemi Colturali
Esempi di valori di RRMSE e EF per diverse variabili
Variabile
biomassa aerea
indice di area fogliare
concentrazione di N totale
asportazioni di azoto
contenuto idrico
azoto minerale nel suolo
RRMSE (%)
22
39
20
17
21
71
EF
0.85
0.61
0.54
0.51
0.30
-0.06
“Complessità”
Sistemi Colturali
Il rasoio di Occam
“Entia non sunt multiplicanda praeter necessitatem”
(bisogna assumere la spiegazione più semplice per
un fenomeno se non ci sono evidenze per sceglierne
una più complessa)
(William di Occam, 1300-1349)
“La semplicità costituisce l’ultima sofisticazione”
(Leonardo da Vinci, 1452-1519)
“Non possiamo assumere spiegazioni di fenomeni
oltre a quelle che siano sia vere che sufficienti”
(Isaac Newton, 1643-1727)
“Complessità”
Sistemi Colturali
Il rasoio di Occam
“Grandi effetti con strumenti semplici”
(Ludwig van Beethoven, 1770-1827)
“Si è raggiunta la perfezione non quando non c’è
più niente da aggiungere, ma quando non c’è più
niente da togliere”
(Antoine de Saint Exupéry, 1900-1944)
“Complessità”
Sistemi Colturali
Tutte queste enunciazioni forniscono in qualche modo una
definizione di semplicità che valuta due elementi:
• l’adeguatezza della soluzione fornita per spiegare un fenomeno
• il fatto che quel livello di adeguatezza sia raggiunto nel modo più
semplice possibile (se c’è una componente nella soluzione fornita
che non ne incrementa l’adeguatezza, quella componente non
spiega niente del fenomeno e quindi deve essere eliminata dalla
soluzione)
“Complessità”
Sistemi Colturali
Attenzione: il rasoio di Occam è considerato per sua stessa natura
uno strumento conservativo.
Quindi potenzialmente in grado di rallentare il progresso scientifico.
Questo ha portato grandi scienziati e pensatori (e.g., Leibniz, Kant)
a polemizzare con Occam, tanto da arrivare a formulare anti-rasoi.
In realtà, è semplicemente uno strumento potente, e come tale va
usato nel modo corretto e senza abusi.
Ritengo che la famosa frase di Einstein “Ogni cosa
dovrebbe essere fatta nel modo più semplice possibile,
ma non più semplice” spesso considerata formulazione
alternativa del rasoio, non sia altro che un invito a
usare lo strumento, ma con cautela.
“Complessità”
Sistemi Colturali
Akaike’s Information Criterion (AIC)
• Premia modelli che garantiscono buone performance richiedendo
pochi input (sia parametri che variabili)
• E’ considerato un’ottima formulazione operativa del rasoio di
Occam
“Complessità”
Sistemi Colturali
AIC  n  log MSE   2  T
n
1
2
MSE   S i  M i 
n i 1
n: numero di coppie misurato/simulato
T: numero di input (parametri + variabili)
Si: valore simulato
Mi: valore misurato
“Complessità”
Sistemi Colturali
Esempio: Confalonieri et al. (2009)
Robustezza
Sistemi Colturali
Una possibile definizione:
“Un modello è robusto quando è in grado di riprodurre
correttamente l’andamento nel tempo di diverse variabili di stato
misurate in una gran varietà di condizioni pedoclimatiche e
gestionali”.
E’ uno degli aspetti chiave nella modellistica, dal momento che ha a
che fare con l’abilità di un modello di funzionare in condizioni
diverse da quelle per le quali è stato calibrato e validato (e.g.,
scenari climatici, gestionali, applicazioni a larga scala per uso
operativo, servizi, ecc.).
Robustezza
Sistemi Colturali
La mancanza di robustezza può essere dovuta a:
• incoerenza in alcune relazioni matematiche usate per formalizzare
la conoscenza,
• buchi di conoscenza,
• inclusione nei parametri del modello (che dovrebbero invece
rappresentare solo le caratteristiche del sistema modellizzato, a
prescindere dalla condizioni di applicazione) di fattori relativi a
specifiche località, stagioni o agrotecniche.
Ma come fare a quantificarla?
Robustezza
Sistemi Colturali
Robustezza
Sistemi Colturali
Indicatore di robustezza (IR)
 EF
IR 
 SAM
SAM 
304
304
i  60
304
i  60
304
i  60
i  60
 Rain   ET 0
 Rain   ET 0
i: giorno dell’anno, 60 = 1 marzo; 304 = 31 ottobre;
SAM va da -1 (arido) a +1 (umido)
IR va da 0 (ottimo) a +∞
• SAM può essere sostituito con qualunque altro indice normalizzato
per caratterizzare le condizioni di applicazione di un modello
(ATTENZIONE!)
• Il concetto è di calcolare il rapporto tra variabilità dell’errore e
variabilità delle condizioni di applicazione.
Robustezza
Sistemi Colturali
Attenzione: non è detto che il modello più accurato sia anche il più
robusto!
Bilanciamento
Sistemi Colturali
Bilanciamento
Sistemi Colturali
Bilanciamento?!
Bilanciamento
Sistemi Colturali
Il problema è che un modello il cui output che dipende quasi
esclusivamente da un parametro è
• frustrante per lo sviluppatore
• comodissimo per utenti pigri
Molto semplice da calibrare
• pericolosissimo!
Esempio: se cambio varietà e la nuova varietà differisce in modo sostanziale – per
le caratteristiche codificate nel valore di parametri ai quali il modello è molto
sensibile – da quella usata in fase di calibrazione, il modello darà i numeri del lotto
Bilanciamento
Sistemi Colturali
Il metodo si basa sull’applicazione del test di Grubbs per gli outliers
(Grubbs, 1969) agli indici di sensitività calcolati per i vari parametri.
G
X  X SOSPETTI

1 p
Xi  X

p  1 i 1
Xi sono i vari indici di sensitività

2
p è il numero totale di parametri
Se uno (o più d’uno) degli indici di sensitività è significativamente
più alto degli altri (G è maggiore del valore tabulato), allora il
modello è sbilanciato.
Plasticità
Sistemi Colturali
Il metodo
Plasticità
Sistemi Colturali
E’ la tendenza di un modello a cambiare il suo comportamento al
variare delle condizioni esplorate.
Cambiamenti nel comportamento del modello vengono quantificati
attraverso la concordanza tra i ranking negli indici di sensitività dei
parametri (TDCC)
Nel caso di modelli agroambientali, questo indice assume particolare
importanza, per via della plasticità fenotipica tipica delle entità
modellizzate.
Immagate di voler individuare il modello più adatto per studiarla…
Plasticità
Sistemi Colturali
WARM
WOFOST
Plasticità
Sistemi Colturali
Plasticità
Sistemi Colturali
Metriche diverse…
Sistemi Colturali
• Le diverse metriche
di valutazione
«premiano», di volta
in volta, modelli
diversi:
• è fondamentale
definire un criterio di
valutazione specifico
per gli obiettivi dello
studio e per le
condizioni di
applicazione.
Valutare in diversi domini
Sistemi Colturali
Le diverse
Valutare modelli idrologici
Sistemi Colturali
Quando si valuta un modello, in genere si confrontano matrici
unidimensionali di dati misurati e simulati (variabili di stato misurate
o simulate in diversi momenti).
Quando si considerano variabili riferite al suolo, al contrario, si ha
spesso a che fare con matrici bidimensionali: una dimensione è
il tempo (come per le variabili di stato relative alle piante, e.g., LAI,
AGB), l’altra dimensione è la profondità.
Inoltre, può spesso essere interessante pesare in modo diverso
differenze tra dati misurati e simulati che si riferiscono a diverse
profondità.
In ogni caso, è irragionevole considerare in modo
indipendente serie temporali di dati che si riferiscono a
diverse profondità.
Valutare modelli idrologici
Sistemi Colturali
Definire metodi specifici!
Sistemi Colturali
La diversa informazione contenuta nelle diverse metriche che
abbiamo visto riflette la necessità di valutare, a seconda dei casi,
aspetti diversi del comportamento di modelli sviluppati per
rappresentare determinati aspetti dello stesso dominio.
La metodologia proposta per i modelli idrologici ci dimostra invece
come le procedure di valutazione, per essere efficaci, vanno
pensate in modo che siano davvero funzionali ad affrontare
problematiche specifiche: ricordate la questione dei chiodi e del
martello…
Attenzione alle fonti di incertezza!!!
Sistemi Colturali
Bibliografia
Sistemi Colturali
Bellocchi, G., Rivington, M., Donatelli, M., Matthews, K., 2009. Validation of biophysical models: issues and methodologies. A
review. Agron. Sustain. Dev., doi: 10.1051/agro/2009001.
Bregaglio, S., Donatelli, M., Confalonieri, R., Acutis, M., Orlandini, S., 2010. An integrated evaluation of thirteen modelling
solutions for the generation of hourly values of air relative humidity. Theoretical and Applied Climatology, in press.
Confalonieri, R., Acutis, M., Bellocchi, G., Donatelli, M., 2009. Multi-metric evaluation of the models WARM, CropSyst, and
WOFOST for rice. Ecol. Modell. 220, 1395-1410.
Confalonieri, R., Bregaglio, S., Bocchi, S., Acutis, M., 2010. An integrated procedure to evaluate hydrological models.
Hydrological Processes, in press.
Fox, D.G., 1981. Judging air quality model performance: a summary of the AMS workshop on disperision model performance.
Bull. Am. Meteorol. Soc. 62, 599-609.
Grubbs, F.E., 1969. Procedures for detecting outlying observations in samples. Technometrics 11, 1-21.
Jørgensen, S.E., Kamp-Nielsen, L., Christensen, T., Windolf-Nielsen, J., Westergaard, B., 1986. Validation of a prognosis based
upon a eutrophication model. Ecol. Modell. 32, 165-182.
Loague, K.M., Green, R.E., 1991. Statistical and graphical methods for evaluating solute transport models: overview and
application. J. Contam. Hydrol. 7, 51-73.
Mayer, D.G., Butler, D.G., 1993. Statistical validation. Ecol. Modell. 68, 21-32.
Nash, J.E., Sutcliffe, J.V., 1970. River flow forecasting through conceptual models, Part I - A discussion of principles. J.
Hydrol. 10, 282-290.
Rivington, M., Bellocchi, G., Matthews, K.B., Buchan, K., 2005. Evaluation of three model estimations of solar radiation at 24
UK stations. Agr. Forest. Meteorol. 135, 228-243.
Rykiel Jr., E.J., 1996. Testing ecological models: the meaning of validation. Ecol. Modell. 90, 229-244.