OLS Come leggere il file

7- Econometria, a.a. 2011-12. Il Metodo GLS e FGLS
Lezione 7
Il Metodo GLS (Minimi Quadrati Generalizzati) e FGLS
Nei metodi di stima OLS e NLS, presentati nei precedenti capitoli, l’eventuale presenza di
eteroschedasticità negli errori (ed anche la presenza di autocorrelazione) influenza soltanto la
varianza asintotica degli stimatori; detti stimatori sono asintoticamente efficienti in una opportuna
classe di stimatori soltanto se gli errori sono omoschedastici e naruralmente se le variabili
dipendenti sono esogene o predeterminate; vedi teorema a pag. 14 di Lezione 5. In questo capitolo
si descrivono procedure che consentono, in particolari contesti e in presenza di eteroschedasticità
(e/o correlazione), di costruire stimatori asintoticamente più efficienti.
Per semplicità si farà riferimento ai soli modelli lineari e inizialmente, come d’altronde è stato
fatto quando è stato presentato il metodo OLS, si farà una veloce carrellata su quanto noto nel caso
di campioni finiti.
Il metodo GLS per campioni finiti
E’ assegnato il modello lineare
yt
xct ȕ ut per t 1,! , n (o in forma matriciale y
Xȕ u ).
con le seguenti ipotesi sugli errori:
i)
Stretta esogeneità delle variabili x t (cioè E(ut | X) 0 per ogni t 1,! , n );
ii) Errori eteroschedastici ed eventualmente correlati (cioè E(uuc | X)
Ȉ( V 2 ǻ) e ǻ z I n ; se
gli errori sono non correlati allora la matrice ǻ è diagonale).
iii) La matrice ǻ è completamente nota (dunque l’unico parametro non noto nella varianza degli
errori è V 2 ).
Costruzione dello stimatore GLS:
Si considera una matrice Ȍ (quadrata di ordine n ) tale che ǻ 1
ȌcȌ (esiste e non è unica, in
quanto la matrice ǻ , che a meno di una costante e` la matrice di covarianza di u , e` simmetrica e
definita positiva) e il modello lineare
Ȍy
(*)
ȌXȕ v , v
Ȍu ,
che, data l`invertibilità di Ȍ , è equivalente al modello originario. In esso le variabili sono
strettamente esogene e gli errori sono omoschedastici, in quanto si ha
E( v | ȌX) E(Ȍu | ȌX) ȌE(u | ȌX) 0 ,
E( vvc | ȌX)
Definizione: Posto ȕˆ GLS
E(ȌuucȌc | ȌX)
ȌE(ucu | ȌX)Ȍc V 2 ȌǻȌc V 2 I n .
ȕˆ *OLS (essendo ȕˆ *OLS lo stimatore OLS di ȕ per il modello (*)), ȕˆ GLS dicesi
1
7- Econometria, a.a. 2011-12. Il Metodo GLS e FGLS
stimatore GLS (dei minimi quadrati generalizzati) di ȕ per il modello originario.
Proprietà dello stimatore GLS (seguono facilmente dalle proprietà di ȕˆ *OLS . L’elenco è comunque
parziale):
Xc' X 1
1
ȕ Xc' 1X Xc' 1u .
x
ȕˆ GLS ha la seguente rappresentazione ȕˆ GLS
x
ȕˆ GLS è stimatore corretto di ȕ ;
x
ȕˆ GLS è efficiente (nel senso che ha la minima varianza tra gli stimatori corretti e lineari in y );
x
var(ȕˆ GLS | X) V 2 XcȌcȌX x
Se u | X N (0, V 2 ǻ) œ u e X sono indipendenti e u N (0, V 2 ǻ) allora si ha
1
ȕˆ
x
s2
1
Xc' 1y
1
V 2 XcǻX ;
GLS
| X N (ȕ, var(ȕˆ GLS | X))
1
ycȌc( I ȌX( Xcǻ 1X) 1 XcȌc)Ȍy
nk
1
y c ª¬ǻ 1 ǻ 1X( Xcǻ 1X) 1 Xcǻ 1 º¼ y è uno
nk
stimatore corretto di V 2 ; inoltre se gli errori hanno distribuzione normale allora ȕˆ GLS e s 2 sono
indipendenti e (n k )
s2
V
2
F n2 k .
Osservazione:
a) La matrice ȌX
Ȍ ª X1 ! X k º
«¬ ( nu1)
( nu1) »
¼
ª¬ ȌX 1 ! ȌX k º¼
ª¬ X 1 ! X k º¼ è la matrice (di
ordine n u k ) delle osservazioni delle variabili indipendenti del modello (*). Se tali nuove variabili
sono denotate con il simbolo x1 ,! , xk , la t esima osservazione di x j è combinazione lineare
delle n osservazioni della corrispondente variabile (originaria) x j , i cui coefficienti sono gli
elementi della t esima riga di Ȍ . Da ciò segue
1)
(le variabili x t sono strettamente esogene) œ (le variabili x t sono strettamente
esogene);
2)
le variabili x t e x t non possono essere contemporaneamente (soltanto) esogene a
meno che la matrice ǻ non sia diagonale.
b) ȕˆ GLS
minimizza la funzione obiettivo Q(ȕ)
1
(y Xȕ)cǻ 1 (y Xȕ) ; (la verifica è
n
immediata). Dunque ȕˆ GLS minimizza la distanza di y da Xȕ , distanza definita dalla matrice
simmetrica e definita positiva ǻ 1 (è a meno di un fattore moltiplicativo l’inversa della varianza
2
7- Econometria, a.a. 2011-12. Il Metodo GLS e FGLS
degli errori).
c) ȕˆ GLS e` lo stimatore di ȕ (nel modello (*)) con il metodo dei momenti rispetto al vettore (di
dimensione k ) di variabili strettamente esogene w t la cui matrice delle osservazioni e`
W
( nuk )
ǻ 1X (per la definizione vedi pag. 13 del capitolo 5).
Infatti si ha
1
ȕˆ w
§1 n
· 1 n
c
w
x
¨ n ¦ t t ¸ n ¦ w t yt
t 1
© t1
¹
WcX 1
Wcy
Xcǻ X 1
1
Xcǻ 1y
ȕˆ GLS .
d) Per lo stimatore OLS di ȕ (che e` lo stimatore con il metodo dei momenti con W
X ), si ha
var(ȕˆ OLS | X) ( XcX) 1 XcȍX( XcX) 1 e var(ȕˆ OLS | X) t var(ȕˆ GLS | X) .
e) Se ǻ è diagonale, con G t2 l’elemento diagonale di indice t , la sima GLS di ȕ del modello
xct ȕ ut è la stima OLS del modello
yt
yt
xct
Gt
Gt
ȕ vt . Si noti che quest`ultimo modello non ha
l`intercetta e quindi Rc2 non è utilizzabile per misurare la bontà dell’adattamento del modello ai
dati.
Il Metodo (asintotico) FGLS
(Feasible Generalized Least Square)
Finora si è assunto che la matrice ǻ , nella rappresentazione della varianza degli errori, è nota;
questa ipotesi non e` (affatto) plausibile in econometria. In questo ambito frequentemente si utilizza
lo stimatore OLS e la sua varianza asintotica e` stimata con lo stimatore di White (HC) in presenza
di eteroschedasticita` o con quello di Newey-West (HAC) se e` presente anche l`autocorrelazione.
Il metodo FGLS utilizza eventuali informazioni disponibili sulla matrice ǻ e il metodo GLS, per
costruire stimatori di ȕ asintoticamente piu` efficienti di quelli OLS.
E` assegnato il modello lineare
yt
xct ȕ ut con E(ut | :t )
0 e xt  :t , per t 1,! .
Osservazione:
x
Si sta assumendo (come solitamente accade) che le variabili indipendenti del modello sono
esogene, pertanto le due (eventuali) ulteriori ipotesi “presenza di ritardi di yt nel modello” e
“presenza di correlazione negli errori” possono sussistere soltanto separatamente.
x
Per evitare di appesantire l`esposizione non saranno indicate esplicitamente, ma si riterranno
valide, le ipotesi che consentono di utilizzare, quando se ne presenta la necessità, qualche versione
3
7- Econometria, a.a. 2011-12. Il Metodo GLS e FGLS
della legge dei grandi numeri e del teorema del limite centrale.
x
E` opportuno ricordare che il metodo GLS richiede che il modello abbia errori strettamente
esogeni oppure errori esogeni ma senza correlazione negli errori (vedi il punto (a) della precedente
osservazione).
Il metodo FGLS per dati cross-section – In questo caso, per ogni n , la matrice di covarianza
Ȉ
( nu n )
V 2 ǻ del vettore degli errori è diagonale; siano G t2 (per t 1,! , n ) gli elementi diagonali di
ǻ . Si suppone ulteriormente che per gli errori sussista una relazione del seguente tipo:
E(ut2 | :t ) exp(zct Ȗ ) con z t  :t per ogni t , (con Ȗ  R l non noto).
Osservazione: Questa ipotesi non è molto restrittiva per dati del tipo cross-section. Essa esprime
soltanto la dipendenza della varianza condizionata degli errori da talune variabili esogene (non
necessariamente quelle presenti nel modello) . Tale circostanza puo` essere evidenziata, disegnando
il plot dei residui nella stima OLS verso la variabile dipendente yt o (talvolta) verso qualche
variabile indipendente. Non c`e` alcuna ragione particolare che giustifichi l`uso della funzione
esponenziale se non quello di essere a valori positivi e di fornire una classe abbastanza ampia di
modelli per la varianza. Nel file “Modello di Nerlove” al punto 3 di pag.7, e` stato proposto un altro
modello per la varianza condizionata suggerito dal plot dei residui verso una variabile indipendente.
Per concludere si segnala che in letteratura sono disponibili vari test per la verifica dell`ipotesi di
omoschedasticita`; essi sono concettualmente molto semplici, attualmente poco utilizzati e qui non
saranno presentati.
La procedura per la costruzione dello stimatore FGLS:
i)
Si stima il modello originario con il metodo OLS (il quale fornisce ȕˆ OLS una stima
consistente di ȕ ) e si considera il processo dei residui ^uˆt ` ; ( 1 )
ii)
Si stima il parametro Ȗ utilizzando il modello di regressione lineare ausiliario
log(uˆt2 )
zct Ȗ resid
e siano z ct Ȗˆ , per t 1,! , n , i valori previsti
1
§
Si noti che dalla consistenza di ȕˆ ( ȕˆ OLS ) segue uˆ u ¨
¨
©
· p
X(ȕˆ ȕ) d max x jt ȕˆ ȕ ¸ o 0 (per n o f ) e ciò
t 1,!, n
¸
j 1,!, k
¹
giustifica i passi successivi, in cui si sostituiscono gli errori per i quali non sono disponibili le osservazioni con i residui,
operazione già effettuata precedentemente ma giustificata in modo differente.
4
7- Econometria, a.a. 2011-12. Il Metodo GLS e FGLS
iii) Si pone Gˆt
1/ 2
exp(zct Ȗˆ ) e si considera il modello
yt
Gˆ
t
1
xct ȕ resid .
Gˆ
t
Definizione: La stimatore OLS di ȕ ottenuto dal modello in iii) (che si prova essere consistente),
dicesi stimatore dei minimi quadrati generalizzati realizzabile (FGLS) di ȕ (del modello
originario) e si denota con il simbolo ȕˆ FGLS .
Osservazione:
x
ȕˆ FGLS e` dunque lo stimatore GLS del modello originario nel quale gli elementi diagonali della
matrice ǻ sono stati sostituiti con Gˆt2 .
x
Distribuzione asintotica di ȕˆ FGLS : Si prova facilmente
d
n (ȕˆ FGLS ȕ) o N (0, Avar(ȕˆ FGLS ))
1
ª 1 n x xc º
con Avar(ȕˆ FGLS ) V 2 ˜ p lim « ¦ t 2 t » ; per quest`ultima uno stimatore consistente e`
¬ n t 1 Gt ¼
n
Avar(ȕˆ FGLS )
x
ª 1 n x xc º
s « ¦ t 2t »
ˆ
¬ n t 1 Gt ¼
2
1
con s 2 calcolato con il modello in iii).
Lo stimatore ȕˆ FGLS e` certamente asintoticamente piu` efficiente di ȕˆ OLS (quest`ultimo con lo
stimatore di White per la varianza) ma quando sono utilizzati con campioni finiti non e` detto che la
predetta efficienza continui a sussistere,
Il metodo FGLS per dati con correlazione negli errori –
Osservazione: Se Ȉ V 2 ǻ non è diagonale e si ha ǻ ǻ( Ȗ ) (con Ȗ vettore non noto di R l
indipendente da n ), le precedenti argomentazioni consentono di costruire, almeno teoricamente, lo
stimatore FGLS nel caso in cui e` disponibile uno stimatore consistente Ȗ̂ di Ȗ e le variabili
indipendenti del modello sono strettamente esogene (vedi l`osservazione (a) a pag. 2).
Generalmente la costruzione di Ȗ̂ non presenta particolari difficoltà, problemi di tipo numerico si
presentano invece nella costruzione di Ȍ che verifichi la condizione ȌcȌ
ǻ 1 (si noti che la
matrice ǻ e` di grosse dimensioni).
Qui e` riportato un esempio in cui e` facile individuare la matrice Ȍ (si utilizza un metodo
indiretto) consentendo di costruire, in modelli utili per le applicazioni, stimatori che anche per
campioni finiti si sono rivelati piu` efficienti di altri. Un altro esempio di tutt`altra natura e`
presentato nel capitolo successivo.
5
7- Econometria, a.a. 2011-12. Il Metodo GLS e FGLS
Stima di Modelli Lineari con errori AR(1) (e variabili indipendenti strettamente esogene): E’
assegnato il modello econometrico
­ yt xct ȕ ut
, H t i.i.d .(0, V H2 ) , | U | 1 , t 1,! ,
®
u
u
U
H
t 1
t
¯ t
e si suppone che
a) tra le variabili indipendenti non ci sono ritardi della variabile dipendente
b) il processo
^ut `
e` AR(1) (o equivalentemente stazionario, essendo gia` ut
U ut 1 H t e
H t i.i.d .(0, V H2 ) . Vedi l`appendice per la definizione dei processi AR(p) e per alcune utili
informazioni su di essi).
c) il valore di U non e` noto.
Osservazione:
x
L`assenza di ritardi della variabile yt tra le x t garantisce la stretta esogeneita` di queste ultime.
Una procedura di stima in cui tra le x t ci possono essere anche ritardi di yt , e` stata descritta
nell`esercizio a pag. 8 di lezione 6, dove d`altra parte e` richiesto soltanto che ut
U ut 1 H t con
| U | 1 .
Costruzione dello stimatore ȕˆ FGLS : Per un n fissato, ȕˆ FGLS si ottiene con la procedura descritta
nei passi da i) a iv):
i)
Calcolo della matrice di covarianza degli errori Ȉ( U , V H2 ) per un processo AR(1).
In appendice e` stato provato che
§
¨
1
2
2¨
Ȉ( U , V H ) E(uuc) V H
¨ 1 U 2
¨
¨
©
ii)
ª 1
«
« U
« #
« n 1
«¬ U
1
#
U
Trovare una matrice Ȍ tale che ȌcȌ
" U n 1 º ·
»¸
" U n2 » ¸
V H2ǻ( U ) .
¸
»
"
#
»¸
"
1 »¼ ¸¹
U2
U
U
#
n2
U n 3
ǻ( U ) 1
.
Evidentemente il calcolo diretto e` numericamente complesso. Qui di seguito si presenta una
procedura indiretta.
Si osserva che la matrice Ȍ deve trasformare il vettore degli errori autocorrelati in un vettore
(della stessa dimensione) di variabili non correlate e con varianza costante; una tale Ȍ e` pero`
descritta implicitamente nelle ipotesi.
Infatti, essendo
6
7- Econometria, a.a. 2011-12. Il Metodo GLS e FGLS
^ut `t 1,!,n
stazionaria e per t
2,! , n soddisfa l`equazione ut
U ut 1 H t , ^H t ` i.i.d .(0, V H2 ) ,
si vede immediatamente che per t 1 deve necessariamente essere
­° 1 U 2 u H
1
1
versione matriciale di ®
u
U
u
H
°̄ t
t 1
t per t
§ 1 U 2
¨
¨ U
¨ "
¨
¨ 0
¨
© 0
2,! , n
1 U 2 u1
H1 , e allora la
e`
0 " 0 0 · § u1 ·
¸¨
¸
1 " 0 0 ¸ ¨ u2 ¸
" " " "¸ ¨ " ¸
¸¨
¸
0 " 1 0 ¸ ¨ un 1 ¸
¸¨
¸
0 " U 1 ¹ © un ¹
§ H1 ·
¨
¸
¨ H2 ¸
¨ " ¸,
¨
¸
¨ H n 1 ¸
¨H ¸
© n ¹
donde
Ȍ Ȍ( U ) iii)
§ 1 U 2
¨
¨ U
¨ "
¨
¨ 0
¨ 0
©
0·
¸
0¸
" " " "¸
¸
0 " 1 0¸
0 " U 1 ¸¹
"
"
0
1
0
0
Costruzione di uno stimatore consistente di U .
Si considera il processo dei residui ^uˆt ` ottenuti dalla stima OLS del modello originario (si noti
che la stima OLS di ȕ e` consistente) e si costruisce Û utilizzando indifferentemente una delle
seguenti due procedure
U uˆt 1 resid ;
x
Il metodo OLS nel modello ausiliario uˆt
x
La correlazione empirica del prim’ordine del processo dei residui e dunque Uˆ
iv)
1 n
¦ uˆt uˆt 1 .
nt 2
Stima FGLS di ȕ e sua distribuzione asintotica.
ȕˆ FGLS e la sua distribuzione asintotica si ottiene stimando con il metodo OLS il modello
Ȍ( Uˆ )y
Ȍ( Uˆ ) Xȕ İ con H t i.i.d .(0, V H2 ) , che in forma vettoriale ha la seguente rappresentazione
­° 1 Uˆ 2 y
1
®
ˆ
°̄ yt U yt 1
1 Uˆ 2 x1cȕ H1
xct Uˆ xct 1 ȕ H t per t
2,! , n
, H t i.i.d .(0, V H2 ) .
Considerazioni finali e il metodo di Cochrane-Orcutt:
1) Come gia` segnalato, nel capitolo 6 e` stata proposta una procedura di stima per il modello
7
7- Econometria, a.a. 2011-12. Il Metodo GLS e FGLS
­ yt xct ȕ ut
, H t i.i.d .(0, V H2 ) , | U | 1 , t 1,! , che utilizza il metodo NLS.
®
¯ut U ut 1 H t
Qui si segnalano i pro e i contro delle due procedure FGLS e NLS.
x
Quando sono utilizzabili entrambe lo stimatore FGLS di ȕ e` asintoticamente piu` efficiente di
quello NLS (con tecniche di simulazione e` stato mostrato che l`efficienza sussiste anche per
campioni finiti).
x
Il metodo FGLS richiede che le variabili indipendenti siano strettamente esogene e quindi non
potrà essere utilizzato se il modello è dinamico (cioe` tra le variabili indipendenti c’è qualche
ritardo della variabile indipendente). Questa restrizione non e` necessaria se si utilizza il metodo
NLS.
x
Il metodo FGLS utilizza tutte le n osservazioni, mentre il metodo NLS sacrifica (almeno) la
prima osservazione (infatti nel modello non lineare c`è sicuramente yt 1 ).
x
Con il metodo NLS si ottiene (ȕˆ NLS , Uˆ NLS ) con le utili informazioni sulla sua distribuzione
asintotica, mentre nella procedura FGLS la stima di ȕ è condizionata a quella di U , pertanto ȕˆ FGLS
può risentire della eventuale inefficienza di Û .
x
Il metodo NLS richiede che sia | U | 1 e ^ut ` soluzione di una equazione alle differenze stabile
(dunque ^ut ` può avere una componente numerica additiva infinitesima per n o f ), mentre nel
metodo FGLS il processo ^ut ` deve essere stazionario.
2) Il metodo di Cochrane-Orcutt: E` un metodo di stima iterativo per il modello
precedentemente; è utilizzabile soltanto quando le variabili indipendenti sono strettamente
esogene. Esso fornisce essenzialmente la stima FGLS e ha il vantaggio di non richiedere la
stazionarieta` del processo degli errori e di poter essere facilmente adattato al caso in cui il processo
degli errori è AR(p) con p t 2 .
Innanzitutto si osserva che il modello ha le seguenti due rappresentazioni equivalenti:
M.a)
( yt xct ȕ)
U ( yt 1 xct 1ȕ) H t
M.b)
( yt U yt 1 ) ȕ(xct U xct 1 ) H t .
Procedura iterativa: Si considera ȕˆ OLS per il modello yt
xct ȕ ut come valore iniziale per ȕ
(certamente consistente per l’ipotesi di stretta esogeneità di x t ):
i)
Si fissa in M.a il valore di ȕ uguale a ȕˆ OLS , e si stima U con il metodo OLS;
8
7- Econometria, a.a. 2011-12. Il Metodo GLS e FGLS
ii) Si fissa in M.b il valore di U uguale a quello stimato nel passo i) e si stima ȕ con il
metodo OLS;
iii) Si blocca l’iterazione, quando si ritengono due successive stime di ȕ sufficientemente
vicine.
iv) L’ultimo passo dà anche la stima della varianza asintotica dello stimatore.
Appendice
Modelli per Processi Stazionari Autocorrelati
Si descrivono ora alcuni modelli per processi (strettamente) stazionari autocorrelati che sono
utilizzati in econometria. La classe di questi modelli e` molto ampia e per lungo tempo (quando
l`unico settore applicativo delle time-series era la teoria dei segnali in ingegneria) si e` pensato
(supportati anche dal famoso Teorema di Wold sulla rappresentazione dei processi debolmente
stazionari) che per le applicazioni si potesse sostanzialmente far coincidere con la classe di tutti i
processi stazionari. Attualmente sono stati introdotti altri modelli di grande interesse per
l`econometria ma che qui non saranno presentati.
In quanto segue ^H t ` i.i.d (0, V H2 ) ed è denominato rumore bianco stretto (o forte).( 2 )
Definizione (di processo AR(1)): La (unica) soluzione strettamente stazionaria dell’equazione alle
U ut 1 H t con | U | 1 dicesi processo autoregressivo del prim’ordine (in breve
differenze ut
AR(1)).
Osservazione:
x
L`equazione alle differenze ut
U ut 1 H t con | U | 1 ha infinite soluzioni che differiscono da
quella strettamente stazionaria per un termine infinitesimo per ( n o f ) del tipo c U n .
x
Denotato con L l’operatore ritardo, definito sui processi dalla relazione L(^ xt `)
più brevemente L( xt )
( I U L)ut
H t œ ut
^ xt 1`
(o
xt 1 ) sussiste la seguente rappresentazione per il processo ^ut ` :( 3 )
( I U L) 1 H t œ ut
f
¦U
f
n n
L (H t ) œ ut
n 0
¦U H
n
t n
( H t UH t 1 U 2H t 2 ") .
n 0
Proprietà dei Processi AR(1):
2
Si noti che qui sara` sempre ^H t ` i.i.d (0, V H2 ) ; in realtà molto (ma non tutto) di quello che si dira` sussiste se il
processo ^H t ` verifica soltanto le seguenti condizioni E(H t )
0, E(H t2 ) V H2 , E(H t H s ) 0 per t z s ; in tal caso si parla di
rumore bianco debole. Una ipotesi intermedia tra rumore bianco forte e debole e` “ ^H t ` e` una differenza martingala
debolmente stazionaria”.
In modo naturale rimane definito l’operatore ritardo di indice n , si ha infatti Ln ( xt ) L D"D L( xt ) 3
xt n . Si segnala
che le equivalenze sono state ottenute con una procedura formale, che può facilmente essere motivata rigorosamente,
inoltre la somma della serie va intesa come somma in media quadratica..
9
7- Econometria, a.a. 2011-12. Il Metodo GLS e FGLS
x
Il processo ^ut ` è (strettamente stazionario ed) ergodico (si omette la prova).
x
E(ut )
x
V H2
var(ut )
per ogni t (segue dalla ovvia uguaglianza var(ut ) U 2 var(ut 1 ) V H2 , );
2
1 U
x
Us
0; E(ut | ut 1 , ut 2 ,!)
U s (infatti si ha J s cov(ut , ut s ) E(ut ut s ) U E(ut 1ut s ) E(H t ut s ) UJ s 1 per s t 1 ,
donde dividendo per J 0 si ha U s
x
U ut 1 .
UU s 1 ed essendo U0 1 segue l’asserto);
La matrice di covarianza del vettore u
(u1 ,! , un )c è
ª 1
«
V H2 « U
ȍ( U ) E(uuc) 1 U 2 « #
« n 1
«¬ U
U2
U
U
1
#
U n2
#
U n 3
" U n 1 º
»
" U n2 »
V u2ǻ( U ) .
"
# »
»
1 »¼
"
Definizione (di processo AR(p)): La (unica) soluzione strettamente stazionaria dell’equazione alle
differenze stabile ut
E1ut 1 E 2ut 2 " E p ut p H t , (o equivalentemente “il modulo di tutte le
radici della sua equazione caratteristica e` minore di 1”) dicesi processo autoregressivo di ordine
p (in simboli AR(p)).
Osservazione: Considerato il polinomio complesso )( z ) 1 E1 z " E p z p (notare che )(1/ z )
e` il polinomio caratteristico dell`equazione alle differenze), il processo
^ut `
soddisfa
(evidentemente) l’equazione
) ( L)ut
Ht
e la condizione di stabilità dell’equazione alle differenze diventa la seguente
Le radici del polinomio ) ( z ) hanno tutte modulo maggiore di 1.
Proprietà dei processi AR(p):
x
Il processo ^ut ` è (strettamente stazionario ed) ergodico, e non è difficile provare che ^ut ` ha
f
una rappresentazione del tipo ut
¦D H
n t n
con la sequenza
D n infinitesima di ordine
n 0
esponenziale. ( 4 )
0 ; E(ut | ut 1 ,!)
E1ut 1 E 2ut 2 " E p ut p .
x
E(ut )
x
La sequenza delle autocovarianze (e` soluzione di un problema di valore iniziale per
l`equazione alle differenze che ha )(1/ z ) come polinomio caratteristico) – Moltiplicando
4
Si sta utilizzando la convenzione di assegnare alla sequenza infinitesima ( x n ) per | x | 1 “l’ordine esponenziale”.
10
7- Econometria, a.a. 2011-12. Il Metodo GLS e FGLS
ripetutamente nell’equazione per ut ,! , ut p e calcolando l’aspettazione si ottengono le seguenti
p 1 equazioni (in p 1 incognite)
­ J 0 E1J 1 " E pJ p V H2
°
° J 1 E1J 0 E 2J 1 " E pJ p 1
°
® J 2 E1J 1 E 2J 0 " E pJ p 2
°
"
°
°̄J p E1J p 1 E 2J p 2 " E pJ 0
che forniscono i valori di J 0 ,! , J p , mentre se (nel modello originario) si moltiplica per ut s (con
s ! p ) e si calcola l’aspettazione si ottiene l’equazione alle differenze
Js
E1J s 1 E 2J s 2 " E pJ s p ,
che insieme ai valori già individuati (con la risoluzione delle precedenti p 1 equazioni) fornisce il
problema di valore iniziale, la cui soluzione e` la sequenza delle autocovarianze del processo.
x
La sequenza delle autocorelazioni – La sequenza di autocorrelazioni si ottiene risolvendo il
problema di valore iniziale (denominato sistema di Yule-Walker) relativo all’equazione alle
differenze
Us
E1 U s 1 E 2 U s 2 " E p U s p
con le condizioni iniziali che risolvono il sistema (con p equazioni e p incognite)
­ U1
°U
° 2
®
°
°¯ U p
E1 E 2 U1 " E p U p 1
E1 U1 E 2 " E p U p 2
"
.
E1 U p 1 E 2 U p 2 " E p
(Segue dal punto precedente, non appena si divide per J 0 l’equazione alle differenze e le ultime p
equazioni che fissano le condizioni iniziali). Si noti che evidentemente la sequenza delle
correlazioni converge a 0 per n o f in modo esponenziale.
Definizione (di processo MA(1)): Un processo ^ut ` si dice MA(1) (Moving Average) oppure a
media mobile di ordine 1, se ha la seguente rappresentazione
ut
H t D1H t 1 ( < ( L)H t ) con | D1 | 1
(5)
avendo posto < ( z ) 1 D1 z essendo sempre ^H t ` i.i.d (0, V H2 ) .
Proprietà dei processi MA(1):
5
In realtà la restrizione | D1 | 1 in varie (non tutte) situazioni non è necessaria, però in econometria tale restrizione è
abbastanza naturale.
11
7- Econometria, a.a. 2011-12. Il Metodo GLS e FGLS
x
Il processo ut
H t D1H t 1 è strettamente stazionario ed ergodico; inoltre se si pone
)( z )
1 §
< ( z ) ¨©
f
¦ (1) D
n
n 0
·
z per z  C e | z | 1¸
¹
n n
1
si ha
) ( L)ut
0 , V u2 J 0
§
f
H t ¨ œ ¦ (1)n D1nut n
©
n 0
·
H t ¸ ;( 6 )
¹
E(ut2 ) V H2 (1 D12 ) ;
var(ut )
x
E(ut )
x
J 1 E(ut ut 1 ) D1V H2 e quindi U1
D1
(donde è immediato riconoscere che U1 è
1 D12
compreso tra 1/ 2 e 1/ 2 );
x
Per ogni s ! 1 si ha J s
Us
x
La matrice di covarianza del vettore aleatorio u
ȍ(D1 ) E(uuc) 0 (la verifica è immediata);
(u1 ,! , un )c allora
ª1 D12
D1
0 "
0 º
«
»
2
D
1 D1 D1 "
0 »
V H2 « 1
V H2 ǻ(D1 ) .
« #
»
#
#
#
#
«
»
0
D1 1 D12 ¼»
¬« 0
Gli argomenti fin qui riportati lasciano intravedere la possibilità di introdurre processi a media
mobile di ordine maggiore di 1 e processi ancora più generali denominati processi ARMA (Auto
Regressive Moving Average). Qui ci si limita a segnalare soltanto la definizione di questi ultimi e
una sola proprietà che lascia intuire la loro importanza nelle applicazioni.
1) Un processo
^ut `
dicesi processo ARMA(p,q) se è la (unica) soluzione stazionaria
dell’equazione alle differenze del tipo
ut
E1ut 1 E 2ut 2 " E p ut p H t D1H t 1 " D qH t q œ ) ( L)ut
< ( L)H t ,
con i polinomi )( z ) 1 E1 z " E p z p e < ( z ) 1 D1 z " D q z q che non hanno radici in
comune e non si annullano nella sfera (chiusa) del piano complesso di centro 0 e raggio 1 (dunque
le loro radici hanno modulo strettamente maggiore di 1).
2) Ogni processo AR o MA di ordine elevato può essere ben approssimato da un processo ARMA
di ordine molto basso; (si comprende l’importanza di questo risultato quando nei problemi di stima
un processo con un elevato numero di parametri non noti può essere sostituito con una sua
approssimazione in cui il numero di parametri non noti è ridotto drasticamente).
6
Si noti l’analogia con la rappresentazione dei processi AR(p), e ciò giustifica l’affermazione che i processi MA sono
anche AR(f)
12
7- Econometria, a.a. 2011-12. Stima dei Processi AR e MA.
Una procedura di stima per i modelli AR e MA
Il Metodo OLS per la Stima di un Modello AR(p): Sia
{ yt }t =1,…,n
una osservazione di un
processo AR(p) (con p ≥ 1 ) e dunque il suo DGP appartiene al modello
yt = β1 yt −1 +
+ β p y p −1 + ε t , {ε t } ∼ i.i.d .(0, σ 2 ) ,
con le radici del polinomio Φ( z ) = 1 − β1 z −
− β p z p tutte all’esterno della sfera di centro 0 e
raggio 1.( 1 )
Posto xt = ( yt −1 ,… , yt − p )′ per t > p , il modello econometrico si scrive nella forma
yt = x′t β + ε t , E(ε t | xt ) = 0 per t = p + 1,… , n ;
si noti che per il modello in esame sono disponibili soltanto n − p osservazioni.
Proprietà (del processo delle osservazioni e della sua stima OLS; per i dettagli e le precisazioni
vedi il capitolo 5):
1) Il processo { yt , xt } è strettamente stazionario ed ergodico (è conseguenza della stazionarietà
ed ergodicità del processo { yt } );
2) Il processo {xt ε t } è una differenza martingale (segue da E(ε t | xt , ε t −1 , xt −1 , ε t − 2 ,…) = 0 ).
3) E(ε t2 | xt ) = E(ε t2 | yt −1 ,.....) = E(ε t2 ) = σ 2 (omoschedasticità degli errori).
−1
4) Per lo stimatore βˆ OLS
(
n − p βˆ − β
n
n
⎛ 1
⎞ ⎛ 1
⎞
′
=⎜
x
x
xt ε t ⎟ si ha:
∑
∑
t t ⎟ ⎜
⎝ n − p t = p +1
⎠ ⎝ n − p t = p +1
⎠
) → N (0,σ 2 [E(xt x′t )]−1 ) ,
d
E(xt x′t ) =
n
n
1
1
2
′
ˆ
( yt − x′t βˆ ) 2 .
x
x
σ
=
,
∑
∑
t t
(n − p ) − p t = p +1
n − p t = p +1
Osservazione (Il coefficiente di determinazione nei modelli AR non è un buon indice per
misurare la bonta` dell’adattamento del modello ai dati): Per semplicità si esamina il caso in cui
è p = 1 e dunque il modello ha come rappresentazione
yt = ρ yt −1 + ε t con {ε t } ∼ i.i.d .(0, σ 2 ) e ρ < 1 .
n
Si ha R 2 =
ESS
=
TSS
∑ ρˆ
t =2
yt2−1
n
∑y
t =2
1
2
p
≈ ρˆ 2 → ρ , e dunque il suo ordine di grandezza dipende
2
t
E’ stato osservato che considerata la funzione analitica Ψ ( z ) = 1/ Φ ( z ) , certamente analitica in una sfera aperta
contenente B′(0,1) (e dunque con i coefficienti del suo sviluppo in serie infinitesimi di ordine esponenziale), il processo
{ yt } ha rappresentazione
yt = Ψ ( L)ε t ( = ε t + α1ε t −1 + α 2ε t − 2 +
13
) , qui la somma della serie è in media quadratica.
7- Econometria, a.a. 2011-12. Stima dei Processi AR e MA.
esclusivamente da ρ , che può essere piccolo o grande, e non dall`adattamento del modello ai dati.
Come gia` segnalato, sono stati introdotti vari indici per misurare la bontà dell’adattamento, utili
quando si voglia stabilire quale tra differenti modelli AR sia più utile per interpretare i dati; qui si
riportano due indici presenti nei software econometrici, che in presenza di modelli ARMA o
modelli con ritardi della variabile dipendente subiscono leggere modifiche.
Indice (o criterio) di Akaike: AIC = log(
SSR 2 p
)+
,
n
n
Indice (o criterio) di Schwartz: SIC = log(
SSR
p log n
)+
.
n
n
Stima dei Processi MA: Per semplicità si fa riferimento ai modelli MA(1), ma la procedura si
generalizza facilmente ai processi MA di ordine più elevato e ai processi ARMA. Sia allora
yt = ε t + αε t −1 ,
{ε t } ∼ i.i.d .(0, σ 2 )
con | α1 |< 1 ,
un tale processo.
Osservazione (una differente rappresentazione del processo): Si pone ε 0 = 0 (come si potrà
osservare da quanto segue una differente scelta non altererebbe le proprietà asintotiche dello
stimatore) e allora si hanno le seguenti uguaglianze( 2 )
ε1 = y1 ( = y1 − α ⋅ 0 ) ,
ε 2 = y2 − αε1 = y2 − α y1 ;
ε 3 = y3 − αε 2 = y3 − α ( y2 − α y1 ) = y3 − α y2 + α 2 y1 ;
………..
ε n = yn − αε n −1 = ........ = yn − α yn −1 + α 2 yn − 2 −
+ (−1) n −1α n −1 y1 ;
che sono la forma estesa del modello non lineare
yt = xt (α ) + ε t per t = 1,… , n
con xt (α ) ( = xt (α ; xt ) ) = α yt −1 − α 2 yt − 2 + … + (−1)t α t −1 y1 , x1 = 0 , xt = ( y1 ,… , yt −1 )′ .
Proprietà: Le variabili indipendenti nel modello non hanno dimensione costante, però sono valide
le seguenti proprietà:
•
E(ε t | xt ) = 0 e E(ε t2 | xt ) = σ 2
Le uguaglianze che seguono sono ottenute anche dalla seguente rappresentazione dei modelli MA:
⎛ ∞
⎞
yt = ε t + αε t −1 ⇔ yt = ( I + α L)ε t ⇔ ε t = ( I + α L) −1 yt ⎜ = ∑ (−1)i α i Li ( yt ) ⎟
⎝ i =0
⎠
in cui sono poste uguale a 0 le yi per i ≤ 0 .
2
14
7- Econometria, a.a. 2011-12. Stima dei Processi AR e MA.
•
Per il processo
{( X (α ) ) } , con X (α ) = dxdα(α ) , vale la legge dei grandi numeri con limite in
2
t
t
t
2
probabilità della (sua) media empirica uguale a E ⎡( X t (α ) ) ⎤ = .......... .
⎣
⎦
•
Per il processo { X t (α )ε t } è valido il teorema del limite centrale (esso è infatti una differenza
2
martingala essendo E(ε t | yt −1 , ε t −1 ,… , y1 , ε1 ) = 0 ) e la sua varianza asintotica è σ 2 E ⎡( X t (α ) ) ⎤ .
⎣
⎦
Costruzione dello stimatore. Quanto finora osservato, consente di adoperare la procedura descritta
nel capitolo 6 per costrure lo stimatore αˆ NLS che ha le usuali proprietà asintotiche ed è anche
asintoticamente efficiente (nella classe degli stimatori costruiti con il metodo dei momenti).
15