Lagrange Multiplier Test

Lagrange Multiplier Test
Eduardo Rossi
Università di Pavia
Test Lagrange Multiplier
Si è detto che nel caso del test LM, si deve partire dall’ipotesi nulla.
Si tratta di ottenere una stima di MV vincolata, cioè:
max log L (y; θ)
θ∈Θ
sotto il vincolo:
g (θ) = [g1 (θ) g2 (θ) ...gG (θ)]′ = 0
dove per ogni i = 1, 2, .., G, gi (θ) rappresenta una funzione continua e
derivabile. Se le restrizioni che imponiamo sono vere allora il prezzo,
come misurato dai moltiplicatori di Lagrange, sarà nullo. Questo
significa anche che lo score valutato in corrispondenza della stima
vincolata è nullo.
1
La statistica del test è, quindi, basata o sugli stimatori dei moltiplicatori o sullo score valutato in corrispondenza dello stimatore vincolato
(da qui la doppia denominazione di test LM o dello Score). Il problema di massimo vincolato si può scrivere come
n
max log L (y; θ) + λ′g (θ)
θ∈Θ
o
2
dove λ è il vettore (G × 1) dei moltiplicatori di Lagrange. Le condizioni
di primo ordine per un massimo sono:
e
∂ log L y; θ
∂θ
+
′
∂g θe
∂θ
e =0
λ
(1)
g θe = 0
(2)
3
dove






∂g (θ)

=

∂θ′




∂g1 (θ) ∂g1 (θ)
∂θ1
∂θ2
∂g2 (θ) ∂g2 (θ)
∂θ1
∂θ2
.
.
∂gG (θ) ∂gG (θ)
∂θ1
∂θ2
...
...
...
...
∂g1 (θ)
∂θk
∂g2 (θ)
∂θk
.
∂gG (θ)
∂θk












4
Le soluzioni delle condizioni del primo ordine sono lo stimatore vincolato di MV del vettore dei parametri θ, indicato con θe e da uno
e
stimatore del vettore dei moltiplicatori di Lagrange λ.
5
Consideriamo, sotto H0, l’espansione in serie di Taylor del primo or∂ log L (y; θ)
dine in un intorno del parametro vero della
nei punti θe e
∂θ
e
λ:
∂ log L y; θe
∂θ
∂ log L (y; θ0)
∂ 2 log L (y; θ0) e
θ − θ0 + op (1)
=
+
∂θ
∂θ∂θ′
(3)
6
sostituendo la (3) nella (1)
∂ log L (y; θ0)
∂ 2 log L (y; θ0) e
+
θ − θ0 +
∂θ
∂θ∂θ′
′
∂g θe
∂θ
e
λ+o
p (1) = 0.
(4)
∂g ′ (θ) e
Si possono omettere i termini dell’espansione di ∂θ λ perchè si può
mostrare che gli altri termini dell’espansione possono essere trascurati.
Espandendo in serie di Taylor del primo ordine il vettore dei vincoli
valutati in θe intorno a θ0 si ha:
∂g
θ
)
(
0
e − θ + o (1)
θ
g θe = g (θ0) +
p
0
∂θ′
(5)
sappiamo
però che il vettore dei vincoli è nullo quando è valutato in
e g θe = 0. Si può mostrare che θe è uno stimatore consistente di
θ:
θ0, quando quest’ultimo soddisfa i vincoli, cioè quando θ0 è tale che
g (θ0) = 0.
7
Questo significa che la (5) si riduce a:
∂g (θ0) e
θ − θ0 = op (1) .
∂θ′
(6)
√
1
√
Premoltiplichiamo la relazione (4) per n e la (6) per n. Lo scopo
di tali operazioni è quello di ottenere il limite in distribuzione di queste
quantità.
8
Dalla (4) si ottiene:
1 ∂ log L (y; θ0)
1 ∂g ′ (θ0) e
1 ∂ 2 log L (y; θ0) √ e
n θ − θ0 − √
λ+op (1)
=−
√
′
n
n ∂θ
∂θ
n
∂θ∂θ
(7)
dalla (6):
∂g (θ0) √ e
n θ − θ0 = op (1)
(8)
′
∂θ
9
Le equazioni (7) e (8) costituiscono un sistema:



∂
log
L(
y
;θ

0)
√1
a
∂θ
 n
=


0
∂ 2 log L (y; θ0)
1
−n
∂θ∂θ′
∂g (θ0)
−
∂θ′

′

∂g (θ0)  √ e

−
  n θ − θ0 
∂θ

e
√1 λ

n
0
(9)
a
(NB. il segno = indica equivalenza asintotica ovvero che la differenza
tra il lato destro e sinistro del segno di uguale tende a zero in probabilità, ovvero è uguale a op (1)).
10
Ricordando che:
1 ∂ log L (θ0) d
→ N (0, I (θ0))
√
n
∂θ
allora:


"
# "
#!
1 ∂ log L (y; θ0)
0
I (θ0) 0
 √
 d
→
N
,


n
∂θ
0
0
0
0
11
Sappiamo, inoltre, che
"
1 ∂ 2 log L (y; θ0)
−
n
∂θ∂θ′
#
p
→ I (θ0)
possiamo, quindi, concludere che:

 √ e
n θ − θ0
d

→
N (0, V (θ0)) .
e
√1 λ
n
(10)
La matrice V (θ0) è pari a:



V (θ0) = 

I (θ0)
−
∂g (θ0)
−
∂θ′
∂g ′ (θ0)
∂θ
0
−1




"
I (θ0) 0
0
0
#





I (θ0)
−
∂g (θ0)
−
∂θ′
∂g ′ (θ0)
∂θ
0
12
−1




Per comodità di notazione poniamo:
∂g (θ0)
= G (θ0)
′
∂θ
Possiamo calcolare con la formula dell’inversa della matrice a blocchi:
"
I (θ0) −G′
−G
0
#−1
−1 
−1 − I −1 G′ GI −1 G′
GI −1 −I −1G′ GI −1G′
 I

=
−1
−1

−1
′
−1
−1
′
′
− GI G
GI
GI G

−1
(11)
da quest’ultima possiamo ricavare la matrice di varianze e covarianze
asintotica degli stimatori:

−1 − I −1G′
 I
V (θ0) = 
GI −1G′
0
−1
GI −1
0
GI −1G′


−1 
(12)
13
Adesso è chiaro che
−1
1 e d
√ λ → N 0, G (θ0) I −1 (θ0) G′ (θ0)
n
la statistica costruita con la forma quadratica:
1 e′ d
LM
−1
′
e →
ξn = λ G (θ0) I (θ0) G (θ0) λ
χ2
G
n
(13)
è distribuita asintoticamente, sotto H0 come una χ2 con G gradi di
libertà.
14
La versione in termini di score può essere ottenuta immediatamente;
dalla (1) premoltiplicata per √1n :
e
1 ∂ log L y; θ
√
n
per cui
ξnLM =
∂θ
=−
e
1 ∂ log L y; θ
n
e
∂g ′ θe λ
∂θ′
∂θ
√
n
I −1 (θ0)
e
λ
′
e
≡ −G θ √
n
e
∂ log L y; θ
∂θ
.
(14)
15
La regione critica del test è definita da:
n
ξnLM ≥ χ2
G,1−α
o
Il calcolo della (13) e della (14) richiedono la stima della matrice
d’informazione e, nella (13) della G (θ0). Tali stime possono essere
e sotto H sono stime consistenti. La
ottenute sostituendo θ0 con θ;
0
matrice d’informazione può essere approssimata con l’hessiano o con
il prodotto esterno del gradiente.
16