Integrazioni per PS1

PROCESSI STOCASTICI 1: INTEGRAZIONI
1. Definizioni e risultati sparsi
Def. Dato un insieme I, si chiama processo stocastico con spazio degli stati I una famiglia
{Xt }t∈T di variabili aleatorie a valori in I e definite sullo stesso spazio di probabilità, dove
T ⊂ R.
Un processo stocastico corrisponde ad un sistema dinamico stocastico, T puo’ essere
pensato come la famiglia di tempi in cui il sistema viene osservato e Xt corrisponde allo
stato del sistema al tempo t.
Sia P matrice stocastica su I. Sia λ una distribuzione su I e sia {Xn }n≥0 una catena
di Markov con matrice di transizione P e distribuzione iniziale λ. Abbiamo visto che,
pensato λ con vettore riga, il vettore riga λP k è la distribuzione di Xk per ogni k ≥ 0.
Sia P matrice stocastica su I. Sia f : I → C una funzione limitata. Pensato f come
vettore colonna, vale
P k f (i) = Ei (f (Xk )) .
Infatti, per definizione di prodotto di matrici e poi per definizione di valore atteso abbiamo
X (k)
X
P k f (i) =
pi,j f (j) =
Pi (Xk = j)f (j) = Ei (f (Xk )) .
j∈I
j∈I
2. Stazionarietà
Sia P matrice stocastica.
Def. Una misura λ : I → [0, ∞) si dice invariante (o stazionaria) rispetto a P se λP = λ
e λ 6≡ 0.
Def. Una distribuzione λ : I → [0, 1] si dice invariante (o stazionaria) rispetto a P se
λP = P .
Def. Una catena di Markov {Xn }n≥0 di parametri (λ, P ) si dice invariante (o stazionaria)
se per ogni ogni m ≥ 0 intero il processo stocastico {Xn+m }n≥0 è anch’esso una catena di
Markov di parametri (λ, P ).
Prop. Una catena di Markov {Xn }n≥0 di parametri (λ, P ) è stazionaria se e solo se λ è
distribuzione stazionaria rispetto a P .
Dim. Supponiamo che {Xn }n≥0 sia stazionaria. Allora per ogni i ∈ I deve valere P (X0 =
i) = P (X1 = i). Per le note regole di calcolo questo equivale al fatto che λ(i) = (λP )(i)
per ogni i ∈ I. Quindi λ è distribuzione stazionaria rispetto a P .
Supponiamo ora che λ sia distribuzione stazionaria rispetto a P . Fissiamo m ≥ 0 intero
1
2
PROCESSI STOCASTICI 1: INTEGRAZIONI
e dimostriamo che {Yn }n≥0 è catena di Markov di parametri (λ, P ), dove Yn := Xm+n .
Sappiamo che ci basta provare (vedi esercizi oppure Th. 1.1.1 del Norris) che
P (Y0 = i0 , Y1 = i1 , . . . , Yn = in ) = λ(i0 )pi0 ,i1 · · · pin−1 ,in
(2.1)
per ogni n ≥ 0 e ogni i0 , i1 , . . . , in ∈ I. Per definizione di Yk e poi per le note regole di
calcolo otteniamo
P (Y0 = i0 , Y1 = i1 , . . . , Yn = in ) = P (Xm = i0 , Xm+1 = i1 , . . . , Xm+n = in ) =
(λP m )i0 pi0 ,i1 · · · pin−1 ,in .
Al fine di ottenere (2.1) ci basta osservare che per la stazionarietà di λ vale (λP m )i0 =
λ(i0 ).
¤
3. Reversibilità
Sia P matrice stocastica.
Def. Una misura λ : I → [0, ∞) si dice reversibile (o che soddisfa l’equazione del bilancio
dettagliato) rispetto a P se λ 6≡ 0 e
λ(i)pi,j = λ(j)pj,i
∀i, j ∈ I .
(3.1)
Def. Una distribuzione λ : I → [0, 1] si dice reversibile (o che soddisfa l’equazione del
bilancio dettagliato) rispetto a P se
λ(i)pi,j = λ(j)pj,i
∀i, j ∈ I .
(3.2)
Def. Una catena di Markov {Xn }n≥0 di parametri (λ, P ) si dice reversibile se per ogni
N ≥ 0 intero il processo stocastico {Yn }0≤n≤N dove Yn = XN −n è una catena di Markov
di parametri (λ, P ) a tempi in {0, 1, . . . , N }.
Prop. Una distribuzione λ reversibile rispetto a P è anche invariante rispetto a P .
Dim. Vedi “Markov chains” di Norris.
¤
Prop. Una catena di Markov {Xn }n≥0 di parametri (λ, P ) è reversibile se e solo se λ è
distribuzione reversibile rispetto a P .
Dim. Supponiamo che {Xn }n≥0 sia reversibile. Prendendo N = 1 otteniamo per ogni
i, j ∈ I che
P (X0 = i, X1 = j) = P (X1−0 = i, X1−1 = j) = P (X0 = j, X1 = i) .
Per le note regole di calcolo possiamo riscrivere il primo e l’ultimo membro come
λ(i)pi,j = λ(j)pj,i .
Abbiamo quindi verificato che λ soddisfa l’equazione del bilancio dettagliato.
Supponiamo ora che valga l’equazione del bilancio dettagliato. Per il Teo. 1.1.1 del
Norris, ci basta dimostrare che per ogni N ≥ 0, i0 , i1 , . . . , iN ∈ I vale
P (Y0 = i0 , Y1 = i1 , . . . , YN = iN ) = λ(i0 )pi0 ,i1 · · · piN −1 ,iN
(3.3)
PROCESSI STOCASTICI 1: INTEGRAZIONI
3
dove Yk := XN −k . Per tale definizione di Yk e per le note regole di calcolo vale
P (Y0 = i0 , Y1 = i1 , . . . , YN = iN ) = P (X0 = iN , X1 = iN −1 , . . . , XN −1 = i1 , XN = i0 ) =
λ(iN )piN ,iN −1 piN −1 ,iN −2 · · · pi1 ,i0
(3.4)
Per l’equazione del bilancio dettagliato possiamo sostituire λ(iN )piN ,iN −1 con piN −1 ,iN λ(iN −1 )
ottenendo
P (Y0 = i0 , Y1 = i1 , . . . , YN = iN ) = piN −1 ,iN λ(iN −1 )piN −1 ,iN −2 · · · pi1 ,i0 .
Analogamente possiamo sostituire λ(iN −1 )piN −1 ,iN −2 con piN −2 ,iN −1 λ(iN −2 ). Reiterando
questo passaggio arriviamo all’espressione finale
P (Y0 = i0 , Y1 = i1 , . . . , YN = iN ) = piN −1 ,iN piN −2 ,iN −1 · · · pi0 ,i1 λ(i0 ) ,
che banalmente coincide con (3.3), cioè con quanto volevamo provare.
¤
4. Distribuzioni invarianti
In questa sezione studiamo la struttura delle distribuzioni invarianti. Tutto si riferisce
ad una data matrice di transizione (matrice stocastica) P , che sarà spesso sottintesa.
Teorema di Markov–Kakutani Se |I| < ∞, allora esiste almeno una distribuzione
invariante.
Dim. Fissiamo una distribuzione λ su I. Consideriamo la media di Cesaro
n−1
1X
λn =
λP k .
n
k=0
È facile
provare che λn è una distribuzione su I, ovvero λn ∈ A, A := {v ∈ RI : v(i) ≥
P
0 , i∈I v(i) = 1}. A è compatto, quindi esiste una sottosuccessione nk tale che λnk
converge a qualche λ̂ ∈ A. Dico che λ̂ è distribuzione invariante. Poichè λ̂ ∈ A, ho λ̂
distribuzione. Inoltre
Ãn−1
!
n
X
1 X
1
λn − λn P =
λP k −
λP k = (λ − λP n )
n
n
Dato che |λ(i) −
λP n (i)|
≤ λ(i) +
k=0
λP n (i)
k=1
≤ 1 + 1 = 2, otteniamo
|λnk (i) − λnk P (i)| ≤ 2/nk
∀i ∈ I.
Mandando k ad infinito, otteniamo |λ̂(i) − λ̂P (i)| = 0 per ogni i, cioè l’invarianza di λ̂:
λ̂ = λ̂P .
¤
Se |I| = ∞ allora l’esistenza di qualche distribuzione invariante non è garantita:
Esercizio: determinare le misure invarianti della passeggiata tra siti primi vicini su Z dove,
per ogni x ∈ Z, px,x+1 = p, px,x−1 = q := 1 − p. Provare che non esistono distribuzioni
invarianti.
Nel seguito, volendo studiare la struttura delle distribuzioni invarianti, ci concentriamo
prima sui loro supporti. Ricordiamo che se λ è distribuzione su I allora il suo supporto è
dato dall’insieme {i : λ(i) > 0} (analoga definizione vale per misure).
Fatto. Sia P irriducibile. Allora ogni misura λ invariante rispetto a P soddisfa λ(i) > 0
per ogni i ∈ I.
Dim. Dato che λ 6≡ 0 deve esistere i con λ(i) > 0. Dato che i conduce a tutti gli elementi
di I la tesi segue dal lemma successivo.
¤
4
PROCESSI STOCASTICI 1: INTEGRAZIONI
Lemma 0. Sia λ distribuzione invariante, siano i, j stati con λ(i) > 0 e i → j. Allora
λ(j) > 0.
Dim. Dato che i → j esiste n ≥ 0 tale che (P n )i,j > 0. Dato che λ = λP n deve essere
X
λj =
λk (P n )k,j ≥ λi (P n )i,j > 0 .
k∈I
Definizione. Diciamo che uno stato i ∈ I è essenziale se per ogni j ∈ I tale che i → j
deve valere j → i.
Lemma 1 i è essenziale se e solo se la classe comunicante di i è chiusa.
Dim. Sia i essenziale e sia C la sua classe comunicante. Se C non fosse chiusa avremmo
j ∈ C and z 6∈ C tale che j → z ma z 6→ j. Poichè i → j e j → z, abbiamo i → z. Dato che
i è essenziale vale z → i. Ma siccome i, j ∈ C abbiamo i → j. Quindi z → i → j contro il
fatto che z 6→ j.
Assumiamo ora che C sia chiusa. Se i → j, per la chiusura di C abbiamo j ∈ C e quindi
j → i. Quindi i è essenziale.
¤
Prop. 1 Sia i elemento non essenziale e sia λ una distribuzione invariante. Allora
λ(i) = 0
Dim. Definisco A = {j ∈ I : j → i}. Osservo cheP
i ∈ A e che k → j se pk,j > 0. Quindi
se j ∈ A e pk,j > 0 allora k ∈ A. Dato che λ(j) = k λ(k)pk,j abbiamo
X
XX
XX
λ(j) =
λ(k)pk,j =
λ(k)pk,j .
j∈A
j∈A k
j∈A k∈A
Scambiando j e k nell’ultima espressione abbiamo:
!
Ã
X
X
X
λ(j) =
λ(j)
pj,k .
j∈A
j∈A
k∈A
P
P
Dato che k∈A pj,k ≤ 1 per avere la suddetta uguaglianza deve essere k∈A pj,k = 1 per
ogni j ∈ A tale che λ(j) > 0. Quindi vale la seguente proprietà che chiamo (P): per ogni
elemento j di A per cui λ(j) > 0 con un sol passo da j si può andare solo in un elemento
di A. Supponiamo ora per assurdo che λ(i) > 0. Applicando (P) a i (dato che i ∈ A e
λ(i) > 0), concludiamo che da i in un sol passo vado in elementi di A. Per il Lemma 0,
tutti questi hanno misura λ positiva. Applicando ad essi la proprietà (P) deduciamo che
da questi elementi con un sol passo andiamo in altri elementi di A che, per il Lemma 0,
hanno misura λ positiva. Reiterando tale ragionamento otteniamo che i conduce solo ad
elementi di A. Dato che per definizione gli elementi di A conducono tutti ad i, arriviamo
all’assurdo (cioè i è essenziale).
¤
La suddetta proposizione ci dice che le distribuzioni invarianti devono essere concentrate
sull’unione delle classi comunicanti chiuse, inoltre se non esistono classi comunicanti chiuse
non esistono distribuzioni invarianti. Diciamo che una distribuzione su I è concentrata
in un sottinsieme J ⊂ I (o equivalentemente che la distribuzione ha supporto in J) se
λ(x) = 0 per ogni x ∈ I \ J. Le distribuzioni su I concentrate in J sono in modo
naturale in bigezione con le distribuzioni su J, la bigezione si ottiene associando a λ la
sua restrizione λ|J : J → [0, 1], λ|J (j) = λ(j) per ogni j ∈ J.
PROCESSI STOCASTICI 1: INTEGRAZIONI
5
Teorema 1 Per ogni classe comunicante chiusa C denotiamo con Inv(I, C) l’insieme (eventualmente vuoto) delle distribuzioni invarianti su I con supporto in C. Supponiamo che
vi siano N , con N ∈ N ∪ {∞}, classi comunicanti chiuse C per cui Inv(I, C) 6= ∅.
Se N = 0 allora non esistono distribuzioni invarianti.
Se N ≥ 1, denotiamo le classi comunicanti chiuse C per cui Inv(I, C) 6= ∅ come C1 , C2 , . . . , CN
se N è finito, altrimentiPcome C1 , C2 , . . . . Allora P
le distribuzioni invarianti di P sono tutte
N
e sole della forma λ = N
α
λ
dove
α
≥
0,
k
k=1 k k
k=1 αk = 1 e λk ∈ Inv(I, Ck ).
Dim. Se NP= 0 la tesi segue dalla Prop.
PN 1. Supponiamo che sia N ≥ 1.
Sia λ = N
α
λ
dove
α
≥
0,
k=1 k k
k=1 αk = 1, λk ∈ Inv(I, Ck ). Verifichiamo che λ è
PNk
una distribuzione. λ(x) = k=1 αk λk (x) e poichè ogni addendo è non negativo abbiamo
che λ(x) ≥ 0 per ogni x ∈ I. Inoltre abbiamo
Ã
!
N
N
N
X
XX
X
X
X
λ(x) =
αk λk (x) =
αk
λk (x) =
αk = 1 .
x∈I
x∈I k=1
x∈I
k=1
k=1
La penultimaP
indentità segue dal fatto che λk è una distribuzione, mentre l’ultima segue
dal fatto che N
k=1 αk = 1. Questo conclude la verifica che λ è una distribuzione.
Verifichiamo ora l’invarianza. Dato che λk P = λk e data la linearità del prodotto di
matrici vale
N
N
X
X
αk λk = λ,
αk (λk P ) =
λP =
k=1
k=1
quindi λ è una distribuzione invariante.
Supponiamo ora che λ sia una distribuzione invariante. Data una classe comunicante
chiusa C con λ(C) > 0 definiamo λC : I → [0, 1] come
(
λ(x)/λ(C) se x ∈ C ,
λC (x) =
0
se x 6∈ C .
Proviamo che λC ∈ Inv(I, C). Banalmente λC è una distribuzione su I con supporto in C.
Sia i ∈ I. Per l’invarianza di λ abbiamo
X
λ(i) = (λP )(i) =
λ(j)pj,i .
(4.1)
j∈I
Nella suddetta formula distinguiamo vari casi. Se j è inessenziale, allora λ(j) = 0 per la
Prop.1 e quindi j non contribuisce. Se j non è inessenziale, allora la classe comunicante di
j è chiusa (per il Lemma 1). Se fosse pj,i > 0 avremmo che j → i, ma per la chiusura della
classe comunicante di j avremmo che j e i devono stare nella stessa classe comunicante.
In particolare, se i ∈ C si ha che nella somma in (4.1) contribuiscono solo gli stati j che
stanno nella stessa classe comunicante di i e quindi solo gli stati j in C. Quindi, per i ∈ C,
(4.1) puo’ essere riscritta come
X
λ(i) =
λ(j)pj,i ,
i∈C.
(4.2)
j∈C
Dividendo entrambi i membri per λ(C) e usando la definizione di λC otteniamo che
X
λC (i) =
λC (j)pj,i = (λC P )i ,
∀i ∈ C .
j∈I
6
PROCESSI STOCASTICI 1: INTEGRAZIONI
Se invece prendiamo i 6∈ C per definizione λC (i) = 0. Mentre siccome λC ha supporto in C
possiamo scrivere
X
X
(λC P )(i) =
λC (j)pj,i =
λC (j)pj,i .
(4.3)
j∈I
j∈C
Se fosse pj,i > 0 avremmo due stati j ∈ C e i 6∈ C tali che j → i. Per la chiusura
di C dovrebbe essere i ∈ C contro l’ipotesi i 6∈ C. Ne deriva che nell’ultimo membro
di (4.3) tutti i termini pj,i sono nulli quindi deve essere (λC P )i = 0. Abbiamo provato
che λC (i) = 0 = (λP )i nel caso i 6∈ C. Questo conclude la dimostrazione che λC è una
distribuzione invariante per P . Siccome λC ∈ Inv(I, C), deve essere C = Ck per qualche k.
Quindi se λ(C) > 0 deve essere C = Ck per qualche k. In particulare, abbiamo che λ ha
supporto in ∪N
k=1 Ck . Questo implica che, ponendo αk := λ(Ck ), vale
N
N
X
¡
¢ X
1 = λ ∪N
C
=
λ(C
)
=
αk .
k
k=1 k
k=1
k=1
Inoltre banalmente αk ≥ 0. Resta da dimostare che
λ(x) =
N
X
αk λCk (x)
∀x ∈ I .
(4.4)
k=1
Se x 6∈ ∪N
k=1 Ck già sappiamo che entrambi i membri sono nulli (ricordare chi è il supporto
di λ e la definizione di λCk ). Se invece x ∈ Ck per qualche k allora (4.4) si riduce a
λ(x) = αk λCk (x) e questo si deriva subito dalla definizione di λCk .
¤
Prop 2 Sia C una classe comunicante chiusa. Allora la matrice P̂ = {pi,j }i,j∈C è una
matrice stocastica irriducibile con spazio degli stati C. Sia Inv(I, C) l’insieme delle distribuzioni invarianti su I per P con supporto in C e sia Inv(P̂ ) l’insieme delle distribuzioni
invarianti su C per P̂ . Allora la mappa che a λ associa la restrizione λ|C è una bigezione
tra Inv(I, C) e Inv(P̂ ).
Proof. Banalmente P̂i,j ≥ 0 per ogni i, j ∈ C. Fissiamo i ∈ C. Se pi,j > 0 allora i → j, ma
dato che C è chiusa deve essere j ∈ C. Quindi abbiamo per ogni i ∈ C che
X
X
X
P̂i,j =
pi,j =
pi,j = 1 .
j∈C
j∈C
j∈I
L’ultima identità segue dal fatto che P è matrice stocastica. Questo conclude la dimostrazione che P̂ è matrice stocastica. Dimostriamo che P̂ è irriducibile. Siano i, j ∈ C.
Essendo C classe comunicante per P esistono stati i0 , i1 , . . . , in con i0 = i, in = j e
pik ,ik+1 > 0 per ogni k ∈ {0, 1, . . . , n − 1}. Dato che i0 = i e pi0 ,i1 > 0 deve essere i → i1
e quindi i1 ∈ C poichè C è chiusa. Ma allora P̂i0 ,i1 = pi0 ,i1 > 0. Iterando questo ragionamento otteniamo che tutti gli stati i0 , i1 , . . . , in stanno in C ed inoltre P̂ik ,ik+1 = pik ,ik+1 > 0
per ogni k ∈ {0, 1, . . . , n − 1}. Questo conclude la dimostrazione che P̂ è irriducibile (cioè
tutti i suoi stati sono tra di loro comunicanti).
Se λ ∈ Inv(I, C), usando l’invarianza e il fatto che λ ha supporto in C otteniamo
X
X
X
λ(i) =
λ(j)pj,i =
λ(j)pj,i =
λ(j)P̂j,i ,
∀i ∈ C .
j∈I
j∈C
j∈C
PROCESSI STOCASTICI 1: INTEGRAZIONI
7
Quindi λ|C ∈ Inv(P̂ ). Viceversa, se λ̂ ∈ Inv(P̂ ) definiamo λ : I → [0, 1] come
(
λ̂(i) se i ∈ C ,
λ(i) =
0
altrimenti .
Banalmente λ|C = λ̂. Inoltre è banale verificare che λ ∈ Inv(I, C) (esercizio).
¤
Grazie alla Proposizione 2 e al Teorema 1.7.7 in ”Markov Chains” di J.Norris, per ogni
classe comunicante chiusa C rispetto a P vale | Inv(I, C)| = 0, 1, inoltre | Inv(I, C)| = 1 se e
sole se gli stati di C sono ricorrenti positivi. In tal caso l’unica distribuzione λ ∈ Inv(I, C)
è data da
(
1/Ex (Tx ) se x ∈ C
λ(x) =
0
altrimenti .
Nel caso di |C| = ∞ possiamo avere | Inv(I, C)| = 0 come pure | Inv(I, C)| = 1. Ad
esempio, la passeggiata simmetrica su Z non ha distribuzioni invarianti (sapendo che e’
irriducibile e ricorrente, otteniamo allora che tutti gli stati sono ricorrenti nulli). Esempi
con | Inv(I, C)| = 1 possono essere esibiti. Nel caso |C| < ∞ invece c’e’ un’unica possibilità,
come specificato dalla Prop.3 . Per la Proposizione 2, a meno di ridurre lo spazio degli
stati a C e considerare P̂ , possiamo restringerci al caso in cui P sia irriducibile. Allora
vale
Prop. 3 Se P è irriducibile e |I| < ∞, allora tutti gli stati sono positivi ricorrenti ed
esiste un’unica distribuzione invariante.
Dim. Notiamo che P è ricorrente, infatti esiste un’unica classe comunicante (P è irriducibile) e questa è chiusa. Per I finito sappiamo che gli stati ricorrenti sono tutti e
soli quelli che stanno in classi comunicanti chiuse, quindi abbiamo che tutti gli stati sono
ricorrenti.Per i Teoremi 1.7.5 e 1.7.6 in “Markov Chains” di J.Norris, sabbiamo che P
ammette un’unica misura invariante a meno di fattori moltiplicativi. Tutte queste misure
sono normalizzabili dato che I è finito. Quindi otteniamo che esiste un’unica distribuzione
invariante. Per il Teorema 1.7.7 in “Markov Chains” di J.Norris sappiamo che questo
implica che tutti gli stati sono positivi ricorrenti.
¤
Potevamo dare una dimostrazione alternativa della suddetta proposizione. Infatti per il
Teorema 1.7.7 ci basta provare che tutti gli stati sono positivi ricorrenti. In realtà vale un
fatto ancora più forte (la cui dimostrazione è data in appendice per chi fosse interessato,
ma non fa parte del programma di PS1!).
Lemma 2. Sia P irriducibile e |I| < ∞. Allora per ogni a, i ∈ I vale Ea (Ti ) < ∞, dove
Ti = inf{n ≥ 1 : Xn = i}. In particolare, la catena di Markov che inizia in uno stato a ∈ I
visita in un tempo positivo qualsiasi stato in I con probabilità 1 .
Dai precedenti risultati e osservazioni otteniamo :
Cor. 1 Sia |I| < ∞. Siano C1 , C2 , ..., CN le classi comunicanti chiuse (sappiamo 1 ≤ N <
P
∞). Allora le distribuzioni invarianti di P sono tutte e sole della forma λ = N
k=1 αk λk
PN
dove αk ≥ 0, k=1 αk = 1 e λk è l’unica distribuzione invariante con supporto in Ck . In
particolare, esiste sempre almeno una distribuzione invariante. Essa è unica se e solo se
vi è un’unica classe comunicante chiusa.
8
PROCESSI STOCASTICI 1: INTEGRAZIONI
Si noti che il suddetto corollario fornisce una dimostrazione alternativa al teorema di
Markov–Kakutani.
4.1. Applicazione. Mostriamo ora un esempio di applicazione della teoria sviluppata
finora. Consideriamo la seguente matrice stocastica


1/4 1/4 0
0
0 1/2 0
0
 0
0
0
0
0
1
0
0 


 0
0 2/3 1/3 0
0
0
0 



 0
0
1/3
2/3
0
0
0
0

P =
 0
0
0 1/3 1/3 0 1/3 0 


 0 1/2 0
0
0
0
0 1/2 


 0
0
0
0 1/2 1/2 0
0 
1/2 1/2 0
0
0
0
0
0
sullo spazio degli stati I = {1, 2, . . . , 8}. Vogliamo determinare le distribuzioni invarianti di
P . Per fare questo dovremmo prima di tutto risolvere il sistema λP = λ, che include 8 gradi
di libertà e quindi sarebbe piuttosto calcoloso. Per semplifare possiamo procedere come
segue. Osserviamo che le classi comunicanti sono {1, 2, 6, 8}, {3, 4}, {5, 7}. Sono chiuse
solo C1 := {1, 2, 6, 8} e C2 := {3, 4}. Consideriamo dapprima la matrice P̂ = {pi,j }i,j∈C1 ,
cioè


1/4 1/4 1/2 0
 0
0
1
0 

P̂ = 
 0 1/2 0 1/2  .
1/2 1/2 0
0
Per la Prop. 2 questa matrice è una matrice stocastica irriducibile su C1 . Per la Prop. 3
P̂ ammette un’unica distribuzione invariante. La calcoliamo risolvendo il sistema


1/4 1/4 1/2 0
 0
0
1
0 

(a, b, c, d, ) 
 0 1/2 0 1/2  = (a, b, c, d) .
1/2 1/2 0
0
Si ottiene facilmente
¡ 2 5 6 che
¢l’unica soluzione (a, b, c, d, ) che è anche distribuzione su {1, 2, 6, 8}
3
. Ne deriva che
è data da 16
, 16 , 16 , 16
¡2 5
6
3¢
, , 0, 0, 0, , 0,
16 16
16
16
è l’unica distribuzione invariante per P con supporto in C1 .
Similemente la matrice {pi,j }i,j∈C2 è stocastica con spazio degli stati C2 ed è irriducibile.
Si ottiene facilmente come sopra che l’unica distrubizione invariante è data da (1/2, 1/2).
Ne deriva che
¢
¡
1 1
λ2 := 0, 0, , , 0, 0, 0, 0
2 2
è l’unica distribuzione invariante per P con supporto in C2 .
Grazie al Teorema 1 o equivalentemente al Corollario 1 abbiamo che le distribuzioni
invarianti per P sono tutte e sole della forma
λ1 :=
αλ1 + (1 − α)λ2 =
¡ 2α 5α (1 − α) (1 − α)
6α
3α ¢
,
,
,
, 0,
, 0,
16 16
2
2
16
16
α ∈ [0, 1] .
PROCESSI STOCASTICI 1: INTEGRAZIONI
9
Appendix A. Dimostrazione del Lemma 2
Dim. Siccome tutti gli stati comunicano tra loro abbiamo che per ogni j ∈ I vale
Pj (Xn = i per qualche n ≥ 0) > 0 .
Se j 6= i, abbiamo {Xn = i per qualche n ≥ 0} = {Ti < ∞}. Quindi concludiamo che
Pj (Ti < ∞) > 0 per ogni j 6= i. Invece, sapendo che i è stato ricorrente deve valere
Pi (Ti < ∞) = 1. Quindi concludiamo che per ogni j ∈ I vale Pj (Ti < ∞) > 0, ovvero che
Pj (Ti = ∞) < 1 ,
∀j ∈ I .
Per il teorema sulle successione monotone, siccome {Ti = ∞} =
(A.1)
∪∞
s=1 {Ti
> s} otteniamo
lim Pj (Ti > s) = Pj (Ti = ∞) .
s↑∞
(A.2)
Unendo (A.1) e (A.2) e usando che I è finito otteniamo che esiste ε > 0 ed s ∈ N per cui
Pj (Ti > s) ≤ 1 − ε ,
∀j ∈ I .
(A.3)
Vogliamo dimostrare che Pa (Ti > ks) ≤ (1 − ε)k per ogni k ∈ N+ . Lo facciamo per
induzione. Il caso k = 1 segue da (A.3) con j = a. Supponiamo ora la tesi vera fino a k.
Allora possiamo scrivere (vedi le spiegazioni sotto)
X
Pa (Ti > (k + 1)s, Xks = j) =
Pa (Ti > (k + 1)s) =
X
X
j6=i
Pa (Xn 6= i ∀n : ks + 1 ≤ n ≤ (k + 1)s, Ti > ks, Xks = j) =
j6=i
Pa (Xn 6= i ∀n : ks + 1 ≤ n ≤ (k + 1)s}|Ti > ks, Xks = j) Pa (Ti > ks, Xks = j) =
j6=i
X
Pj (Xn 6= i ∀n : 1 ≤ n ≤ s)Pa (Ti > ks, Xks = j) (A.4)
j6=i
Nella precedente formula la prima uguaglianza segua dalla additività numerabile di P ,
la seconda segue dal fatto che abbiamo riscritto in termini diversi lo stesso evento, la
terza segue dalla legge della probabilità totale mentre la quarta dalla proprietà di Markov
(ricordarsi di sincronizzare l’orologio!!). Per (A.3) abbiamo
Pj (Xn 6= i ∀n : 1 ≤ n ≤ s) = Pj (Ti > s) ≤ 1 − ε
quindi da (A.4) deriviamo che
Pa (Ti > (k + 1)s) ≤ (1 − ε)
X
Pa (Ti > ks, Xks = j) = (1 − ε)Pa (Ti > ks)
j6=i
(l’ultima uguaglianza segue dalla numerabile additività). Per ipotesi induttiva l’ultimo
fattore è limitato da (1 − ε)k , da cui si ottiene la tesi, cioè Pa (Ti > ks) ≤ (1 − ε)k per ogni
k ≥ 1. Si ottiene quindi
Pa (Ti > m) ≤ (1 − ε)bm/sc ,
∀m ∈ N ,
P∞
dove bxc denota la parte intera di x. Dalla
P∞ suddetta stima si ottiene m=0 Pa (Ti > m) <
∞. Ma sappiamo che vale Ea (Ti ) = m=0 Pa (Ti > m). Quindi abbiamo Ea (Ti ) < ∞,
cioè i è ricorrente positivo.
¤