Esercizi di catene di Markov

Catene di Markov - Foglio 1
1. Una pedina si muove su un circuito “circolare” a 4 vertici, numerati da 1 a 4. La pedina si
trova inizialmente nel vertice 1. Ad ogni passo un giocatore lancia un dado equilibrato: se la
pedina si trova negli stati 1, 2 o 3, avanza di 1 posizione in caso di risultato dispari, e di due
posizioni in caso di risultato pari; se la pedina si trova nel vertice 4 (detto anche prigione),
essa passa nel vertice 1, se il risultato del dado è 6, e resta in 4 altrimenti.
Sia Xn la variabile aleatoria che indica la posizione della pedina al tempo n-esimo, ossia dopo
l’n-esimo lancio del dado.
a) Si individui la legge µ0 di X0 .
b) Si provi che la successione (Xn )n≥0 è una catena di Markov e se ne individuino l’insieme
degli stati S, la matrice di transizione P e la legge iniziale.
c) Si calcoli P 2 .
d) Qual è la probabilità che la catena si trovi in 1 al secondo passo?
Qual è la probabilità che, partendo da 4, la catena si trovi in 1 dopo due passi?
e) Qual è la probabilità che, partendo da 1, la pedina si trovi in prigione dopo tre passi?
f) Si classifichino gli stati della catena.
2. Due giocatori A (Alice) e B (Bob) hanno a disposizione un capitale totale di 12 monete d’oro.
All’inizio del gioco A lancia due dadi equilibrati e ritira un numero di monete d’oro pari al
risultato del lancio dei dadi. Le restanti monete d’oro andranno a B. Da questo momento
in poi, i giocatori lanceranno i dadi una volta ciascuno: in caso di risultato pari, A darà una
moneta d’oro a B, in caso di risultato dispari A prenderà una moneta d’oro da B. Il gioco si
conclude obbligatoriamente quando uno dei due giocatori ha tutte le monete.
Si denoti con Xn il capitale di A dopo l’(n + 1)-esimo lancio dei dadi, n ≥ 0.
a) Si provi che la successione (Xn )n≥0 è una catena di Markov omogenea e se ne individuino
l’insieme degli stati S, la matrice di transizione P e la legge iniziale µ0 di X0 .
b) Si calcoli P 2 .
c) Qual è la probabilità che la catena si trovi in 12 al secondo passo (n = numero dei passi)?
Ritenete che il gioco sia equo?
c1) Qual è la probabilità che la catena si trovi in 7 al primo passo ed in 12 al secondo?
Qual è la probabilità che, partendo da 7, la catena si trovi in 7 al tempo successivo?
Qual è la probabilità che, partendo da 7, la catena si trovi in 7 dopo due passi?
d) Qual è la probabilità che la catena si trovi in 7 al primo passo ed in 8 al secondo?
Qual è la probabilità che, partendo da 7, la catena si trovi in 8 al tempo successivo?
Qual è la probabilità che, partendo da 7, la catena si trovi in 8 dopo tre passi?
e) Classificare gli stati della catena.
f) Cosa si può dire del processo che rappresenta il capitale di B ad ogni passo?
1
Catene di Markov - Foglio 2
1. Sia (An )n≥0 una successione di eventi. Si verifichino le seguenti proprietà.
(a) lim inf n An e lim supn An sono eventi.
(b) (lim inf n An )c = lim supn Acn e (lim supn An )c = lim inf n Acn .
(c) P(lim inf n An ) ≤ lim inf n P(An ) ≤ lim supn P(An ) ≤ P(lim supn An ).
(d) 1lim supn An = lim supn 1An e 1lim inf n An = lim inf n 1An .
2. Sia (Ω, F, P) uno spazio probabilizzato dotato di una filtrazione (Fn )n≥0 .
(a) Si provi che una variabile aleatoria a valori naturali T è un tempo d’arresto se e solo se
{T = n} ∈ Fn
per ogni n.
(b) Se T ed S sono due tempi d’arresto discreti, allora
T ∨ S,
T ∧ S,
T +S
sono tempi d’arresto.
(c) Si consideri una successione (Tn )n≥1 di tempi d’arresto rispetto alla filtrazione (Fn )n≥0 ,
e si provi che
– inf n Tn e supn Tn sono tempi d’arresto;
– T1 + . . . + Tn è un tempo d’arresto per ogni n.
3. Se l’insieme degli stati E è finito, allora esiste almeno una classe di stati ricorrenti.
4. Assegnati due stati i e j di una catena markoviana
P
(n)
a) se j è ricorrente ed accessibile da i, allora n≥1 pij = +∞;
(n)
b) se j è ricorrente e non accessibile da i, allora pij = 0 per ogni n.
5. Assegnati due stati i e j di una catena markoviana, con i ricorrente e j transiente, si ha
P{Xn = j | X0 = i} = 0
2
per ogni n.
Catene di Markov - Foglio 3
1. Un collezionista raccoglie le figurine di un album di N figurine; le figurine vengono vendute
singolarmente. Sia Xn il numero di figurine diverse possedute dal collezionista dopo l’acquisto
dell’n-esima figurina (n ≥ 0).
(a) Si supponga che, inizialmente, il collezionista non possegga figurine. Si provi che (Xn )n≥0
è una catena di Markov e se ne individuino insieme degli stati, matrice di transizione e
legge iniziale.
(b) Si classifichino gli stati della catena (in particolare, si determini il periodo degli stati, e,
per gli stati ricorrenti, si dica se sono ricorrenti positivi o nulli).
(c) Si calcoli la probabilità che la catena si soffermi definitivamente in un assegnato stato k.
(d) Si calcoli la probabilità di finire la collezione di figurine in un tempo finito.
(e) Si indichi con T il numero di figurine che il collezionista deve acquistare per completare
la collezione.
e1) Si provi che T è un tempo d’arresto quasi certamente finito.
e2) Per ogni stato k della catena, si indichi con uk la media di T partendo dallo stato k.
Si provi che i numeri uk verificano la formula ricorsiva uk+1 = uk − NN−k .
uk+1 = uk −
N
.
N −k
e3) Quante figurine dovrà acquistare, in media, il collezionista per completare la collezione?
2. Sia F un sottinsieme di S. Si definisca la probabilità uj (F ) che la catena visiti l’insieme F
partendo dallo stato j, ossia
uj (F ) = Pj (∪k≥0 {Xk ∈ F }) .
Si provi che
- uj (F ) = 1 per j ∈ F ;
- (uj (F ))j ∈F
/ è la più piccola soluzione compatibile del sistema
(∗)
uj (F ) =
X
pji ui (F ),
j∈
/ F.
i∈S
[ Suggerimento. Si proceda in modo simile a quanto fatto per le probabilità di vagare nei
(n)
transienti. Si definiscano le probabilità uj (F ) di visitare l’insieme F entro l’istante n,
(n)
uj (F ) = P (∪nk=0 {Xk ∈ F })....]
3
Catene di Markov - Foglio 4
1. Sia X = (Xn )n≥0 una catena di Markov con insieme degli stati E e matrice di transizione P .
Sappiamo che, se j ∈ E è uno stato ricorrente aperiodico della catena, allora
(n)
lim pjj =
n
1
,
Ej [Tj ]
dove Tj indica il tempo del primo ritorno in j della catena X.
(m)
Sia ora j ∈ E uno stato ricorrente di periodo d > 1. Si provi che pjj = 0, se m non è
multiplo di d, e
d
(nd)
lim pjj =
.
n
Ej [Tj ]
[ Suggerimento. Si consideri una catena di Markov (Yn )n≥0 con insieme degli stati E e matrice
di transizione P d . Si osservi che, per questa catena, j è uno stato ricorrente aperiodico... ]
2. Passeggiata sui numeri naturali. Si consideri una catena di Markov avente come insieme
degli stati i numeri naturali e matrice di transizione (tridiagonale)


r0 p0 0 · · ·

 q1 r1 p1 0 · · ·


 0 q2 r2 p2
r0 + p0 = 1
0 ··· 


P =

.
.
.
qk + rk + pk = 1 per k ≥ 1
..
.. ..

 0 0


.. ..
..
.
.
.
0 0 0
(a) Individuare opportune condizioni sui parametri affinché la catena sia irriducibile.
(b) Provare che la catena ammette una legge invariante se e solo se
X p0 · · · pn−1
< +∞.
q1 · · · qn
n≥1
Individuare la legge invariante nel caso in cui questa condizione sia verificata.
4
Catene di Markov - Foglio 5
1. Provare che, per una catena di Markov con matrice di transizione bistocastica, la distribuzione
uniforme è invariante. Quando questa può essere una misura di probabilità?
2. (a) Classificare gli stati di una catena di Markov (Xn )n≥0 , con insieme degli stati S =
{1, 2, 3, 4, 5}, e matrice di transizione del tipo


∗ ∗ 0 0 ∗
 0 ∗ ∗ 0 0 



P =
 0 ∗ ∗ 0 0 
 0 0 ∗ ∗ 0 
∗ 0 0 ∗ 0
dove il simbolo ∗ individua gli elementi della matrice strettamente positivi.
Una tale catena è irriducibile? Possiede leggi invarianti?
(b) Si può dire qualcosa di più nel caso in cui si supponga che tutte le transizioni in partenza
da uno stesso vertice siano equiprobabili?
(b1) In questo caso, quanto vale la probabilità che, partendo da 5, la catena si trovi in 5 dopo
due istanti di tempo?
(b2) Per stabilire il punto di partenza della catena viene lanciata uan moneta equilibrata:
se viene Testa, la catena parte dallo stato 1, altrimenti parte da 2. Qual è la legge iniziale?
Qual è la legge di X2 ?
3. Una pedina si muove nel circuito, con vertici numerati da 0 a 4, qui disegnato
Un giocatore muove la pedina lanciando ad ogni passo un dado a 4 facce equilibrato secondo i
seguenti criteri: se la pedina si trova in 0, si muoverà nel vertice con numero pari al risultato
del dado; se la pedina si trova in un diverso vertice, questa si sposterà in 0, in caso di risultato
pari, altrimenti avanzerà di una posizione in senso antiorario sul perimetro esterno del circuito.
(a) Definire una catena di Markov che descrive il movimento della pedina sul circuito. Individuarne la matrice di transizione.
(b) Classificare gli stati della catena al punto (a).
(c) Individuare, se esistono, le leggi invarianti della catena.
(d) Qual è la probabilità che la pedina visiti, prima o poi, il vertice 0?
(e) Qual è (approssimativamente) la probabilità che la pedina si trovi nel vertice 0 in un
tempo n molto grande?
(f1) Si supponga ora che la pedina parta, al tempo iniziale, dal vertice 1. Qual è il tempo
medio necessario affinché la pedina visiti il vertice 0 per la prima volta?
(f2) Qual è la probabilità che la pedina visiti il vertice 0 per la prima volta senza essere mai
passata dal vertice 4?
5