Catene di Markov: calcolo leggi

[gringoire-votailprof]

Salve ragazzi, ho un punto di un esercizio che mi dà il tormento. Devo calcolare la legge di una variabile aleatoria, nel seguente caso:

Una sentinella deve fare la guardia ad un forte quadrato. Chiamando 1, 2, 3 e 4 i quattro bastioni, la sentinella rimane in un bastione per 5 minuti quindi si
sposta in senso orario con probabilità p e in senso antiorario con probabilità 1 p. Ogni volta lo spostamento avviene in maniera indipendente dai precedenti spostamenti.

Supponendo che parta da un bastione scelto a caso e denotando con Xn la variabile aleatoria che indica il bastione in cui si trova dopo 5n minuti, si calcoli la legge di Xn

Qualcuno più esperto di me in esercizi di questo tipo mi saprebbe dare qualche dritta per venirne a capo? Grazie mille a chi vorrà collaborare!

[K.Lomax]

Prova a buttare giù un ragionamento. In fin dei conti devi semplicemente calcolare la catena di Markov, ovvero la matrice di transizione. Una volta determinata, puoi calcolare la probabilità di trovarsi in un qualsiasi bastione (chiaminamolo stato) in un qualsiasi istante discreto.

[gringoire-votailprof]

La matrice di transizione l'avevo già calcolata facilmente, quello che serve da calcolare è la legge di Xn, cioè per ogni stato i (con i=1,2,3,4) la generica probabilità P(Xn=i).

[K.Lomax]

Per una catena di Markov si ha:

$p_(n+1)=P*p_(n)$

ovvero

$p_n=P^n*p_0$

dove $p_(n)$ è il vettore probabilità di trovarsi in uno qualsiasi dei 4 stati all'istante $n=5j$. Dunque, per rispondere alla tua domanda, manca solo il vettore delle probabilità iniziali $p_0$ e questo, se leggi bene il problema, lo puoi ricavare.

[gringoire-votailprof]

Come faccio a ricavare il vettore che mi manca? Grazie mille..

[K.Lomax]

Supponendo che parta da un bastione scelto a caso.....

Quindi, secondo te, a chi è pari $p_0$?

P.S. Il sistema precedente deve essere risolto utilizzando la condizione $\sum_(j=1)^4\pi_(j)(n)=1$ dove $\pi_(j)(n)$ indica la probabilità di trovarsi nel j-esimo stato all'istante n.