Stima bayesiana di una distribuzione normale

[valeo81]

Salve a tutti!
Avrei bisogno di un aiuto con un esercizio di statistica (studio ingegneria ) .
Stiamo facendo gli stimatori bayesiani, e per la distribuzione normale ( in particolar modo per la stima della media) ho serie difficoltà. So che bisogna utilizzare come prior una Gamma Inversa o una Normale , ma non riesco in nessun modo a trovare la soluzione corretta,eppure per la stima della varianza, o comunque per le stime delle varie distribuzioni non ho avuto problemi. C'è qualcuno che può aiutarmi ?
Ho trovato su internet pochi esercizi ,molti dei quali non sono dimostrati. Ovviamente ho anche cercato nel forum ma non ho trovato questo specifico argomento,spero di non essermi sbagliata!
Nelle slide del prof l'unica indicazione data è la seguente:
Sia x variabile normale $ N(mu,sigma^2) $ e $ mu $ una v.c a priori distribuiti come una $ N(m,r^2) $ allora $ mu $ a posteriori è distribuita come
$ N
(sigma ^2*m +r^2*x)/ (sigma^2+r^2); (sigma^2*r^2)/(sigma^2+r^2) $

Ho già provato da sola svariate volte, ma continuo a non capire... Grazie in anticipo!!!

[Lo_zio_Tom]

La tua distribuzione dei dati (qui è un unico dato) è questa

$p(x|mu)\prop exp{-1/(2sigma^2)(x-mu)^2}$

mentre la tua prior, normale di media $m$ e varianza $r^2$ è questa

$pi(mu)\prop exp{-1/(2r^2)(mu-m)^2}$


come vedi, nello scrivere le due densità ho tralasciato qualunque quantità che non dipenda dalla variabile così i conti sono più snelli...tanto tutto ciò che non dipende dalla variabile lo cosideriamo incluso nella costante di normalizzazione.

A questo punto possiamo calcolare la posterior moltiplicando le due densità così trovate

$pi(mu|x)prop exp{-1/(2sigma^2)(x-mu)^2-1/(2r^2)(mu-m)^2}$

svolgiamo i conti all'iterno dell'esponente "buttando via" qualunque termine non dipenda da $mu$ perché quei termini saranno sempre compresi nella costante di normalizzazione e raccogliendo rispetto alla nostra variabile $mu$. Otteniamo

$pi(mu|x)prop exp{-(1/(2sigma^2)+1/(2r^2))mu^2+(x/sigma^2+m/r^2)mu}$

raccogliendo ulteriormente in modo opportuno otteniamo


$pi(mu|x)prop exp{-1/(2(sigma^2r^2)/(sigma^2+r^2))[mu^2-2 mu(r^2x+msigma^2)/(sigma^2+r^2)]}$

...abbiamo quasi finito

Osservando l'esponente vediamo che dentro le parentesi quadre c'è un quadrato di un binomio con un termine mancante. Completiamo il quadrato...


$pi(mu|x)prop exp{-1/(2(sigma^2r^2)/(sigma^2+r^2))[mu^2-2mu(r^2x+msigma^2)/(sigma^2+r^2) \pm((r^2x+msigma^2)/(sigma^2+r^2))^2]}$

I termine con segno meno non crea problemi in quanto non dipendendo da $mu$ farà anche lui parte della costante di normalizzazione e quindi lo buttiamo tranquillamente via ottenendo

[size=150]$pi(mu|x)prop exp{-1/(2(sigma^2r^2)/(sigma^2+r^2))[mu-(r^2x+msigma^2)/(sigma^2+r^2) ]^2}$[/size]

come si vede, così scritta la posterior è chiaramente la densità di una Gaussiana di media $(r^2x+msigma^2)/(sigma^2+r^2)$ e di varianza $(sigma^2r^2)/(sigma^2+r^2)$ come richiesto.

Giova notare che media e varianza possono essere riscritte così

Media: $(1/sigma^2 \cdot x+1/r^2\cdot m)/(1/sigma^2+1/r^2)$

Varianza: $1/(1/sigma^2+1/r^2)$

I parametri della posterior così scritti evidenziano come la media a posteriori sia una media pesata della media della prior e dei dati, medie pesate con i pesi delle varianze.


Potresti ora (tanto dovrai farlo) fare lo stesso esercizio ma partendo da una verosimiglianza con $X_1,...,X_n$ ossservazioni che è il caso più generale.

Se ti può interessare, in alto nei post con la "lampadina" c'è un tutorial che ho scritto in modo molto ma molto semplice sulla prova di ipotesi in logica bayesiana...leggendolo dovresti iniziare ad entrare nel modo di pensare bayesiano...

Per la stima della varianza con media nota puoi fare lo stesso ragionamento (ma è molto più semplice) partendo da una distribuzione gamma mentre per la stima simultanea di entrambi i parametri puoi guardare questo post, dove uso una prior Normal-Gamma