Informazione di Fisher associata a uno stimatore MV
Ciao a tutti,
devo calcolare l'informazione di Fisher di uno stimatore di massima verosimiglianza di $\sigma^2$ per una popolazione di campioni distribuita normalmente con media nota $\mu=1$ e varianza appunto $\sigma^2$.
Inanzitutto mi sono calcolato, attraverso la funzione di log-verosimiglianza, tale stimatore il risultato è $\theta = 1/n\sum(X_i-1)^2$.
So che per calcolare l'infomrazione di Fisher devo innanzitutto trovare la derivata seconda rispetto a theta (il mio parametro ignoto, in questo caso la varianza) della funzione di log-verosimiglianza, che risulta: $n/(2\theta^2) - 1/(\theta^3)*\sum(X_i-1)^2$.
Ora dovrei calcolare il valore atteso di questa derivata, ed è qui che mi blocco.
Con opportuni passaggi si arriva a :
$n/2E[1/\theta^2]-E[1/\theta^3]\sum(X_i-1)^2$.
Quello che non capisco è come calcolare i valori attesi che restano tra parentesi, sapreste darmi una mano ?
grazie
devo calcolare l'informazione di Fisher di uno stimatore di massima verosimiglianza di $\sigma^2$ per una popolazione di campioni distribuita normalmente con media nota $\mu=1$ e varianza appunto $\sigma^2$.
Inanzitutto mi sono calcolato, attraverso la funzione di log-verosimiglianza, tale stimatore il risultato è $\theta = 1/n\sum(X_i-1)^2$.
So che per calcolare l'infomrazione di Fisher devo innanzitutto trovare la derivata seconda rispetto a theta (il mio parametro ignoto, in questo caso la varianza) della funzione di log-verosimiglianza, che risulta: $n/(2\theta^2) - 1/(\theta^3)*\sum(X_i-1)^2$.
Ora dovrei calcolare il valore atteso di questa derivata, ed è qui che mi blocco.
Con opportuni passaggi si arriva a :
$n/2E[1/\theta^2]-E[1/\theta^3]\sum(X_i-1)^2$.
Quello che non capisco è come calcolare i valori attesi che restano tra parentesi, sapreste darmi una mano ?
grazie
Risposte
Ciao,
sei sicuro di avere fatto la derivata seconda anche del secondo termine ?
Il valore atteso di $E[1/\theta^2]=1/\theta^2$ (è un numero, non è una variabile casuale), analogamente per l'altro.
Il valore atteso lo dovrai applicare solo a $\sum(X_i-1)^2$
Naturalmente salvo errori
a derivata seconda rispetto a theta (il mio parametro ignoto, in questo caso la varianza) della funzione di log-verosimiglianza, che risulta: $n/(2\theta^2) - 1/(\theta^3)*\sum(X_i-1)^2$
sei sicuro di avere fatto la derivata seconda anche del secondo termine ?
Con opportuni passaggi si arriva a :
$n/2E[1/\theta^2]-E[1/\theta^3]\sum(X_i-1)^2$.
Quello che non capisco è come calcolare i valori attesi che restano tra parentesi, sapreste darmi una mano ?
Il valore atteso di $E[1/\theta^2]=1/\theta^2$ (è un numero, non è una variabile casuale), analogamente per l'altro.
Il valore atteso lo dovrai applicare solo a $\sum(X_i-1)^2$
Naturalmente salvo errori
Visto che dovevo derivare rispetto a $\theta$ il secondo termine (la sommatoria) l'ho considerata come una costante, che quindi andava semplicemente a moltiplicare la derivata.
Per calcolare il valore atteso di quella sommatoria devo allora fare $\int_(-oo)^(+oo)\sum((X_i-1)^2 * x)$ ? Ci ho provato ma non mi risulta nulla di "plausibile"
i.e. mi restano degli infiniti
Per calcolare il valore atteso di quella sommatoria devo allora fare $\int_(-oo)^(+oo)\sum((X_i-1)^2 * x)$ ? Ci ho provato ma non mi risulta nulla di "plausibile"
i.e. mi restano degli infiniti
Riporto, per chiarezza, i vari passaggi che mi hanno portato alla derivata seconda:
la funzione di log-verosimiglianza della normale risulta:
$nln(1/sqrt(2pi))-n/2ln(\sigma^2)-1/(2\sigma^2)\sum(X_i-1)^2$.
Poniamo $\sigma^2 = \theta$ e deriviamo.
La derivata prima risulta:
$-n/(2\theta)+1/(2\theta^2)\sum(X_i-1)^2$.$.
Ponendola = 0 ho ricavato lo stimatore (come ho detto sopra)
Derivando la derivata per trovare la derivata seconda ottengo appunto:
$n/(2\theta^2)-1/(\theta^3)*\sum(X_i-1)^2$.
la funzione di log-verosimiglianza della normale risulta:
$nln(1/sqrt(2pi))-n/2ln(\sigma^2)-1/(2\sigma^2)\sum(X_i-1)^2$.
Poniamo $\sigma^2 = \theta$ e deriviamo.
La derivata prima risulta:
$-n/(2\theta)+1/(2\theta^2)\sum(X_i-1)^2$.$.
Ponendola = 0 ho ricavato lo stimatore (come ho detto sopra)
Derivando la derivata per trovare la derivata seconda ottengo appunto:
$n/(2\theta^2)-1/(\theta^3)*\sum(X_i-1)^2$.
E' corretto dire che $E(\sum(X_i-1)^2) = Var(sum(X_i-1)) = Var(sum(X_i)) = nVar(X_i) = n\sigma^2$ ?
"Evisu86":
$nln(1/sqrt(2pi))-n/2ln(\sigma^2)-1/(2\sigma^2)\sum(X_i-1)^2$.
Poniamo $\sigma^2 = \theta$ e deriviamo.
Ok, allora ho sbagliato io nel derivare rispetto a $\sigma$ invece che rispetto a $\theta=\sigma^2$
"Evisu86":
E' corretto dire che $E(\sum(X_i-1)^2) = Var(sum(X_i-1)) = Var(sum(X_i)) = nVar(X_i) = n\sigma^2$ ?
Io l'avrei fatto così (ma il risultato è lo stesso):
$E[\sum(X_i-1)^2] = \sumE[(X_i-1)^2]=\sum \sigma^2=n\sigma^2
Grazie cenzo.
Pero' considerato che tutto il procedimento è stato svolto ponendo $\sigma^2 = \theta$ non sarebbe più corretto indicare, come risultato del valore atteso $n\theta$ ?
Pero' considerato che tutto il procedimento è stato svolto ponendo $\sigma^2 = \theta$ non sarebbe più corretto indicare, come risultato del valore atteso $n\theta$ ?
"Evisu86":
Grazie cenzo.
Pero' considerato che tutto il procedimento è stato svolto ponendo $\sigma^2 = \theta$ non sarebbe più corretto indicare, come risultato del valore atteso $n\theta$ ?
Prego.
Certo, sostituisci $n\sigma^2 = n\theta$ così poi semplifichi il secondo pezzo e lo sommi col primo.
Ricorda poi che per avere l'informazione di Fisher devi cambiare segno a tutto il risultato
E visto che ho gia utilizzato la sommatoria, tale risultato non va più moltiplicato per $n$ giusto ?
Te lo chiedo xkè qui: http://www.csse.monash.edu.au/~lloyd/tildeMML/Continuous/NormalFisher/ (circa a metà pagina) fa lo stesso mio procedimento, ma una volta arrivato al mio risultato $n/(2\theta^2)$ (che definisce "expetaction", cioè valore atteso della derivata seconda), conclude invece che l'informazione di Fisher è $n/(\2theta^3) = n^2/(2\sigma^6)$. Non riesco a capire gli ultimi passaggi che fa per calcolare l'informazione di fisher
Te lo chiedo xkè qui: http://www.csse.monash.edu.au/~lloyd/tildeMML/Continuous/NormalFisher/ (circa a metà pagina) fa lo stesso mio procedimento, ma una volta arrivato al mio risultato $n/(2\theta^2)$ (che definisce "expetaction", cioè valore atteso della derivata seconda), conclude invece che l'informazione di Fisher è $n/(\2theta^3) = n^2/(2\sigma^6)$. Non riesco a capire gli ultimi passaggi che fa per calcolare l'informazione di fisher
Certo, direi $E[n/(2\theta^2)-1/(\theta^3)*\sum(X_i-1)^2]=n/(2\theta^2)-1/(\theta^3)*n\theta$
è quello che ho fatto anche io! ho aggiornato il messaggio a cui hai risposto con quello che non mi torna..
Intanto direi che il valore atteso (cambiato di segno) della derivata seconda rispetto a $\theta$ è:
$-E[n/(2\theta^2)-1/(\theta^3)*\sum(X_i-1)^2]=-[n/(2\theta^2)-1/(\theta^3)*n\theta]=n/(2\theta^2)=n/(2\sigma^4)$
e direi che ci siamo col risultato del link che hai riportato ("and in expectation this is = n/(2.v2) = n/(2.sigma4) ")
Giustamente osservi che poi il link afferma che l'informazione di Fisher è $n^2/(2\sigma^6)$ e quindi non ti torna...
Però dobbiamo tenere conto di una cosa importante. L'informazione di Fisher nel caso di due parametri (nel caso del link $\mu$ e $\theta=\sigma^2$) è il determinante di un matice quadrata. Noi abbiamo calcolato solo un termine. Se vedi bene lui calcola anche gli altri tre termini (di cui due nulli - quelli con derivate miste). Il determinante perciò gli risulta:
$n/(2\sigma^4)*n/\sigma^2=n^2/(2\sigma^6)$
Nel caso del tuo esercizio, credo che noi abbiamo a che fare con un unico parametro, essendo la media nota $\mu=1$
Pertanto sono indotto a pensare che il nostro risultato possa essere corretto, nel caso del tuo esercizio.
(naturalmente, con le dovute riserve)
$-E[n/(2\theta^2)-1/(\theta^3)*\sum(X_i-1)^2]=-[n/(2\theta^2)-1/(\theta^3)*n\theta]=n/(2\theta^2)=n/(2\sigma^4)$
e direi che ci siamo col risultato del link che hai riportato ("and in expectation this is = n/(2.v2) = n/(2.sigma4) ")
Giustamente osservi che poi il link afferma che l'informazione di Fisher è $n^2/(2\sigma^6)$ e quindi non ti torna...
Però dobbiamo tenere conto di una cosa importante. L'informazione di Fisher nel caso di due parametri (nel caso del link $\mu$ e $\theta=\sigma^2$) è il determinante di un matice quadrata. Noi abbiamo calcolato solo un termine. Se vedi bene lui calcola anche gli altri tre termini (di cui due nulli - quelli con derivate miste). Il determinante perciò gli risulta:
$n/(2\sigma^4)*n/\sigma^2=n^2/(2\sigma^6)$
Nel caso del tuo esercizio, credo che noi abbiamo a che fare con un unico parametro, essendo la media nota $\mu=1$
Pertanto sono indotto a pensare che il nostro risultato possa essere corretto, nel caso del tuo esercizio.
(naturalmente, con le dovute riserve)
Ecco svelato l'arcano !
grazie di cuore cenzo!
grazie di cuore cenzo!
Prego, ciao.
Un ultima cosa..
ho provato a calcolare la correttezza dello stimatore di massima verosimiglianza che ho trovato, e se non ho sbagliato i calcoli esso è risultato corretto (e non solo asintoticamente corretto). Ora, io so dalle teoria che lo stimatore della varianza non è, in generale, corretto: il fatto che dai miei calcoli risulti tale è dovuto a un mio errore oppure al fatto che in questo caso sto lavorando con la media della distribuzione nota ?
Grazie !
ho provato a calcolare la correttezza dello stimatore di massima verosimiglianza che ho trovato, e se non ho sbagliato i calcoli esso è risultato corretto (e non solo asintoticamente corretto). Ora, io so dalle teoria che lo stimatore della varianza non è, in generale, corretto: il fatto che dai miei calcoli risulti tale è dovuto a un mio errore oppure al fatto che in questo caso sto lavorando con la media della distribuzione nota ?
Grazie !
Si, dipende dal fatto che la media $\mu$ in questo caso è nota e non è una stima.
In generale lo stimatore di massima verosimiglianza della varianza non è corretto (ma è asintoticamente corretto).
Uno stimatore della varianza corretto è quello che al denominatore divide per $n-1$...
In generale lo stimatore di massima verosimiglianza della varianza non è corretto (ma è asintoticamente corretto).
Uno stimatore della varianza corretto è quello che al denominatore divide per $n-1$...
Accedi a tutti gli appunti
Tutor AI: studia meglio e in meno tempo