Esercizio Likelihood
Ciao a tutti!
Ecco volevo condividere con voi e chiedervi un aiuto su un esercizio riguardante la funzione di verosimiglianza.
Consider a population X∼fθ, where θ>0 and
fθ(x)=θ/2(θx)^2 exp{−θx} x>0.
Moreover, let X1,…,Xn be a sample from X.
a) Find a sufficient statistic for the model
b) Find the MLE of θ and the MLE of E(X)=3/θ.
Quindi sono arrivato alla funzione likelihood, che penso sia corretta.
L(θ/s)= θ^n/2 (θ∑x)^2 exp^-θ∑x
Solo che ora per poter arrivare a ricavare MLE devo In primis devo calcolare il logaritmo e dopodiché la derivata mettendo tutto uguale a zero e ancora seconda derivata. Il mio dubbio però sta proprio nell'applicare la prima derivata. Speranzoso di aver effettuato fin qui i calcoli in maniera corretta...
l(θ/s)=nlogθ/2 (∑xlogθ)^2 -∑xlogθ
Ecco volevo condividere con voi e chiedervi un aiuto su un esercizio riguardante la funzione di verosimiglianza.
Consider a population X∼fθ, where θ>0 and
fθ(x)=θ/2(θx)^2 exp{−θx} x>0.
Moreover, let X1,…,Xn be a sample from X.
a) Find a sufficient statistic for the model
b) Find the MLE of θ and the MLE of E(X)=3/θ.
Quindi sono arrivato alla funzione likelihood, che penso sia corretta.
L(θ/s)= θ^n/2 (θ∑x)^2 exp^-θ∑x
Solo che ora per poter arrivare a ricavare MLE devo In primis devo calcolare il logaritmo e dopodiché la derivata mettendo tutto uguale a zero e ancora seconda derivata. Il mio dubbio però sta proprio nell'applicare la prima derivata. Speranzoso di aver effettuato fin qui i calcoli in maniera corretta...
l(θ/s)=nlogθ/2 (∑xlogθ)^2 -∑xlogθ
Risposte
Premesso che come hai inserito le formule
risultano quasi incomprensibili....se la funzione di densità fosse questa (e mi torna, dato che è una distribzione nota, essendo una $"Gamma"(3;theta)$, di media appunto $mu=3/theta$ come dice la traccia)
$f_theta(x)=(theta^3x^2)/2 e^(-thetax)I_((0;+oo))(x)$
allora, semplicemente usando il teorema di fattorizzazione trovi che uno stimatore suffiicente per il modello è $T=Sigmax$
b) massimizzando la logverosimiglianza trovi inoltre che $hat(theta)=(3n)/(Sigmax)$
che, come ci aspettiamo, è funzione di $T$
c) con la proprietà di invarianza trovi subito che $hat(mu)=3/hat(theta)=(Sigmax)/n=bar(X)$ come del resto facilmente intuibile.
Veniamo ora alla tua bozza di soluzione
La verosimiglianza è il prodotto delle densità quindi no, per il poco che si capisce da ciò che hai scritto, è sbagliata.
saluti
"Harris!":
fθ(x)=θ/2(θx)^2 exp{−θx} x>0.
risultano quasi incomprensibili....se la funzione di densità fosse questa (e mi torna, dato che è una distribzione nota, essendo una $"Gamma"(3;theta)$, di media appunto $mu=3/theta$ come dice la traccia)
$f_theta(x)=(theta^3x^2)/2 e^(-thetax)I_((0;+oo))(x)$
allora, semplicemente usando il teorema di fattorizzazione trovi che uno stimatore suffiicente per il modello è $T=Sigmax$
b) massimizzando la logverosimiglianza trovi inoltre che $hat(theta)=(3n)/(Sigmax)$
che, come ci aspettiamo, è funzione di $T$
c) con la proprietà di invarianza trovi subito che $hat(mu)=3/hat(theta)=(Sigmax)/n=bar(X)$ come del resto facilmente intuibile.
Veniamo ora alla tua bozza di soluzione
"Harris!":
Quindi sono arrivato alla funzione likelihood, che penso sia corretta.
L(θ/s)= θ^n/2 (θ∑x)^2 exp^-θ∑x
La verosimiglianza è il prodotto delle densità quindi no, per il poco che si capisce da ciò che hai scritto, è sbagliata.
saluti
\(\displaystyle f_{\theta} (x) = \frac{\theta}{2} \, \left( \theta x \right)^2 \, \mbox{exp} \left\{ - \theta x \right\} \qquad x>0 \)
Questa è l'espressione giusta, mi scuso molto per come l'ho scritto prima e mi rendo conto che effettivamente potevo metterci quei minuti in più a capire un po' di più l'utilizzo di MathJax.
Grazie della tua risposta tommik.
Quindi nella funzione di densità devo fare il prodotto prima di applicare il teorema di fattorizzazione , quindi già qui sbagliavo. Ma come viene applicato il logaritmo e di conseguenza la prima derivata per raggiungere la massimizzazione della verosimiglianza? Mi potresti far vedere i passaggi di applicazione che non riesco a capire
Questa è l'espressione giusta, mi scuso molto per come l'ho scritto prima e mi rendo conto che effettivamente potevo metterci quei minuti in più a capire un po' di più l'utilizzo di MathJax.
Grazie della tua risposta tommik.
Quindi nella funzione di densità devo fare il prodotto prima di applicare il teorema di fattorizzazione , quindi già qui sbagliavo. Ma come viene applicato il logaritmo e di conseguenza la prima derivata per raggiungere la massimizzazione della verosimiglianza? Mi potresti far vedere i passaggi di applicazione che non riesco a capire
Ok bene....ora è tutto chiaro ed è esattamente come ho scritto nel precedente post.
In realtà si può applicare la fattorizzazione anche prima di calcolare la verosimiglianza perché esiste un'altra strada: si può riscrivere la densità nella forma canonica della famiglia esponenziale e da lì trovare lo stimatore sufficiente....ma non mettiamo troppa carne al fuoco...
Come vedi la densità è quella che ti ho scritto....il libro la "maschera" un po' per non farti vedere che è una distribuzione nota, altrimenti avresti già finito l'esercizio. Riscriviamo dunque la densità semplificandola così:
$f_(theta)(x)=theta^3/2x^2e^(-thetax)$ per $theta>0$, $x>0$ (nel post precedente ho usato la funzione indicatrice per indicare il dominio, ma è lo stesso).
Per calcolare la verosimiglianza, avendo un campione casuale di ampiezza $n$, dove ogni elemento è indipendente e con la stessa distribuzione f, basta moltiplicare le $n$ densità identiche ottenendo
[size=150]
Per rispondere al punto a) semplicemente osserviamo che la verosimiglianza (la densità della n-upla campionaria ) può essere riscritta così:
[size=150]
Ora come vedi $L=h(ul(x))g[t(ul(x)),theta]$ ovvero è il prodotto di due funzioni:
$h(ul(x))=(Pi_(i=1)^(n)x_(i)^2)/2^n$ che non dipende da $theta$
$g[t(ul(x)),theta]=theta^(3n) e^(-thetaSigmax)$ che dipende sia da $theta$ che dai dati (le $x_i$) ma, ATTENZIONE ATTENZIONE, dipende dai dati SOLO ATTRAVERSO UNA SPECIFICA FUNZIONE: la somma. Questa funzione, ovvero questa statistica è la statistica sufficiente.
Quindi $T=sum_(i=1)^(n)X_i$ è lo stimatore sufficiente[nota]in realtà per note proprietà è anche minimale e completo.[/nota]
Veniamo ora alla ricerca dello stimatore MLE per $theta$ o per una sua funzione. Dato che esiste la proprietà di invarianza secondo cui lo stimatore di massima verosimiglianza di $g(theta)$ è $g(hat(theta))$ conviene concentrarsi sul calcolo dello stimatore di $theta$
Occorrere massimizzare la logverosimiglianza....
Facciamo subito un'osservazione: nell'espressione della $L$ vediamo che alcune quantità non dipendono da $theta$ quindi, una volta che calcoleremo $partial/(partialtheta)l(theta)$, avremo una serie di funzioni uguali a zero; diventa allora più comodo riscrivere la verosimiglianza così:
$L(theta) prop theta^(3n)e^(-thetaSigmax)$
a questo punto ti scrivo i passaggi ma sono davvero banali
$logL=3nlogtheta-thetaSigmax$
$partial/(partialtheta)logL=(3n)/theta -Sigmax=(3n-thetaSigmax)/theta=0$
$hat(theta)=(3n)/(Sigmax)$
abbiamo finito. Il punto trovato è un massimo, non serve la derivata seconda.....
inoltre per trovare lo stimatore della media basta sostiture l'espressione di $hat(theta)$ in $E(X)=3/theta$ al posto di $theta$
ora dovrebbe essere chiaro...
In realtà si può applicare la fattorizzazione anche prima di calcolare la verosimiglianza perché esiste un'altra strada: si può riscrivere la densità nella forma canonica della famiglia esponenziale e da lì trovare lo stimatore sufficiente....ma non mettiamo troppa carne al fuoco...
Come vedi la densità è quella che ti ho scritto....il libro la "maschera" un po' per non farti vedere che è una distribuzione nota, altrimenti avresti già finito l'esercizio. Riscriviamo dunque la densità semplificandola così:
$f_(theta)(x)=theta^3/2x^2e^(-thetax)$ per $theta>0$, $x>0$ (nel post precedente ho usato la funzione indicatrice per indicare il dominio, ma è lo stesso).
Per calcolare la verosimiglianza, avendo un campione casuale di ampiezza $n$, dove ogni elemento è indipendente e con la stessa distribuzione f, basta moltiplicare le $n$ densità identiche ottenendo
[size=150]
$L_(ul(x))(theta)=theta^(3n)/2^n Pi_(i=1)^(n)x_(i)^2e^(-thetaSigmax)$
[/size]Per rispondere al punto a) semplicemente osserviamo che la verosimiglianza (la densità della n-upla campionaria ) può essere riscritta così:
[size=150]
$f_theta(ul(x))=(Pi_(i=1)^(n)x_(i)^2)/2^n*theta^(3n) e^(-thetaSigmax)$
[/size]Ora come vedi $L=h(ul(x))g[t(ul(x)),theta]$ ovvero è il prodotto di due funzioni:
$h(ul(x))=(Pi_(i=1)^(n)x_(i)^2)/2^n$ che non dipende da $theta$
$g[t(ul(x)),theta]=theta^(3n) e^(-thetaSigmax)$ che dipende sia da $theta$ che dai dati (le $x_i$) ma, ATTENZIONE ATTENZIONE, dipende dai dati SOLO ATTRAVERSO UNA SPECIFICA FUNZIONE: la somma. Questa funzione, ovvero questa statistica è la statistica sufficiente.
Quindi $T=sum_(i=1)^(n)X_i$ è lo stimatore sufficiente[nota]in realtà per note proprietà è anche minimale e completo.[/nota]
Veniamo ora alla ricerca dello stimatore MLE per $theta$ o per una sua funzione. Dato che esiste la proprietà di invarianza secondo cui lo stimatore di massima verosimiglianza di $g(theta)$ è $g(hat(theta))$ conviene concentrarsi sul calcolo dello stimatore di $theta$
Occorrere massimizzare la logverosimiglianza....
Facciamo subito un'osservazione: nell'espressione della $L$ vediamo che alcune quantità non dipendono da $theta$ quindi, una volta che calcoleremo $partial/(partialtheta)l(theta)$, avremo una serie di funzioni uguali a zero; diventa allora più comodo riscrivere la verosimiglianza così:
$L(theta) prop theta^(3n)e^(-thetaSigmax)$
a questo punto ti scrivo i passaggi ma sono davvero banali
$logL=3nlogtheta-thetaSigmax$
$partial/(partialtheta)logL=(3n)/theta -Sigmax=(3n-thetaSigmax)/theta=0$
$hat(theta)=(3n)/(Sigmax)$
abbiamo finito. Il punto trovato è un massimo, non serve la derivata seconda.....
inoltre per trovare lo stimatore della media basta sostiture l'espressione di $hat(theta)$ in $E(X)=3/theta$ al posto di $theta$
ora dovrebbe essere chiaro...
Guarda sei stato molto chiaro e soprattutto davvero disponibile a voler spiegarmi passo per passo l'esercizio che ho trovato abbastanza complicato nell'affrontare.
Il mio problema sta di fatti nel capire e distinguere come applicare le regole come i teoremi, se fosse possibile ti chiederei gentilmente se mi potessi consigliare un libro di testo dove poter approfondire e trovare maggiori esempi sull'argomento.
Il mio problema sta di fatti nel capire e distinguere come applicare le regole come i teoremi, se fosse possibile ti chiederei gentilmente se mi potessi consigliare un libro di testo dove poter approfondire e trovare maggiori esempi sull'argomento.
Per risparmiare una fatica a tommik (che l'ha già scritto non so quante volte ... 
), leggi qui
Cordialmente, Alex
), leggi quiCordialmente, Alex
Accedi a tutti gli appunti
Tutor AI: studia meglio e in meno tempo