Esercizi sugli stimatori di massima verosimiglianza
Vorrei porre alla vostra attenzione due esercizi sugli stimatori di massima verosimiglianza. Il primo l'ho svolto quasi completamente e vorrei solo un parere sui passaggi. Sul secondo ho diversi dubbi.
1) considerata una variabile binomiale y che assume valore 1 con probabilità $\theta$ e 0 con probabilità $1-\theta$;
- si dimostri che la media di y è $\theta$ e la varianza $\theta*(1-\theta)$.
- si trovi lo stimatore di massima verosimiglianza (MLE) qualora sia disponibile un campione random.
- si trovi la varianza dello stimatore.
$E(y)= 1*\theta + 0*(1-\theta) =\theta$
$var(y)=E(y-E(y))^2=E(y-\theta)^2=E(y^2)-2\thetaE(y)+\theta^2= \theta-2\theta^2+\theta^2=\theta*(1-\theta)$
La funzione di densità la scrivo come
$f(y;\theta)=\theta^y*(1-\theta)^(1-y)$
La funzione di verosimiglianza, dato un campione di dimensione n, sarà
$L(y;\theta)=\theta^(sum(y_i))*(1-\theta)^(n-sum(y_i))$
log(L)= sum(y_i)log(\theta)*(n-sum(y_i)log(1-\theta)$
$(dellog(L)/del\theta)= sum(y_i)/\theta-n/(1-\theta)+sum(y_i)/(1-\theta)$
eguaglio la derivata a 0 e ottengo
$\hat \theta(n-sum(y_i)=(1-\hat\theta)sum(y_i) rArr \hat \theta=\bar y$
so che lo stimatore di massima verosimiglianza ha varianza pari al limite inferiore della disuguaglianza di Cramer-Rao. Quindi calcolo la derivata seconda di L
$(del^2log(L)/del^2\theta)= sum(y_i)/\theta^2+n/(1-\theta)^2-sum(y_i)/(1-\theta)^2$
$var(\hat\theta)=i/(-nE(sum(y_i)/\theta^2+n/(1-\theta)^2-sum(y_i)/(1-\theta)^2))$
e qui mi sono incastrato perchè in teoria nessuno di questi elementi è soggetto all'operatore valore atteso, quindi dovrebbe rimanere tutto uguale, è così? Ci sono errori in quello che ho scritto prima? Fatemi sapere, grazie
2) Un campione di 3 valori (1,2,3) è estratto da una distribuzione esponenziale con funzione di probabilità:
$f(x)=1/1theta*e^(-x/\theta)$
- trova l'MLE e la stima di massima verosimiglianza per il suddetto campione. Trova la varianza dell'MLE e una stima di questa basata sulla stima di massima verosimiglianza.
$L(x;\theta)=1/\theta*e^(-sum(x_i)/\theta)$
$log(L)=-(sum(x_i))/\theta+log(1/\theta)$
$dellog(L)/del\theta=(sum(x_i))/\theta^2-1/\theta$
se uguaglio a 0 ho $\hat\theta=sum(x_i)$
quindi la stima del campione dato è $hat\theta=6$
di nuovo posso usare la disuguaglianza di Cramer-Rao, calcolo la derivata seconda che è
$del^2L/del^2\theta=-sum(x_i)/\theta^3+1/\theta^2$
però poi non so cosa risulta dall disuguaglianza. Vi chiedo di aiutarmi su questi ultimi passaggi (sempre ammesso che il resto sia giusto. Ancora, una volta trovata la varianza come trovo la sua stima basata sulla precedente stima ($hat\theta=6$)?
1) considerata una variabile binomiale y che assume valore 1 con probabilità $\theta$ e 0 con probabilità $1-\theta$;
- si dimostri che la media di y è $\theta$ e la varianza $\theta*(1-\theta)$.
- si trovi lo stimatore di massima verosimiglianza (MLE) qualora sia disponibile un campione random.
- si trovi la varianza dello stimatore.
$E(y)= 1*\theta + 0*(1-\theta) =\theta$
$var(y)=E(y-E(y))^2=E(y-\theta)^2=E(y^2)-2\thetaE(y)+\theta^2= \theta-2\theta^2+\theta^2=\theta*(1-\theta)$
La funzione di densità la scrivo come
$f(y;\theta)=\theta^y*(1-\theta)^(1-y)$
La funzione di verosimiglianza, dato un campione di dimensione n, sarà
$L(y;\theta)=\theta^(sum(y_i))*(1-\theta)^(n-sum(y_i))$
log(L)= sum(y_i)log(\theta)*(n-sum(y_i)log(1-\theta)$
$(dellog(L)/del\theta)= sum(y_i)/\theta-n/(1-\theta)+sum(y_i)/(1-\theta)$
eguaglio la derivata a 0 e ottengo
$\hat \theta(n-sum(y_i)=(1-\hat\theta)sum(y_i) rArr \hat \theta=\bar y$
so che lo stimatore di massima verosimiglianza ha varianza pari al limite inferiore della disuguaglianza di Cramer-Rao. Quindi calcolo la derivata seconda di L
$(del^2log(L)/del^2\theta)= sum(y_i)/\theta^2+n/(1-\theta)^2-sum(y_i)/(1-\theta)^2$
$var(\hat\theta)=i/(-nE(sum(y_i)/\theta^2+n/(1-\theta)^2-sum(y_i)/(1-\theta)^2))$
e qui mi sono incastrato perchè in teoria nessuno di questi elementi è soggetto all'operatore valore atteso, quindi dovrebbe rimanere tutto uguale, è così? Ci sono errori in quello che ho scritto prima? Fatemi sapere, grazie
2) Un campione di 3 valori (1,2,3) è estratto da una distribuzione esponenziale con funzione di probabilità:
$f(x)=1/1theta*e^(-x/\theta)$
- trova l'MLE e la stima di massima verosimiglianza per il suddetto campione. Trova la varianza dell'MLE e una stima di questa basata sulla stima di massima verosimiglianza.
$L(x;\theta)=1/\theta*e^(-sum(x_i)/\theta)$
$log(L)=-(sum(x_i))/\theta+log(1/\theta)$
$dellog(L)/del\theta=(sum(x_i))/\theta^2-1/\theta$
se uguaglio a 0 ho $\hat\theta=sum(x_i)$
quindi la stima del campione dato è $hat\theta=6$
di nuovo posso usare la disuguaglianza di Cramer-Rao, calcolo la derivata seconda che è
$del^2L/del^2\theta=-sum(x_i)/\theta^3+1/\theta^2$
però poi non so cosa risulta dall disuguaglianza. Vi chiedo di aiutarmi su questi ultimi passaggi (sempre ammesso che il resto sia giusto. Ancora, una volta trovata la varianza come trovo la sua stima basata sulla precedente stima ($hat\theta=6$)?
Risposte
Ciao johnnyfreak,
andiamo con ordine
1° quesito - Riguardo alla determinazione dello stimatore della max verosimiglianza è giusta. Esso, infatti, è la media campionaria solo però non capisco, xkè per calcolare la varianza dello stimatore fai tutto quel procedimento? Basta fare
$ Var(\bar{Y}) =Var(1/n\sum_{i=1}^nY_i)=1/n^2\sum_{i=1}^nVar(Y_i)=1/n^2n\theta(1-\theta)=1/n\theta(1-\theta)$
2° quesito - Anche qui, la determinazione dello stimatore di max verosimiglianza è giusta, ma la varianza no. Infatti, sapendo che la varianza di una distribuzione esponenziale è pari a $ 1/\lambda^2 $, posto $ 1/\theta=\lambda $ si ha che
$ Var(X)=\sum_{i=1}^3Var(X_i)=3\theta^2 $ ok?
Il resto lo puoi ricavarea facilmente
andiamo con ordine
1° quesito - Riguardo alla determinazione dello stimatore della max verosimiglianza è giusta. Esso, infatti, è la media campionaria solo però non capisco, xkè per calcolare la varianza dello stimatore fai tutto quel procedimento? Basta fare
$ Var(\bar{Y}) =Var(1/n\sum_{i=1}^nY_i)=1/n^2\sum_{i=1}^nVar(Y_i)=1/n^2n\theta(1-\theta)=1/n\theta(1-\theta)$
2° quesito - Anche qui, la determinazione dello stimatore di max verosimiglianza è giusta, ma la varianza no. Infatti, sapendo che la varianza di una distribuzione esponenziale è pari a $ 1/\lambda^2 $, posto $ 1/\theta=\lambda $ si ha che
$ Var(X)=\sum_{i=1}^3Var(X_i)=3\theta^2 $ ok?
Il resto lo puoi ricavarea facilmente
Ciao a tutti ,sono nuovo e volevo sapere come si calcola il valore atteso di uno stimatore MLE?
grazie 1000
grazie 1000
in cosa trovi difficoltà? proponi un esercizio così ti si può aiutare
Accedi a tutti gli appunti
Tutor AI: studia meglio e in meno tempo