Stimatore di massima verosimiglianza
Sia X1,.....,Xn un capione proveniente dalla distribuzione b(3,a). Determinate lo stimatore di massima verosimiglianza (MV) per a e calcolare il valore atteso di questo stimatore.
Da quello che ho capito leggendo un mio vecchio libro dovrei trovarmi davanti ad una distribuzione binomiale , quidi
data la distribuzione binomiale X~b(1,p) lo stimatore Mv di p=(1/n) $ sum_(i = 1)^(n) $ Xi
e il valore atteso di tale stimatore sara E[x]=1p
Quindi l'esercizio precedente dovrebbe svolgersi cosi : lo stimatore Mv di a=(3/n)$ sum_(i = 1)^(n) $ Xi
e il valore atteso di tale stimatore sara E[a]=3a
Da quello che ho capito leggendo un mio vecchio libro dovrei trovarmi davanti ad una distribuzione binomiale , quidi
data la distribuzione binomiale X~b(1,p) lo stimatore Mv di p=(1/n) $ sum_(i = 1)^(n) $ Xi
e il valore atteso di tale stimatore sara E[x]=1p
Quindi l'esercizio precedente dovrebbe svolgersi cosi : lo stimatore Mv di a=(3/n)$ sum_(i = 1)^(n) $ Xi
e il valore atteso di tale stimatore sara E[a]=3a
Risposte
Ciao Francesco anche io sto cercando di risolvere questo esercizio.
Per quanto io ne sappia,avendo una binomiale b(m,p) la stima di MV risulta essere p=1/mn $ sum_(j = 1)^(n) $ Xj = $ bar (x)/m $
La stima di MV non dovrebbe essere allora p=1/3n $ sum_(j = 1)^(n) $ Xj = $ bar (x)/m $ ?
Per quanto io ne sappia,avendo una binomiale b(m,p) la stima di MV risulta essere p=1/mn $ sum_(j = 1)^(n) $ Xj = $ bar (x)/m $
La stima di MV non dovrebbe essere allora p=1/3n $ sum_(j = 1)^(n) $ Xj = $ bar (x)/m $ ?
Ciao 
lo stimatore di massima verosimiglianza per p da una bin(n,p) risulta essere :
calcoliamo l'equazione di verosimiglianza:
$L(X1,..,Xn;p) = prod_{i=1}^n p ^ i (1-p) ^ (n - i) $ , = $ p^sum(X i) (1-p)^(n-sum(X i)) $ applichiamo una trasformata logaritmica , abbiamo :
$ log p sum(X i) + log (1-p) (n-sum(X i)) $
calcoliamo l'informazione osservata, quindi la derivata prima:
$ l(p) = 1/p(sum(X i)) - 1/(1-p)(n-sum(X i)) $
Esplicitando in base a p (non riporto i calcoli, è matematica elementare) otteniamo : $p =( sum (X i) )/ n$
Conseguentemente, per il caso in studio avrete che la stima di MV per p da una bin(3,p) è $ p =( sum (X i) )/ 3$
Il valore atteso dello stimatore è $ E
lo stimatore di massima verosimiglianza per p da una bin(n,p) risulta essere : calcoliamo l'equazione di verosimiglianza:
$L(X1,..,Xn;p) = prod_{i=1}^n p ^ i (1-p) ^ (n - i) $ , = $ p^sum(X i) (1-p)^(n-sum(X i)) $ applichiamo una trasformata logaritmica , abbiamo :
$ log p sum(X i) + log (1-p) (n-sum(X i)) $
calcoliamo l'informazione osservata, quindi la derivata prima:
$ l(p) = 1/p(sum(X i)) - 1/(1-p)(n-sum(X i)) $
Esplicitando in base a p (non riporto i calcoli, è matematica elementare) otteniamo : $p =( sum (X i) )/ n$
Conseguentemente, per il caso in studio avrete che la stima di MV per p da una bin(3,p) è $ p =( sum (X i) )/ 3$
Il valore atteso dello stimatore è $ E
=E[sum(X i) / 3] $ ; tiriamo fuori le costanti: abbiamo $ 1/3 E[sum(X i)] $. il valore atteso della somma è uguale alla somma dei valori attesi quindi : $ E(sum(X i)) = 3 p $. Alla fine otterremo $ E
= 3 p / 3 $. Diremo che lo stimatore è corretto , infatti E[hat(p)]=p.
"Kiliz":
Il valore atteso dello stimatore è $ E=E[sum(X i) / 3] $ ; tiriamo fuori le costanti: abbiamo $ 1/3 E[sum(X i)] $. il valore atteso della somma è uguale alla somma dei valori attesi quindi : $ E(sum(X i)) = 3 p $. Alla fine otterremo $ E
= 3 p / 3 $. Diremo che lo stimatore è corretto , infatti E[hat(p)]=p.
quindi in caso di una Bernoulli abbiamo: $ mathbb(E)[1/nsum(y_i) ] = 1/n mathbb(E)[sum(y_i) ]=(1/n)npi _0=pi_0 $ e quindi è corretto. Per quale motivo affermiamo che è corretto?
In caso di una esponenziale, $ mathbb(E)[n(1/(sumy_i)) ] $? il valore atteso risulta?
Grazie
"Frasandro":
In caso di una esponenziale, $ mathbb(E)[n(1/(sumy_i)) ] $? il valore atteso risulta?
Grazie
questo è interessante....
Partiamo da una distribuzione esponenziale
$f(y)=thetae^(-thetay)$
Tale distribuzione si può vedere come una $Gamma(1;theta)$. Estraiamo un campione di ampiezza n, casuale. Sappiamo allora che
$sumy~Gamma(n;theta)$
Sappiamo inoltre che , se $Y~Gamma$ allora $1/Y ~$ Gamma inversa di media $theta/(n-1)$
infatti:
quindi
$E(n/(Sigmay))=n/(n-1)theta$
Quindi lo stimatore è distorto per $theta$ ma con una distorsione eliminabile e comunque asintoticamente corretto, come tutti gli stimatori di MV
Ora, dopo le risposte, le domande:
1) qual è allora uno stimatore corretto di $theta$?
2) tale stimatore è anche UMVUE?
prima di passare alle risposte da dare alle tue domande 
c'è qualcosa che non capisco nella prima parte del tuo intervento.
Anzichè scomodare la Gamma io non posso procedere così come ho fatto con la Bernoulli?
io avevo provato a risolverlo così: $ nsum mathbb E [1/y_i]=n.n1/lambda = n^2/lambda $
c'è qualcosa che non capisco nella prima parte del tuo intervento.Anzichè scomodare la Gamma io non posso procedere così come ho fatto con la Bernoulli?
"Frasandro":
quindi in caso di una Bernoulli abbiamo: $ mathbb(E)[1/nsum(y_i) ] = 1/n mathbb(E)[sum(y_i) ]=(1/n)npi _0=pi_0 $.
io avevo provato a risolverlo così: $ nsum mathbb E [1/y_i]=n.n1/lambda = n^2/lambda $
no, non puoi farlo....ed infatti il risultato che trovi è sbagliato. Ecco lo stesso esempio tratto dal MGB svolto più o meno come ti ho mostrato io...
Nella Bernulliana il tuo stimatore è una cosa del genere
$T=X_(1)+X_(2)+...+X_(n)$
quindi la media di T si calcola facilmente utilizzanndo le proprietà delle medie: $E(X+Y)=E(X)+E(Y)$
ma nel caso della esponenziale il tuo stimatore è fatto così (a parte la costante n)
$T=1/(X_(1)+X_(2)+...+X_(n))$
qui come fai ad applicare le proprietà delle medie???
l'unico modo è conoscere la distribuzione di $Y=X_(1)+X_(2)+...+X_(n)$
e tale distribuzione è nota -> è una Gamma, come del resto lo è anche l'esponenziale negativa. Infatti nota che
$Exp(theta)-=Gamma(1;theta)$
Altresì è noto (e te lo devi tatuare sul braccio!) che la somma di n esponenziali $Exp(theta)$ iid è una gamma di parametri $(n;theta)$
La parte difficile è che non basta questa distribuzione....o conosci anche la distribuzione gamma inversa oppure (e ti ho messo anche tutti i passaggi analitici nello spoiler) devi calcolare
$E(1/y)$ nota la distribuzione (Gamma) di Y
l'esercizio è molto interessante....studiatelo bene e dimmi cosa non hai capito....è un bell'esercizio di inferenza....non siamo più nel calcolo delle probabilità...qui gli argomenti sono molto più "fini"
Inoltre ti posso assicurare che la distribuzione Gamma, per quanto possa apparire antipatica, è molto utile. Guarda ad esempio come ho risolto facilmente QUESTO
Nella Bernulliana il tuo stimatore è una cosa del genere
$T=X_(1)+X_(2)+...+X_(n)$
quindi la media di T si calcola facilmente utilizzanndo le proprietà delle medie: $E(X+Y)=E(X)+E(Y)$
ma nel caso della esponenziale il tuo stimatore è fatto così (a parte la costante n)
$T=1/(X_(1)+X_(2)+...+X_(n))$
qui come fai ad applicare le proprietà delle medie???
l'unico modo è conoscere la distribuzione di $Y=X_(1)+X_(2)+...+X_(n)$
e tale distribuzione è nota -> è una Gamma, come del resto lo è anche l'esponenziale negativa. Infatti nota che
$Exp(theta)-=Gamma(1;theta)$
Altresì è noto (e te lo devi tatuare sul braccio!) che la somma di n esponenziali $Exp(theta)$ iid è una gamma di parametri $(n;theta)$
La parte difficile è che non basta questa distribuzione....o conosci anche la distribuzione gamma inversa oppure (e ti ho messo anche tutti i passaggi analitici nello spoiler) devi calcolare
$E(1/y)$ nota la distribuzione (Gamma) di Y
l'esercizio è molto interessante....studiatelo bene e dimmi cosa non hai capito....è un bell'esercizio di inferenza....non siamo più nel calcolo delle probabilità...qui gli argomenti sono molto più "fini"
Inoltre ti posso assicurare che la distribuzione Gamma, per quanto possa apparire antipatica, è molto utile. Guarda ad esempio come ho risolto facilmente QUESTO
"Frasandro":
prima di passare alle risposte da dare alle tue domande
prima che rispondi ti dò anche un aiuto:
per trovare lo stimatore non distorto è davvero facile....basta correggere il valore atteso trovato con l'opportuna costante
per l'UMVUE ci sono due strade: o calcolare il limite inferiore della Cramer Rao....oppure (ed è la strada di gran lunga più semplice) utilizzare il lemma di Lehman Scheffé....
aspetto progressi
"tommik":
[quote="Frasandro"]prima di passare alle risposte da dare alle tue domande
prima che rispondi ti dò anche un aiuto:
per trovare lo stimatore non distorto è davvero facile....basta correggere il valore atteso trovato con l'opportuna costante
per l'UMVUE ci sono due strade: o calcolare il limite inferiore della Cramer Rao....oppure utilizzare il lemma di Lehman Scheffé....
aspetto progressi
[/quote]sisi stavo proprio per scriverti in merito a questo.... ho trovato un tuo intervento in un'altra discussione
...in quel caso si parlava di una poisson.
con il lemma di Lehman Scheffé è davvero facile...
il lemma afferma che uno stimatore non distorto, funzione di uno stimatore sufficiente e completo è UMVUE...
quindi
1) cerchi lo stimatore sufficiente
2) la completezza può essere molto difficile da provare....ma se la distribuzione appartiene alla famiglia esponenziale....allora lo stimatore sufficiente è anche completo
2) lo stimatore non distorto ora dovresti averlo.....
problema risolto....
oggi dò troppi consigli....
il lemma afferma che uno stimatore non distorto, funzione di uno stimatore sufficiente e completo è UMVUE...
quindi
1) cerchi lo stimatore sufficiente
2) la completezza può essere molto difficile da provare....ma se la distribuzione appartiene alla famiglia esponenziale....allora lo stimatore sufficiente è anche completo
2) lo stimatore non distorto ora dovresti averlo.....
problema risolto....
oggi dò troppi consigli....
prima di immergermi in questo problema, stamattina mi sono bloccato su un'altra cosa.... per trovare la varianza dello score di una bernoulli, trasformo la verosimiglianza in log-verosimiglianza cioè, $ l(pi)= sum(y_i)ln(pi/(1-pi))+nln(1-pi) $ ma non capisco per quale motivo diventa così: $ mathbb(V)=[((sum(y_i))/(pi(1-pi)))-n/(1-pi)] = n/(pi(1-pi)) $ , perchè quella derivata del primo ln? 
non ho capito "cosa non hai capito"....
la bernulli si scrive così
$theta^x(1-theta)^(1-x)$
la verosimiglianza è
$theta^(SigmaX) (1-theta)^(n-SigmaX)=theta^(SigmaX) (1-theta)^n/(1-theta)^(SigmaX)=(theta/(1-theta))^(SigmaX) (1-theta)^n$
facciamo il log
$logL=SigmaX log(theta/(1-theta))+n log(1-theta)$
deriviamo rispetto a $theta$, ricordando che la derivata di $logf(x)=(f')/f$
$partial/(partial theta)logL=(SigmaX)/(theta(1-theta))-n/(1-theta)$
ora calcoliamo la varianza ( la costante non ci interessa dato che ha varianza zero):
$V((SigmaX)/(theta(1-theta)))=1/(theta(1-theta))^2 V(SigmaX)$
ma $SigmaX$ è una binomiale di varianza $n theta(1-theta)$ e dunque
$V((SigmaX)/(theta(1-theta))-n/(1-theta))=1/(theta(1-theta))^2 ntheta(1-theta)=n/(theta(1-theta))$
al di là dei semplici passaggi...ovviamente la varianza dello stimatore di $pi$ è il reciproco del risultato trovato....
la bernulli si scrive così
$theta^x(1-theta)^(1-x)$
la verosimiglianza è
$theta^(SigmaX) (1-theta)^(n-SigmaX)=theta^(SigmaX) (1-theta)^n/(1-theta)^(SigmaX)=(theta/(1-theta))^(SigmaX) (1-theta)^n$
facciamo il log
$logL=SigmaX log(theta/(1-theta))+n log(1-theta)$
deriviamo rispetto a $theta$, ricordando che la derivata di $logf(x)=(f')/f$
$partial/(partial theta)logL=(SigmaX)/(theta(1-theta))-n/(1-theta)$
ora calcoliamo la varianza ( la costante non ci interessa dato che ha varianza zero):
$V((SigmaX)/(theta(1-theta)))=1/(theta(1-theta))^2 V(SigmaX)$
ma $SigmaX$ è una binomiale di varianza $n theta(1-theta)$ e dunque
$V((SigmaX)/(theta(1-theta))-n/(1-theta))=1/(theta(1-theta))^2 ntheta(1-theta)=n/(theta(1-theta))$
al di là dei semplici passaggi...ovviamente la varianza dello stimatore di $pi$ è il reciproco del risultato trovato....
la derivata della log-verosimiglianza e i passaggi che portano al risultato di $V=n/(pi(1-pi))$
"tommik":
deriviamo rispetto a $theta$, ricordando che la derivata di $logf(x)=(f')/f$
$partial/(partial theta)logL=(SigmaX)/(theta(1-theta))-n/(1-theta)$
ora calcoliamo la varianza ( la costante non ci interessa dato che ha varianza zero):
$V((SigmaX)/(theta(1-theta)))=1/(theta(1-theta))^2 V(SigmaX)$
la derivata ok, mi risultava anche prima....adesso perchè $(theta(1-theta))$ diventa al quadrato?
inoltre, perchè questa quantità $-n/(1-theta) $ ha varianza zero? non dipende da $theta$?
"tommik":
ora calcoliamo la varianza ( la costante non ci interessa dato che ha varianza zero):
$ V((SigmaX)/(theta(1-theta)))=1/(theta(1-theta))^2 V(SigmaX) $
ma $ SigmaX $ è una binomiale di varianza $ n theta(1-theta) $ e dunque
$ V((SigmaX)/(theta(1-theta))-n/(1-theta))=1/(theta(1-theta))^2 ntheta(1-theta)=n/(theta(1-theta)) $
"Frasandro":
.adesso perchè $(theta(1-theta))$ diventa al quadrato?
Perché $V(aX)=a^2V(X)$
"Frasandro":
inoltre, perchè questa quantità $-n/(1-theta) $ ha varianza zero? non dipende da $theta$?
sì ma la variabile è X, theta è un parametro....
ho difficoltà nel calcolare la varianza di una normale con media $mu$ e varianza $sigma^2$
dopo aver calcolato lo score (U) derivando la log-verosimiglianza, dimostro che il valore atteso è pari a zero (sia per $mu$ che per $sigma^2$), calcolo la varianza di $U_(mu) = n/(sigma^2) $ e fin quì tutto ok... la mia difficoltà sorge nel calcolare la varianza di $U_(sigma^2)$ cioè $V(U_sigma^2)= -n/sigma^2+(sum(y_i-mu)^2)/(2sigma^4)$ che dovrebbe risultare $n/(2sigma^4)$ ma a me non risulta...
dopo aver calcolato lo score (U) derivando la log-verosimiglianza, dimostro che il valore atteso è pari a zero (sia per $mu$ che per $sigma^2$), calcolo la varianza di $U_(mu) = n/(sigma^2) $ e fin quì tutto ok... la mia difficoltà sorge nel calcolare la varianza di $U_(sigma^2)$ cioè $V(U_sigma^2)= -n/sigma^2+(sum(y_i-mu)^2)/(2sigma^4)$ che dovrebbe risultare $n/(2sigma^4)$ ma a me non risulta...
risulta risulta....
prima di tutto utilizziamo questa versione della Cramer Rao che è più utile
$1/(-E{(partial^2)/(partial theta^2)logL})$
scrivo la verosimiglianza della normale indicando $theta=sigma^2$ e lasciando perdere le costanti (che tanto dopo se ne vanno via derivando...)
$L=(1/theta)^(n/2)e^(-Sigma(x-mu)^2/(2theta)$
$logL=-n/2logtheta-1/(2theta)Sigma(x-mu)^2$
$(partial)/(partialtheta)logL=-n/(2theta)+(Sigma(x-mu)^2)/(2theta^2)$
$(partial^2)/(partialtheta^2)logL=n/(2theta^2)-(Sigma(x-mu)^2)/theta^3=n/(2theta^2)-(ntheta)/theta^3=$
$=n/(2theta^2)-n/theta^2=-n/(2theta^2)$
ora facciamo
$-E[-n/(2theta^2)]=n/(2theta^2)=n/(2sigma^4)$
sono molti anni che non faccio più queste cose.....controlla ma dovrebbe essere tutto ok
prima di tutto utilizziamo questa versione della Cramer Rao che è più utile
$1/(-E{(partial^2)/(partial theta^2)logL})$
scrivo la verosimiglianza della normale indicando $theta=sigma^2$ e lasciando perdere le costanti (che tanto dopo se ne vanno via derivando...)
$L=(1/theta)^(n/2)e^(-Sigma(x-mu)^2/(2theta)$
$logL=-n/2logtheta-1/(2theta)Sigma(x-mu)^2$
$(partial)/(partialtheta)logL=-n/(2theta)+(Sigma(x-mu)^2)/(2theta^2)$
$(partial^2)/(partialtheta^2)logL=n/(2theta^2)-(Sigma(x-mu)^2)/theta^3=n/(2theta^2)-(ntheta)/theta^3=$
$=n/(2theta^2)-n/theta^2=-n/(2theta^2)$
ora facciamo
$-E[-n/(2theta^2)]=n/(2theta^2)=n/(2sigma^4)$
sono molti anni che non faccio più queste cose.....controlla ma dovrebbe essere tutto ok
"tommik":
$(partial^2)/(partialtheta^2)logL=n/(2theta^2)-(Sigma(x-mu)^2)/theta^3=n/(2theta^2)-(ntheta)/theta^3=$
$=n/(2theta^2)-n/theta^2=-n/(2theta^2)$
ora facciamo
$-E[-n/(2theta^2)]=n/(2theta^2)=n/(2sigma^4)$
no, non ci sono .... perchè quel $theta^3$ cioè $sigma^6$ e non $sigma^8$
"tommik":
sono molti anni che non faccio più queste cose.....controlla ma dovrebbe essere tutto ok
poco importa, sei sempre una garanzia, infinite grazie
devi derivare rispetto a $sigma^2$
devi fare la seguente derivata:
$d/(d sigma^2) 1/sigma^4$
per non incasinarmi pongo $sigma^2=theta$ e quindi derivo
$d/(d theta)1/theta^2=-2/theta^3$
poi risostituisco e viene $sigma^6$....non all'ottava
chiaro?
devi fare la seguente derivata:
$d/(d sigma^2) 1/sigma^4$
per non incasinarmi pongo $sigma^2=theta$ e quindi derivo
$d/(d theta)1/theta^2=-2/theta^3$
poi risostituisco e viene $sigma^6$....non all'ottava
chiaro?
"tommik":
devi derivare rispetto a $sigma^2$
devi fare la seguente derivata:
$d/(d sigma^2) 1/sigma^4$
per non incasinarmi pongo $sigma^2=theta$ e quindi derivo
$d/(d theta)1/theta^2=-2/theta^3$
poi risostituisco e viene $sigma^6$....non all'ottava
chiaro?
come al solito mi perdo in un bicchier d'acqua
tutto ok adesso...
, thanks a lot
sempre stimatore di max verosimiglianza ma questa volta per una Normale Inversa.
mi sono trovato la log-verosimiglianza: $ l(mu ,phi )= -n/2ln(2pi phiy_i^3)-(sum(y_i-mu)^2)/(sum(2phimu^2y_i) ) $
la difficoltà sorge nel calcolare la derivata, quindi lo score, sia rispetto a $mu$ che rispetto a $phi$...
la $ (partiall(mu, phi))/(partial mu) $ mi risulta in questo modo:
$- 1/(2phi y_i)sum_(i=1)^n{[-2(y_i-mu)*mu^2-(y_i-mu)^2*2mu]/mu^4} $
è giusta?
Grazie
mi sono trovato la log-verosimiglianza: $ l(mu ,phi )= -n/2ln(2pi phiy_i^3)-(sum(y_i-mu)^2)/(sum(2phimu^2y_i) ) $
la difficoltà sorge nel calcolare la derivata, quindi lo score, sia rispetto a $mu$ che rispetto a $phi$...
la $ (partiall(mu, phi))/(partial mu) $ mi risulta in questo modo:
$- 1/(2phi y_i)sum_(i=1)^n{[-2(y_i-mu)*mu^2-(y_i-mu)^2*2mu]/mu^4} $
è giusta?
Grazie
Accedi a tutti gli appunti
Tutor AI: studia meglio e in meno tempo